add_action( 'wp_print_scripts', 'deregister_cf7_javascript', 100 );
function deregister_cf7_javascript() {
  if ( !is_page(array(13,75)) ) {
    wp_deregister_script( 'contact-form-7' );
  }
}
add_action( 'wp_print_styles', 'deregister_cf7_styles', 100 );
function deregister_cf7_styles() {
  if ( !is_page(array(13,75)) ) {
    wp_deregister_style( 'contact-form-7' );
  }
}

Nell'esempio, le pagine con ID 13 e 75 (questo ID vedi facendo "modifica" sulla pagina, nell'URL compare un parametro del tipo ?post=13) sono le uniche che contengono il form di contatto, pertanto lo script di codice dice "se è diverso da 13 oppure da 75 non caricare i file".
Quindi eventualmente per il caso tuo, anziché il diverso (!is_page...) metti la condizione se è uguale ad una delle seguenti pagine (ogni categoria di fatto è una pagina con un proprio ID) e quindi avrai una cosa del tipo if(is_page(array(1,2,3))){ ... } dove 1,2,3 sono gli ID delle categorie da cui vuoi annullare il caricamento dei plugin e anziché contact-form-7 metti ovviamente il nome del plugin corretto.