Ultimamente il file robots.txt è molto importante anche per la possibilità di inserire al suo interno il percorso dove poter trovare la sitemap del sito.

Google con il robots.txt fa un po' come gli pare, dovevo rimuovere delle pagine da un sito in maniera veloce, ho fatto la richiesta di rimozione rapida a google che lo ha fatto in 24 ore come previsto, poi dopo qualche mese, fregandosene del file robots.txt, le ha rimesse dentro.

Appena ho tempo lo segnalo all'assistenza.

Ciao,
Sergio

Mi inserisco in questo topic per porre un quesito. Sei anni fa costruii un sito di oltre 600 pagine. Allora non conoscevo l'abc di Google (e non so nemmeno se esistesse), dunque in molte pagine solo titoli, niente descrizione, poco testo, ecc. Il proprietario mi ha chiesto ultimamente di variarlo, così l'ho rispolverato e ho notato che ha diverse (oltre 150), pagine sono nei supplementari. Mi ci metterò a lavorare su, ma ci vorrà molto tempo. Intanto però ho inserito quelle pagine nel robots.txt, giusto per farne diminuire il numero nei suppl.
Oggi ho notato che GG mi segnala questo:

"robots.txt eccede il numero di caratteri 5000. Questo strumento è capace di analizzare i file robots.txt che contengono un massimo di 5000 caratteri."

Che fare? Non credo che si possa aggiungere un secondo robots.txt.
Faccio rimuovere quelle pagine per poi rimetterle in una sitemap?
Gli metto un nofollow e lo rimuovo in seguito?

Grazie

Io non le rimuoverei, non ne vedo l'utilità.

Rimuoverle attraverso gli strumenti per webmaster di GG, dici? In ogni caso qualcosa devo fare, se è vero che la 'buona salute' di un sito è in rapporto anche ai suppl., o no?
Inoltre, saresti così cortese da suggerirmi concretamente cosa fare?

Grazie ancora.

Come concetto generale io credo che "qualcosa in più sia meglio di qualcosa in meno".

Se quelle pagine sono inutili: o le rendi utili o le elimini.

Sono nei supplementari?
A parte che non è detto che questo sia una valutazione negativa per il sito, se vuoi lavorarci differenzia maggiormente quelle pagine dalle altre del sito (title; description e testo).

Si, certo Stefano. Infatti come ho detto, volevo metterle nel 'limbo' in attesa di 'aggiustarle'. Non sono inutili. Servono per specificare alcuni prodotti spesso tra loro uguali, dunque è difficilissimo trovare tanti testi, titoli, descrizioni e parole chiavi differenti... Avevo pensato al robots.txt come 'limbo', ma non accetta oltre i 5.000 caratteri.
Ti ringrazio ugualmente per l'interessamento.

Quello che ti chiedo è: perché metterle nel limbo?

Pensi che se GG non le vede il resto del sito acquista ranking?
Io credo di no, tutto qui.

Beh, ti credo sulla parola e farò come hai detto, anche perchè, come scrivevo tempo fa in questo forum...a me di GG mi importa fino a un certo punto: troppo strambo.
In ogni caso, su un forum ufficiale di GG (non faccio nome...), era apparso questo articolo credo scritto da un moderatore:

"La formula e' questa: site:www.iltuodominio.it *** -view
(si ponga attenzione a lasciare gli spazi vuoti tra il dominio, ***
e -view, come si vede nell'esempio)
Appariranno cosi' tutte le pagine di cui Google si fida poco e che
tiene al calduccio in un altro indice, dove sempre secondo i suoi
portavoce, vengono ripescate se non ci sono altri risultati attinenti
alle ricerche.
Per calcolare la percentuale (Ratio) delle pagine indicizzate e quelle
negli indici supplementari, si usi dividere: site:www.iltuodominio.it
*** -view con site:www.iltuodominio.it
Il risultato da la percentuale delle pagine totali indicizzate da
Google le quali sono visibili nei risultati primari dell'indice. Piu'
e' alta la percentuale delle pagine nell'indice supplementare e piu'
si deve cercare di aiutarle ad uscire da esso, ristrutturando meglio
il loro Html, e soprattutto trovando per quelle pagine alcuni link
riferenti."

Grazie ancora.

Scusate l'OT, ma conosco alcuni blog ufficiali di Google ma nessun forum..

figurati, nessuna polemica</OT>

@webmasterTV said:

"La formula e' questa: site:www.iltuodominio.it *** -view

Se ne è parlato anche su MList come causa del problema di un partecipante (problema che poi si è risolto nonostante un rapporto sfavorevole della formula).

Leggi tutta la discussione e nota che, dopo gli interventi scettici (mio e di Spataro) nessuno ha più sostenuto quella formula...
Ergo ....