- Home
- Categorie
- Digital Marketing
- SEO
- Sitemap e robots bloccato
-
Sitemap e robots bloccato
Ciao a tutti,
da un paio di giorni ho sbloccato il robots di un sito web che ho appena pubblicato.
Da GWT se provo a testare la sitemap mi dice che ci sono link bloccati da robots, il che non è possibile e quindi non ho inviato la sitemap per evitare problemi.Quindi sono andato sulla sezione URL bloccati e ho visto che google è passato il 27 gennaio ed ha ancora in memoria il robots con tutto bloccato
User-agent: *
Disallow: *C'è modo di dirgli di ripassare a controllare il robots.txt e quindi di testare e mandare la sitemap?
Grazie
-
Ciao spartaseventy,
Talvota sono riuscito a visulizzare la versione aggiornata in GWT dopo averne fatto il "Visualizza come Google" e poi il submit all'indice, tuttavia non sempre e non sono sicuro di avere osservato un fenomeno di causa-effetto o una correlazione casuale.
Da esperimenti avevo fatto un anno fa circa apparentemente la versione del robots.txt mostrata in GWT era diversa da quella mostrata nella cache dei risultati di Google, e a sua volta non è detto sia la stessa copia usata effettivamente per pilotare il crawling.
Tentare non nuoce. Tieni conto Google asserisce il robots.txt usato per controllare il crawling viene aggiornato "di solito" ogni 24h.
Spero d'esserti stato utile
-
Ciao Federico Sasso,
grazie per la risposta.
Sono appena andato su GWT e adesso vede il robots corretto, ma se testo la sitemap prima di inviarla mi dice sempre che ci sono url bloccati da robots, il che non è possibile.
-
Probabilmente il messaggio risale a una crawlata precedente all'aggiornamento del robots.txt
Se sei sicuro quegli URL non siano più bloccati (e puoi testarlo sia da "URL bloccati" sia da "Visualizza come Google) puoi re-inviare la sitemap per prenotare una nuova visita da parte del crawler.
-
Federico, ti spiego un pò meglio la situazione:
su questo sito ho 2 cartelle it/ ed en/ che contentgono le relative versioni delsito. Ogni cartella ha la sua sitemap.xml
Sulla root del dominio ho creato una saitemap index con i link alle sitemap.xml presenti dentro it ed en.
Quindi su tutto il sito ho 3 sitemap.
Qualsiasi delle 3 provi a testare mi dice sempre che ci sono url bloccati da robots, il che non è vero.
Il sito in questione è questo transfertrapanipalermo.it
-
Scusa, non capisco una cosa:
@spartaseventy said:Qualsiasi delle 3 provi a testare mi dice sempre che ci sono url bloccati da robots, il che non è vero.
Quanto tempo concedi a googlebot prima di decidere sia in errore? M'era parso di capire l'ultima visita fosse del 27, quando probabilmente usava una copia vecchia del robots.txt
-
Ciao Federico Sasso,
su GWT se adesso vado sulla sezione "URL bloccati" mi fa vedere il robots.txt corretto, che riporta infatti la data odierna.
Se vado sulla sezione "Sitemap" per inviargli la sitemap, prima di inviarla, faccio il testa sitemap, indicandogli l'URL della sitemap index ma mi conitnua a trovare nella sitemap, "URL bloccati da robots".E' una cosa normale oppure devo dare tempo a Google?
-
Purtroppo GWT ha tanti piccolli bachi.
Se sei sicuro non siano bloccati, invia lo stesso e dagli il tempo di visitarli.Ciao
