Come posso sapere se il file robots.txt blocca l'accesso ai crawlers di Google?

[theavenger]

Come posso sapere se il file robots.txt blocca l'accesso ai crawlers di Google?

Non ho mai avuto a che fare con il file robots.txt ma ho bisogno di sapere se sta bloccando o meno l'accesso ai crawlers di Google. Ho la necessità di far scansionare il prima possibile le pagine del mio vecchio sito, da qui la domanda.

[altrasoluzione]

Ciao, in Google Search Console, c'è l'apposito tool "Tester dei file robots.txt".

[theavenger]

Ho controllato, grazie.

[sermatica]

Ciao
aggiungo anche che se scarichi Screaming Frog puoi scansionare il sito e vedi quali risorse sono bloccate dal Robots.

Se hai un sito piccolo è gratis (fino a 500 Url)

[theavenger]

Grazie!