-
File Robots
Ciao a a tutti,
un quesito a cui non trovo risposta su internet.
Riporto un esempio di configurazione di un file Robots:
######################
User-agent: *
Allow: /
Disallow: /cartella1/cartella2/
######################
Domanda:
In questa configurazione allo spider viene impedito di accedere alla Cartella1 e alla Cartella2 oppure lo spider legge il contenuto della Cartella1 e quello della Cartella2 no?? oppure non legge nessuna delle due??
la mia necessità è di consentire allo spider di poter accedere alla Cartella1 scansionando tutti i file al suo interno, e impedire l'acccesso alla subdirectory Cartella2.
Spero di essere stato abbastanza chiaro.
Sapete darmi una corretta configurazione al file in relazione alla mia esigenza?
Grazie mille,
Sandro
-
Ciao sesaser,
in questo modo indichi agli spider di non leggere tutto il contenuto della cartella2, invece la cartella1 viene indicizzata.
Se ad esempio non vuoi indicizzare una cartella www.miosito.est/en ed inserisco nel robotsDisallow: /en/
allora non dovrebbe indicizzarmi neache tutto il resto della root!
Spero di essere stato chiaro, altrimenti chiedi pure.
Ciao
-
grazie mille sei stato gentilissimo !!!