Sposto in Laboratorio Seo

Un buon elenco dei più noti HTTP User Agents è su:

http://www.useragentstring.com/pages/Crawlerlist/

usa la funzione "ricerca nella pagina" del tuo browser per avere link ad approfondimenti dell'User Agent (tra cui gli Spider...) desiderato.

Continua a visitare spesso il mio sito ma non ho ancora capito precisamente di quale spider si tratta.

Dato che questo spider mi da molti errori 404 notificati nella mia email del tipo:

Sito: www.sito.it
Codice Errore: 404 Sito.it - File non trovato ()
Accaduto il: Sun 13 May 23:05:58 CEST 2007
URL in errore: /[email protected]
Indirizzo IP del browser: 67.94.
Browser: Java/1.4.1_04
Pagina di provenienza:

Posso limitarlo tramite robot.txt? O si tratta di un qualche spider utile?

Io continuo a ricevere visite, adesso si fanno più frequenti, passa almeno una volta al giorno, ma non è sempre lo stesso, ecco gli ultimi passati:

Java VM 1.4.2
Java VM 1.5.0
Java VM 1.4.1
Java VM 1.6.0

@glanzetta said:

Io continuo a ricevere visite, adesso si fanno più frequenti, passa almeno una volta al giorno, ma non è sempre lo stesso, ecco gli ultimi passati:

Java VM 1.4.2
Java VM 1.5.0
Java VM 1.4.1
Java VM 1.6.0

Suppongo che qualsiasi programma scritto in Java setti in automatico Java VM come useragent (a meno che l'utente non espliciti una preferenza diversa). In questo caso il programma in questione potrebbe servire a qualsiasi cosa. Tuttavia è improbabile che si tratti di software di grandi dimensioni (altrimenti l'avrebbero scelto un useragent).

Dopo tanti mesi ancora non sono riuscito a capire di cosa si tratta!!!

Servirà a qualcosa? O è meglio bloccarlo?

Up!

Può darsi che sia un programma che controlla il tuo sito che è stato scritto in JAVA oppure qualche spider sperimentale. Quelli che sono più proccupanti a mio dire sono i libwww-perl che provano a iniettare codice malevole.

Quindi nessuno sa se vale la pena eliminarlo o no?