- Home
- Categorie
- La Community Connect.gt
- News Ufficiali da Connect.gt
- REVISIT-AFTER ignorato da google...
-
REVISIT-AFTER ignorato da google...
ciao a tutti!
visto e considerato che il tag REVISIT-AFTER viene oramai ignorato dai motori di ricerca, qul'è ora lo strumento complementare a questo?
ho un grosso porblema che gli spider entrano in un mio sito (con 200.000 pagine), tutti i santissimi giorni in tutte le pagine del sito, generando circa 1Gb solo di spider!!!per me questo è un grosso problema, come posso risolverlo??grazie mille!
-
@sultano83 said:
ciao a tutti!
visto e considerato che il tag REVISIT-AFTER viene oramai ignorato dai motori di ricerca, qul'è ora lo strumento complementare a questo?
ho un grosso porblema che gli spider entrano in un mio sito (con 200.000 pagine), tutti i santissimi giorni in tutte le pagine del sito, generando circa 1Gb solo di spider!!!per me questo è un grosso problema, come posso risolverlo??gzip
-
scusa...non ho capito...cosa dovrei fare...gzip???
grazie!
-
Forse c'è poco da fare.
Io eliminerei gli spider che non sono motori di ricerca famosi e che per esempio fanno solo spam elencandoli nel file robots.txt
Per provare invece a limitare google e yahoo puoi uploadare e segnalare una sitemap dove c'è l'apposito tag <changefreq> che indica al motore di ricerca la fraquenza con cui quella pagina è modificata, e un pò la tengono in considerazione.
Ciao!!
-
@sultano83 said:
scusa...non ho capito...cosa dovrei fare...gzip???
grazie!
gzip è una libreria che permette di comprimere tutte le pagine del tuo sito dinamicamente. Risparmi il 70% di banda circa.
Io lo uso e funziona benissimo, non penalizza anzi, lo usa anche google. I browser lo accettano persino per CSS e JS. Se usi PHP abilitarlo è piuttosto facile. Chiaramente aggiungi carico al processore.
-
Per google puoi usare l'apposita sezione contenuta negli strumenti per webmaster, per decidere di rallentarlo
http://www.google.it/support/webmasters/bin/answer.py?answer=48620&topic=8511
-
@mmmatteo said:
Forse c'è poco da fare.
Io eliminerei gli spider che non sono motori di ricerca famosi e che per esempio fanno solo spam elencandoli nel file robots.txt
Per provare invece a limitare google e yahoo puoi uploadare e segnalare una sitemap dove c'è l'apposito tag <changefreq> che indica al motore di ricerca la fraquenza con cui quella pagina è modificata, e un pò la tengono in considerazione.
Ciao!!
Abbiamo una lista nel forum, o cmq potremmo crearla, per inserire questi spam-bot nel robots.txt? Sevondo me sui grossi siti succhiano davvero tanti gbyte in un mese...
-
grazie di cuore a tutti! non mi aspettavo...
allora claudioweb ho letto la guida, e sono anche registrato ai servizi di google, ma dove cavolo si trova quella benedetta funzione* "Più lentamente"* non sono riuscito a trovarla!!!!!
per gik25, visto che usa il gzip per compattare le pagine, la classe l'hai trovata in giro già pronta?tu come hai fatto?
grazie di cuore a tutti!
-
@sultano83 said:
allora claudioweb ho letto la guida, e sono anche registrato ai servizi di google, ma dove cavolo si trova quella benedetta funzione* "Più lentamente"* non sono riuscito a trovarla!!!!!
Una volta verificato il sito, è il terzo tool "Crawl rate"
-
Gzip? se usi PHP trovi numerosi esempi già fatti sul sito.
Deve essere la prima riga del file, o meglio deve essere prima di ogni output html:
non <html><?php gzip(); ?> ma <?php gzip(); ?><html>Dove gzip() è la funzione che trovi sul sito ufficiale di php.
Prova a fare una ricerca.
-
grazie claudio!
l'ho trovato al volo...gentilissimo speriamo risolvo il problema!!grazie!!
PS gik25 aspetto il tuo consiglio sul gzip!!
