Spider, indicizzazione e copia cache

E’ passata ormai qualche settimana, ma solo ora ho ricavato un po’ di tempo per buttare giù due righe a riguardo e desideravo condividerle con voi.
In occasione della creazione di un nuovo blog su wordpress.com ho avuto modo di osservare i tempi di indicizzazione e gli aggiornamenti della copia cache.
Il blog è stato creato il […]

BeTheBot.com, ovvero come fingersi Googlebot

Googlebot non assomiglia affatto al robottino illustrato nel disegno qui sopra: è semplicemente lo spider di Google, ovvero l’agente sguinzagliato per il web il cui compito è quello di scansionare quanti più siti possibile, e quindi includerne le pagine all’interno dell’indice del motore di ricerca.
Questo bot vede più o meno quello che noi vediamo quando […]