google head et get

[mx-quou]

que signifie le head et le get chez googlebot ?

par ex pourquoi dans certains cas google fait des head et pas des get ?

est ce un blacklistage, ou une sandbox ? ou autres ?

[KaRaK]

Bonsoir,

Aucun rapport mais le titre de ce topic me fait penser à cela :

http://one.revver.com/watch/26915/flv

Et je voulais en faire profiter tout le monde

[Cariboo]

Lorsque l'on écrit un programme de type "crawler", l'économie de bande passante est une préoccupation de tous les instants.

Pratiquement tous les "bots" ont un comportement qui passe par la consultation du header pour consulter notamment le champ "if modified since" pour savoir si la page a changé depuis leur dernier passage. Si oui, ils aspirent la page, sinon, ils décident de revenir plus tard.