probleme avec les IP des bots de google

[slender]

Bonjour,

J'étais auparavant habitué aux IP multiples pour les bots mediapartner et pour googlebot/2.1. Je les différenciais sans problème grâce à leurs IP. Récemment j'ai vu disparaître googlebot/2.1 de mon tableau de suivi des bots. En regardant mes logs je me suis aperçu que les deux bots (médiapartner et googlebot/2.1) avaient maintenant la même IP: 66.249.66.228. Je suis obligé maintenant de les différencier par leur user_agent.

Avez vous constaté la même chose?

slender

[Jan]

Bonjour,

Mediapartner, le robot d'adsense, partage depuis un moment déjà les mêmes IPs que Mozilla Googlebot (66.249.65.*, 66.249.66.*, 66.249.72.*) alors que googlebot/2.1 avait les IPs 66.249.64.* et 66.249.71.*.

Jusqu'à récemment (big daddy) googlebot/2.1 était le seul qui servait à indexer les pages dans l'index de Google (mise en cache).

Depuis big daddy, il semble que googlebot/2.1 soit en voie de disparition, et que Mozilla Googlebot soit le bot qui se charge de l'indexation.

Ce nouveau bot indexeur (Mozilla) semble aussi avoir une stratégie de crawl sensiblement différente de l'ancien googlebot/2.1.

Alors que googlebot/2.1 rendait des visites quotidiennes aux pages à partir du moment où elles avaient un certains nombres de backlinks, beaucoup de webmasters signalent que Mozilla Googlebot les visite à des fréquences plus espacées. Il se dit que Mozilla Googlebot déterminerait la fréquence de ses crawls en fonction de la fréquence des mises à jour d'une page.

Pour le moment ces changements de stratégie de crawl ne semblent pas avoir d'impact direct sur le positionnement des pages. Mais le phénomène est très récent, et donc à suivre.

A voir sur webmasterworld: http://www.webmasterworld.com/forum30/33792-1-10.htm

[slender]

jan, je te remercie pour ton post qui m'éclaire un peu mieux sur la manière dont GG indexe maintenant. Apparemment le phénomène a été constaté par ailleurs.

J'ai pris sur moi depuis peu (1 semaine) de faire varier en contenu ma page d'index tous les jours et de signaler par une modif de sitemap.xml ces modifications ainsi que les nouvelles pages ajoutées au site.

Je vais suivre de près le nouveau comportement des bots et vais essayer d'observer la fréquence des fullcrawls qui étaient auparavant de 7 jours chez moi et qui semblent avoir disparu en tant que tels avec la nouvelle tendance.

L'affaire me semble à suivre de toute façon.

[slender]

à lire:

http://www.mattcutts.com/blog/q-a-thread-march-27-2006/