Les 2 user-agents de GoogleBot

[Jan]

Bonjour,

GoogleBot visite les pages web sous 2 "identités":

User-agent: Googlebot/2.1 (+http://www.google.com/bot.html)

Adresses IP: 66.249.64.* et 66.249.71.*

et

User-agent: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Adresses IP: 66.249.65.* et 66.249.66.* (ces IPs sont par ailleurs utilisées par le robot d'adsense)

Depuis un moment, j'affiche dans pas mal de pages l'IP et l'UA du visiteur en cours. Ceci m'a permis de rechercher sur une centaine de pages en cache dans google, quel Googlebot avait servi à les indexer (par les commande "site:www.site.com Googlebot/2.1" et "site:www.site.com Mozilla/5.0" dans google).

Résultat dans 100% des cas, la page en cache de Google semble être le résultat du crawl du robot Googlebot/2.1 (+http://www.google.com/bot.html).

D'où ma question: savez-vous à quoi sert le robot Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)?

[Kimberlyclarko]

La réponse officielle non officielle (celle donée par GoogleGuy ) est que ça permet à Google de simuler plusieurs types de visiteurs car certains serveurs réagissent différemment en fonction du navigateur...

Voir le post de GGGuy sur cette page :

http://www.webmasterworld.com/forum3/22408-3-10.htm

C'est intéressant ton test ! Cela signifierait que la base établie par l'UA en Mozilla n'est pas exploitée en prod mais sert uniquement à voir s'il y a une différence avec l'index principal... Et il est où le robot qui vérifie si on cloak ou pas ?

[Jan]

Merci pour la réponse (officielle) kimberlyclarkoGuy

Le bot Mozilla m'intrigue d'autant plus que sur certaines pages, il passe avec la régularité d'un métronome toutes les 3 heures, alors que la plupart du temps, le "vrai" bot ne passe qu'une fois par jour (mais la bonne).

Je doute que le bot Mozilla surveille le cloak, son UA n'est pas vraiment discret. Mais un petit test s'impose