Activité de Googlebot en ce moment

[Cleden]

Bonjour,

Je m'inquiète de l'activité de Googlebot sur mes sites actuellement. Je constate qu'il fait une brève apparition tôt le matin puis repart aussi tôt en ayant visité uniquement les pages principales (moins de 5 pages).

Ce problème dure depuis au moins deux semaines, il n'indexe plus mes nouvelles pages.

Avez-vous remarqué cette baisse d'activité de Googlebot dans vos stats ? Merci de répondre à ce petit sondage, pour savoir si tous les sites sont concernés. Si non, quel est le pourcentage de sites concernés.

Merci d'avance,

Loïc.

Modifié 16 Mars 2006 par Cleden

[Régis]

Pour le site de mon entreprise (moins de 100 pages) GG a scanné 3/4 du site il y a 12 jours et la totalité du site aujourd'hui...

Les autres jours, il scanne 3 à 4 pages en moyenne.

Ceci dit, si j'avais eu l'idée de faire un tel sondage... je pense que j'aurai demandé à quelle fréquence GG scanne 50 ou 75 % de votre site...

Bon sondage

PS : j'ai un full scan en gros tout les 15 jours depuis Janvier 2006... contre 3 semaines avant cette date...

Modifié 16 Mars 2006 par gatcweb

[Jan]

L'activité de googlebot sur mes sites est variable, selon les sites. Certains sont énormément crawlés d'autres moins que par le passé.

Mais ce ralentissement que j'observe sur certains sites n'est pas récent, il date de l'update Jagger (novembre 2005). Je n'ai pas trouvé l'explication, mais je me dis qu'il s'agit peut-être d'une pénalité. Ce phénomène rend en tous cas les sites affectés plus difficiles à positionner.

Au global c'est vrai que google est beaucoup plus lent que par le passé à indexer les nouvelles pages (MSN est plus rapide). Et que des liens dans des pages à PR élevé ne suffisent plus à garantir une indexation rapide ou un crawl régulier.

Ce n'est peut-être que temporaire. La mise en place (laborieuse) de big daddy y est peut-être pour quelque chose. Autre nouveauté avec Big Daddy: "Mozilla Googlebot" sert maintenant à indexer les pages en cache, alors qu'avant seul "Googlebot" le faisait.

[altaweb]

Bonjour Jan, ce que tu affirmes et très intéressant,("Mozilla Googlebot" sert maintenant à indexer les pages en cache), car pour moi Mozilla Googlebot servait avant tout pour voir le pourcentage de pages similaires, maintenant tu nous dis qu'il sert aussi à indexer les pages, comment as tu vu cela?.

[Dan]

Je n'ai pas remarqué de ralentissement ces derniers temps.

Comme vous le voyez dans la liste des connectés, GoogleBot campe à demeure sur le Hub... on a d'ailleurs accru le nombre de visiteurs en provenance de Google de 40% ces 30 derniers jours.

Le jour le plus faible (3 mars) nous vaut tout de même 1100 passages de Googlebot... pour un total de près de 750 000 passages durant le dernier mois.

Il vaut mieux avoir de la bande passante à revendre

Dan

[Mikiman]

Bonjour,

Je voulais juste savoir comment faire pour avoir des informations comme celles présentes sur le screen posté par Dan ?

Faut-il installer un script spécifique ? Est-ce un service fournit avec l'hébergement ?

Merci d'avance

[Régis]

Je voulais juste savoir comment faire pour avoir des informations comme celles présentes sur le screen posté par Dan ?

Bonjour Mikiman,

Il s'agit de SpyWords dont tu as le forum dédié ici : http://www.webmaster-hub.com/index.php?showforum=111

[Mikiman]

Merci beaucoup

[michmuch51]

A mon avis ce phénomène vient de l'update.

j'ai changé le title de ma home page il y a plus de 15 jours et google est toujours sur l'ancien

Le plus drôle c'est que yahoo, msn, ont fait la mise à jour il y a au moins 1 semaine...

Encore un peu et même voila aura changé de cache alors que GG sera toujours sur l'ancien

[Urban]

Tous mes site on eu droit à leur full crawl depuis moins de 15 jours.

[Cleden]

On ne peut donc dire que cette baisse des crawls un phénomène généralisé. Certains sites semblent touchés, d'autres moins.

Coté trafic c'est moyen. On ne s'en rend pas compte mais les pages récemment bénéficient d'une forme de prime de fraicheur, le fait de ne plus avoir cette apport influe pas mal.

Pour ma part, la différence est net puisque, auparavant, Googlebot passait très régulièrement. J'ai tout nouveau forum qui ne demande qu'à être indexé

Il a encore passé cette nuit pour m'indexer deux pages (l'index et le dossier forum).

Ca serait sympa que ceux qui n'ont pas encore voté, le fassent. On pourrait avoir des chiffres plus significatifs.

Merci à ceux qui ont déjà voté et/ou participé

Loïc.

[Cleden]

Je remet ce sujet sur le tapis car il y a du nouveau de mon coté.

Googlebot a fullcrawlé mon site le weekend dernier. Quelques jours après (~2), je vois apparaitre les nouvelles pages sur un des datacenters. Mais depuis, ces nouvelles pages n'apparaissent pas sur les autres datacenter

J'ai l'impression qu'il y une sorte de gueguerre entre les bigdaddys et les autres DC ( 216.239.53.99 pour ma part) et que cela ralentit considérablement les délais d'indexation des pages.

[fredwat]

Je remet ce sujet sur le tapis car il y a du nouveau de mon coté.

Googlebot a fullcrawlé mon site le weekend dernier. Quelques jours après (~2), je vois apparaitre les nouvelles pages sur un des datacenters. Mais depuis, ces nouvelles pages  n'apparaissent pas sur les autres datacenter 

J'ai l'impression qu'il y une sorte de gueguerre entre les bigdaddys et les autres DC ( 216.239.53.99 pour ma part) et que cela ralentit considérablement les délais d'indexation des pages.

<{POST_SNAPBACK}>

Salut

complètement d'accord avec toi sur ce sujet

ce que je remarque depuis plusieurs semaines c'est que le bot indexe moins rapidement les nouvelles pages qu'avant (elles sont pourtant du même niveau et leur construction est identique)

avant c'était passage tous les 2 jours (5) d'où une indexation dans le même délai

:!:

En ce moment ce gros feignant ne passe qu'épisodiquement et il faut parfois jusqu'à 7 jours pour voir la (les) page (s) dans les résultats.

La commande site: le confirme d'ailleurs très bien

Ce gros pépère (BD) fiche la pagaille auprès de ses enfants

Patience donc...

A+

Fred