Verifier que mon site est "crawlable"

[hcplayer]

Bonjour,

Je m'explique, je me suis fait un petit portail perso en utilisant les sessions de phpbb sur cette adresse : http://www.games-arena.net

Il y a bien une session, mais je ne la lance que lorsque le nom d'agent ne correspond pas à un robots, j'en profite pour remercier les gens qui ont participer à ce topic : http://www.webmaster-hub.com/index.php?showtopic=19256 ce qui m'a beaucoup aidé

Voila, je vérifie avec le plus vif intérêt depuis avant hier que les robots continue de surfer normalement quand aujourd'hui j'apperçois un truc qui me plait moyen :

Googlebot-adsense : index.php?sid=92f7e22026f03eb6a9965afa91cd1763 (1 hit) parmi d'autres sans variables.

Est-ce une spécificité d'adsense de récupérer les variables d'url d'anciens visiteurs, ou ai-je cafouillé quelque part ? Quoi qu'il en soit est il possible de tester la crawlabilité (ça existe ça? ) de mon site ?

Tant de questions...

Merci de votre attention,

Stephane

[Anonymus]

google-adsense est le robot google qui vérifie la page, pour y placer les annonces. Il est donc normal qu'il accède au contenu, histoire de savoir quelles annonces il doit y placer.

[Sebastien]

Pour le bot Adsense c'est normal car il visite les urls que tes visiteurs chargent.

Pour juger de la crawlabilité d'un site, tu peux par exemple le visiter avec Firefox + la barre web developer en désactivant javascript et les cookies, ou bien utiliser lynx. Il y a plein de méthodes en fait.

[Le-juge]

Salut

Y a spider simulator aussi je crois... mais la methode de sebastien est tres bien

[yvan02]

Pour se faire une idée de toutes les pages qui vont être crawlée, il y a aussi http://www.sitemaps.blocklayer.com/

La liste constituée pour le sitemap est très proche de ce qui va effectivement être crawlé.

[hcplayer]

merci pour vos réponses, (que d'inquiétude), il semble que les robots n'ont pas de problèmes chez moi