Robots .txt

[ziff]

Bonjour

Je viens de créer le forum du club photo dont je fais partie :

Forum Club Photo de Cognin

Depuis la console d'administration, j'ai autorisé et interdit l'accès aux moteurs de recherche en fonction des différentes sections et sous-sections qui le compose ; en effet, certaines sections ne sont accessibles que par certains types d'utilisateurs et je ne souhaite pas que ces section soit accessibles par google.

La question est : ai-je besoin de mettre en place un fichier "robots.txt" pour fiabiliser l'ensemble ?? Sans ce fichier, Google peut il passer sur le forum ?

Merci d'avance

Jérôme

[Wolf18]

Bonsoir,

pour interdire l'accès des robots à certaines parties de ton forum il suffit de les passer au niveau au dessus et donc de n'autoriser que les utilisateurs enregistrés à afficher ces pages. Les robots n'étant pas inscrits sur ton forum ne verront donc pas ces pages là.

Normalement il est donc totalement inutile de rajouter les URLs dans le robots.txt qui rappelons le, n'est pas systématiquement respecté par les moteurs !

[Blop94]

Salut Wolf,

Tu dis que le fichier robot.txt n'est pas toujours suivi, tu peux préciser stp... si les moteurs ne le suivent pas, quel est l'interêt d'en créer un?

Merci

[Jeanluc]

robots.txt est un fichier par lequel tu informes les robots. Après, ils font ce qu'ils veulent. S'ils sont polis (comme ceux de Google, Yahoo ou Microsoft), ils vont faire leur possible pour respecter tes demandes de ne pas visiter certaines parties de ton site. S'ils sont mal intentionnés (comme les robots des spammeurs et des hackers), ils pourraient utiliser le contenu de robots.txt pour savoir où aller faire leurs mauvaises actions.

Ne pas oublier le s dans robots.txt. Les robots lisent le fichier robots.txt, mais ils ne liront jamais un fichier robot.txt !

Jean-Luc

[ziff]

merci pour vos réponses

bonne nuit

jérôme

[yep]

Toutes les informations sur http://www.robotstxt.org/