Robots.txt et l'indexation...

[BZHcool]

Bonjour,

Je n'ai pas de robots.txt sur mon site et je pense en mettre un... du genre:

User-agent:*
Disallow:

Est ce que dans ce cas toutes mes pages peuvent-etre indexées... et si celà est le cas les robots tiendront t'ils compte d'une ou deux pages ayant un meta interdissant l'indexation ??

Sinon peut on mettre un fichier appelé robots.txt sans rien dedans... et quel conséquence celà peut-il avoir

[Dams]

Ne jamais mettre un robots.txt vide

De plus il faut savoir que le fait d'avoir un robots.txt n'exemplte pas le robot de l'info contenu dans les metas..

L'avantage du robots.txt c'est qu'il permet d'interdire le crawlage alors que les metas interdisent l'indexation.

La subtilité est la.... Dans le second cas tes pages sont lues pour rien. Pas grave dans le cas ou tu n'a que 2 pages. Mais plus genant si il s'agit d'un "bloc"d'urls que tu ne veux pas voir indexés.

Dernier conseil ne jamais mettre dans le robots.txt des urls que l'on ne souhaite pas rendre publique (Style espace admin), du genre /Espacecacherquejeneveuxpasvoirpublier

En effet le robots.txt etant publique, cela ne cache rien à l'utilisateur mal intentionné, et lui donne l'endroit ou attaquer le site

Modifié 2 Janvier 2004 par Dams

[BZHcool]

Merci pour toutes ces infos... je vais enfin pouvoir mettre un Robots.txt en toute tranquilité sur mon site...

Je pense que l'on peut donner l'adresse de ton outils gratuit pour justement tester un robots.txt... Tester un ROBOTS.TXT

[Anonymus]

Ne jamais mettre un robots.txt vide

L'avantage du robots.txt c'est qu'il permet d'interdire le crawlage alors que les metas interdisent l'indexation.

Bonjour,

1/ pourquoi ne pas en mettre un vide ?

2/ cela sous entend que le robot peut jeter un oeil à la page en question, ne pas l'indexer, mais récupérer les url qui s'y trouvent, non ?

Merci.