Interdire l'indexation d'un répertoire commençant par ...

[toniok]

Les pros de la syntaxe du fichier robots.txt peuvent-ils confirmer que la ligne

Disallow: /a

permet d'empêcher l'indexation d'un répertoire commençant par la lettre "a" ?

J'ai trouvé des informations contradictoires à ce sujet.

J'ai aussi mis en place un petit test pour vérifier ceci en grandeur nature, mais en attendant le crawl, j'aurais bien aimé avoir vos avis !

[Dan]

Tout à fait ! Du moins pour Google.

Tu trouveras toute l'info utile sur cette page : http://www.google.fr/support/webmasters/bi...=1&comment=

Dan

[toniok]

Merci pour ta réponse.

Pour ce qui est des autres moteurs, je vous tiendrai au courant une fois que mon petit test aura pris.

[Jeanluc]

Ton affirmation est exacte et pas seulement pour Google. Cela fait partie de la norme robots.txt qui date de 1994.

Disallow

The value of this field specifies a partial URL that is not to be visited. This can be a full path, or a partial path; any URL that starts with this value will not be retrieved.

Jean-Luc

[Dan]

Tu as raison, je pense toutefois que Google a ajouté la reconnaissance des wildcards dans les noms de répertoires.

Mais tous les moteurs reconnaissent les partiels.

Ou alors il faut que je me replonge dans la norme du robots.txt

[toniok]

Merci Jean Luc pour ta précision et ta référence.

Mon test ne servira alors qu'à vérifier si oui ou non les moteurs autres que Google respectent la norme.