* sur disallow dans robots.txt

[karnabal]

Bonjour,

Dans un fichier robots.txt j'ai remarqué des lignes telles que celles-ci :

Disallow: /topic
Disallow: /topic*

A votre avis quelle était l'intention de la personne qui a ajouté Disallow: /topic* ?

[LebossTom]

bloquer tout ce qui pourrait être après topic seulement la première ligne suffit...

[olitax]

Bonjour,

Je ne vais pas m'avancer sur ce sujet car j'y connais rien du tout. Mais j'ai trouvé ceci >>

Peut être que ça peut aider

Olitax-

++

[karnabal]

L'outil d'analyse de fichier robots.txt de Yooda signale une erreur quand l'étoile est utilisée ici.

[Jeanluc]

A votre avis quelle était l'intention de la personne qui a ajouté Disallow: /topic* ?

C'est clair. La personne ne connaît pas la syntaxe standard du robots.txt. Elle pense qu'il faut utiliser * pour dire "n'importe quelle séquence de caractères", ce qui n'est pas correct.

Disallow: /topic

interdit le crawl de toute URL commençant par /topic.

Jean-Luc