robots.txt et parametres dans url

[adn]

Bonjour,

Je souhaite ne pas voir référencer certaines pages de la forme :

www.xxxx.com/boutique.php?s=yyyyyyyyyyyyyyyy

Est-ce possible dans un robots.txt ?

[Jeff]

Bonjour adn,

Je te conseille d'intégrer directement dans ta page boutique.php cette balise :

<meta name="robots" content="noindex, follow" />

qui sera prise en compte sur toutes les variables de la page.

Sinon tu serais obligé de mettre toutes les possibilités de pages vues ( ?s=yyy ; ?s=zzz, ?s=yz ect ... ) dans ton robots.txt

<edit Jeff>

Si seulement certaines pages de doivent pas être indexées, tu peux alors si tu connais l'url exacte les rajouter dans ton fichier robots.txt

Disallow: /boutique.php?s=yyyyyyyyyyyyyyyy

Disallow: /boutique.php?s=zzzzzzzzzzzzzzzzzz

</edit>

Jeff,

Modifié 26 Décembre 2005 par Jeff

[Jeanluc]

Bonjour,

Que veux-tu faire exactement ?

Si tu ne veux pas que les robots visitent les adresses commençant par /boutique.php?s=, tu mets ceci dans les disallow de ton robots.txt :

Disallow: /boutique.php?s=

Si tu ne veux pas que les robots visitent l'adresse unique /boutique.php?s=cette-valeur-ci, tu mets ceci dans les disallow de ton robots.txt :

Disallow: /boutique.php?s=cette-valeur-ci

Jean-Luc

[Spidetra]

Bonjour,

Que veux-tu faire exactement ?

Si tu ne veux pas que les robots visitent les adresses commençant par /boutique.php?s=, tu mets ceci dans les disallow de ton robots.txt :

Disallow: /boutique.php?s=

c'est autorisé cette syntaxe ?

Je croyais que les regexp ne marchaient pas dans un robots.txt ?

[Jeanluc]

c'est autorisé cette syntaxe ?

Je croyais que les regexp ne marchaient pas dans un robots.txt ?

Je crois que tu as lu trop vite... Ce que je propose n'est pas une expresssion régulière.

Jean-Luc

[Spidetra]

si j'ai bien compris ta syntaxe. ce que je ne comprend pas c'est : "commençant par".

Pour moi la syntaxe interdit la page : boutique.php?s= et seulement celle-là.

si ça marche, ça m'intéresse. merci pour l'info, ja vais aller tester

[Jeanluc]

Pour moi la syntaxe interdit la page : boutique.php?s= et seulement celle-là.

Beaucoup le croient, mais ce n'est pas ce que dit la spécification. J'ai essayé d'expliquer ici : [i]http://www.annuaire-info.com/robots/txt.html

Tu as raison de dire que le standard robots.txt n'acceptent pas les expressions régulières, mais il compense cela, dans une certaine mesure, en considérant que ce qui est indiqué après un Disallow: est le début d'une URL interdite.

Donc, dans le deuxième exemple, pour être rigoureux, j'aurais dû écrire

Disallow: /boutique.php?s=cette-valeur-ci

interdit l'accès à toutes les URL qui commencent par /boutique.php?s=cette-valeur-ci, comme :

- /boutique.php?s=cette-valeur-ci

- /boutique.php?s=cette-valeur-ci2

- /boutique.php?s=cette-valeur-ci&couleur=rouge

Pour compliquer tout ça encore un peu plus, quelques robots acceptent des extensions du standard avec support des caractères spéciaux "*" et "$"

Jean-Luc

[adn]

Merci à tous les deux

Je pensais comme anorci que cette syntaxe n'était pas possible :

Disallow: /boutique.php?s=

Donc je vais ajouter çà dans mon fichier

[adn]

Pour être encore plus précis, il s'agit d'un sous-domaine, je peux donc mettre un robots.txt directement à la racine ?

[Jeanluc]

Pour être encore plus précis, il s'agit d'un sous-domaine, je peux donc mettre un robots.txt directement à la racine ?

Le robots.txt du domaine principal ne concerne pas les sous-domaines. Le robots.txt du sous-domaine doit se trouver à l'adresse :

[i]http://sous-domaine.domaine.com/robots.txt

Jean-Luc

[adn]

Encore merci

[Spidetra]

merci pour les précisions, et l'articles sur robots.txt. instructif !