robot.txt et cas particuliers

[dreddy]

Bonjour,

Un petit nouveau de plus sur le Hub.

je connais ce forum depuis longtemps, mais je n'ai jamais eu l'occasion de m'inscrire et de poster, car toutes les réponses à mes questions étaient déjà proposées.

Mais aujourd'hui j'ai une question sur les fichier "robots.txt". Ces fichiers qui permettent de ne pas indexer des documents ou des répertoires me posent aujourd'hui problème.

En effet, je souhaiterais indexer un répertoire se trouvant dans un répertoire non indexable.

explications : Un répertoire nommé "mag" du site contient en lui-même un "minisite" que je ne souhaite pas voir indexé. Cependant, ce répertoire contient un répertoire nommé "media" ou des documents pdf sont produits et je souhaite les indexer.

Je recherche une parade sur mon fichier robots.txt afin d'arriver à indexer ce répertoire "media".

En l'état, d'après mes connaissances si je précises aux robots de ne pas indexer le répertoire "mag" il n'y aura pas de possibilité d'indexer le répertoire enfant "media".

User-agent: * # ici tous les robots

Disallow: /mag/ # on interdit l'accès et l'indexation de "mag"

Si vous connaissez un paramètre ou une variable pour parvenir à l'indexation du répertoire "media" sans avoir besoin de créer une copie de celui-ci dans un répertoire"indexable" merci de me le faire savoir.

Modifié 26 Mai 2008 par dreddy

[holloway]

Salut et bienvenue sur le hub;

Et si vous précisez sur le robots.txt les lien que tu ne voulé pas indexer en mettant tout les liens au lieu de repertoire ?

[dreddy]

j'y est pensé, mais le problème est que le "ministe" est dynamique, un zone de travail en gros et cela serait très lourd à gérer dans le robots.txt.

Merci pour ta réponse