Référencer seulement quelques pages

[enroc]

Bonjour,

voilà je voudrais n'indexer qu'une partie de mon site, le reste étant accessible aux internautes mais pas aux moteurs.

Voici donc mes questions : peut-on dans un robots.txt coupler des directives du genre "disallow: /" et "allow: /toto/" ?

Ou suis-je obliger d'insérer des balises métas robots : noindex dans toutes les pages que je ne souhaite pas voir indexées ?

Corentin

[Jeanluc]

Bonjour,

Je ne vois pas trop l'intérêt de ta manip, mais la question n'est pas là.

allow: est compris par certains robots, mais ne fait pas partie de la norme robots.txt. Tu devrais peut-être penser à restructurer ton site en plusieurs répertoires de telle façon que toutes les pages à indexer (ou à ne pas indexer) soient groupées. Ce serait alors facile de les désigner avec robots.txt.

Jean-Luc

[kot]

En fait, si j'ai bien compris ton problème, tu veux mettre des allow pour les quelques pages à indexer et disallow pour celles que tu veux cacher.

En fait, ce qui importe surtout dans le robots.txt c'est de mettre les "disallow", le reste étant "allow" par défaut.

Donc en gros, tu listes toutes les pages que tu ne veux référencer et tu les mets toutes dans le robots.txt

y'a rien de sorcier

[enroc]

Ok, merci de vos réponses. Je pense effectivement restructurer mon site en 2 répertoires, dont l'un sera interdit.

[kot]

c'est clair que ce sera la plus rapide (pour la partie robots.txt)

faut pas non plus que ça te prenne deux plombes de restructurer ton site...

bon courage,

[Le-juge]

Salut salut ...

Encore un petit truc...a moins que pendant mes vacances forcees les choses aient change je diraisqu'il serait pas malque tu couples ton fichier .txt avec une petite balise meta robot :"no index no follow" dans lespages concernees par le fait de ne pas etre indexees...

J ai deja vu pas mal de fois ou les moteurs de recherches avaient zappe complet les fichiers robots.txt

[enroc]

Aïe ! C'est justement ce que je voulais éviter mais si tu le dis ...