davidm Posté 22 Juin 2006 Posté 22 Juin 2006 Désolé si ma question est triviale, je ne suis pas expert en robots... Habituellement, si je veux masquer un répertoire aux robots, je rajoute simplement : User-agent: *Disallow: /monrepertoirecache/ Pour un répertoire existant physiquement sur le serveur, no problem... Maintenant, dans le cas d'utilisation d'un CMS qui permet l'utilisation de la ré-écriture d'URL, si j'ai un truc du genre http://www.monsite.com/monrepertoirecache/ Comment le robot va t-il interpréter ce répertoire qui en fait n'existe que grâce au .htaccess ? Par quel moyen puis-je protéger cette partie du site ? Merci !
Remi Posté 22 Juin 2006 Posté 22 Juin 2006 A mon avis, il n'y a aucun problème : Un robot ne s'occupe pas de savoir si le répertoire existe physiquement ou pas, il accède à des urls et avec robots.txt, on lui dit dit simplement "ne va pas lire les urls qui commencent par..."
davidm Posté 22 Juin 2006 Auteur Posté 22 Juin 2006 Ok merci, mais entre temps mon petit cerveau a réussi à suffisamment chauffer pour se souvenir de ça : <META NAME="ROBOTS" CONTENT="NOINDEX"> Si je met ça dans le template de la page en question, ça doit marcher, non ?
Jeanluc Posté 22 Juin 2006 Posté 22 Juin 2006 Ce n'est pas la même chose. Avec robots.txt, tu dis aux robots de ne pas venir lire certaines pages. S'ils ne viennent pas lire la page, ils ne dévorent pas ta bande passante pour rien et il y a peu de chance qu'ils indexent la page. Avec la META, il faut bien que les robots viennent lire la page pour voir qu'elle contient la META qui leur interdit de l'indexer. Donc, en général, à éviter (question d'efficacité). Jean-Luc
Sujets conseillés
Veuillez vous connecter pour commenter
Vous pourrez laisser un commentaire après vous êtes connecté.
Connectez-vous maintenant