boussole Posté 31 Mars 2011 Posté 31 Mars 2011 Bonjour Je m'apercois qu'un robot cree virtuellement du duplicate en me créant des répertoires à la volée à partir des sites intégrés dans ma base, exemple du style http://www./Arteco /ingienerie,466,5.html mon htacess ErrorDocument 404 http://www..com/Options +FollowSymlinks RewriteEngine onRewriteRule ^([^,.]*),([0-9]+)(,([0-9]*))*\.html index.php?cat=$2&p=$4 [L]RewriteRule ^([0-9]+)-in*\.html$ gestion/in.php?id=$1 [QSA,L]RewriteRule ^([0-9]+)-in*\.html$ in.php?id=$1 [QSA,L]RewriteRule ^([0-9]+)*\-in.html$ gestion/in.php?id=$1 [QSA,L]RewriteRule ^rss/([^-.]+)-([^-.]+)-([^.]+)\.xml$ rss/index.php?flux=$1&cat=$2&name=$3 [QSA,L]RewriteRule ^([^,.]*)-([0-9]+)*\.html$ p_display.php?id=$2 [QSA,L]RewriteRule ^([^-.]*)-([0-9]+)*\.html$ index.php?cat=$2 [L] mon robots.txt User-agent: *Disallow: /%3FDisallow: /index.php%3FDisallow: /install/Disallow: /admin_netref/Disallow: /backoffice/Disallow: /gestion/Disallow: /ajoutsite.php?cat=Disallow: /ajoutcat.php?cat=Disallow: /ajoutsite.php?cat=0Disallow: /ajoutcat.php?cat=0Disallow: /p_alpha.phpDisallow: /p_awards.phpDisallow: /p_new.phpDisallow: /p_parten.phpDisallow: /p_best.php Il est évident que je ne peux pas mettre des interdictions dans mon robots.txt de tous les repertoires crées. Je cherche à interdire ce type de crawl, je n'arrive pas non plus à comprendre par quel chemin passe-t-il ??? Merci si vous avez des solutions n'hesitez pas !
Sujets conseillés
Veuillez vous connecter pour commenter
Vous pourrez laisser un commentaire après vous êtes connecté.
Connectez-vous maintenant