Duplicate Content lié aux proxy

[Buzzy]

Bonjour,

Je prends le temps de publier sur le Hub pour vous demander de l'aide, je gère plusieurs sites internet et j'ai depuis quelques jours d'importants problème de duplicate content de la totalité de certains site internet sur Google du à des proxy qui indexe les pages visitées dans Google.

J'ai trouvé une solution pour tous ceux hébergés sur Appspot avec ce code :

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} AppEngine-Google [NC]
RewriteRule .* - [F]

Via (http://www.dontbeevil.fr/duplicate-content-web-proxy/)

Mais il est impossible de bloquer des proxy tels que :

baidu.proxy.cv.ua

3proxy.de

doomoney.com

xtps.in

run-it.rsi-network.fr

Quelqu'un aurait une solution ? Je perds un temps fou à lutter contre ces spameurs du web pour le moment en vain...

[rubenxela]

Bonjour

Tu devrais effectivement essayer de bloquer ces robots, bienque je pense que la plupart d'entre eux ne suivent pas les recomandations des robots.txt notamment. Pour les bloquer via ton htaccess tu devrais voir tes logs et les repérér ainsi.

Je te conseille également l'utilisation de la Meta canonical sur tes sites.

Bonjour,

Je prends le temps de publier sur le Hub pour vous demander de l'aide, je gère plusieurs sites internet et j'ai depuis quelques jours d'importants problème de duplicate content de la totalité de certains site internet sur Google du à des proxy qui indexe les pages visitées dans Google.

J'ai trouvé une solution pour tous ceux hébergés sur Appspot avec ce code :

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} AppEngine-Google [NC]
RewriteRule .* - [F]

Via (http://www.dontbeevil.fr/duplicate-content-web-proxy/)

Mais il est impossible de bloquer des proxy tels que :

baidu.proxy.cv.ua

3proxy.de

doomoney.com

xtps.in

run-it.rsi-network.fr

Quelqu'un aurait une solution ? Je perds un temps fou à lutter contre ces spameurs du web pour le moment en vain...

Modifié 25 Mai 2012 par rubenxela

[Buzzy]

Merci pour ces renseignements, j'ai eu beau chercher comment trouver leurs IPs dans les logs ou via des tutos grâce aux Whois je n'y arriver pas...

Surtout que je remarque d'autres proxy tels que : afagh-fc.com et lucki13.com commencent à copier mon contenu et à le dupliquer dans Google également.

Quelqu'un aurait-il un peu de temps pour m'aider à trouver les IPs à bloquer de ces proxys ?

[Buzzy]

J'ai trouvé une règle à mettre dans le .htaccess qui en bloque certains, si ça peut aider :

RewriteEngine onRewriteCond %{HTTP:VIA} !^$ [OR]

RewriteCond %{HTTP:FORWARDED} !^$ [OR]

RewriteCond %{HTTP:USERAGENT_VIA} !^$ [OR]

RewriteCond %{HTTP:X_FORWARDED_FOR} !^$ [OR]

RewriteCond %{HTTP:PROXY_CONNECTION} !^$ [OR]

RewriteCond %{HTTP:XPROXY_CONNECTION} !^$ [OR]

RewriteCond %{HTTP:HTTP_PC_REMOTE_ADDR} !^$ [OR]

RewriteCond %{HTTP:HTTP_CLIENT_IP} !^$

RewriteRule ^(.*)$ - [F]