Webmasterworld se désindexe des moteurs

[Jan]

Bonjour,

L'info est étonnante! http://www.webmasterworld.com/robots.txt

Brett Tabke, l'admin de wmw annonce la mise en place de ce robots.txt qui bloque l'indexation du site sous le titre :"lets try this for a month or three...": http://www.webmasterworld.com/forum9/9593.htm

Ca n'a pas trainé: wmw n'est déjà plus dans google: http://www.google.com/search?hl=fr&q=site%...erworld.com&lr=

J'ai beau chercher je ne vois pas ce qui peut le motiver à se tirer une telle balle dans le pied. Un instinct suicidaire?

Dan tu essayes quand avec le Hub?

[Dan]

Perso j'aurais tendance à dire que pour un site un peu "successful" la charge induite par les crawls est loin d'être négligeable.

Quand on voit que sur le Hub j'ai eu des pointes régulières entre 60 et 70 000 passages de Googlebot par jour durant ces 30 derniers jours, et que Yahoo! crawle environ 300 000 pages par mois on arrive à mieux voir la charge que cela représente.

Sans crawl, je pouvais rester à l'ancien serveur sans souci. Mais ce sont les pages vues par les robots qui ont forcé principalement ce changement de serveur.

[Jeanluc]

Ca n'a pas trainé: wmw n'est déjà plus dans google: http://www.google.com/search?hl=fr&q=site%...erworld.com&lr=

Je pense que, si le site a complètement disparu de Google, ils ont aussi dû le désincrire avec l'interface de suppression d'URL. A mon avis, il n'est pas possible d'obtenir ce résultat uniquement avec le robots.txt.

En quelque sorte, ils se sont fait blacklister volontairement

Jean-Luc

[xpatval]

Perso j'aurais tendance à dire que pour un site un peu "successful" la charge induite par les crawls est loin d'être négligeable.

Quand on voit que sur le Hub j'ai eu des pointes régulières entre 60 et 70 000 passages de Googlebot par jour durant ces 30 derniers jours, et que Yahoo! crawle environ 300 000 pages par mois on arrive à mieux voir la charge que cela représente.

Sans crawl, je pouvais rester à l'ancien serveur sans souci. Mais ce sont les pages vues par les robots qui ont forcé principalement ce changement de serveur.

<{POST_SNAPBACK}>

La rançon du succès ? Devenir très (trop ?) connu amène à investir (pour le hub) afin de garantir un même service de qualité...

Le HUB = une entreprise ?

xpatval

[Jan]

Je pense que, si le site a complètement disparu de Google, ils ont aussi dû le désincrire avec l'interface de suppression d'URL. A mon avis, il n'est pas possible d'obtenir ce résultat uniquement avec le robots.txt.

<{POST_SNAPBACK}>

Je pense aussi. Mais dans ce cas, ce n'est pas 1 ou 3 mois que va durer l'essai, mais au moins 6 mois, délai minimum que google met à réintégrer les sites supprimés par l'interface.

[Cendrillon]

Perso j'aurais tendance à dire que pour un site un peu "successful" la charge induite par les crawls est loin d'être négligeable.

<{POST_SNAPBACK}>

je suis assez de cet avis ... d'ailleurs WMW a t'il encore besoin de Google ? le monde du référencement est suffisament restraint pour que le bouche à oreille suffise (surtout sur la cible recherchée) ... dans ces conditions pourquoi consommer de la bande passante inutilement ...

PS : peut être se sont ils rendu compte que le cloaking destiné à Googlebot est trop utilisé par les webmasters "radins" ...

Modifié 23 Novembre 2005 par cendrillon

[Jan]

PS : peut être se sont ils rendu compte que le cloaking destiné à Googlebot est trop utilisé par les webmasters "radins" ...

<{POST_SNAPBACK}>

Ce n'est pas une question d'argent. Contrairement à une idée communément répandue, l'accès à wmw est gratuit, à l'exception de quelques salons (payants). Il nécessite juste d'être inscrit, ou comme tu le dis de faker l'user agent d'un bot Cette possibilité de "decloaking" va peut-être effectivement disparaitre.

[Magicoyo]

C'est une explication, mais ça me parait tout de même fou.

Peut-être veut-il tester l'indexation et le positionnement par Google d'un site nouveau mais ultra populaire ? et i.e. la sandbox et le trusrank ???

[lafleur]

Peut-être aussi qu'il juge que la publicité, auprès de sa cible, que lui amène son choix fait mieux que compenser le trafic moteur qu'il perd

[Anonymus]

Ou... Serait-ce un choix... tactique ??

En interdisant l'accès de son forum aux bots, il se retrouve avec... des milliers de BL vers son forum, sans en émettre un seul vers l'extérieur.

On verra de toute facon, bientôt ce que peut donner ce genre d'initiatives

# Please, we do NOT allow nonauthorized robots any longer.

Après réflexions.. S'il sait exactement que google ne passe pas sur son forum, d'autre part, il va savoir qui se cache derrière son UA customisé, pour lire le forum inaccessible ?

Autrement dit, ceux qui changent leurs user agent pour lire le forum risquent de se faire repérer rapidement, puisque google ne passe plus.