Aller au contenu

Nombre de pages indexees


Sujets conseillés

Posté (modifié)

Bonjour,

il y a 2 ans je cherchais un annuaire de lien neutre et j'avais aperçu sur le site de free qu'il avait installé le script dmoz. j'ai donc fait la même chose, seulement voila maintenant je me retrouve avec 1 milion de pages dynamiques référencées (600 000 il y a 1 mois) et en moyenne un crawl de 10000 à 20000 pages par jour. Jusqu'ou cela peut il aller. Dois-je mettre un fichier robot.txt pour empêcher ce crawl.

merci de vos conseils.

Modifié par mahi
Posté

Je ne comprends pas ta question, alors j'aimerai enrichir mes connaissances:

c'est quoi le "script dmoz"

Le site avec 10000 pages par jour crawlée, c'est ton site en signature?

Posté

Bonjour,

Tout dépend de ton hébergement. Il faut qu'il soit dimensionné en fonction de ton trafic. Pas seulement du crawl des robots, mais aussi du trafic des visiteurs, qui - je l'espère pour toi - est plus important que celui des bots ;)

Ceci dit, il faut parfois être sélectif à l'égard des robots. Il y en a des "bons" (ceux de google, msn, yahoo et quelques autres outils de recherche) et certains autres qui abusent de ta bande passante sans t'apporter un seul visiteur, voire pour aspirer tes pages.

Une fois les robots nuisibles identifiés, tu peux les bannir par .htaccess: http://www.webmaster-hub.com/publication/article5.html

Posté

merci jan pour l'info mais c'est justement ces bons robots qui indexent.

Veuillez vous connecter pour commenter

Vous pourrez laisser un commentaire après vous êtes connecté.



Connectez-vous maintenant
×
×
  • Créer...