Crawler Combien de pages/minute ?

[smile]

Salut,

J'aimerai savoir combien de pages par minutes un crawler peut-il absorber sans bouffer toutes les ressources du serveur ?

Tout dépend biensur de la config du serveur, mais un robot dit "bien eduqué", je crois fait des pauses entre chaques crawle, selon vous et votre expèrience

Je me suis donné une limite de 25 pages/minutes, certains bots font ils davantage par minute, le HUB doit en voir passer des bots

[smile]

Merci Gilbert,

On dit que les moteurs principaux respectent les sites qu'ils crawlent mais bon je suis surpris du nombre de robots simultanés sur mes sites, il y'a peu j'ai vu 7 ou 8 spiders du même moteur, et ils crawlaient pas une seule page, je trouve que ca fait beaucoup, surtout si ensuite je n'apparais pas pour des requetes dites "riches"...

Vous en pensez quoi ?

Modifié 1 Novembre 2004 par smile

[smile]

Perso, je veux bien faire des services gratuits, performants, bien réalisés mais la pub me permet tout juste d'autofinancer le matèriel. Qu'on se serve très bien, mais qu'il y'ait alors un retour des choses ...

[Anonymus]

Il faut bien comprendre 2 choses :

- Il y aura toujours de plus en plus de crawlers, car il y aura de plus en plus de robots. Si, pour l'instant, le mot d'ordre est 'Autoriser tous les robots, sauf..', bientot, ce sera 'refuser tous les robots, sauf..'. Pour un grand site, le nombre simultané de robots peut nuire à l'ensemble du site, et ils ne se privent pas pour passer 'n'importe quand', à des rythmes parfois assez rapides, pour ne pas dire 'trop rapides'.

Tant qu'il n'y a qu'un nombre limité de robots, le problème ne se pose pas encore. Mais comme tu le sais probablement, on a attend (ou alors c'est pour bientot) l'apogée des annuaires 'persos', et on va bientot entrer dans l'ère des 'moteurs' persos. Là, il faudra compter sur bon nombre de petits robots, qui viendront encombrer les sites et leur bande passante.

De plus, on pourrait bien voir arriver d'autres robots, pas forcément pour les moteurs de recherche, mais pour des sites d'archivage, des collectes d'infos diverses, etc. ou meme tout autre besoin particulier. Bref, on risque d'avoir sur le net tout un trafic généré par des 'collecteurs d'infos', alors même qu'ils ne mettent pas à disposition les infos qu'ils collectent...

Anonymus.

[smile]

Je suis d'accord avec toi Anomymus

Je me suis donné une limite de 25 pages/minutes, certains bots font ils davantage par minute, le HUB doit en voir passer des bots

Lorque je disais cela, c'etait pour les robots qui venaient visiter mes pages, les crawlers d'oscoop eux la fréquence c'est 1 visite par heure et visible immédiatement.

[Dan]

A croire que tu les as attirés.

Ce matin, j'ai eu à plusieurs reprises jusqu'à 60 bots/minute de Google.

C'est bien la première fois qu'il me fait cela...

En tout, en 3 jours, plus de 35000 pages crawlées sur le Hub. Ca fait du monde

Dan

[smile]

A croire que tu les as attirés.

<{POST_SNAPBACK}>

Si j'avais ce pouvoir, je proposerai mes services comme attireur de bots

Modifié 3 Novembre 2004 par smile