bobdeo Posté 28 Février 2007 Posté 28 Février 2007 Salut, Cet après-midi mon serveur (Gentoo) était inaccessible. Le serveur semblait surchargé (Mémoire à 100%, + de 300 process vs - de 100 habituellement). J'ai donc cherché dans les logs pour voir l'activité avant le plantage et je pense à un robot. Comme je suis débutant j'aimerai avoir votre avis : ---- deamon.log ---- Feb 28 17:38:23 ns23065 collectd[2663]: No sleeping because `timeval_sub_timespec' returned non-zero! Feb 28 17:39:18 ns23065 collectd[2663]: No sleeping because `timeval_sub_timespec' returned non-zero! ---- error.log ---- [Wed Feb 28 17:38:32 2007] [error] server reached MaxClients setting, consider raising the MaxClients setting ---- Dans l'access.log d'un site hébergé ---- 147.91.22.145 - - [28/Feb/2007:17:39:04 +0100] "GET /tag/sbs-broadcasting HTTP/1.1" 200 1179 "-" "Java/1.5.0_05" 147.91.22.145 - - [28/Feb/2007:17:37:54 +0100] "GET /tag/malignetv HTTP/1.1" 200 1179 "-" "Java/1.5.0_05" 147.91.22.145 - - [28/Feb/2007:17:39:09 +0100] "GET /tag/upc HTTP/1.1" 200 1179 "-" "Java/1.5.0_05" 147.91.22.145 - - [28/Feb/2007:17:39:10 +0100] "GET /tag/virgin HTTP/1.1" 200 1179 "-" "Java/1.5.0_05" 147.91.22.145 - - [28/Feb/2007:17:37:45 +0100] "GET /tag/liberty-media HTTP/1.1" 200 1179 "-" "Java/1.5.0_05" 147.91.22.145 - - [28/Feb/2007:17:39:09 +0100] "GET /tag/telecom-italia HTTP/1.1" 200 1179 "-" "Java/1.5.0_05" 147.91.22.145 - - [28/Feb/2007:17:39:09 +0100] "GET /tag/tdf HTTP/1.1" 200 1179 "-" "Java/1.5.0_05" 147.91.22.145 - - [28/Feb/2007:17:39:08 +0100] "GET /tag/uefa HTTP/1.1" 200 1179 "-" "Java/1.5.0_05" 147.91.22.145 - - [28/Feb/2007:17:39:08 +0100] "GET /tag/s%C3%A9nat HTTP/1.1" 200 1179 "-" "Java/1.5.0_05" Merci
Phobos Posté 28 Février 2007 Posté 28 Février 2007 (modifié) Salut, http://147.91.22.145/ on dirait bien que c'est un robot en java, à afficher 4 pages par secondes comme ça, ton serveur n'a pas aimé Modifié 28 Février 2007 par Phobos
bobdeo Posté 28 Février 2007 Auteur Posté 28 Février 2007 tout simplement... merci comment je pourrai limiter ça ? Disons autoriser que n connexion par seconde et par IP ?
bobdeo Posté 1 Mars 2007 Auteur Posté 1 Mars 2007 tout simplement... mercicomment je pourrai limiter ça ? Disons autoriser que n connexion par seconde et par IP ? Sinon on m'a conseillé d'augmenter le nombre de maxserver dans le conf d'apache. Qu'en pensez-vous ?
Salesforce Posté 1 Mars 2007 Posté 1 Mars 2007 Bloque déjà ce user-agent via ton .htaccess : Java/1.5.0_05 Ca ne bloquera aucun utilisateur, ni les principaux moteurs de recherche et ça t'évitera de consommer inutilement des ressources. Plus globalement, il faut se prémunir contre les aspirateurs de sites, la première étape consiste donc à bloquer leur user-agent lorsqu'ils en ont un spécifique. Ca ne règle pas tout mais ça donne une grosse bouffée d'air. Ca aura un impact sur tes stats car tu verras une baisse du nombre de pages affichées mensuellement
ludo88 Posté 1 Mars 2007 Posté 1 Mars 2007 mais ces pages la ne représentaient pas de vrais visiteurs et donc aucun autre interet que de faire gofler artificiellment des stats
bobdeo Posté 4 Mars 2007 Auteur Posté 4 Mars 2007 Pas mal mais ça ne résoudra que partiellement mon problème... Exemple en début d'après-midi franchement c'est abusé ! 85.31.105.42 - - [04/Mar/2007:14:37:26 +0100] "GET /feed/ HTTP/1.1" 302 328 "-" "Blogdimension/Alpha2 (Blogdimension BlogBot; http://www.blogdimension.com)"85.31.105.42 - - [04/Mar/2007:14:37:12 +0100] "GET /tag/europe HTTP/1.1" 200 59361 "-" "Blogdimension/Alpha2 (Blogdimension BlogBot; http://www.blogdimension.com)"85.31.105.42 - - [04/Mar/2007:14:37:19 +0100] "GET /tag/freeview HTTP/1.1" 200 58042 "-" "Blogdimension/Alpha2 (Blogdimension BlogBot; http://www.blogdimension.com)"85.31.105.42 - - [04/Mar/2007:14:37:25 +0100] "GET /tag/jeux-olympiques-%28jo%29 HTTP/1.1" 200 66461 "-" "Blogdimension/Alpha2 (Blogdimension BlogBot; http://www.blogdimension.com)"85.31.105.42 - - [04/Mar/2007:14:37:26 +0100] "GET /tag/loi HTTP/1.1" 200 57625 "-" "Blogdimension/Alpha2 (Blogdimension BlogBot; http://www.blogdimension.com)"85.31.105.42 - - [04/Mar/2007:14:37:28 +0100] "GET /feed/ HTTP/1.1" 302 328 "-" "Blogdimension/Alpha2 (Blogdimension BlogBot; http://www.blogdimension.com)"85.31.105.42 - - [04/Mar/2007:14:37:28 +0100] "GET /feed/ HTTP/1.1" 302 328 "-" "Blogdimension/Alpha2 (Blogdimension BlogBot; http://www.blogdimension.com)"85.31.105.42 - - [04/Mar/2007:14:37:27 +0100] "GET /tag/lci HTTP/1.1" 200 58540 "-" "Blogdimension/Alpha2 (Blogdimension BlogBot; http://www.blogdimension.com)"85.31.105.42 - - [04/Mar/2007:14:37:28 +0100] "GET /feed/ HTTP/1.1" 302 328 "-" "Blogdimension/Alpha2 (Blogdimension BlogBot; http://www.blogdimension.com)"85.31.105.42 - - [04/Mar/2007:14:37:28 +0100] "GET /feed/ HTTP/1.1" 302 328 "-" "Blogdimension/Alpha2 (Blogdimension BlogBot; http://www.blogdimension.com)"85.31.105.42 - - [04/Mar/2007:14:37:17 +0100] "GET /tag/france-2 HTTP/1.1" 200 57251 "-" "Blogdimension/Alpha2 (Blogdimension BlogBot; http://www.blogdimension.com)"85.31.105.42 - - [04/Mar/2007:14:37:28 +0100] "GET /feed/ HTTP/1.1" 302 328 "-" "Blogdimension/Alpha2 (Blogdimension BlogBot; http://www.blogdimension.com)"85.31.105.42 - - [04/Mar/2007:14:37:30 +0100] "GET /feed/ HTTP/1.1" 302 328 "-" "Blogdimension/Alpha2 (Blogdimension BlogBot; http://www.blogdimension.com)"85.31.105.42 - - [04/Mar/2007:14:37:30 +0100] "GET /tag/ina HTTP/1.1" 200 58439 "-" "Blogdimension/Alpha2 (Blogdimension BlogBot; http://www.blogdimension.com)"85.31.105.42 - - [04/Mar/2007:14:37:31 +0100] "GET /feed/ HTTP/1.1" 302 328 "-" "Blogdimension/Alpha2 (Blogdimension BlogBot; http://www.blogdimension.com)"85.31.105.42 - - [04/Mar/2007:14:37:29 +0100] "GET /tag/hbo HTTP/1.1" 200 49917 "-" "Blogdimension/Alpha2 (Blogdimension BlogBot; http://www.blogdimension.com)"85.31.105.42 - - [04/Mar/2007:14:37:31 +0100] "GET /feed/ HTTP/1.1" 302 328 "-" "Blogdimension/Alpha2 (Blogdimension BlogBot; http://www.blogdimension.com)"85.31.105.42 - - [04/Mar/2007:14:37:32 +0100] "GET /tag/kabel-deutschland HTTP/1.1" 200 53340 "-" "Blogdimension/Alpha2 (Blogdimension BlogBot; http://www.blogdimension.com)"85.31.105.42 - - [04/Mar/2007:14:37:32 +0100] "GET /tag/nantes-7 HTTP/1.1" 200 51562 "-" "Blogdimension/Alpha2 (Blogdimension BlogBot; http://www.blogdimension.com)"85.31.105.42 - - [04/Mar/2007:14:37:33 +0100] "GET /tag/kto HTTP/1.1" 200 59111 "-" "Blogdimension/Alpha2 (Blogdimension BlogBot; http://www.blogdimension.com)" Comment gérez-vous ce type de consultation massive ?
Salesforce Posté 4 Mars 2007 Posté 4 Mars 2007 (modifié) Le .htaccess ne fait pas tout. Il faut aussi utiliser le robots.txt, et pour les bots ne respectant pas ce fichier il faut aussi envisager de bloquer des IPs. Il n'y a pas de solution miracle qui résolve d'un coup le problème, la correction sera progressive, en fonction des constatations qui peuvent être faites depuis les logs Nb : blogdimension n'apportant pas vraiment de visiteurs, et au vu du nombre de pages qu'il aspire, il peut être bloqué Modifié 4 Mars 2007 par Salesforce
ludo88 Posté 4 Mars 2007 Posté 4 Mars 2007 Ils sont en lancement, ils ont besoin de remplir leur abse de données d'ou : ils ne t'envoient pas beaucoup de visiteurs, ils consomment beaucoup de ressources. A toi de voir si tu leur laisse un acces, si tu les contacte ou si tu coupes tout sur leur(s) ip
Sujets conseillés
Veuillez vous connecter pour commenter
Vous pourrez laisser un commentaire après vous êtes connecté.
Connectez-vous maintenant