Erreur Google : Impossible d'atteindre le fichier robots.txt

[lemoussel]

Bonjour,

Jusqu'à début Octobre mon site : http://www.ville-arnieressuriton.com/ était indexé régulièrement par Google et tout se passait bien.

Et là depuis environ 2 semaines GG n'indexe plus mon site

En effet dans Google Outil pour Webmaster j'ai le message d'erreur suivant :

Réseau inaccessible: Impossible d'atteindre robots.txt

Nous n'avons pas été en mesure d'explorer votre sitemap. En effet,

nous avons trouvé un fichier robots.txt à la racine de votre site mais

nous n'avons pas pu le télécharger. Assurez-vous qu'il est accessible

ou supprimez-le complètement.

J'ai essayé à plusieurs reprises de resoumettre le Sitemap, je récupère toujours cette erreur.

Pourtant d'autres robots accèdent sans anomalie au fichier robots.txt. Voici un extrait de la log :

 
74.6.18.215 - - [25/Oct/2008:16:56:55 +0200] "GET /robots.txt HTTP/1.0" 200 468 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)" 
207.241.229.167 - - [25/Oct/2008:16:55:04 +0200] "GET /robots.txt HTTP/1.1" 200 468 "-" "ia_archiver-web.archive.org" 
38.108.180.52 - - [25/Oct/2008:18:32:30 +0200] "GET /robots.txt HTTP/1.1" 200 468 "-" "Mozilla/5.0 (compatible; ScoutJet; +http://www.scoutjet.com/)" 
64.158.138.84 - - [25/Oct/2008:19:03:56 +0200] "GET /robots.txt HTTP/1.1" 200 468 "-" "BlogPulseLive (support_AT_blogpulse.com)" 
174.36.200.242 - - [25/Oct/2008:19:19:48 +0200] "GET /robots.txt HTTP/1.1" 200 468 "-" "Browsershots" 
67.202.35.13 - - [26/Oct/2008:02:52:00 +0200] "GET /robots.txt HTTP/1.0" 200 468 "-" "ia_archiver (+http://www.alexa.com/site/help/webmasters; crawler_AT_alexa.com)" 
209.131.41.48 - - [26/Oct/2008:06:17:10 +0100] "GET /robots.txt HTTP/1.0" 200 468 "-" "YahooFeedSeeker/2.0 (compatible; Mozilla 4.0; MSIE 5.5; http://publisher.yahoo.com/rssguide)"

J'ai même refait une soumission en supprimant ce fichier robots.txt et j'ai la même erreur. Va comprendre

Et depuis cet incident Google a stoppé l'indexation de mon site...

Je suis donc dans une impasse car je ne vois pas le pourquoi de ce message d'erreur de GG. Je ne sais donc plus quoi faire...

Le fichier robots.txt :

http://www.ville-arnieressuriton.com/robots.txt

Le fichier sitemap.xml :

http://www.ville-arnieressuriton.com/sitemap.xml

Merci de votre aide.

[Dan]

Je vois que ta version d'Apache a mod_bandwidth installé.

Es-tu sûr que Google ne soit pas tombé dans le trou pour excès de bande passante utilisée ?

[lemoussel]

Tiends donc, bien Vu

Mais avant que je me rapproche de mon hébergeur, comment puis je savoir si Google est tombé ou pas dans le trou pour excès de bande passante utilisée ?

[Dan]

Tu dois avoir les logs de mod_bandwidth ...

[lemoussel]

En fouinant dans le répertoire /tmp je n'ai rien trouvé.

Sinon j'ai aussi regardé dans l'interface CPanel mais je n'ai rien trouvé non plus.

Modifié 28 Octobre 2008 par lemoussel

[Dan]

Cela devrait se trouver dans /var/log ou /var/log/httpd ...

[lemoussel]

Mais malheureusement je n'ai pas accé a ce type de répertoires via FTP via mon hébergement

Je pense que je n'ai donc plus qu'a voir avec mon hébergeur.

[Dan]

Regarde toujours dans tes logs Apache. Peut-être qu'ils n'ont pas scindé les logs de mod_bandwidth.

[lemoussel]

Euh ..... Et comment je peux les regarder les logs Apache ?

Car sous Cpanel, j'ai

Log des erreurs : pas de trace.

Log des accés : rien, pas de trace GoogleBot, cela est peut etre normal si bloqué en amont avec mod_bandwidth.

[lemoussel]

Pb résolu. Cela étatit une anomalie du mod security dapache chez l'hébergeur