Robots.txt et pages 404

[guilhem_mdg]

Bonjour à tous,

J'ai un petit souci (enfin peut-être). Je viens de créer une page d'erreur en cas de page non trouvée (via htaccess).

Le problème c'est que je n'ai pas de robots.txt à la racine et du coup Google voit ma page d'erreur à la place de robots.txt !

Est-ce génant ? Les urls qui se trouvent dans la page d'erreur (comme celle du retour à la page d'accueil) ne risquent-elles pas d'être désindexées ?

Merci à tous de vos réponses. :-)

[Dudu]

Salut

Je n'ai pas de réponse précise à ta question: je ne me la suis jamais posée.

En revanche, je ne saurais trop te conseiller de créer ce fichier robots.txt pour contourner cet éventuel problème avec les 404 personnalisées.

Si tu n'as pas de directive particulière d'interdiction des robots, tu laisses ce fichier complètement vierge, et le tour est joué

[guilhem_mdg]

Ok merci pour ta réponse c'est effectivement ce que je pensais faire...

Mais j'aurais souhaité savoir comment google réagis, juste pour savoir ! ;-)

[Jeanluc]

Si une URL renvoie le code 404, il n'y aura aucun problème avec Google, que tu affiches une page d'erreur perso ou pas.

Attention toutefois à bien vérifier que c'est un code 404 que tu envoies :

ErrorDocument 404 /ma-page.html

renvoie un code 404.

ErrorDocument 404 http://www.mon-site.com/ma-page.html

renvoie un code 302.

Jean-Luc

[Soho]

Bonjour,

j'ai une page 404 (via htaccess) depuis longtemps sur mon site.

La page en question présente des liens, notamment retour vers l'index du site

J'ai un fichier robots.txt mais je n'y ai jamis indiqué quelque indication que ce soit conernant ma page 404 et ca n'a jamais empeché Google de bien référencer mon site

A mon avis, fichier robots ou pas, Google sait parfaitement ce qu'est une page 404, du moment qu'elle est correctement déclarée (cf code de jean Luc)

[Kilroy]

Le seul problème qui peut se poser c'est si ton serveur renvoie autre chose qu'un code 404 en cas d'absence d'un robots.txt.

Le robots.txt est le premier fichier que les spiders demandent sur un site

Si ton serveur renvoie un code 500 (ou une autre erreur bizarre), il y a un risque que le spider n'aille pas plus loin : pour lui le site est down.

Et si ça se reproduit à chaque fois qu'il passe... ton site aura de gros problèmes pour se faire indexer !