Google n'aime pas l'url rewriting

[Cariboo]

C'est officiel : Google n'aime pas la réécriture d'urls...

J'ai toujours été étonné de voir que pour beaucoup, le SEO consistait principalement à écrire des mots clés dans des urls présentées comme jolies, ou "search engine friendly". Par exemple beaucoup de CMS, qui se vantent d'être optimisés pour le SEO, n'offrent en réalité qu'une solution pour avoir des urls "SEF".

Mon discours a souvent détonné, étant par expérience circonspect sur l'intérêt des SEF.

J'ai souvent dit par exemple :

- que le poids des mots clés dans les urls était faible dans l'algo

- que pas d'url rewriting était mieux à coup sûr qu'un mauvais url rewriting

- qu'il valait mieux éviter de réécrire les urls si cela engendrait des redirections compliquées ou des urls "hiérarchiques" (genre /rub1/rub2/rub3/ficheproduit.html)

J'ai eu l'occasion de rappeler encore ce point de vue "prudent" sur l'intérêt des SEF urls dans la présentation que j'ai faite pour mon agence au salon ecommerce.

Mais là c'est Google qui le dit !

http://googlewebmastercentral.blogspot.com/2008/09/dynamic-urls-vs-static-urls.html

(les esprits mal placés, après avoir lu l'article, constateront que le blog de google ne suit pas forcément ces recommandations LOL)

"Does that mean I should avoid rewriting dynamic URLs at all?

That's our recommendation, unless your rewrites are limited to removing unnecessary parameters, or you are very diligent in removing all parameters that could cause problems. If you transform your dynamic URL to make it look static you should be aware that we might not be able to interpret the information correctly in all cases."

A la lecture de l'article, on comprend que l'url rewriting gêne surtout Google pour crawler de manière "astucieuse" les sites.

Mais est-ce que cela signifie que le "mot clé dans l'url" n'a plus de poids ?

Trois hypothèses :

1. Il en a toujours. Mais Google n'en a cure, le problème du crawl est devenu plus important.

2. Il en a moins. Google juge que les mots clés dans l'url ne l'aident pas à déterminer si une page est une réponse pertinente à une requête. Dans ce cas, il peut privilégier le crawl.

3. Il en a toujours, mais Google veut que l'on distingue plus facilement les urls statiques et dynamiques, pour que les mots clés comptent dans les urls statiques et disparaissent des autres.

En tout cas, on pourra noter que Google trouve les urls "SEF" plus du tout "friendly".

Il va falloir les rebaptiser SEU "search engine unfriendly" lol

[olitax]

Bonsoir,

Merci pour l'information Cariboo ! Même si au premier regard j'ai cru avoir mal lu le titre Mais finalement non...

Et pour les autres moteurs de recherche ? Que faire ?

Olitax-

++

[yuston]

Le problème c'est aussi que l'URL rewriting est d'un point de vue "humain/utilisateur" plus ergonomique. Voir une adresse du type /categorie/id-nom-article-mot-cle.html c'est toujours plus rassurant que /articles.php?categorie=1&idarticle=1

Donc le discours de Google change? Ne faites plus les sites pour les utilisateurs, mais faites les pour les robots?

[KaRaK]

Hello,

D'après ce que j'ai compris, google indexe sans problème les urls avec paramètres du type :

-http://www.example.com/article/bin/answer.foo?language=en&answer=3&sid=98971298178906&query=URL

Ils ont un algo capable de supprimer les paramètre inutiles et donc de régler des problèmes de duplicate content, ce qui deviendra :

-http://www.example.com/article/bin/answer.foo?language=en&answer=3

Certains rewrites posent des problèmes à Google, par exemple :

www.example.com/article/bin/answer.foo/en/3/98971298178906/URL

Tout simplement par que dans ce cas là, leur algo de suppression de paramètre et d'anti-duplicate est inefficace. Mais à mon avis cela ne signifie pas que Google n'aime pas l'url rewriting, juste certains types de rewrite.

Concernant l'utilité de placer des mots clés et l'impact sur le ranking, cela semble être au mieux un léger bonus sinon sans effet et au pire un moyen de détecter des sur-optimisations.

Par ailleurs, le mythe du bénéfice de la réecriture des urls de .php en .html semble également s'envoler...

[Jeanluc]

Je partage le point de vue de yuston: des URL bien réécrites sont un plus pour l'internaute.

Et que cela plaise à Google ou non, cela me laisse complètement indifférent.

Ce poste qu'ils ont publié est indécent. Il prend les webmasters pour des naïfs qui seraient prêts à abandonner l'URL rewriting pour que les robots et les ingénieurs de Google doivent un peu moins se fatiguer. Non mais ! Les ingénieurs de Google ont à être plus créatifs pour optimiser leur moteur, plutôt que d'essayer de forcer les choses avec des méthodes aussi mal pensées que le rel="nofollow" ou que ce post publié sur leur blog pour webmaster.

Jean-Luc

[ams51]

Comme je l'ai lu dans les commentaires

On doit maintenant faire des sites pour les robots et plus pour les visiteurs

Franchement le rewriting simplifie beaucoup la lisibilité des urls...

[alain-b]

A mon avis, l'URL Rewriting n'a aucun intérêt pour l'Internaute.

Le poids des mots clé me semble très faible, voire nul pour des pages "dynamiques" donc qui ont une durée de vie courte ( site d'actualité)

Pour des pages réellement "statiques" (disons qui sont faites pour durer) avec un contenu riche et éventuellement mis à jour, le positionnement est surement amélioré au bout de plusieurs mois par le poids de l'url.

Modifié 28 Septembre 2008 par alain-b

[Kioob]

Je suis entièrement d'accord avec KaRaK ; il s'agit juste des "rewriting mal foutus" que Google n'aime pas. Pour ma part il ne me serait jamais venu à l'idée de coller un identifiant de session ou un referer dans un rewriting (déjà mettre l'ID de session dans l'URL... hem). Je ne comprends même pas ce qui a pu pousser certains à faire ça.

Sinon tout comme les autres, pour moi le rewriting est avant tout pour améliorer la lisibilité/confort de l'internaute, pas pour le référencement.

[Leonick]

Moi, ce que j'ai compris c'est qu'ils n'aiment pas le mauvais rewriting, du genre qui si on appelle la page www.example.com/rep1/id-mapage on puisse aussi y accéder par www.example.com/rep2/id-mapage ou www.example.com/rep1/rep2/rep3/id-mapage

Et un certain nombre de sites sont faits comme cela.

Alors ensuite, comment ranger la page ? elle sera raccrochée à quelle catégorie ? car comme cela fait du duplicate content, il faut bien donner la priorité à une des pages.

[Eti.n]

C'est encore un bel exemple de notre problématique à tous : comment trouver un bon compromis entre référencement optimum et site lisible/beau/agréable pour l'utilisateur final...les deux étant incompatibles...

Pour les url, je me place dans le cas du tourisme que je connais bien, par exemple, je pense que si on veut être bien positionné et indexé une page sur les restaurants à Paris dans le 19, il est préférable d'avoir dans l'url :

/restaurants-paris19. ou un truc du genre...

Plutôt qu'une url n'ayant ni queue ni tête : cela rassure, exprime clairement le contenu que l'internaute est censé trouvé sur la page... pour encore une grande partie des utilisateurs qui ne sont pas comme nous, cad qui connaissent encore mal le web, il faut toujours être ultra-explicite et rassurant, surtout quand c'est pour vendre quelque chose derrière...

Pour les pages qui ont moins d'importance, aucun problème pour laisser des url ayant peu de sens aux yeux des utilisateurs.

Donc je dirais d'accord pour que le rewriting ne soit pas systématique sur toutes les url.

Pas d'accord pour certaines pages importantes pour le site et pour les utilisateurs.

[Djolhan]

Merci pour l'article, c'est tres intéressant, mais comme la majorité, je trouve dommage de laisser des paramètres aussi complexe qui ne veulent rien dire pour l'internaute, plutot qu'une URL claire facilement copiable et qui, il faut le dire, ressemble a quelque chose

[captain_torche]

Ce que je retiens de l'article, c'est que si on doit passer une pléthore de paramètres, il ne faut pas faire de réécriture, afin de permettre à Google de trier ces paramètres. Dans le cadre d'une réécriture "normale", il n'y a aucun souci.

[Sebastien]

Ce que dit Google ce n'est pas que l'URL rewriting est mal en soi, mais qu'il est dangereux pour le site, car une régle mal écrite peut poser des problèmes d'indexation et/ou de duplicate. Dans le doute mieux vaut s'abstenir donc de son point de vue.

[karnabal]

je pense que si on veut être bien positionné et indexé une page sur les restaurants à Paris dans le 19, il est préférable d'avoir dans l'url

Positionné en terme d'image peut-être, en terme de position chez Google, clairement non, aucun impact (ou minime, si le lien porte sur l'anchor text). Quand à l'indexation, pas d'impact non plus.

[Nicolas]

J'ai des sites sans rewriting qui se portent très bien d'un point de vue référencement ;-)

Lorsque je rewrite c'est pour avoir des urls "propres". Ca me sert déjà en interne pour vérifier plus facilement l'indexation de chaque page (et nouvelle page).

Après si ca apporte quelque chose au niveau du positionnement tant mieux sinon ce n'est pas grave car ce n'est pas le but initial (dans mon cas).

Je pense qu'il est difficile de prouver que ca apporte quelque chose de significatif. Ce n'est pas dit que ca apporte absolument rien non plus ;-)

[Dan]

Je pense qu'il faut analyser les besoins au cas par cas.

Par exemple, Invision s'indexe très facilement sans réécriture, alors que PhpBB2 ne s'indexe pas (ou presque)

Donc, inutile de se lancer tête baissée dans de la réécriture. Je l'ai fait pour le site http://www.lisons.info parce qu'il est tout de même plus parlant d'avoir une URL avec le nom de l'auteur plutôt que simplement son numéro.

[Galdon]

Pour moi l'URL rewriting est une bonne chose car c'est plus agréable et facile à utiliser pour l'utilisateur (et au passage ça permet d'avoir des stats plus précises, car GG Analytics ne tient pas compte par défaut des paramètres dans les URL par exemple).

Après, certains CMS ou sites abusent de cette fonctionnalité pour injecter des tonnes de mots clé dans l'URL. Et cela va à l'encontre de ce que j'ai dit précédemment puisque ça rend les URL plus longues donc plus bordéliques (je me permets), et par conséquent plus complexes.

[buzzistic]

Je pense que le vrai souci de Google c'est de confondre dossiers et pages, et que vu qu'ils ne sont pas dans le serveur "physique" de chaque site, c'est vrai qu'un mauvais rewriting peut porter à confusion.

Toutefois, je vois une très bonne application à l'usage pour le rewriting : retrouver une page facilement. Vous aurez noté que Firefox 3 vous permet de retrouver les adresses consultées "on the fly" au fur et à mesure que vous tapez.

J'utilise personnellement cette fonction comme un moteur de recherche pour retrouver une page qui m'a intéressé (veille, etc) et je pense que l'appli se base sur le titre de la page mais aussi son url. Avoir des mots clés dans son url peut aussi amener du trafic par là.

Tout dépend comment on fait l'url "réécrite" : je pense qu'une simple extension suffit à Google pour ne plus flipper sur le coté "dossier ou pas dossier" ?

[fandecine]

Etant donné que google ne dispose d'aucun moyen fiable de savoir si une url est re-écrite, il serait plus sage de dire que Google n'aime pas les urls complexes et/ou malfoutus

L'url rewriting n'a rien a voir avec tout ça, c'est juste une technique !

[Patrick]

Fandecine, pourrais-tu étayer un peu plus ton propos et nous éclairer sur ce qui te permet d'affirmer sans équivoque possible que Google n'a aucun moyen fiable de détecter de l'url rewrinting ?

++

Patrick

[Jeanluc]

Patrick,

L'URL rewriting est entièrement réalisé à l'intérieur du serveur web. Aucune entité extérieure (moteur de recherche ou navigateur) ne sait ce que fait le serveur web de l'URL reçue avant d'en afficher le contenu. A l'extérieur du serveur web, personne ne peut savoir de manière techniquement certaine s'il y a eu réécriture d'URL ou pas.

Un moteur de recherche pourrait éventuellement rassembler des présomptions concernant l'URL rewriting à partir de la détection de duplicate content ou de l'observation des en-têtes HTTP. Comme fandecine, je suis convaincu que Google ne veut pas lutter contre l'URL rewriting, mais contre les URL mal foutues et contre les sites à la structure embrouillée (pages vides et duplicate content) ou abusive (génération automatique de pages, par exemple).

Jean-Luc

[Patrick]

Merci Jeanluc pour ton rappel sur le fonctionnement de l'url rewriting.

Tu n'apportes pas de réponses à ma question et je ne pense pas qu'une conviction, surtout en matière de SEO, soit suffisante pour être aussi affirmatif que l'est Fandecine. Je réitère donc mon souhait d'avoir l'explication de Fandecine sur ce point, s'il le veut bien

J'ai appris à être très prudent en ce qui concerne les moteurs de recherche. Il y a quelques mois tous le monde était convaincu que Google faisait la chasse aux annuaires (surtout ceux en réseau) et blablabla. Bref aujourd'hui il y a toujours autant d'annuaires, autant de réseaux d'annuaires et même des articles "très sérieux" commencent à démentir la prétendue chasse aux annuaires !

++

Patrick

[Kioob]

Patrick : parce que c'est le cas. L'URL rewriting ne laisse absolument aucune trace coté "client", il n'y a rien du tout qui puisse permettre à qui que ce soit de s'avoir qu'il y a du rewriting. Même si un moteur décidait de pénaliser ou favoriser le rewriting, ce ne serait pas techniquement faisable.

Seulement si c'est mal fait qu'il y a des pages en double à différentes URL ou autres joyeusetées de ce genre, là ça peut poser problème : Google doit alors tenter de détecter les pages en double afin de "nettoyer sa base".

Typiquement mettre un ID de session en rewriting, ça empêche de Google de facilement voir que c'est un ID, et donc à chaque consultation du site il se retrouve avec des centaines/milliers de nouvelles URL... alors qu'il s'agit des mêmes pages.

Bref comme dis plusieurs fois au dessus, ce que Google n'aime pas c'est la mauvaise utilisation du rewriting.

EDIT : hem, j'avais loupé plusieurs messages en fait.... donc ça fait un peu doublon

[Patrick]

Pas tout à fait d'accord !

Réponse du header pour une page html "non rewritée"

(Status-Line) HTTP/1.1 200 OK

Date Sat, 18 Oct 2008 13:20:33 GMT

Server Apache/2.2.X (OVH)

Vary Accept-Encoding

Content-Encoding gzip

Content-Length 1875

Keep-Alive timeout=5, max=100

Connection Keep-Alive

Content-Type text/html

Réponse du header pour une page html "rewritée"

(Status-Line) HTTP/1.1 200 OK

Date Sat, 18 Oct 2008 13:19:19 GMT

Server Apache/2.2.X (OVH)

X-Powered-By PHP/4.4.9

Vary Accept-Encoding

Content-Encoding gzip

Content-Length 2369

Keep-Alive timeout=5, max=100

Connection Keep-Alive

Content-Type text/html

Les pages sont du même site histoire de na pas remettre en cause la réponse du header.

La différence est visible, donc parfaitement traitable par les robots ? Non ?

++

Patrick

[Jeanluc]

C'est traitable par des robots (j'y faisais allusion dans ma réponse précédente), mais c'est généré par le serveur web, donc un webmaster adroit peut y mettre ce qu'il veut.

Pourquoi penses-tu que Google serait opposé à l'URL rewriting en tant que tel ?

Jean-Luc