Bloc non affiché quand referer vide -> cloaking ou pas?

[Strekk]

Hello,

Je me pose une question à propos du cloaking :

Ma boutique ecommerce a un moteur de recherche. Ces pages de recherche sont en NOINDEX, comme google le préconise. Sur ces pages de recherche, il y a des liens de "recherche filtrée" (faceted navigation), qui permettent de filtrer par couleur, par taille, par marque, etc. Résultat, quand googlebot va les voir, il a des centaines de combinaisons à crawler, pour rien puisque de toutes façons elles sont en noindex.

Mon idée: étant donné que Googlebot vient toujours avec un referer vide, je voudrais n'afficher les liens de navigation filtrée que lorsqu'il y a un referer. S'il n'y a pas de referer, et donc si c'est Google (ou quelqu'un qui a tapé directement l'url, mais c'est super rare sur les pages de recherche), pas de navigation filtrée. Et donc, des centaines de pages que google n'aura pas besoin de crawler, sachant que de toutes façons elles sont en noindex et que donc ça sert à rien.

A votre avis, c'est du cloaking ou pas? Apres tout, je ne fais rien de spécial pour google, un visiteur qui vient directement sur la meme url verra la meme chose...

Merci de votre avis.

[Jeanluc]

Bonjour et bienvenue sur Webmaster-Hub,

Théoriquement c'est robots.txt qui devrait être utilisé pour empêcher le crawl. Y a-t-il quelque chose qui t'empêche de l'utiliser ?

Jean-Luc

[Strekk]

Oui, j'ai lu une interview d'un monsieur de Google qu'il fallait éviter d'utiliser robots.txt, sauf quand on ne peut pas faire autrement. Il faut mieux laisser Google Crawler, en mettant les pages en NOINDEX.

La raison est simple: si une page est interdite par robots.txt, les liens qui amènent sur cette page ne pointent nulle part, le pagerank qui leur est transmis par les liens qui pointent vers elles est perdu (pareil avec le nouveau système de nofollow d'ailleurs). Alors qu'en NOINDEX, google va voir ces pages, leur transmet du pagerank, et même si elles ne sont pas indexées, elles en transmettent à leur tour aux liens qu'elles contiennent. Donc il n'est plus perdu, ou en tout cas pas totalement.

Donc voilà, ma question c'est surtout, est-ce que le fait de désactiver un bloc de liens quand le referer est vide (quel que soit le user-agent ou l'ip, je ne regarde que le referer) peut être considéré comme du cloaking, sachant que n'importe quel visiteur "humain" qui fait la meme requete sans referer verra la meme chose?

Modifié 31 Mars 2010 par Jeanluc
citation intégrale du message précédent supprimée

[Jeanluc]

Tu pousses l'optimisation très loin!

Je suis d'accord avec toi: ce n'est pas du cloaking puisque Googlebot verra la même chose que les visiteurs qui ont désactivé les referrers dans leur navigateur.

Jean-Luc

[Strekk]

Disons que c'est surtout pour éviter à google d'aller crawler des milliers de pages pour rien, ainsi il crawle plus vite mes pages "utiles". Parce que pour chaque recherche, s'il y a disons 5 critères de 8 valeurs, et 10 pages de résultats, tu imagines le nombre de combinaisons possibles qu'il va falloir crawler... Sans la navigation filtrée, ça fait juste 10 pages et c'est tout.

Bon je vais tenter d'activer ce truc, au pire si google sanctionne, je retirerai et je demanderai un réexamen, on va bien voir...

[captain_torche]

Pourquoi ne pas utiliser la meta "canonical" dans ce cas ? Elle me semble toute indiquée.

[Strekk]

Le meta canonical je l'utilise effectivement pour les pages indexées (notamment les pages de catégories qui ont le même système de navigation par filtres). Mais pour les résultats de recherche, ce sont des pages en NOINDEX. Donc le canonical n'a pas vraiment de signification, puisqu'il veut dire "n'indexe pas cette page mais celle-ci".

Et puis le but c'est surtout de lui éviter de crawler des pages pour rien, et pour voir la balise canonical, il faut qu'il crawle la page :-)

[Strekk]

Bon j'ai une meilleure idée. Ces liens de filtrage, je vais les mettre en javascript via l'appel d'une fonction dans un .js séparé. Ainsi, Google ne pourra pas les suivre, et ça ne peux pas être pris pour du cloaking... En plus je peux aussi l'appliquer à la navigation filtrée dans les catégories :-)

Quand à la nécéssité d'avoir le javascript activé, de toutes manière, c'est obligatoire pour que la boutique fonctionne, donc...

Qu'est-ce que vous en pensez?

Modifié 2 Avril 2010 par Strekk