nofollow ou Disallow dans robots.txt, que préférer ?

[xoninkara]

Au lieu d'écrire des tonnes de Disallow dans le robots.txt et de le surchager, est-ce que le nofollow peut faire l'affaire directement dans les pages du site ?

[Cariboo]

Oui bien sûr, mais attention, les deux ne sont pas strictement équivalents...

Une balise nofollow dans un lien n'empêchera pas le crawl. Il faut que tu ajoutes noindex dans le META NAME="ROBOTS", sinon ta page peut être crawlée. Ce qui ne sera pas le cas avec un disallow affectant cette page dans le robots.txt

On oublie souvent que google peut connaitre des urls par des moyens détournés. On trouve ainsi des pages dans google avec juste l'url indexée : la page est connue, mais ne peut pas être crawlée à cause d'un problème technique (et par exemple un disallow dans le robots.txt)

[Jeanluc]

Au lieu d'écrire des tonnes de Disallow dans le robots.txt et de le surchager, est-ce que le nofollow peut faire l'affaire directement dans les pages du site ?

"nofollow" est totalement inapproprié pour remplacer "Disallow". Cariboo a expliqué pourquoi dans sa réponse.

On devrait plutôt comparer "Disallow" avec "noindex":

- "Disallow" interdit le crawl des pages

- "noindex" interdit l'indexation (et n'interdit pas le crawl)

Il est parfois possible de réduire le nombre de "Disallow" en les écrivant de manière optimale (surtout si on vise Google en particulier).

Jean-Luc