Google récupère-t-il des mots-clés sur les pages bloquées par robots.txt?

[EvilRyu]

Salut à tous!

J'ai un site web et afin que seule la page d'accueil soit visible sur google etc.., j'ai créer un fichier robots.txt qui bloque l'accès aux autres pages du site, afin qu'elles ne soient pas visibles lors d'un recherche google. J'ai cependant indiqué l'existence de ces pages sur un fichier sitemap.xml.

Je voudrais donc savoir si googlebot scannait quand même ces pages, afin de récupérer des mots-clés, sans pour autant afficher ces même pages sur le moteur de recherche?

En fait, pour être plus clair, la page index.html du site n'a pas vraiment de contenu, c'est un script qui detecte la version du navigateur et dirige l'utilisateur en fonction. Mais je voudrais ce que ce soit cette page qui sorte en premier dans les resultats des moteurs de recherche... Normal quoi... c'est la page principale après tout.

en espérant avoir été assez clair

Je vous remercie de votre aide

[Patrick]

Salut,

Je dirais carton rouge

Ayant bien compris ce que tu cherches à faire, la façon dont tu t'y prends peut avoir de lourde conséquence.

J'ai bien compris que tu souhaitais que ta page d'accueil apparaissent avant les autres pages de ton site sur les SERP.

Avant de te donner la moindre info pour essayer de faire ce que tu demandes, j'ai 2 cht'ites questions : au final (court, moyen ou long terme) voudras-tu que ton site soit bien positionné sur Google ou quasiment invisible ? Sur combien de requêtes (mots-clés) ? 1, 5 , 10 plus ?

Dans tous les cas tu t'y prends mal

++

Patrick

[EvilRyu]

Merci de ta réponse!

Je trouve impressionnant que tu puisses dire que je m'y prend mal, car je n'ai presque rien détaillé. On voit tout de suite l'oeil de l'expert

Dejà, il me semblait bien que le fichier robots.txt servait à cela ( empêcher des pages d'etre visibles dans les moteurs de recherche ), donc je ne comprend pas vraiment où est la faute

Je pense que ta première question est rhétorique, car bien évidement je veux que le site soit bien positionné à long terme. Et pour les mots clés, je dirais 3.

Et oui, je voudrais que ma page d'accueil soit la première. Je vais essayer d'etre plus clair. C'est comme si pour un site de design, par exemple, en tapant dans google " nom du designer " , le premier ( voire le seul dans le meilleur des cas) résultat qui s'affiche soit "www.bobledesigner.com" au lieu de "www.bobledesigner.com/mesimagespourraves.html". Sauf que si dans "www.bobledesigner.com" il n'y a aucun texte, je voudrais savoir donc si googlebot va quand même "lire" le texte qui sera dans "www.bobledesigner.com/mesimagespourraves.html", malgré que cette page soit bloquée par le fichier robots.txt.

est-ce bien ça que tu avais compris?

Merci de ton aide

Modifié 20 Janvier 2012 par EvilRyu

[Patrick]

Je confirme, tu t'y prends mal

Obtenir un bon positionnement pour un site tout en interdisant l'accès aux pages de contenu du site aux bots et en ne laissant à ces mêmes bots que l'accès à un script de redirection, est impossible dans le respect des guidelines de Google.

Soit tu devras passer par des techniques dites "black hat", soit il faut revoir ta copie depuis le début car sans cela il y a incompatibilité.

Commence par envoyer l'URL de ton site, qu'on y voit un peu plus clair

++

Patrick

[EvilRyu]

Ok.

Ben je veux bien autoriser l'accès à toutes les pages, mais dans ce cas je doute fortement que la page d'index soit la première dans les résultats... Qu'en penses-tu?

Voici le site: http://www.cstm.sn

Merci de ton aide

[captain_torche]

La première page ne sera effectivement certainement pas dans Google !

Eclaire un peu ma lanterne : à quoi servent les pages preloader1 et preloader2 ?

Pour le reste, comme le dit Patrick : tu fais fausse route. Tu cumules en fait beaucoup d'erreurs nuisibles au référencement

- Pages "tunnel" (Tes préloaders)

- Page d'intro avec deux animations successives (Avec un malus de lien d'évitement en flash, donc non suivi par les moteurs), puis menu très dispensable (Quoique joli)

- Pour enfin arriver au contenu intéressant

Ce sont ces pages (http://www.cstm.sn/emballage_accueil.html) qui intéressent les visiteurs ! S'ils arrivent dessus au hasard d'une requête Google et que ça correspond à leurs attentes, ils ont tout le loisir de cliquer dans les autres menus pour se renseigner sur l'entreprise.

J'ajoute que tu te compliques encore la vie avec un menu entièrement en flash. Techniquement, il n'existe pour les moteurs de recherche, AUCUN lien entre tes pages.

S'il est encore temps, il faudrait modifier la logique du site en profondeur, parce qu'avec celui-ci tu n'arriveras strictement à rien côté référencement.

[EvilRyu]

Que c'est plaisant de lire ce genre de message. C'est clair et concis, ça aide vraiment à avancer ( sans ironie ). Je ne suis pas un webmaster de formation, donc ces conseils me sont grandement utiles, merci.

Alors la page preloader1 en fait ne sert qu'a précharger l'image du preloader, qui est ensuite reprise dans preloader2, qui lui sert à charger les différentes images du site.

Pour le "lien d'évitement", j'avoue ne pas savoir ce que c'est. Je peux juste dire qu'il n'y a qu'une animation flash... Qu'un seul fichier quoi.

En faisant tout ceci, j'avoue que je ne me posais pas la question du référencement, du moment que ça fonctionnait comme je le désirais j'étais satisfait. Mais on en veut toujours plus, et maintenant, je veux le référencement

Mais j'aimerais comprendre quelque chose, il y a de nombreux sites, ou la premiere page n'est par exemple qu'une simple image de bienvenue ( par exemple, une page pour choisir la langue ), et ensuite vient le "vrai" contenu. Pourtant, les pages d'index sont bien référencées en avant des autres, non? Commment font-ils donc?

[Nicolas]

Bonjour,

Pour répondre à ta dernière question, lorsque la page d'accueil arrive en 1ere position (par rapport aux autres pages du site) c'est souvent parce qu'elle contient beaucoup plus de Backlinks (externes et internes) que les autres pages du site. Ce qui lui donne du poids...

Tu peux d'ailleurs tester le classement interne de tes pages avec la commande site:urldetonsite.tld motcle1 motcle2 ...

Perso dans mon travail de référencement je cherche à avoir le plus de pages possibles à indexer. Je parle bien sur de pages interessantes pour le référencement et utiles pour les visiteurs.

Tes pages preload sont la source du problème. Là tu cherches à contourner le problème en desindexant ces pages mais ce ne sera pas la bonne solution au final.

Le mieux serait de ne pas avoir ces pages Preload. Rien ne t'empeche d'avoir une page avec des videos. Les videos s'indexent aussi dans google (tu peux aussi être trouvé comme cela) et les pages qui les contiennent si elles possèdent du texte elle peuvent très bien se positionner.

En dehors du référencement, tes 2 pages de téléchargements sont vraiment trop longues même avec une connexion haut débit. J'ai attendu mais c'est pour essayer de t'aider sinon je ne serai jamais resté sur le site ;-)

Il faudrait que tu revois la conception comme le dit Captain Torche. Pendant le téléchargement il faudrait avoir quelque chose à lire (c'est une idée comme cela mais il y en a surement d'autres). De plus ca serait mieux pour le référencement.

[Nullette]

Je ne suis qu'une visiteuse lambda. J'ai cherché tel produit qui m'intéresse et suis arrivée sur ton site.

Malheureusement, je ne sais pas dans quelle ville, ni pays se trouve cette route au km 4.

Je quitte donc le site.

[EvilRyu]

Merci de ta réponse.

Concernant les Backlinks, qu'est-ce que c'est au juste? Il me semble que ce sont les liens vers le site situés sur des annuaires ou autre...?

Alors, pour juste comprendre le mécanisme de la chose, imaginons que la page d'index soit référencée dans une centaine d'annuaires/sites... pourra-t-elle être référencée même si son contenu ne reste qu'un script de redirection? Ça ne semble pas très juste car certains peuvent payer des chinois pour faire ce genre de chose non?

Aussi, toujours pour comprendre, si à la place du script, je faisais une simple page d'index, avec disons un logo, un message de bienvenue et une brève présentation du site puis un bouton ENTRER, qui enverrait sur la page de redirection... La page d'index aura-t-elle donc une chance d'être référencée?

Merci

ps: L'idée de texte a lire pendant les loadings est super, je vais la soumettre à celui qui se charge du contenu du site. Ainsi que celle de l'adresse pour Nulette

Modifié 21 Janvier 2012 par Nicolas

[Nicolas]

Tiens-tu vraiment à avoir une page avec un bouton "entrer" ?

Un "bouton entrer" c'est un clic de plus pour arriver à l'information souhaitée.

Je pense que pour les visiteurs et pour les moteurs de recherches il vaut mieux avoir une page d'accueil complète.

Je verrai bien la chose suivante :

1 seule page d'accueil complète avec du texte qui présente la société et une vidéo de type "you tube" par exemple (qui sera référencée sur Youtube c'est toujours ça de pris) que l'internaute peut lancer si il le souhaite.

1 page avec toutes les videos (si tu en as plusieurs).

1 page avec des informations plus complètes sur la société

1 page contact

1 page pour chaque métier (chimie, emballage, ...)

Concernant le domaine. Quel age a-t-il ? Est-il connu ? (présent sur des plaquettes par exemple ...)

Je demande ça car l'extension .sn me gène un peu

[EvilRyu]

En fait, le domaine .sn est situé au sénégal. A la base, le site n'a aucun besoin d'être référencé, car il sert uniquement de "carte de visite". C'est juste que je n'avais pas d'autre exemple de site a donner pour poser ma question sur le fichier robots.txt.

Je ne suis pas le responsable du contenu site. Donc disons que c'est juste pour en apprendre plus sur le référencement, mais entre nous je doute que le site sera modifié.

En fait, ce que je ne comprend pas, c'est comment s'assurer qu'après une recherche sur un moteur, la page principale ( donc www.chose.com/ ) soit la premiere des resultats, en sachant que d'autres pages du site auront certainement plus de contenu? Comme tu me le suggère dans ton exemple ( génial au passage ), 1 page d'accueil qui presente, et une autre page plus loin qui présente mais en plus complet. Dans ma logique, je me dis que la seconde apparaitra en premier dans les resultats, vu que plus détaillée, non? :wacko:

EDIT: Tiens par exemple, je cherche au pif "groupe laurent" sur Google, et le resultat qui tombe est:

Groupe Laurent - Véhicules légers et utilitaires, Véhicules industriels ...
www.groupe-laurent.com/

Véhicules légers et utilitaires, Véhicules industriels, Industrie, Logistique de stockage, Réseaux de services. Nos catalogues électroniques nous permettent des ...

Alors que si on entre sur la page référencée, www.groupe-laurent.com, il n'y a rien, à part " passer l'intro ". C'est ce que j'essaie de comprendre.

Modifié 21 Janvier 2012 par Nicolas

[Nicolas]

Ok pour le nom de domaine. Vu que c'est lié à un pays dans ca cas pas de problèmes ;-)

Dans ma logique, je me dis que la seconde apparaitra en premier dans les resultats, vu que plus détaillée, non?

Pas forcement, comme je te l'ai dit les backlinks comptent beaucoup et la page d'accueil obtient (c'est pas toujours le cas) plus de backlinks que les autres pages (surtout au début d'un référencement).

Quand je dis "plus détaillée" ca veut dire plus détaillée sur l'activité mais rien n'empeche d'avoir un texte complet et ciblé sur certains termes qui t'interessent en page d'accueil.

Le terme "apparaitre" est lié à des mots clés. Il n'y a rien de grave à tomber sur une page "secondaire" par exemple la page "activité" si quelqu'un recherche des termes liés à une spécificité de ton activité.

La page d'accueil n'est pas le seul point d'entrée sur un site. Si tu fais tout pour que les visiteurs passent uniquement par la page d'accueil tu risques de limiter grandement le potentiel de ton site en terme de référencement.

La page d'accueil peut servir à être trouvé sur des termes comme "ton activité + lieu" ou le nom de la société par exemple.

[EvilRyu]

Ok ok je vois... Donc si j'essaie de synthétiser tout ceci, arrête moi si je dis des bêtises, il est stupide de bloquer des pages de contenu via le fichier robots.txt, plus il y a de pages disponibles et mieux le référencement se fera. Et pour la page principale, le mieux est de l'enregistrer via des annuaires de sites ( pour les Backlinks )... J'ai juste? ( Je passe la partie avoir une page d'accueil propre et concise )

[Nicolas]

Il vaut mieux avoir le plus de pages possibles.

Il faut aussi quelles ne soient pas similaires. Si on regarde ton site avec la commande site: on peut voir que tu as beaucoup de pages considérées comme similaires par Google.

Pour les backlinks tu peux limiter à 20 ou 30 annuaires de qualités. Vise aussi les sites d'articles (cf 1er lien de ma signature lol) et évite de mettre les mêmes description sur chaque site sur lesquels tu t'inscris. C'est très important de na pas avoir de contenu dupliqué externe.

[EvilRyu]

Il vaut mieux avoir le plus de pages possibles.

Il faut aussi quelles ne soient pas similaires. Si on regarde ton site avec la commande site: on peut voir que tu as beaucoup de pages considérées comme similaires par Google.

Pour les backlinks tu peux limiter à 20 ou 30 annuaires de qualités. Vise aussi les sites d'articles (cf 1er lien de ma signature lol) et évite de mettre les mêmes description sur chaque site sur lesquels tu t'inscris. C'est très important de na pas avoir de contenu dupliqué externe.

Merci pour tous ces précieux conseils, j'essaierai de les appliquer pour mon prochain site perso! Si tu sais où je peux trouver une liste d'annuaires je suis preneur

[captain_torche]

Je reviens sur ce qu'a dit Nullette plus haut : il faut préciser, à chaque fois que vous donnez une adresse, que l'activité est au Sénégal. La seule extension du nom de domaine ne suffit pas.

Quant à la structure du site, si tu penses qu'elle ne bougera pas (En gros, tant que le client est satisfait et que tu n'as pas revendu dans ta prestation de référencement), laisse-le en l'état. (Même si je supprimerais, si j'étais toi, les deux pages de preload). Dis-toi tout de même que les liaisons très haut débit ne doivent pas être nombreuses au Sénégal, et que ça peut être rédhibitoire. Si nous, majoritairement en France, mettons plus d'une minute à accéder au contenu de ton site, le temps de chargement peut être multiplié par dix sur des connexions plus modestes !

Par contre, il faudrait que tu prennes nos conseils en compte pour refondre ton site personnel, qui est basé sur le même principe.