Comment Empêcher les Moteurs de Recherche d’indexer une Page

J’ai récemment aidé un client à supprimer une ancienne vidéo YouTube de sa chaîne. Ils n’avaient pas l’intention de le rendre accessible au public et ne se sont pas rendu compte que c’était le cas jusqu’à ce qu’ils se fouillent sur Google.

Bien que cela ne désindexera pas immédiatement la page de Google, cela m’a fait penser à des raisons pour lesquelles quelqu’un pourrait vouloir empêcher les moteurs de recherche d’indexer une page avant que tout dommage ne soit causé.

3 Raisons d’empêcher Google d’indexer une Page

Bien qu’il existe très peu de raisons pressantes pour lesquelles vous voudrez peut-être apprendre à empêcher Google d’indexer une page, voici quelques-unes des raisons marketing pour le faire.

Améliorez votre suivi et l’attribution des objectifs

Pour de nombreux webmasters et spécialistes du marketing, les objectifs de remplissage des formulaires sont suivis par des visites sur une page de remerciement. Afin d’éviter que votre page de remerciement ne reçoive accidentellement du trafic organique, vous voudrez apprendre à empêcher Google d’indexer entièrement la page.

Si vous avez du trafic organique sur votre page en plus des utilisateurs qui ont rempli vos formulaires, vos objectifs et votre taux de conversion d’objectifs ne seront pas exacts.

Réduisez les pages sans Valeur utilisateur

Bien qu’il s’agisse d’un modèle trop simpliste, vous pouvez presque imaginer que votre site a une valeur SEO.

Pour un site de 10 pages, chaque page obtient environ 1/10e de la valeur SEO. Si le propriétaire du site a appris à faire de la recherche de mots clés et a optimisé toutes ses pages, toutes ces pages seront efficaces et efficaces pour générer du trafic organique.

Inversement, imagez un site de 100 pages. Il y a quatre pages qui parlent réellement des services d’une entreprise, et les 96 autres pages sont des “articles de blog” qui ne sont vraiment que le propriétaire qui verse des informations sur son site. Ces pages ne répondent pas aux besoins connus du public et ne sont pas optimisées pour les groupes de mots clés pertinents.

Dans notre modèle simplifié, le pool de valeur SEO est mince. Chacune des quatre pages de services reçoit 1 / 100e de la valeur SEO globale du site, ce qui les rend très faibles même si elles sont relativement optimisées. Les 96 autres pages reçoivent 96/100 de la valeur, mais ce sont des impasses qui piègent et gaspillent le potentiel de classement de votre site Web.

Apprendre à empêcher les moteurs de recherche d’indexer une page (ou 96) est un excellent moyen d’éviter que la valeur SEO de votre site ne soit trop mince. Vous pouvez masquer la majeure partie de votre site Web aux moteurs de recherche afin que Google ne connaisse que les pages utiles et pertinentes qui méritent d’être trouvées.

Éviter les problèmes de contenu en double

Publier une page identique ou presque identique à une autre page sur Internet peut entraîner une prise de décision inutile pour Google.

Quelle page est l’original ? Même si l’une des pages a été publiée en premier, la page dupliquée qui a suivi la source la plus faisant autorité? Si les deux pages sont sur votre site Web, laquelle avez-vous l’intention d’être incluse dans les résultats de recherche de Google? Vous n’aimerez peut-être pas toujours le résultat.

Pour éviter de provoquer des problèmes de contenu en double, vous pouvez essayer d’empêcher les robots d’explorer certaines pages de votre site.

Comment empêcher Google d’indexer une Page

La méthode la plus simple et la plus courante pour empêcher les moteurs de recherche d’indexer une page consiste à inclure la balise meta noindex.

Inclure la balise Noindex

La balise meta noindex est utilisée entre les balises HTML < head > </head > sur une page Web pour empêcher les robots des moteurs de recherche d’inclure cette page dans leur index. Cela permet toujours aux robots d’exploration de lire vos pages, mais cela suggère qu’ils n’en incluent pas une copie pour les servir dans leurs résultats de recherche.

La balise noindex pour empêcher les moteurs de recherche d’indexer une page ressemble à ceci:

<meta name="robots" content="noindex">

Si vous ne craignez que d’empêcher Google d’indexer une page, vous pouvez utiliser le code suivant:

<meta name="googlebot" content="noindex">

Si vous utilisez WordPress comme CMS (ce que je recommande fortement), vous voudrez peut-être utiliser le plugin Yoast SEO (que je recommande également fortement). En quelques clics de souris, vous pouvez ajouter la balise noindex à n’importe quelle page que vous désirez.

Dans le backend de n’importe quelle page, faites défiler jusqu’à votre boîte Yoast SEO. Cliquez ensuite sur l’icône d’engrenage et modifiez le champ déroulant qui dit “Autoriser les moteurs de recherche à afficher ce message dans les résultats de recherche?”pour dire” Non.”

Ce n’est pas une directive, donc le moteur de recherche peut choisir d’ignorer votre balise meta noindex. Pour une technique plus robuste, vous pouvez utiliser vos robots.fichier txt.

Interdire les Robots dans Vos Robots.txt

Si vous voulez être sûr que des robots comme Googlebot et Bingbot ne peuvent pas du tout explorer vos pages, vous pouvez ajouter des directives à vos robots.fichier txt.

Robots.txt est le fichier trouvé à la racine d’un serveur Apache qui peut empêcher certains robots d’accéder à vos pages en premier lieu. Il est important de noter que certains robots peuvent être invités à ignorer vos robots.fichier txt, donc vous ne pouvez vraiment bloquer que les “bons” bots avec cette technique.

Utilisons une page de votre site, https://www.mysite.com/example-page/, à titre d’exemple. Pour empêcher tous les robots d’accéder à cette page, vous devez utiliser le code suivant dans vos robots.txt:

User-agent: *Disallow: /example-page/

Notez que vous n’avez pas besoin d’utiliser votre URL complète, juste l’URI qui vient après votre nom de domaine. Si vous souhaitez uniquement empêcher Googlebot d’explorer la page, vous pouvez utiliser le code suivant:

User-agent: GooglebotDisallow: /example-page/

Empêchez les Robots d’Explorer Votre Site avec.htaccess

Personnellement, je ne connais aucun client qui aurait jamais besoin de l’utiliser, mais vous pouvez utiliser votre.fichier htaccess pour empêcher tout agent utilisateur d’explorer votre site.

C’est un moyen d’empêcher complètement Google d’explorer votre site qui ne peut pas être ignoré, même par de “mauvais” robots. La mise en garde est qu’il s’agit davantage d’une solution globale et moins ciblée sur une page spécifique. Gérer le déni d’accès ciblé pour plusieurs pages à l’intérieur de votre.le fichier htaccess serait un cauchemar.

Le code pour bloquer Googlepas seulement ressemblerait à ceci:

RewriteEngine OnRewriteCond %{HTTP_USER_AGENT} Googlebot RewriteRule .* - 

Si vous souhaitez bloquer plusieurs robots à la fois, vous pouvez configurer votre code comme ceci:

RewriteEngine OnRewriteCond %{HTTP_USER_AGENT} ^.*(Googlebot|Bingbot|Baiduspider).*$ RewriteRule .* - 

Apprendre à empêcher un moteur de recherche d’indexer une de vos pages est parfois nécessaire, et pas très difficile selon la façon dont vous choisissez de le faire.

Pour plus d’aide au référencement de votre site Web d’entreprise, consultez la liste de vérification de lancement de site Web de mon entreprise, MARION.