como evitar que os mecanismos de pesquisa indexem uma página
recentemente, ajudei um cliente a excluir um vídeo antigo do YouTube de seu canal. Eles não tinham a intenção de torná-lo publicamente disponível, e não percebeu que era até que o Google procurou-se.
embora isso não desindexe imediatamente a página do Google, isso me fez pensar em razões pelas quais alguém pode querer impedir que os mecanismos de pesquisa indexem uma página antes que qualquer dano seja causado.
3 Razões para bloquear o Google de Indexar uma página
embora existam muito poucas razões prementes que você pode querer aprender como impedir o Google de indexar uma página, Aqui estão algumas das razões de marketing para fazê-lo.
melhore seu rastreamento e Atribuição de metas
para muitos webmasters e profissionais de marketing, as metas para completações de formulários são rastreadas por visitas a uma página de agradecimento. Para evitar que sua página de agradecimento Receba acidentalmente tráfego orgânico, você vai querer aprender como evitar que o Google indexe a página inteiramente.
se você tiver tráfego orgânico em sua página, além de usuários que preencheram seus formulários, suas metas e taxa de conversão de metas não serão precisas.
reduzir páginas sem valor de usuário
embora seja um modelo excessivamente simplista, você quase pode imaginar que seu site tem um pool de valor de SEO.
para um site com 10 páginas, cada página recebe aproximadamente 1/10 do valor de SEO. Se o proprietário do site aprendeu a fazer pesquisa de palavras-chave e otimizou todas as páginas, todas essas páginas serão eficientes e eficazes na geração de tráfego orgânico.
por outro lado, imagine um site com 100 páginas. Existem quatro páginas que realmente falam sobre os Serviços de uma empresa, e as outras 96 páginas são “postagens de blog” que são realmente apenas o proprietário despejando informações em seu site. Essas páginas não atendem às necessidades conhecidas do público e não são otimizadas para nenhum grupo de palavras-chave relevante.
em nosso modelo simplificado, o pool de valor de SEO é espalhado. Cada uma das quatro páginas de Serviços recebe 1/100 do valor agregado de SEO do site, tornando-as muito fracas, embora sejam relativamente otimizadas. As outras 96 páginas estão recebendo 96/100 do valor, mas são becos sem saída que prendem e desperdiçam o potencial de classificação do seu site.Aprender como evitar que os mecanismos de pesquisa indexem uma página (ou 96) é uma ótima maneira de evitar que o valor de SEO do seu site seja espalhado demais. Você pode ocultar a maior parte do seu site dos mecanismos de pesquisa para que o Google saiba apenas sobre as páginas úteis e relevantes que merecem ser encontradas.
evite problemas de conteúdo duplicado
publicar uma página idêntica ou quase idêntica a outra página na internet pode causar alguma tomada de decisão desnecessária para o Google.
qual página é a original? Mesmo que uma das páginas tenha sido publicada primeiro, a página duplicada que seguiu a fonte mais autoritária? Se ambas as páginas estão no seu site, qual você pretendia ser incluído nos resultados de pesquisa do Google? Você pode nem sempre gostar do resultado.
para evitar causar problemas de conteúdo duplicado, você pode tentar impedir que os bots rastreiem certas páginas em seu site.
como evitar que o Google indexe uma página
o método mais fácil e comum para evitar que os mecanismos de pesquisa indexem uma página é incluir a tag meta noindex.
inclua a Tag noindex
a meta tag noindex é usada entre as tags HTML<head></head > em uma página da web para evitar que os bots do mecanismo de pesquisa incluam essa página em seu índice. Isso ainda permite que os rastreadores leiam suas páginas, mas sugere que eles não incluam uma cópia para servir em seus resultados de pesquisa.
A tag noindex para impedir que os motores de busca indexem a página se parece com isso:
<meta name="robots" content="noindex">
Se você está apenas preocupado sobre como impedir que o Google indexe uma página, você pode usar o seguinte código:
<meta name="googlebot" content="noindex">
Se você estiver usando o WordPress como CMS (que eu recomendo), então você pode querer usar o Yoast SEO plugin (que eu também recomendo). Com alguns cliques do mouse, você pode adicionar a tag noindex a qualquer página que desejar.
no back-end de qualquer página, role para baixo até sua caixa Yoast SEO. Em seguida, clique no ícone de engrenagem e altere o campo suspenso que diz ” Permitir que os mecanismos de pesquisa mostrem esta postagem nos resultados da pesquisa?”para dizer” não.”
esta não é uma diretiva, então o mecanismo de pesquisa pode optar por ignorar sua meta noindex tag. Para uma técnica mais robusta, você pode usar seus robôs.arquivo txt.
não permitir Bots em seus robôs.txt
se você quiser ter certeza de que bots como Googlebot e Bingbot não podem rastrear suas páginas, você pode adicionar diretivas aos seus robôs.arquivo txt.
robôs.txt é o arquivo encontrado na raiz de um servidor Apache que pode impedir que certos bots cheguem às suas páginas em primeiro lugar. É importante notar que alguns bots podem ser instruídos a ignorar seus robôs.arquivo txt, então você só pode bloquear esses bots “bons” com essa técnica.
vamos usar uma página em seu site, https://www.mysite.com/example-page/, como exemplo. Para impedir que todos os bots acessem esta página, você usaria o seguinte código em seus robôs.txt:
User-agent: *Disallow: /example-page/
observe que você não precisa usar seu URL completo, apenas o URI que vem após o seu nome de domínio. Se você quiser apenas impedir que o Googlebot rastreie a página, poderá usar o seguinte código:
User-agent: GooglebotDisallow: /example-page/
Pare os Bots de rastrear seu Site com .htaccess
eu pessoalmente não conheço nenhum cliente que precise usar isso, mas você pode usar o seu .arquivo htaccess para bloquear qualquer agente de usuário de rastrear seu site.
esta é uma maneira de impedir completamente o Google de rastrear seu site que não pode ser ignorado, mesmo por bots “ruins”. A ressalva é que esta é mais uma solução abrangente e menos direcionada para uma página específica. Gerenciando a negação de acesso direcionada para várias páginas dentro do seu .o arquivo htaccess seria um pesadelo.
o código para bloquear Googlebot só ficaria assim:
RewriteEngine OnRewriteCond %{HTTP_USER_AGENT} Googlebot RewriteRule .* -
se você deseja bloquear vários bots de cada vez, pode configurar seu código assim:
RewriteEngine OnRewriteCond %{HTTP_USER_AGENT} ^.*(Googlebot|Bingbot|Baiduspider).*$ RewriteRule .* -
aprender a evitar que o mecanismo de pesquisa indexe uma de suas páginas às vezes é necessário, e não é muito difícil, dependendo de como você escolhe fazê-lo.
para obter mais ajuda com o SEO do seu site de negócios, confira minha empresa, Marion, lista de verificação de lançamento do site.
Leave a Reply