o Que de Rastreamento Orçamento Significa para o Googlebot

segunda-feira, 16 de janeiro de 2017

Recentemente, ouvimos uma série de definições para “rastrear orçamento”, no entanto não temos um único termo que descrevesse tudo o que “o rastreamento de orçamento” significa externamente. Com este post vamos esclarecer o que realmente temos e o que isso significa para o Googlebot.Primeiro, gostaríamos de enfatizar que o orçamento de rastreamento, conforme descrito abaixo, não é algo com o qual a maioria dos editores precisa se preocupar. Se novas páginas tendem a ser rastreadas no mesmo dia em que são publicadas, o orçamento de rastreamento não é algo em que os webmasters precisam se concentrar. Da mesma forma, se um site tiver menos de alguns milhares de URLs, na maioria das vezes ele será rastreado com eficiência.

priorizar o que rastrear, quando e quanto recurso o servidor que hospeda o site pode alocar ao rastreamento é mais importante para sites maiores ou aqueles que geram páginas automaticamente com base em parâmetros de URL, por exemplo.

limite de taxa de rastreamento

Googlebot foi projetado para ser um bom cidadão da web. O rastreamento é sua principal prioridade, ao mesmo tempo em que garante que não prejudique a experiência dos usuários que visitam o site. Chamamos isso de “limite de taxa de rastreamento”, que limita a taxa máxima de busca para um determinado site.

simplificando, isso representa o número de conexões paralelas simultâneas que o Googlebot pode usar para rastrear o site, bem como o tempo que ele tem que esperar entre as buscas. A taxa de rastreamento pode subir e descer com base em alguns fatores:

• Crawl health: se o site responder muito rapidamente por um tempo, o limite aumenta, o que significa que mais conexões podem ser usadas para rastrear. Se o site desacelerar ou responder com erros do servidor, o limite diminuirá e o Googlebot rastreará menos.
• limite definido no Search Console: os proprietários de sites podem reduzir o rastreamento do Googlebot em seu site. Observe que definir limites mais altos não aumenta automaticamente o rastreamento.

Crawl demand

mesmo que o limite de taxa de rastreamento não seja atingido, se não houver demanda de indexação, haverá baixa atividade do Googlebot. Os dois fatores que desempenham um papel significativo na determinação da demanda de rastreamento são:

• Popularidade: URLs que são mais populares na Internet tendem a ser rastreados com mais frequência para mantê-los mais frescos em nosso índice.
• Staleness: nossos sistemas tentam impedir que os URLs fiquem obsoletos no índice.

além disso, eventos em todo o site, como movimentos do site, podem desencadear um aumento na demanda de rastreamento para reindexar o conteúdo sob os novos URLs.

levando a taxa de rastreamento e a demanda de rastreamento juntos, definimos o orçamento de rastreamento como o número de URLs que o Googlebot pode e deseja rastrear.

fatores que afetam o orçamento de rastreamento

de acordo com nossa análise, ter muitos URLs de baixo valor agregado pode afetar negativamente o rastreamento e a indexação de um site. Descobrimos que os URLs de Baixo Valor Agregado se enquadram nessas categorias, em ordem de significância:

• Facetada de navegação e identificadores de sessão
• No site conteúdo duplicado
• Soft páginas de erro
• páginas Invadidas
• espaços Infinitos e proxies
• Baixa qualidade e conteúdo de spam

Desperdício de recursos do servidor em páginas como estas escoamento da atividade de rastreamento de páginas que realmente tem valor, o que pode causar um atraso significativo na descoberta de grande conteúdo em um site.

perguntas principais

o rastreamento é o ponto de entrada para sites nos resultados de pesquisa do Google. O rastreamento eficiente de um site ajuda com sua indexação na pesquisa do Google.

para obter informações sobre como otimizar o rastreamento de seu site, dê uma olhada em nosso blogpost sobre como otimizar o rastreamento de 2009 que ainda é aplicável. Se você tiver dúvidas, pergunte nos fóruns!

Postado por Gary, rastejando e indexando equipes