Quais são as vantagens e desvantagens dos rastreadores da web? – Quora

os rastreadores economizam tempo e automatizam tarefas demoradas relacionadas à digitalização de Conteúdo e código de página da web, a partir de sua página inicial, para qualquer finalidade para a qual o rastreador seja construído.

por exemplo:

o Google usa seu rastreador para escanear páginas da Web em busca de resultados de pesquisa. A organização Web Archive (dot) usa seu rastreador para criar cópias arquivadas de páginas. Mas os rastreadores também são usados por desenvolvedores da Web para ajudar a testar e depurar sites que eles constroem também. As agências de SEO usam rastreadores para escanear o conteúdo dos sites em busca de mecanismos de pesquisa, otimizando palavras-chave e conteúdo para melhores classificações nas páginas de resultados de pesquisa. Você pode usar um rastreador para automatizar quaisquer verificações ou tarefas, se o método exigir iniciar em uma página da web e digitalizar todas ou algumas das páginas que ele vincula também.

os rastreadores também podem automatizar tarefas, como:
economia de cópias antigas de sites como arquivos HTML estáticos em um arquivo
– encontrar erros de digitação ou mau texto e conteúdo
– extração de conteúdo de sites e visualizando-o em planilhas
– encontrar links quebrados e páginas que tem esses links que precisam ser consertadas
– repita a Palavra-chave densidade
– garantia de Qualidade para verificações de sanidade (certificando-se de nada louco acontece quando você lançar uma versão de seu site)
– Comparar versões antigas de sites com os novos, ou de preparo (em breve ao vivo) versões com produção (moro atualmente) versões
– Extraível página de informações de meta tag, corpo texto, títulos e imagem descritivo alt-tags
– Caso de Teste de execução em páginas e verificações de depuração de forma automatizada
– praticamente qualquer tarefa que leva uma pessoa alguns minutos para fazer, um rastreador pode fazer de uma forma mais automatizada em poucos segundos ou menos por página.

não há desvantagens em usar um rastreador, na minha opinião, mas alguns rastreadores são melhores do que outros. Os rastreadores devem trabalhar com supervisão humana e elogiar bem a maioria dos projetos, apoiando as pessoas a verificar erros técnicos e chatos que podem ser facilmente perdidos, mas que deixam os usuários loucos. Assim, eles ajudam as pessoas a gerenciar sites com mais confiança e menos trabalho.

eu construí um que é um rastreador do lado do cliente que funciona no Safari Para Mac via JavaScript. É grátis de usar e estou adicionando mais coisas a ele o tempo todo. Experimente em www.indexacao.fyi se você gosta. É gratuito, não tem limites de página, é executado no seu Mac local no Safari (em vez de no meu servidor)… e não custa nada para usar. Eu construí para me ajudar a fazer meu trabalho de construir sites Melhor, E eu amo isso. Espero que você faça também:)