Jakie są zalety i wady robotów internetowych? – Quora

roboty oszczędzają czas i automatyzują czasochłonne zadania związane ze skanowaniem zawartości strony internetowej i kodu, począwszy od strony głównej, niezależnie od celów, dla których robot jest zbudowany.

na przykład:

Google używa swojego robota do skanowania stron internetowych w poszukiwaniu wyników wyszukiwania. Web Archive (dot) org używa swojego robota do tworzenia zarchiwizowanych kopii stron. Ale roboty są również używane przez twórców stron internetowych, aby pomóc w testowaniu i debugowaniu stron internetowych, które również budują. Agencje SEO używają robotów do skanowania treści witryn pod kątem wyszukiwarek optymalizujących słowa kluczowe i treści w celu uzyskania lepszych pozycji na stronach wyników wyszukiwania. Możesz użyć robota, aby zautomatyzować wszelkie kontrole lub zadania, jeśli metoda wymaga uruchomienia na jednej stronie internetowej i skanowania wszystkich lub niektórych stron, które łączy.

roboty mogą również automatyzować zadania, takie jak:
– zapisywanie starych kopii witryn jako statycznych plików HTML w archiwum
– znajdowanie literówek lub złego tekstu i treści
– wyodrębnianie treści z witryn i wyświetlanie ich w arkuszach kalkulacyjnych
– znajdowanie uszkodzonych linków i stron, które mają te linki, które wymagają naprawy
– gęstość powtarzania słów kluczowych
– zapewnienie jakości dla kontroli zdrowia psychicznego (upewniając się, że nic szalonego nie dzieje się po wydaniu wersji witryny)
– porównywanie starych wersji witryn z nowymi, lub wersje stagingowe (wkrótce na żywo) z wersjami produkcyjnymi (obecnie na żywo)
– wydobywanie informacji o Meta tagach strony, body tekst, nagłówki i opisowe znaczniki alt
– testowanie przypadków na stronach i sprawdzanie debugowania w sposób zautomatyzowany
– prawie każde inne zadanie, które zajmuje osobie kilka minut, robot może zrobić w bardziej zautomatyzowany sposób w kilka sekund lub mniej na stronę.

nie ma wad korzystania z robota, moim zdaniem, ale niektóre roboty są lepsze od innych. Roboty gąsienicowe powinny dobrze współpracować z ludzkim nadzorem i uzupełniać większość projektów, wspierając ludzi w sprawdzaniu błędów technicznych i nudnych, które można łatwo przegapić, ale które doprowadzają użytkowników do szaleństwa. Pomagają więc ludziom zarządzać witrynami z większą pewnością siebie i mniejszą ilością pracy.

zbudowałem taki, który jest robotem po stronie klienta, który działa w Safari na Maca za pomocą JavaScript. Jest darmowy i cały czas dodaję do niego więcej rzeczy. Spróbuj na www.crawler.dla twojej wiadomości. Jest darmowy, nie ma limitów stron, działa na lokalnym komputerze Mac w Safari (a nie z mojego serwera) … i nic nie kosztuje. Zbudowałem go, aby pomóc mi lepiej wykonywać moją pracę na budowach i uwielbiam go. Mam nadzieję, że ty też:)