Webクローラーの長所と短所は何ですか？ -Quora

クローラーは、クローラーが構築されているどのような目的のために、時間を節約し、webページのコンテンツとコードのスキャンに関連する時間のかかるタス

たとえば、

Googleはクローラーを使用して検索結果のwebページをスキャンします。 Webアーカイブ(dot)組織は、クローラーを使用してページのアーカイブコピーを作成します。 しかし、クローラはまた、彼らはあまりにも構築するwebサイトをテストし、デバッグするためにWeb開発者によって使用されています。 SEO代理店は調査の結果のページのよりよいランキングのためのサーチエンジンの最適化のキーワードそして内容のための場所の内容をスキャンするのに クローラーを使用して、あるwebページから開始し、リンクしているページのすべてまたは一部をスキャンする必要がある場合は、チェックやタスクを自動化

クローラは、次のようなタスクを自動化することもできます:
-アーカイブ内の静的HTMLファイルとしてサイトの古いコピーを保存
-タイプミスや悪いテキストとコンテンツを見つける
-サイトからコンテンツを抽出し、スまたはステージング（すぐにライブになる）バージョンと本番（現在ライブ）バージョン
-ページのメタタグ情報を抽出し、本文 テキスト、見出し、画像の説明altタグ
-ページでのテストケース実行と自動化された方法でのデバッグチェック
-人が数分かかる他のほとんどのタスクは、クロー

私の見解では、クローラを使用することに欠点はありませんが、クローラの中には他のクローラよりも優れているものもあります。 クローラは、人間の監督で動作し、よくほとんどのプロジェクトを補完する必要があります,簡単に逃して行くことができ、技術的かつ退屈なエラーをチェ だから、彼らは人々がより多くの自信と少ない作業でサイトを管理するのに役立ちます。

私はJavascriptを介してMac用Safariで動作するクライアント側のクローラーであるものを構築しました。 それは自由に使用することができ、私はそれにすべての時間をより多くのものを追加しています。 Wwwでそれを試してみてください。クローラーあなたが好きならfyi。 それは自由に使用でき、ページ制限はなく、（私のサーバーからではなく）SafariのローカルMacで実行されます…そして使用する費用は何もかかりません。 私は私がより良い建築現場の私の仕事をするのを助けるためにそれを構築し、私はそれを愛する。