Hva Er En Web Crawler, Og Hvordan Fungerer det?

Har Du noen gang søkt Etter Noe På Google og lurte på, “Hvordan vet det hvor du skal lete? Svaret er “web crawlers”, som søker på nettet og indekserer det slik at du enkelt kan finne ting på nettet. Vi skal forklare.

Søkemotorer Og Søkeroboter

når du søker med et søkeord i en søkemotor Som Google eller Bing, går nettstedet gjennom billioner av sider for å generere en liste over resultater relatert til dette begrepet. Hvordan akkurat disse søkemotorene har alle disse sidene på filen, vet hvordan du ser etter dem, og generere disse resultatene i løpet av sekunder?

svaret er web crawlers, også kjent som edderkopper. Dette er automatiserte programmer (ofte kalt ” roboter “eller ” bots”) som “kryper” eller surfer på nettet slik at de kan legges til søkemotorer. Disse robotene indekserer nettsteder for å lage en liste over sider som til slutt vises i søkeresultatene dine.

Crawlere lager og lagrer også kopier av disse sidene i motorens database, som lar deg gjøre søk nesten umiddelbart. Det er også grunnen til at søkemotorer ofte inkluderer bufrede versjoner av nettsteder i sine databaser.

RELATERT: Slik Får Du tilgang Til En Nettside Når Den Er Nede

Områdekart Og Utvalg

Så, hvordan crawlere plukke hvilke nettsteder å gjennomgå? Vel, er det vanligste scenariet at eiere vil søkemotorer å gjennomgå sine nettsteder. De kan oppnå dette ved å be Om Google, Bing, Yahoo eller en annen søkemotor for å indeksere sine sider. Denne prosessen varierer fra motor til motor. Søkemotorer velger ofte populære, godt koblede nettsteder for å gjennomgå ved å spore antall GANGER EN URL er koblet på andre offentlige nettsteder.

nettstedseiere kan bruke visse prosesser for å hjelpe søkemotorer med å indeksere nettstedene sine, for eksempel
å laste opp et områdekart. Dette er en fil som inneholder alle koblinger og sider som er en del av nettstedet ditt. Det brukes vanligvis til å angi hvilke sider du vil indeksere.

når søkemotorer allerede har gjennomsøkt et nettsted en gang, vil de automatisk gjennomsøke det nettstedet igjen. Frekvensen varierer basert på hvor populær et nettsted er, blant andre beregninger. Derfor holder områdeeiere ofte oppdaterte områdekart for å la motorer vite hvilke nye nettsteder som skal indekseres.

Roboter og Høflighetsfaktoren

Hva om et nettsted ikke vil at noen eller alle sidene skal vises på en søkemotor? Det kan For eksempel hende at du ikke vil at folk skal søke etter en medlemsside eller se 404-feilsiden din. Dette er hvor crawl exclusion list, ogsa kjent som roboter.txt, kommer inn i spill. Dette er en enkel tekstfil som dikterer til crawlere hvilke nettsider som skal utelukkes fra indeksering.

En annen grunn til at roboter.txt er viktig er at web crawlere kan ha en betydelig effekt på nettstedet ytelse. Fordi crawlere i hovedsak laster ned alle sidene på nettstedet ditt, bruker de ressurser og kan forårsake avmatning. De kommer til uforutsigbare tider og uten godkjenning. Hvis du ikke trenger å indeksere sidene gjentatte ganger, kan det å stoppe søkeroboter bidra til å redusere noe av belastningen på nettstedet ditt. Heldigvis stopper de fleste crawlere å krype visse sider basert på reglene til nettstedseieren.

Metadata Magic

UNDER NETTADRESSEN og tittelen på hvert søkeresultat I Google finner du en kort beskrivelse av siden. Disse beskrivelsene kalles utdrag. Du kan legge merke til at kodebiten på En Side I Google ikke alltid stemmer overens med nettstedets faktiske innhold. Dette skyldes at mange nettsteder har noe som kalles “metakoder”, som er egendefinerte beskrivelser som nettstedseiere legger til på sidene sine.

Nettstedseiere kommer ofte med fristende metadatabeskrivelser skrevet for å få deg til å klikke på et nettsted. Google viser også annen metainformasjon, for eksempel priser og lagertilgjengelighet. Dette er spesielt nyttig for de som kjører e-handel nettsteder.

Søket Ditt

nettsøk er en viktig del av å bruke internett. Å søke på nettet er en fin måte å oppdage nye nettsteder, butikker, lokalsamfunn og interesser. Hver dag besøker web crawlere millioner av sider og legger dem til søkemotorer. Mens crawlere har noen ulemper, som å ta opp nettstedsressurser, er de uvurderlige for både nettstedseiere og besøkende.

RELATERT: Slik Sletter Du De Siste 15 Minuttene Av Googles Søkehistorikk