Vad är en Webbsökare, och hur fungerar det?

har du någonsin sökt efter något på Google och undrat, ” hur vet det var man ska leta?”Svaret är ” web crawlers”, som söker på webben och indexerar det så att du enkelt kan hitta saker online. Vi förklarar.

sökmotorer och sökrobotar

när du söker med ett nyckelord på en sökmotor som Google eller Bing, siktar webbplatsen genom biljoner sidor för att generera en lista med resultat relaterade till den termen. Hur exakt har dessa sökmotorer alla dessa sidor på filen, vet hur man letar efter dem och genererar dessa resultat inom några sekunder?

svaret är webbsökare, även kända som spindlar. Dessa är automatiserade program (ofta kallade “robotar” eller “bots”) som “kryper” eller bläddrar över webben så att de kan läggas till i sökmotorer. Dessa robotar indexerar webbplatser för att skapa en lista med sidor som så småningom visas i dina sökresultat.

Crawlers skapar och lagrar också kopior av dessa sidor i motorns databas, vilket gör att du kan göra sökningar nästan direkt. Det är också anledningen till att sökmotorer ofta innehåller cachade versioner av webbplatser i sina databaser.

RELATERAD: Hur man kommer åt en webbsida när den är nere

webbplatskartor och val

så, hur väljer sökrobotar vilka webbplatser som ska genomsökas? Tja, det vanligaste scenariot är att webbplatsägare vill att sökmotorer ska genomsöka sina webbplatser. De kan uppnå detta genom att begära Google, Bing, Yahoo eller en annan sökmotor för att indexera sina sidor. Denna process varierar från motor till motor. Sökmotorer väljer också ofta populära, vällänkade webbplatser för att genomsöka genom att spåra hur många gånger en URL är länkad på andra offentliga webbplatser.

webbplatsägare kan använda vissa processer för att hjälpa sökmotorer att indexera sina webbplatser, till exempel
ladda upp en webbplatskarta. Det här är en fil som innehåller alla länkar och sidor som ingår i din webbplats. Det används normalt för att ange vilka sidor du vill indexeras.

när sökmotorer redan har genomsökt en webbplats en gång kommer de automatiskt att genomsöka den webbplatsen igen. Frekvensen varierar beroende på hur populär en webbplats är, bland andra mätvärden. Därför håller webbplatsägare ofta uppdaterade webbplatskartor för att låta motorer veta vilka nya webbplatser som ska indexeras.

robotar och Artighetsfaktorn

vad händer om en webbplats inte vill att några eller alla dess sidor ska visas i en sökmotor? Du kanske till exempel inte vill att folk ska söka efter en sida endast för medlemmar eller se din 404-felsida. Det är här crawl-uteslutningslistan, även känd som robotar.txt, kommer in i bilden. Detta är en enkel textfil som dikterar för sökrobotar vilka webbsidor som ska uteslutas från indexering.

en annan anledning till varför robotar.txt är viktigt är att sökrobotar kan ha en betydande effekt på webbplatsens prestanda. Eftersom sökrobotar i huvudsak laddar ner alla sidor på din webbplats förbrukar de resurser och kan orsaka avmattningar. De anländer till oförutsägbara tider och utan godkännande. Om du inte behöver indexera dina sidor upprepade gånger kan stopp av sökrobotar hjälpa till att minska en del av din webbplatsbelastning. Lyckligtvis slutar de flesta sökrobotar att genomsöka vissa sidor baserat på webbplatsens ägares regler.

Metadata Magic

under webbadressen och titeln på varje sökresultat i Google hittar du en kort beskrivning av sidan. Dessa beskrivningar kallas utdrag. Du kanske märker att utdraget på en sida i Google inte alltid stämmer överens med webbplatsens faktiska innehåll. Detta beror på att många webbplatser har något som kallas “metataggar”, som är anpassade beskrivningar som webbplatsägare lägger till på sina sidor.

webbplatsägare kommer ofta med lockande metadatabeskrivningar skrivna för att du vill klicka på en webbplats. Google listar också annan metainformation, till exempel priser och lagertillgänglighet. Detta är särskilt användbart för dem som kör e-handelswebbplatser.

din sökning

webbsökning är en viktig del av att använda internet. Att söka på webben är ett bra sätt att upptäcka nya webbplatser, butiker, samhällen och intressen. Varje dag besöker webbsökare miljontals sidor och lägger till dem i sökmotorer. Medan sökrobotar har några nackdelar, som att ta upp webbplatsresurser, är de ovärderliga för både webbplatsägare och besökare.

relaterat: hur man tar bort de senaste 15 minuterna av Googles sökhistorik