Mi az a webrobot, és hogyan működik?

kerestél már valaha valamit a Google-on, és azon tűnődtél, hogy ” honnan tudja, hol kell keresni? A válasz a “webrobotok”, amelyek az interneten keresnek és indexelik, hogy könnyen megtalálhassák a dolgokat az interneten. Elmagyarázzuk.

keresőmotorok és robotok

amikor egy kulcsszóval keres egy olyan keresőmotorban, mint a Google vagy a Bing, a webhely oldalak billióin keresztül szűri át az adott kifejezéshez kapcsolódó találatok listáját. Hogy pontosan ezek a keresőmotorok az összes ilyen oldalak fájl, tudja, hogyan kell keresni őket, és generálni ezeket az eredményeket másodpercek alatt?

a válasz webrobotok, más néven pókok. Ezek automatizált programok (gyakran “robotoknak” vagy “botoknak” nevezik), amelyek “feltérképeznek” vagy böngésznek az interneten, hogy hozzáadhatók legyenek a keresőmotorokhoz. Ezek a robotok indexelik a webhelyeket, hogy létrehozzanak egy listát azokról az oldalakról, amelyek végül megjelennek a keresési eredmények között.

a robotok ezen oldalak másolatait is létrehozzák és tárolják a motor adatbázisában, amely lehetővé teszi a keresést szinte azonnal. Ez az oka annak is, hogy a keresőmotorok gyakran tartalmazzák a webhelyek gyorsítótárazott verzióit az adatbázisukban.

RELATED: hogyan lehet elérni egy weboldalt, amikor le van állítva

Oldaltérképek és kiválasztás

így, hogyan választják ki a robotok, hogy mely webhelyeket kell feltérképezni? Nos, a leggyakoribb forgatókönyv az, hogy a webhelytulajdonosok azt akarják, hogy a keresőmotorok feltérképezzék webhelyeiket. Ezt úgy érhetik el, hogy a Google-t, a Bing-et, a Yahoo-t vagy egy másik keresőmotort kérik az oldalak indexelésére. Ez a folyamat motoronként változik. Ezenkívül a keresőmotorok gyakran választják ki a népszerű, jól linkelt webhelyeket a feltérképezéshez azáltal, hogy nyomon követik, hogy egy URL hányszor kapcsolódik más nyilvános webhelyekhez.

a webhelytulajdonosok bizonyos folyamatokat használhatnak a keresőmotorok webhelyeik indexeléséhez, például
webhelytérkép feltöltése. Ez egy fájl, amely tartalmazza az összes linket és oldalt, amelyek a webhely részét képezik. Általában arra használják, hogy jelezzék, milyen oldalakat szeretne indexelni.

miután a keresőmotorok egyszer már feltérképezték a webhelyet, automatikusan újra feltérképezik azt. A gyakoriság attól függ,hogy egy webhely mennyire népszerű, többek között. Ezért a webhelytulajdonosok gyakran frissítik a webhelytérképeket,hogy a motorok tudják, mely új webhelyeket indexeljék.

robotok és az udvariassági tényező

mi van, ha egy webhely nem akarja, hogy néhány vagy az összes oldala megjelenjen a keresőmotorban? Előfordulhat például, hogy nem szeretné, ha az emberek csak tagoknak szóló oldalt keresnének, vagy a 404-es hibaoldalt látnák. Ez az, ahol a feltérképezés kizárási lista, más néven robotok.txt, jön a játékba. Ez egy egyszerű szöveges fájl, amely azt diktálja, hogy a robotok mely weboldalakat zárják ki az indexelésből.

a robotok másik oka.a txt fontos, hogy a webrobotok jelentős hatással lehetnek a webhely teljesítményére. Mivel a robotok lényegében letöltik a webhely összes oldalát, erőforrásokat fogyasztanak, és lassulást okozhatnak. Kiszámíthatatlan időben érkeznek, jóváhagyás nélkül. Ha nincs szüksége az oldalak többszöri indexelésére, akkor a robotok leállítása segíthet csökkenteni a webhely terhelésének egy részét. Szerencsére a legtöbb robot leállítja bizonyos oldalak feltérképezését a webhely tulajdonosának szabályai alapján.

Metadata Magic

a Google összes keresési eredményének URL-je és címe alatt található az oldal rövid leírása. Ezeket a leírásokat kivonatoknak nevezzük. Észreveheti, hogy a Google egyik oldalának részlete nem mindig egyezik meg a webhely tényleges tartalmával. Ez azért van, mert sok webhely rendelkezik úgynevezett “metacímkékkel”, amelyek egyéni leírások, amelyeket a webhelytulajdonosok hozzáadnak az oldalukhoz.

a webhelytulajdonosok gyakran csábító metaadat-leírásokkal állnak elő, amelyek arra késztetik Önt, hogy rákattintson egy webhelyre. A Google más meta-információkat is felsorol, például az árakat és a készlet elérhetőségét. Ez különösen hasznos azok számára, akik e-kereskedelmi webhelyeket üzemeltetnek.

a Keresés

a webes keresés az internet használatának elengedhetetlen része. A webes keresés nagyszerű módja annak, hogy új webhelyeket, üzleteket, közösségeket és érdeklődési köröket fedezzen fel. A webrobotok minden nap több millió oldalt látogatnak meg, és hozzáadják őket a keresőmotorokhoz. Míg a robotoknak vannak hátrányai, például a webhely erőforrásainak felvétele, felbecsülhetetlen értékűek mind a webhelytulajdonosok, mind a látogatók számára.

RELATED: hogyan lehet törölni a Google keresési előzményeinek utolsó 15 percét