mitä Indeksointibudjetti tarkoittaa Googlebotille
maanantai 16.tammikuuta 2017
viime aikoina olemme kuulleet useita määritelmiä “indeksointibudjetille”, mutta meillä ei ole yhtä termiä, joka kuvaisi kaikkea, mitä “indeksointibudjetti” tarkoittaa ulkoisesti. Tällä viestillä selvennämme, mitä meillä todella on ja mitä se tarkoittaa Googlebotille.
Ensinnäkin haluamme korostaa, että alla kuvattu ryömintäbudjetti ei ole asia, josta useimpien kustantajien on syytä olla huolissaan. Jos uudet sivut yleensä ryömitään samana päivänä, kun ne julkaistaan, crawl budjetti ei ole jotain webmasters tarvitse keskittyä. Samoin, jos sivustolla on vähemmän kuin muutama tuhat URL-osoitetta, suurimman osan ajasta se ryömitään tehokkaasti.
tärkeysjärjestys siitä, mitä ryömiä, milloin ja kuinka paljon resursseja sivustoa ylläpitävä palvelin voi varata ryömimiseen, on tärkeämpää suuremmille sivustoille, tai niille, jotka luovat sivuja automaattisesti esimerkiksi URL-parametrien perusteella.
Ryömintänopeusraja
Googlebot on tarkoitettu hyväksi verkkokansalaiseksi. Indeksointi on sen tärkein prioriteetti, varmistaen samalla, ettei se heikennä sivustolla vierailevien käyttäjien kokemusta. Kutsumme tätä” ryömintänopeusrajaksi”, joka rajoittaa tietyn sivuston maksimihakunopeutta.
Yksinkertaisesti sanottuna tämä kuvaa Googlebotin käyttämien samanaikaisten rinnakkaisten yhteyksien määrää sivuston ryömimisessä sekä aikaa, jonka se joutuu odottamaan hakujen välillä. Ryömintänopeus voi nousta ja laskea parin tekijän perusteella:
- Crawl health: jos sivusto reagoi todella nopeasti jonkin aikaa, raja nousee, eli useampia yhteyksiä voidaan käyttää ryömimiseen. Jos sivusto hidastuu tai reagoi palvelimen virheisiin, raja laskee ja Googlebot ryömii vähemmän.
- Hakukonsolissa asetettu raja: verkkosivujen omistajat voivat vähentää Googlebotin ryömimistä sivustollaan. Huomaa, että korkeampien rajojen asettaminen ei automaattisesti lisää indeksointia.
Ryömintäkysyntä
vaikka indeksointirajaa ei saavutettaisikaan, Googlebotin aktiivisuus on vähäistä. Kaksi tekijää, joilla on merkittävä rooli indeksoinnin kysynnän määrittämisessä, ovat:
- Suosio: URL-osoitteet, jotka ovat suositumpia Internetissä yleensä indeksoidaan useammin pitää ne tuoreempia meidän indeksi.
- Staleness: järjestelmämme yrittävät estää URL-osoitteita muuttumasta tunkkaisiksi indeksissä.
lisäksi sivuston laajuiset tapahtumat, kuten sivuston siirrot, voivat lisätä ryömintäkysyntää, jotta sisältöä voidaan tarkastella uudelleen uusien URL-osoitteiden alla.
kun indeksointinopeus ja ryömintäkysyntä lasketaan yhteen, määrittelemme indeksointibudjetin niiden URL-osoitteiden lukumääräksi, jotka Googlebot voi ja haluaa ryömiä.
indeksointibudjettiin vaikuttavat tekijät
analyysimme mukaan monet vähäarvoiset URL-osoitteet voivat vaikuttaa negatiivisesti sivuston indeksointiin ja indeksointiin. Huomasimme, että alhaisen lisäarvon URL-osoitteet kuuluvat näihin luokkiin merkittävyysjärjestyksessä:
- Faceted navigation and session identifier
- on-site duplicate content
- Soft error pages
- Hacked pages
- Infinite spaces and proxies
- heikkolaatuinen ja roskapostisisältö
Wasting server tällaisten sivujen resurssit tyhjentävät ryömintätoimintaa sivuilta, joilla on todella arvoa, mikä voi aiheuttaa merkittävää viivettä sivuston suuren sisällön löytämisessä.
Top questions
indeksointi on sivustojen sisäänpääsy Googlen hakutuloksiin. Sivuston tehokas ryömiminen auttaa sen indeksoinnissa Google-haussa.
vaikuttaako Sivuston nopeus ryömimisbudjettiini? Entä virheet?
sivuston nopeuttaminen parantaa käyttäjien kokemusta ja samalla lisää ryömintänopeutta. Googlebotille nopea sivusto on merkki terveistä palvelimista, joten se voi saada enemmän sisältöä saman yhteysmäärän päälle. Kääntöpuolena merkittävä määrä 5xx-virheitä tai yhteyden aikakatkaisuja viestittää päinvastaista, ja indeksointi hidastuu.
suosittelemme kiinnittämään huomiota Hakukonsolin Indeksointivirheiden Raporttiin ja pitämään palvelinvirheiden määrän pienenä.
onko indeksointi ranking tekijä?
lisääntynyt ryömintänopeus ei välttämättä johda parempiin asemiin hakutuloksissa. Google käyttää satoja signaaleja ranking tulokset, ja vaikka indeksointi on tarpeen olla tuloksia, se ei sijoitussignaali.
lasketaanko vaihtoehtoiset URL-osoitteet ja upotettu sisältö indeksointibudjettiin?
yleensä mikä tahansa Googlebotin ryömimä URL lasketaan sivuston ryömimisbudjettiin. Vaihtoehtoiset URL-osoitteet, kuten AMP tai hreflang, sekä upotettu sisältö, kuten CSS ja JavaScript, mukaan lukien AJAX (kuten XHR) puhelut, voi olla indeksoitu ja kuluttaa sivuston indeksoida budjetti. Samoin pitkät uudelleenohjausketjut voivat vaikuttaa negatiivisesti ryömimiseen.
Voinko ohjata Googlebotia “ryömintäviive” – direktiivillä?
epätyypilliset “ryömintäviive” robotit.Googlebot ei käsittele txt-direktiiviä.
vaikuttaako nofollow-direktiivi indeksibudjettiin?
se riippuu. Mikä tahansa URL, joka on indeksoitu vaikuttaa indeksoida budjetti, joten vaikka sivu merkitsee URL kuin nofollow se voidaan silti indeksoida, jos toinen sivu sivustossasi, tai sivu Webissä, ei merkitse linkkiä nofollow.
tee URL olen kieltänyt kautta robotteja.vaikuttaako txt ryömimisbudjettiini millään tavalla?
ei, kielletyt URL-osoitteet eivät vaikuta ryömimisbudjettiin.
lisätietoja siitä, miten optimoida indeksoinnin sivustosi, katsomaan blogipost optimoimalla indeksoinnin 2009, joka on edelleen sovellettavissa. Jos sinulla on kysyttävää, kysy foorumeilla!
julkaissut Gary, Crawling and Indexing teams
Leave a Reply