hur man förhindrar sökmotorer från att indexera en sida
jag hjälpte nyligen en klient att ta bort en gammal YouTube-video från sin kanal. De hade inte tänkt att göra det offentligt tillgängligt och insåg inte att det var förrän de Google sökte sig själva.
även om detta inte kommer att omedelbart deindex sidan från Google, det fick mig att tänka på skäl som någon kanske vill hindra sökmotorer från att indexera en sida innan någon skada görs.
3 Skäl att blockera Google från att indexera en sida
även om det finns väldigt få pressande skäl kanske du vill lära dig att förhindra att Google indexerar en sida, här är några av marknadsföringsskälen för att göra det.
förbättra din spårning och Målattribution
för många webbansvariga och marknadsförare spåras mål för formulärfyllningar genom besök på en tacksida. För att förhindra att din tacksida av misstag får organisk trafik vill du lära dig hur du förhindrar att Google indexerar sidan helt.
om du har organisk trafiklandning på din sida utöver användare som har fyllt i dina formulär kommer dina mål och målkonverteringsfrekvens inte att vara korrekta.
minska sidor utan Användarvärde
även om det är en alltför förenklad modell, kan du nästan föreställa dig att din webbplats har en pool av SEO-värde.
för en webbplats med 10 sidor får varje sida ungefär 1/10 av SEO-värdet. Om webbplatsägaren har lärt sig hur man gör sökordsforskning och optimerat alla sidor, kommer alla dessa sidor att vara effektiva och effektiva för att generera organisk trafik.
omvänt, bild en webbplats med 100 sidor. Det finns fyra sidor som faktiskt talar om ett företags tjänster, och de andra 96 sidorna är “blogginlägg” som egentligen bara är ägaren som dumpar information på deras webbplats. Dessa sidor tar inte upp kända målgruppsbehov och är inte optimerade för relevanta sökordsgrupper.
i vår förenklade modell sprids poolen av SEO-värde tunt. Var och en av de fyra tjänstesidorna får 1/100 av webbplatsens sammanlagda SEO-värde, vilket gör dem mycket svaga trots att de är relativt optimerade. De andra 96 sidorna får 96/100 av värdet, men de är återvändsgränder som fångar och slösar bort din webbplats rankningspotential.
att lära sig att förhindra att sökmotorer indexerar en sida (eller 96) är ett bra sätt att hålla webbplatsens SEO-värde spridd för tunt. Du kan dölja det mesta av din webbplats från sökmotorer så att Google bara vet om de användbara och relevanta sidorna som förtjänar att hittas.
Undvik problem med duplicerat innehåll
att publicera en sida som är identisk eller nästan identisk med en annan sida på internet kan orsaka onödigt beslutsfattande för Google.
vilken sida är originalet? Även om en av sidorna publicerades först, är den dubbla sidan som följde den mer auktoritativa källan? Om båda sidorna finns på din webbplats, vilken tänkte du inkludera i Googles sökresultat? Du kanske inte alltid gillar resultatet.
för att undvika att orsaka problem med duplicerat innehåll kan du försöka stoppa bots från att genomsöka vissa sidor på din webbplats.
så här håller du Google från att indexera en sida
den enklaste och vanligaste metoden för att förhindra att sökmotorer indexerar en sida är att inkludera meta noindex-taggen.
inkludera Noindex-taggen
noindex-metataggen används mellan<head></head > HTML-taggar på en webbsida för att förhindra att sökmotorrobotar inkluderar den sidan i sitt index. Detta gör det fortfarande möjligt för sökrobotar att läsa igenom dina sidor, men det tyder på att de inte innehåller en kopia av den för att visas i sökresultaten.
noindex-taggen för att förhindra att sökmotorer indexerar en sida ser ut så här:
<meta name="robots" content="noindex">
om du bara är orolig för att förhindra att Google indexerar en sida kan du använda följande kod:
<meta name="googlebot" content="noindex">
om du använder WordPress som ditt CMS (som jag rekommenderar starkt), kanske du vill använda Yoast SEO-plugin (som jag också rekommenderar). Med ett par musklick kan du lägga till noindex-taggen på vilken sida du vill.
i backend på en sida, bläddra ner till din Yoast SEO box. Klicka sedan på kugghjulsikonen och ändra rullgardinsmenyn som säger “Tillåt sökmotorer att visa det här inlägget i sökresultaten?”att säga” nej.”
detta är inte ett direktiv, så sökmotorn kan välja att ignorera din meta noindex-tagg. För en mer robust teknik kan du använda dina robotar.txt-fil.
Tillåt Bots i dina robotar.txt
om du vill vara säker på att bots som Googlebot och Bingbot inte kan genomsöka dina sidor alls kan du lägga till direktiv till dina robotar.txt-fil.
robotar.txt är filen som finns i roten till en Apache-server som kan tillåta vissa bots från att någonsin göra det till dina sidor i första hand. Det är viktigt att notera att vissa bots kan instrueras att ignorera dina robotar.txt-fil, så du kan verkligen bara blockera de “bra” botsna med den här tekniken.
Låt oss använda en sida på din webbplats, https://www.mysite.com/example-page/, som ett exempel. För att inte tillåta alla bots från att komma åt den här sidan, skulle du använda följande kod i dina robotar.txt:
User-agent: *Disallow: /example-page/
Lägg märke till att du inte behöver använda din fullständiga URL, bara URI som kommer efter ditt domännamn. Om du bara vill blockera Googlebot från att genomsöka sidan kan du använda följande kod:
User-agent: GooglebotDisallow: /example-page/
stoppa Bots från att genomsöka din webbplats med .htaccess
jag känner personligen inte till några klienter som någonsin skulle behöva använda detta, men du kan använda din .htaccess-fil för att blockera alla användaragenter från att genomsöka din webbplats.
Detta är ett sätt att helt stoppa Google från att genomsöka din webbplats som inte kan ignoreras, även av “dåliga” bots. Förbehållet är att detta är mer av en svepande lösning, och mindre riktade till en specifik sida. Hantera riktade förnekande av åtkomst för flera sidor inne i din .htaccess-filen skulle vara en mardröm.
koden för att blockera Googlebot skulle bara se ut så här:
RewriteEngine OnRewriteCond %{HTTP_USER_AGENT} Googlebot RewriteRule .* -
om du vill blockera flera bots åt gången kan du ställa in din kod så här:
RewriteEngine OnRewriteCond %{HTTP_USER_AGENT} ^.*(Googlebot|Bingbot|Baiduspider).*$ RewriteRule .* -
att lära sig att förhindra att sökmotorn indexerar en av dina sidor är ibland nödvändigt och inte särskilt svårt beroende på hur du väljer att göra det.
för mer hjälp med din företagswebbplats SEO, kolla in mitt företag, Marions, webbplatslanseringschecklista.
Leave a Reply