hoe te voorkomen dat zoekmachines een pagina indexeren
onlangs heb ik een client geholpen een oude YouTube-video van hun kanaal te verwijderen. Ze hadden niet de bedoeling op het maken van het publiek beschikbaar, en niet beseffen dat het was totdat ze Google zocht zichzelf.
hoewel dit niet onmiddellijk de index van de pagina van Google, het zette me aan het denken van de redenen dat iemand zou willen voorkomen dat zoekmachines indexeren van een pagina voordat enige schade wordt gedaan.
3 Redenen om Google te blokkeren van het indexeren van een pagina
hoewel er zeer weinig dringende redenen zijn om te leren hoe u kunt voorkomen dat Google een pagina indexeert, zijn hier enkele van de marketing redenen om dit te doen.
Verbeter uw Tracking en doeltoewijzing
voor veel webmasters en marketeers worden doelen voor formulieraanvullingen gevolgd door bezoeken aan een bedankpagina. Om te voorkomen dat uw Bedankpagina per ongeluk organisch verkeer ontvangt, wilt u leren hoe u kunt voorkomen dat Google de pagina volledig indexeert.
als er organisch verkeer op uw pagina landt naast gebruikers die uw formulieren hebben ingevuld, zullen uw doelen en doelconversiepercentage niet juist zijn.
verminder pagina ‘ s zonder gebruikerswaarde
hoewel het een te simplistisch model is, kunt u zich bijna voorstellen dat uw site een pool van SEO-waarde heeft.
voor een site met 10 pagina ‘ s krijgt elke pagina ongeveer 1/10e van de SEO-waarde. Als de eigenaar van de site heeft geleerd hoe te doen zoekwoord onderzoek en geoptimaliseerd hun alle pagina ‘s, al die pagina’ s zullen efficiënt en effectief zijn bij het genereren van organische verkeer.
omgekeerd, afbeelding een site met 100 pagina ‘ s. Er zijn vier pagina’ s die eigenlijk praten over de diensten van een bedrijf, en de andere 96 pagina ‘ s zijn “blog posts” die eigenlijk gewoon de eigenaar dumpen informatie op hun site. Deze pagina ‘ s zijn niet gericht op bekende doelgroep behoeften, en zijn niet geoptimaliseerd voor een relevante trefwoord groepen.
in ons vereenvoudigde model is de pool van SEO-waarde dun verdeeld. Elk van de vier diensten pagina ‘ s ontvangt 1 / 100e van de site geaggregeerde SEO waarde, waardoor ze erg zwak, hoewel ze relatief geoptimaliseerd. De andere 96 pagina ‘ s ontvangen een 96/100ste van de waarde, maar ze zijn doodlopende wegen die val en afval uw website ranking potentieel.
leren voorkomen dat zoekmachines een pagina indexeren (of 96) is een geweldige manier om te voorkomen dat de SEO-waarde van uw site te dun wordt verspreid. U kunt het grootste deel van uw website te verbergen voor zoekmachines, zodat Google alleen weet over de nuttige en relevante pagina ‘ s die het verdienen om te worden gevonden.
vermijd Dubbele inhoudsproblemen
het publiceren van een pagina die identiek of bijna identiek is aan een andere pagina op het internet kan onnodige besluitvorming voor Google veroorzaken.
welke pagina is het origineel? Zelfs als een van de pagina ‘ s eerst werd gepubliceerd, is de dubbele pagina die de meer gezaghebbende bron volgde? Als beide pagina ‘ s op uw website staan, welke pagina wilt u dan in de zoekresultaten van Google opnemen? Het resultaat bevalt je misschien niet altijd.
om dubbele inhoudsproblemen te voorkomen, kunt u proberen te voorkomen dat bots bepaalde pagina ‘ s op uw site crawlen.
hoe te voorkomen dat Google een pagina indexeert
de eenvoudigste en meest gebruikte methode om te voorkomen dat zoekmachines een pagina indexeren is door de meta noindex tag op te nemen.
Include the Noindex Tag
de noindex meta tag wordt gebruikt tussen de<head></head > HTML tags op een webpagina om te voorkomen dat zoekmachine bots die pagina in hun index opnemen. Hierdoor kunnen crawlers nog steeds door uw pagina ‘ s lezen, maar het suggereert dat ze geen kopie ervan bevatten om in hun zoekresultaten te dienen.
de noindex tag om te voorkomen dat zoekmachines een pagina indexeren ziet er als volgt uit:
<meta name="robots" content="noindex">
Als u zich alleen zorgen maakt over het voorkomen dat Google een pagina indexeert, kunt u de volgende code gebruiken:
<meta name="googlebot" content="noindex">
Als u gebruik maakt van WordPress als uw CMS (die ik sterk aanbevelen), dan wilt u misschien gebruik maken van de Yoast SEO plugin (die ik ook sterk aanbevelen). Met een paar klikken van uw muis, kunt u de noindex tag toe te voegen aan een pagina die u wenst.
in de backend van een pagina, scroll naar beneden naar uw Yoast SEO box. Klik vervolgens op het tandwielpictogram en wijzig het drop-downveld dat zegt “zoekmachines toestaan om dit bericht in de zoekresultaten weer te geven?”nee zeggen”.”
Dit is geen richtlijn, dus zoekmachine kan ervoor kiezen om uw meta noindex tag te negeren. Voor een stevigere techniek kunt u uw robots gebruiken.txt-bestand.
Bots in uw Robots niet toestaan.txt
als u er zeker van wilt zijn dat bots als Googlebot en Bingbot uw pagina ‘ s helemaal niet kunnen doorzoeken, kunt u instructies aan uw robots toevoegen.txt-bestand.
Robots.txt is het bestand gevonden in de root van een Apache server die bepaalde bots kan verbieden om ooit het maken van uw pagina ‘ s in de eerste plaats. Het is belangrijk op te merken dat sommige bots kunnen worden geïnstrueerd om uw robots te negeren.txt bestand, dus je kunt echt alleen blokkeren dat “goede” bots met deze techniek.
laten we een pagina op uw site, https://www.mysite.com/example-page/, als voorbeeld gebruiken. Om alle bots de toegang tot deze pagina te ontzeggen, gebruikt u de volgende code in uw robots.txt:
User-agent: *Disallow: /example-page/
merk op dat u niet uw volledige URL hoeft te gebruiken, alleen de URI die na uw domeinnaam komt. Als u alleen wilt voorkomen dat Googlebot de pagina kruipt, kunt u de volgende code gebruiken:
User-agent: GooglebotDisallow: /example-page/
Stop Bots van het kruipen van uw Site met .htaccess
persoonlijk ken ik geen clients die dit ooit zouden moeten gebruiken, maar u kunt uw .htaccess-bestand om elke user-agent te blokkeren van het crawlen van uw site.
Dit is een manier om Google te stoppen met het crawlen van uw site die niet kan worden genegeerd, zelfs niet door” slechte ” bots. Het voorbehoud is dat dit meer een ingrijpende oplossing, en minder gericht op een specifieke pagina. Het beheren van de gerichte weigering van toegang voor verschillende pagina ‘ s in uw .htaccess-bestand zou een nachtmerrie zijn.
de code om alleen Googlebot te blokkeren ziet er zo uit:
RewriteEngine OnRewriteCond %{HTTP_USER_AGENT} Googlebot RewriteRule .* -
Als u meerdere bots tegelijk wilt blokkeren, kunt u uw code zo instellen:
RewriteEngine OnRewriteCond %{HTTP_USER_AGENT} ^.*(Googlebot|Bingbot|Baiduspider).*$ RewriteRule .* -
leren hoe te voorkomen dat zoekmachine een van uw pagina ‘ s indexeert, is soms noodzakelijk en niet erg moeilijk, afhankelijk van hoe u ervoor kiest om het te doen.
voor meer hulp met de SEO van uw bedrijfswebsite, check out my company, MARION ‘ s, website launch checklist.
Leave a Reply