Wat is index bloat (en hoe los je het op)?

Zelfs na het indienen van een XML-sitemap kunnen zoekmachines extra pagina’s ontdekken die je liever niet in de index ziet. Deze index bloat kan een negatieve invloed hebben op je zoekresultaten. Gelukkig zijn er veschillende manieren om dit probleem op te lossen.

Wat is index bloat?

Index bloat is een fenomeen waarbij pagina’s met weinig meerwaarde voor bezoekers geïndexeerd worden en crawlbudget verspillen. Hierdoor krijgen strategisch belangrijke pagina’s minder aandacht.

Pagina’s die voor een index bloat kunnen zorgen zijn:

Waarom is dit een probleem?

Index bloat vergroot je aanwezigheid in zoekmachines met content die geen doel heeft of niet interessant is voor lezers.

Wanneer Google deze onnodige pagina’s indexeert, zorgt dat voor allerlei problemen.

Moeilijker voor zoekmachines om je pagina’s te ranken

Zoekmachines moeten je website begrijpen om de inhoud zo goed mogelijk af te stemmen op de zoekopdrachten van gebruikers. Pagina’s zonder duidelijke content maken dit proces onnodig moeilijk.

Nadelig voor je positie

Pagina’s met vergelijkbare inhoud concurreren met elkaar als ze zich richten op dezelfde zoekwoorden. Pagina’s van lage kwaliteit of duplicate content scoren mogelijk niet goed, wat de algehele autoriteit van je website kan beïnvloeden.

Verspilling van crawlbudget

Index bloat zien we vaak op grotere websites, waar een efficiënt gebruik van het crawlbudget erg belangrijk is. Door irrelevante URL’s gaat er minder aandacht naar URL’s die wel belangrijk zijn voor je doelstellingen.

Index bloat identificeren

Controleer of je website last heeft van index bloat door een kijkje te nemen in Google Search Console.

Ga naar het tabblad Coverage en klik bovenaan de grafiek op ‘Valid‘ (groen). Dit cijfer vertelt hoeveel URL’s er geïndexeerd zijn.

Ga daarna naar het Sitemaps tabblad en vergelijk bovenstaande cijfer met de kolom ‘Discovered URL’s‘.

Komt dit cijfer ongeveer overeen? Dan is er geen probleem. Pas wanneer het aantal geïndexeerde pagina’s aanzienlijk groter is dan die in je XML-sitemap is er sprake van index bloat.

Index bloat oplossen

Om index bloat op te lossen, moet je interne links verwijderen, crawlbots instructies geven over welke pagina’s ze moeten indexeren, canonical tags gebruiken en overbodige content van je website verwijderen.

Interne links verwijderen

Als je van plan bent content niet te indexeren, zal het verwijderen van interne links naar die URL’s Google’s mogelijkheden beperken om die inhoud te vinden en te indexeren. Omdat Google interne links gebruikt om nieuwe content te vinden, zal na het verwijderen van deze links meer aandacht gaan naar de overige pagina’s.

Gebruik het robots.txt bestand

Maak een robots.txt-bestand als je er nog geen hebt.

Een robots.txt-bestand blokkeert zoekmachines de toegang tot bepaalde URL’s. Bijvoorbeeld naar interne zoekresultaten. Moesten deze interne zoekresultaten wel bereikbaar zijn, zou Google duizenden pagina’s openen, crawlen en indexeren, terwijl ze geen meerwaarde hebben.

Verder is het een goede gewoonte om bestaande robots.txt-bestanden regelmatig te controleren om ervoor te zorgen dat crawlers de juiste pagina’s bezoeken.

Meta robots tags and x-robots

De robots meta tag kan worden toegevoegd aan een HTML document om instructies te geven over die specifieke pagina zonder wijzigingen aan te brengen in het robots.txt bestand. Je hebt dus meer controle over hoe een individuele pagina wordt gecrawld.

Opgelet: een meta robots tag kan enkel op pagina’s die niet in je robots.txt-bestand worden geblokkeerd. Anders kan Google deze richtlijn niet lezen.

De x-robots tag is een HTTP-header. Deze heeft dezelfde functionaliteit als een meta robots tag en regelt de indexering van afbeeldingen, video’s, PDF’s en andere niet-HTML-bestanden.

Voeg canonical tags toe

Canonical tags zorgen ervoor dat Google niet alle versies van soortgelijke URL’s indexeert. Deze tags worden in de header van een webpagina geplaatst en vertellen Google welke URL je het liefst gebruikt in de zoekresultaten.

Verwijder pagina’s of voeg ze samen

Slecht presterende pagina’s die weinig organisch verkeer opleveren dragen ook bij aan de index bloat. Denk bijvoorbeeld aan pagina’s met verouderde inhoud of pagina’s die erg op elkaar lijken.

Opgelet: het snoeien van content moet doordacht gebeuren om een negatieve impact op je SEO te voorkomen.

Een audit helpt te bepalen of je bepaalde pagina’s best samenvoegt of ze permanent verwijdert. Vergeet ook niet om de juiste redirects in te stellen.

hulp nodig?

Vraag advies

Vermoed je dat jouw website last heeft van index bloat? Vraag advies op maat. Contacteer mij voor meer informatie.