Crawlbudget

Wat is het Crawlbudget?

Het crawlbudget is het dagelijkse limiet van de Google-bots om pagina’s van je website te crawlen, om deze vervolgens te indexeren en te ranken binnen de zoekresultaten. Wanneer een bot op je website terecht komt heeft deze dus beperkt de tijd en zal deze niet zomaar alle pagina’s crawlen. De duur van een Google-bot bezoek varieert namelijk van dag tot dag. Het is dus van essentieel belang om dit bezoek zo efficiënt mogelijk te maken en hier alles uit te halen. Daarom is het van extreem belang om goed naar de techniek van je website te kijken en eventuele technische obstakels die een Google-bot enorm kunnen ophouden tijdens een bezoek te elimineren!

Hoe wordt het Crawlbudget precies bepaald?

Het crawlbudget wordt bepaald door de autoriteit van je website. Een hoge autoriteit van je website betekent een hoger crawlbudget. Als Google tijdens het indexeren van een pagina nieuwe pagina's ontdekt worden deze achterin de wachtrij geplaatst. Deze worden dan later uitgelezen. Als er veel links op de pagina's staan en het crawlbudget is klein, dan hou je een lange wachtrij over, die later wordt geïndexeerd. 

Waar kun je zien welke pagina's in de wachtrij staan?

Heb je je website al aangemeld bij Google Search Console? Niet? Dan ga dat zo snel mogelijk doen!

Binnen Google Search Console klik je op 'pagina's' en vervolgens zie je een overzicht waarom pagina's niet geïndexeerd worden:

Bij de melding 'gevonden - momenteel niet geïndexeerd' staan alle overgebleven pagina's in de wachtrij, ook komt dit vaak doordat Google denkt dat de website een soort van overbelast zal raken op het moment dat ze de crawl willen doen!

Wat kan ik doen om mijn pagina's te laten indexeren?

Er zijn verschillende manier om het indexeringsproces te versnellen:

1.  Vraag handmatig een nieuwe indexering aan via Google Search Console: voer bovenin de zoekbalk de URL in die je graag wilt laten indexeren.
   
   
   
   Klik vervolgens op indexering aanvragen.
   
   
   
   Let op, je kunt deze methode slechts een aantal keer per dag gebruiken!
   
   
   
2. Voeg een nieuwe versie van je sitemap toe aan Google Search Console:

Zorg ervoor dat je nieuwe pagina's in de Sitemap staat die je wilt toevoegen.

3. Wachten... het is vervelend. er zit soms niks ander op!