Crawl budget je objem URL, které dokáže crawler projít během určitého časového období. Jeho míra je nejčastěji udávána v počtu URL, procházených specifickým robotem (crawlerem) za jeden den. Udává ji mnoho faktorů. Mezi nejdůležitějších patří kvalita obsahu, rychlost načítání webu a struktura interního prolinkování.
Vyzkoušejte Marketing Miner nyní:
Jak zjistit crawl budget webu
K identifikaci crawl budget specifických crawlerů (robotů) vyhledávačů se používá analýza access logů serveru. Access log je soubor na serveru, který zaznamenává veškeré požadavky, které server zpracovává. Na výstupu vrací data jako:
- User-agent (Používá se k identifikaci požadavků robota na server)
- IP
- URL požadavku
- Datum a čas požadavku
- …a mnohé další
Dovoluje tak SEO specialistům či komukoli jinému analyzovat bližší informace o požadavcích, prováděných crawlery vyhledávačů.
Optimalizace crawl budgetu
Vyhledávače přidělují crawl budget webu primárně na základě jeho autority (odkazového portfolia) a množství unikátního/kvalitního obsahu, které jsou schopny získat. V rámci průchodu crawlera webem je třeba řešit tzv. crawl waste. Crawl waste jsou dotazy, které jdou na neexistující stránky či stránky které necheme indexovat. V rámci analýzy logů se nejčastěji objevují následující problémy:
- URL s chybovou odezvou
- Neindexovatelné stránky
- Stránky s tzv. “thin content”