Co je crawl budget

Naposledy změněno: 05.10.2022
Doba čtení: 1 min
Štítky:

Crawl budget je objem URL, které dokáže crawler projít během určitého časového období. Jeho míra je nejčastěji udávána v počtu URL, procházených specifickým robotem (crawlerem) za jeden den. Udává ji mnoho faktorů. Mezi nejdůležitějších patří kvalita obsahu, rychlost načítání webu a struktura interního prolinkování.

Vyzkoušejte Marketing Miner nyní:

Jak zjistit crawl budget webu

K identifikaci crawl budget specifických crawlerů (robotů) vyhledávačů se používá analýza access logů serveru. Access log je soubor na serveru, který zaznamenává veškeré požadavky, které server zpracovává. Na výstupu vrací data jako:

  • User-agent (Používá se k identifikaci požadavků robota na server)
  • IP
  • URL požadavku
  • Datum a čas požadavku
  • …a mnohé další

Dovoluje tak SEO specialistům či komukoli jinému analyzovat bližší informace o požadavcích, prováděných crawlery vyhledávačů.

Crawl budget definice

Optimalizace crawl budgetu

Vyhledávače přidělují crawl budget webu primárně na základě jeho autority (odkazového portfolia) a množství unikátního/kvalitního obsahu, které jsou schopny získat. V rámci průchodu crawlera webem je třeba řešit tzv. crawl waste. Crawl waste jsou dotazy, které jdou na neexistující stránky či stránky které necheme indexovat. V rámci analýzy logů se nejčastěji objevují následující problémy:

  • URL s chybovou odezvou
  • Neindexovatelné stránky
  • Stránky s tzv. “thin content”
Byl tento článek užitečný?
Ne

Další články

Předchozí: Co je SERP visibility
Další: Co je odkaz
Máte otázku? Prohledejte naši nápovědu.