A Crawl Budget az URL-ek azon mennyisége, amelyet a crawler egy bizonyos idő alatt át tud crawlolni. A mennyiségét leggyakrabban az egy adott robot (lánctalpas) által egy nap alatt beolvasott URL-ek mennyiségében adják meg. Ez számos tényezőtől függ, a legfontosabbak a tartalom minősége, a weboldal betöltési sebessége és a belső linkek struktúrája.
Hogyan lehet azonosítani a web crawl költségvetés
A felhasználónak hozzáférési naplófájlra van szüksége, hogy azonosítsa a keresőmotorok (robotok) adott lánctalpasainak (robotok) költségvetését. A hozzáférési napló egy olyan fájl a kiszolgálón, amely rögzíti az adott kiszolgáló által feldolgozott összes kérést. A kimeneti adatok ezután visszatérnek:
- User-agent (A lánctalpasok által a kiszolgálóhoz intézett kérések azonosítására szolgál)
- IP
- A kérelem URL címe
- A kérelem dátuma és időpontja
- …és még sokan mások
Lehetővé teszi a SEO-szakértők vagy bárki más számára, hogy alaposan elemezzék a keresőmotorok lánctalpasai által végrehajtott kérésekkel kapcsolatos információkat.
Crawl költségvetés optimalizálása
A keresőmotorok elsősorban a weboldal tekintélye (linkportfólió) és az általuk megszerezhető egyedi és minőségi tartalom mennyisége alapján rendelnek a weboldalhoz egy feltérképezési költségvetést. A webkúszó lépésében figyelembe kell venni a kúszási hulladékot. A kúszóhulladékok azok a megjegyzések és lekérdezések, amelyek nem létező weboldalakra mennek, vagy olyanokra, amelyeket nem akarunk feltérképezni. Az alábbiakban a naplóelemzés során előforduló leggyakoribb problémák következnek:
- URL a hibaválaszt tartalmazó URL
- Nem indexelhető weboldalak
- “Sovány tartalmú” weboldal