Crawl Budget to termin używany w dziedzinie optymalizacji wyszukiwarek (SEO), który odnosi się do liczby stron na witrynie, które roboty wyszukiwarki mogą zaindeksować w określonym czasie. Koncept ten jest szczególnie istotny dla dużych witryn z wieloma podstronami, gdzie efektywne wykorzystanie budżetu indeksowania ma kluczowe znaczenie dla widoczności w wynikach wyszukiwania.
Crawl budget składa się z dwóch głównych komponentów – crawl rate limit i crawl demand. Crawl rate limit to maksymalna liczba zapytań indeksujących, które bot wyszukiwarki może wykonać na stronie bez zakłócania działania witryny. Crawl demand odnosi się z kolei do potrzeby indeksowania danej strony internetowej, co zależy od jej popularności i aktualizacji treści.
Czynniki wpływające na crawl budget
Do czynników mających wpływ na crawl budget zaliczamy m.in.:
- błędy serwera,
- duplikacja treści,
- system nawigacji witryny,
- niezoptymalizowane linkowanie wewnętrzne,
- pętle przekierowań występujące w dużych ilościach,
- błędy w systemach CMS, generujące nieskończone liczby nowych adresów URL.
