Краулінговий бюджет
Краулінговий бюджет (англ. crawl budget, чи — Бюджет сканування, або ліміт на сканування) — кількість сторінок, які робот Googlebot переглядає та індексує на веб-сайті протягом певного періоду часу. Робот Googlebot налаштований таким чином, щоб під час сканування сторінок він не заважав відвідувачам сайту. Навантаження на сервер залежить від швидкості сканування, яка визначає, з якою періодичністю Googlebot отримує дані з веб-сторінок.
Швидкість сканування визначається кількістю одночасних підключень, які може встановити Googlebot при обробці сайту, а також інтервалом між підключеннями. На неї впливають такі фактори:
- Час відповіді сайту. Якщо веб-сайт надсилає відповіді без затримок протягом певного часу, швидкість сканування збільшується, тобто Googlebot може використовувати при обробці контенту більше підключень. Якщо відповіді від сайту надходять повільно або містять помилки, швидкість сканування знижується.
- Обмеження, задане у Search Console. Власники сайтів можуть самостійно обмежувати швидкість сканування.
Велика кількість URL з низькою цінністю на сайті негативно позначається на його скануванні та індексуванні. Такі URL поділяються на наступні категорії (у порядку зменшення цінності):
- сторінки, на яких використовуються фасетна навігація та ідентифікатори сеансу;
- декілька сторінок із ідентичним контентом на одному сайті;
- сторінки з помилковими повідомленнями про помилки 404;
- зламані сторінки;
- нескінченні простори та проксі-сервери;
- сторінки зі спамом або вмістом низької якості.
Обробка таких сторінок забирає ресурси сервера, внаслідок чого дійсно важливі сторінки з цінним контентом можуть бути не скановані вчасно.