Crawl Budget (Budget de crawl) : Nombre de pages qu'un moteur de recherche est disposé à explorer sur un site web pendant une période donnée. Cette limite dépend de la capacité du serveur et de la valeur perçue du site.
Qu'est-ce que le crawl budget ?
Le crawl budget représente le nombre de requêtes que Googlebot effectue sur votre site lors de ses visites. Ce budget est déterminé par deux facteurs principaux : la limite de capacité de crawl (crawl rate limit) et la demande de crawl (crawl demand).
La limite de capacité correspond au nombre maximum de connexions simultanées que Googlebot peut utiliser sans surcharger votre serveur. La demande de crawl reflète l'intérêt de Google pour votre contenu, basé sur la popularité et la fréquence de mise à jour de vos pages.
Pour les petits sites (moins de quelques milliers de pages), le crawl budget n'est généralement pas un problème. Il devient critique pour les grands sites e-commerce, les sites d'actualités ou les plateformes avec du contenu généré dynamiquement.
Pourquoi c'est important pour le SEO ?
- Détermine la fréquence de découverte et d'indexation de vos nouvelles pages
- Impacte la rapidité de prise en compte des mises à jour de contenu
- Un budget gaspillé sur des pages inutiles pénalise les pages importantes
- Essentiel pour les sites volumineux ou à contenu dynamique
Comment optimiser son crawl budget ?
- Bloquer les pages inutiles : Utiliser robots.txt pour les pages sans valeur SEO
- Éliminer le contenu dupliqué : Réduire les URLs inutiles
- Améliorer la vitesse du site : Un site rapide est crawlé plus efficacement
- Optimiser le sitemap : N'inclure que les pages importantes
- Corriger les erreurs : Éliminer les 404 et redirections inutiles