Crawl Budget
La cantidad de páginas que un buscador rastreará en tu sitio en un período determinado.
Resumen rápido
Crawl Budget se refiere a la cantidad de páginas que un buscador rastreará en tu sitio en un período determinado. Si Google gasta su presupuesto de rastreo en páginas de bajo valor (filtros, paginación duplicada, URLs con parámetros), tus páginas importantes pueden tardar semanas en indexarse o ni siquiera aparecer en los resultados. Esto es especialmente crítico cuando publicas contenido nuevo que necesita indexarse rápidamente para captar tráfico estacional o trending topics. Consejo clave: Revisa el informe de "Estadísticas de rastreo" en Google Search Console.
¿Qué es Crawl Budget?
El crawl budget es el número de páginas que Googlebot (u otro rastreador) visitará y procesará en tu sitio web durante un período de tiempo. Está determinado por dos factores principales: la capacidad de rastreo (qué tan rápido puede rastrear sin sobrecargar tu servidor) y la demanda de rastreo (qué tan importante considera Google tu contenido). Si tu sitio tiene miles de páginas, optimizar el presupuesto de rastreo es crucial para que las páginas importantes se indexen rápidamente. Los sitios pequeños (menos de 500 páginas) raramente tienen problemas de crawl budget, pero para ecommerce y portales con decenas de miles de URLs, es un factor decisivo en la velocidad de indexación.
¿Por qué importa?
Si Google gasta su presupuesto de rastreo en páginas de bajo valor (filtros, paginación duplicada, URLs con parámetros), tus páginas importantes pueden tardar semanas en indexarse o ni siquiera aparecer en los resultados. Esto es especialmente crítico cuando publicas contenido nuevo que necesita indexarse rápidamente para captar tráfico estacional o trending topics.
Cómo aplicar Crawl Budget paso a paso
Bloquea páginas innecesarias con robots.txt, elimina contenido duplicado, mejora la velocidad del servidor y asegúrate de que tu sitemap XML solo incluya URLs importantes. Usa Google Search Console para monitorear las estadísticas de rastreo y detectar si Googlebot está gastando ciclos en URLs que no aportan valor SEO.
Ejemplo práctico
Un ecommerce con 50,000 productos tenía 200,000 URLs por filtros de color/talla/precio. Al bloquear las URLs de filtros combinados con robots.txt y usar canonical tags en las variaciones, redujo sus URLs rastreables a 60,000 y Google indexó sus productos nuevos en 48 horas en vez de 2 semanas. Además, las páginas de categoría principales mejoraron su posición promedio un 12% al recibir más "atención" del rastreador.
Errores comunes
Incluir URLs de búsqueda interna, filtros y paginación en el sitemap
No bloquear el rastreo de /wp-admin/, /cart/, /checkout/ y otras URLs sin valor SEO
Tener cadenas de redirecciones (301→301→301) que desperdician rastreos valiosos
Olvidar que los parámetros UTM crean URLs duplicadas que Google también rastrea innecesariamente
Tip pro
Revisa el informe de "Estadísticas de rastreo" en Google Search Console. Si Google está rastreando más de un 30% de URLs que no quieres indexar, tienes un problema serio de crawl budget. Prioriza limpiar esas URLs antes de crear contenido nuevo. También monitorea el "tiempo de respuesta del servidor" en ese mismo informe: si tu servidor tarda más de 500ms en responder, Googlebot reducirá la frecuencia de rastreo automáticamente.
Preguntas frecuentes
Herramientas relacionadas
Términos relacionados
Archivo que indica a los rastreadores web qué páginas pueden o no pueden visitar en tu sitio.
Archivo que lista todas las URLs importantes de tu sitio para facilitar su descubrimiento por buscadores.
El proceso mediante el cual Google agrega una página web a su base de datos de resultados de búsqueda.
My Rank Lab
Aprende a aplicar Crawl Budget como un profesional
Herramientas reales, cursos avanzados y soporte experto. No solo lees, aplicas.