¿Qué es el Crawl Budget y Cómo Optimizarlo?

Si tienes un sitio web pequeño (menos de 1,000 páginas), probablemente puedes dejar de leer ahora. El crawl budget rara vez es un problema para sitios pequeños.

Pero si tu sitio tiene miles o millones de páginas (e-commerce grande, sitio de noticias, portal de clasificados), el crawl budget puede ser la diferencia entre que Google descubra tu contenido nuevo en horas o en semanas.

En este artículo te voy a explicar exactamente qué es el crawl budget, cuándo debes preocuparte por él, y las técnicas específicas para optimizarlo.

¿Qué es Crawl Budget?

Definición oficial de Google: "Crawl budget es el número de URLs que Googlebot puede y quiere rastrear en un sitio durante un periodo determinado."

Definición simple: Es cuántas páginas de tu sitio Google visitará cada día.

Los Dos Componentes del Crawl Budget

Google determina crawl budget basado en dos factores:

1. Crawl Capacity (Capacidad de Rastreo)

Qué es: El límite máximo que Googlebot puede rastrear sin causar problemas a tu servidor.

Factores que lo determinan:

• Velocidad de respuesta del servidor
• Errores HTTP (500, 503)
• Límites de velocidad configurados en robots.txt

Ejemplo:

Servidor rápido (100ms respuesta promedio):
→ Googlebot puede rastrear 1000 páginas/hora sin problemas

Servidor lento (2000ms respuesta):
→ Googlebot reduce a 200 páginas/hora para no sobrecargarlo

Importante: Google no quiere tumbar tu sitio. Si detecta que el rastreo causa problemas de rendimiento, automáticamente reduce la velocidad.

2. Crawl Demand (Demanda de Rastreo)

Qué es: Cuán importante considera Google rastrear tu sitio.

Factores que lo determinan:

• Popularidad del sitio: Más tráfico y backlinks = mayor demanda
• Frecuencia de actualizaciones: Contenido actualizado frecuentemente = mayor demanda
• Calidad del contenido: Sitios con contenido valioso reciben más crawl budget

Ejemplo ilustrativo:

Sitio de noticias (actualización cada hora):
Crawl budget: ~10,000 páginas/día

Blog personal (actualización semanal):
Crawl budget: ~50 páginas/día

Lo que importa del orden: los errores técnicos son lo que más resta y la popularidad del sitio lo que más suma. Google no publica el peso de ningún factor, así que quédate con el orden y no busques magnitudes: nadie las tiene.

¿Cuándo Debes Preocuparte por Crawl Budget?

Google es claro: la mayoría de sitios NO necesitan optimizar crawl budget.

Sitios Que NO Necesitan Preocuparse

• [✓] Menos de 10,000 páginas
• [✓] Contenido se actualiza semanalmente o menos
• [✓] Páginas nuevas se indexan en pocos días
• [✓] Servidor rápido (< 500ms respuesta)

Sitios Que SÍ Necesitan Optimizar

• [!] E-commerce grande: Miles de productos, filtros generan URLs infinitas
• [!] Sitios de noticias: Cientos de artículos nuevos diarios
• [!] Portales de clasificados: Millones de listings actualizándose constantemente
• [!] Sitios multi-idioma: Mismo contenido × N idiomas
• [!] Plataformas UGC: Contenido generado por usuarios masivamente

Test simple: ¿Tienes problema de crawl budget?

1. Ve a Google Search Console
2. Settings → Crawl stats
3. Busca:
   - Googlebot descarga < 50% de tus páginas por día
   - Páginas nuevas tardan > 7 días en indexarse
   - Gráfico de crawling decreciendo sin razón

Si respondes SÍ a 2+, tienes problema de crawl budget

Cómo Google Decide Qué Rastrear

Google usa un algoritmo de priorización para decidir qué páginas rastrear:

Prioridad ALTA (Rastrea primero)

1. Homepage y páginas principales
2. Contenido nuevo o actualizado recientemente
3. Páginas con muchos enlaces internos
4. URLs en sitemap XML
5. Páginas descubiertas vía backlinks

Prioridad BAJA (Rastrea último o nunca)

1. Páginas con parámetros de URL (filtros, ordenamiento)
2. Contenido duplicado
3. Páginas con error histórico (404, 500)
4. URLs bloqueadas por robots.txt
5. Páginas de baja calidad o contenido pobre

Ejemplo de priorización:

Alta prioridad:
https://ejemplo.com/nuevos-productos  (actualizado ayer)
→ Googlebot rastrea en < 24 horas

Baja prioridad:
https://ejemplo.com/products?color=red&size=M&sort=price
→ Googlebot puede tardar semanas o nunca rastrear

Factores Que Desperdician Crawl Budget

Estos son los "ladrones" de crawl budget que debes eliminar:

1. URLs con Parámetros Infinitos

Problema:

https://tienda.com/productos?page=1
https://tienda.com/productos?page=2
...
https://tienda.com/productos?page=9999

https://tienda.com/productos?color=rojo
https://tienda.com/productos?color=azul
https://tienda.com/productos?color=rojo&talla=M
https://tienda.com/productos?color=rojo&talla=M&precio=asc
... (millones de combinaciones)

Impacto: Googlebot desperdicia 80% del crawl budget en variaciones del mismo contenido.

Solución:

En Google Search Console:
«Parámetros de URL» (RETIRADO)

> La herramienta de **Parámetros de URL fue eliminada de Search Console en
> abril de 2022**. Google dice que hoy detecta los parámetros solo. Lo que sí
> puedes hacer: `rel="canonical"` hacia la versión limpia, `Disallow` en
> robots.txt para los parámetros que no aportan nada, y no enlazar
> internamente a URLs con parámetros.
- page (paginación)
- sort (ordenamiento)
- color, size (filtros que no cambian contenido sustancialmente)

2. Soft 404s y Páginas de Baja Calidad

Problema: Páginas que retornan 200 OK pero están vacías o tienen contenido mínimo.

https://tienda.com/buscar?q=asdfghjkl
→ 200 OK, pero "No results found"

Googlebot visita, encuentra contenido inútil, pero sigue rastreando
porque el código HTTP dice "todo bien"

Solución:

No devuelvas 404 en tu buscador interno: rompes la experiencia (el visitante
ve una página de error en vez de «no encontramos nada, prueba con…») y pierdes
la analítica de búsqueda interna, que es de los datos más útiles que tienes.

Lo correcto es mantener el 200 y sacar la búsqueda del índice:

  <meta name="robots" content="noindex, follow">

o bloquear la ruta en robots.txt si son muchísimas URLs.

3. Redirect Chains

Problema:

URL A → 301 → URL B → 301 → URL C → 200

Googlebot debe seguir 3 saltos para llegar al contenido final
= Desperdicia 3x el crawl budget

Solución:

URL A → 301 → URL C (directo)

Audita redirects:
Screaming Frog → Response Codes → Filter "3XX" → Check chains

4. Contenido Duplicado Sin Canonical

Problema:

https://ejemplo.com/articulo
https://ejemplo.com/articulo/
https://ejemplo.com/articulo?utm_source=facebook
https://ejemplo.com/articulo#comentarios

= 4 URLs, mismo contenido, Google rastrea todas

Solución:

En todas las variantes, añade canonical:
<link rel="canonical" href="https://ejemplo.com/articulo">

5. JavaScript Rendering Pesado

Problema: Google debe renderizar JavaScript para extraer contenido, proceso costoso.

Sitio HTML estático:
Rastreo: 10ms por página

Sitio heavy JS (React/Angular sin SSR):
Rastreo: 500ms+ por página

= 50x más lento, 50x menos páginas rastreadas

Solución:

• Server-side rendering (Next.js, Nuxt.js)
• Static generation
• Progressive enhancement

Técnicas Para Optimizar Crawl Budget

Optimización #1: Robots.txt Estratégico

Bloquea contenido de bajo valor:

# robots.txt

User-agent: *
# Bloquear admin y páginas internas
Disallow: /admin/
Disallow: /carrito/
Disallow: /checkout/

# Bloquear búsquedas internas
Disallow: /buscar?

# Bloquear filtros y ordenamiento.
# Hacen falta DOS reglas por parámetro: una para cuando va primero (?sort=)
# y otra para cuando va detrás de otro (&sort=). Con solo la primera,
# /productos?color=rojo&sort=precio NO queda bloqueado.
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?filter=
Disallow: /*&filter=
Disallow: /*?page=
Disallow: /*&page=

# Permitir todo lo demás
Allow: /

Sitemap: https://ejemplo.com/sitemap.xml

Antes de copiar esas reglas, mira bien los prefijos: ? solo coincide con el primer parámetro de la URL y & solo con los siguientes. Casi todos los robots.txt que se copian de tutoriales llevan únicamente la versión con ?, y por eso siguen dejando pasar /productos?color=rojo&sort=precio — que es justamente la combinación que multiplica las URLs en una tienda. Comprueba el resultado con el probador de robots.txt de Search Console antes de subirlo.

Advertencia, y es la que más caro sale: robots.txt NO desindexa. Y peor: si bloqueas una página con robots.txt, Google ya no puede leer el noindex que le pusiste — así que la página se queda indexada para siempre.

El orden correcto es al revés:

1. Permite el rastreo y pon noindex en la página.
2. Espera a que salga del índice (revísalo en Inspección de URLs).
3. Recién entonces, si quieres, bloquéala en robots.txt.

Optimización #2: Sitemap XML Inteligente

Solo incluye páginas importantes:

<!-- ❌ Malo: 100,000 URLs incluyendo duplicados -->
<urlset>
  <url><loc>https://ejemplo.com/producto-1</loc></url>
  <url><loc>https://ejemplo.com/producto-1?color=red</loc></url>
  <url><loc>https://ejemplo.com/producto-1?color=blue</loc></url>
  ...
</urlset>

<!-- ✅ Bueno: 5,000 URLs únicas y valiosas -->
<urlset>
  <url>
    <loc>https://ejemplo.com/producto-1</loc>
    <lastmod>2026-02-07</lastmod>
    <!-- Google ignora <priority> y <changefreq> desde hace años: no los pongas -->
  </url>
  ...
</urlset>

Reglas:

• Máximo 50,000 URLs por sitemap
• Solo canonical URLs
• Usa <lastmod> para indicar contenido actualizado — pero con la fecha real. Si tu plugin pone la fecha de hoy en todas las URLs, Google detecta que no es fiable y deja de hacerle caso a todo el sitemap. Es el fallo nº 1 de los sitemaps generados por WordPress
• Múltiples sitemaps para sitios grandes

Optimización #3: Mejorar Velocidad del Servidor

Impacto directo en crawl capacity:

Antes: 2000ms respuesta promedio
Crawl capacity: 200 páginas/hora

Después: 200ms respuesta promedio
Crawl capacity: 1500 páginas/hora

= 7.5x más páginas rastreadas

Tácticas:

• CDN (Cloudflare, AWS CloudFront)
• Database optimization y caching
• HTTP/2 o HTTP/3
• Brotli compression

Optimización #4: Consolidar Contenido Duplicado

Antes:

1000 productos × 5 variantes de color = 5000 URLs
Googlebot rastrea 5000 páginas similares

Después:

1000 productos con selector de color JavaScript
= 1000 URLs únicas

<link rel="canonical" href="https://ejemplo.com/producto-1">

Impacto: 80% de crawl budget liberado.

Optimización #5: Actualización Estratégica de Contenido

Problema: Google rastrea más frecuentemente sitios que actualizan regularmente.

Táctica:

En vez de:
- Publicar 30 artículos en Enero
- Nada en Febrero-Diciembre

Hacer:
- Publicar 2-3 artículos por semana constantemente
- Actualizar 1-2 artículos antiguos por semana

Google detecta patrón consistente → incrementa crawl budget

Optimización #6: Eliminar Páginas Huérfanas

Problema: Páginas sin enlaces internos consumen crawl budget sin propósito.

Solución:

1. Crawl tu sitio con Screaming Frog
2. Exporta "Orphan pages"
3. Para cada página:
   - ¿Valiosa? → Añadir enlaces internos
   - ¿No valiosa? → 404 o redirect

Monitorear Crawl Budget

Google Search Console: Crawl Stats

Ubicación: Settings → Crawl Stats

Métricas clave:

Métrica	Qué Significa	Ideal
Total Crawl Requests	Páginas rastreadas/día	Creciente o estable
Total Download Size	Datos descargados	Optimizar si > 100MB/día
Average Response Time	Velocidad del servidor	< 500ms
Crawl Request Status	200 vs errors	> 95% success

Señales de problema:

❌ Crawl requests decreciendo sin razón
❌ Response time > 1000ms
❌ > 5% de requests con error (4XX, 5XX)
❌ File size promedio > 2MB

Ejemplo ilustrativo: una tienda ordenó su presupuesto de rastreo y Google pasó a recorrer y a indexar bastantes más páginas. Las cifras concretas dependen tanto del sitio que darlas sería inventarlas; lo que sí se puede decir es que el efecto tarda semanas en verse, no días.

Errores Comunes

✗ Error #1: Obsesionarse con Crawl Budget en Sitio Pequeño

Problema: Sitio con 500 páginas dedica semanas a optimizar crawl budget.

Realidad: Google rastrea fácilmente sitios pequeños. El problema no es crawl budget, es calidad de contenido.

Solución: Enfócate en crear mejor contenido si tienes < 10K páginas.

✗ Error #2: Bloquear CSS/JS en Robots.txt

Problema:

# robots.txt
Disallow: /css/
Disallow: /js/

Impacto: Google no puede renderizar páginas correctamente, afecta rankings.

Solución: NUNCA bloquees CSS/JS necesario para renderizar contenido.

✗ Error #3: Sitemap con TODAS las URLs

Problema: Sitemap con 1 millón de URLs incluyendo paginación, filtros, etc.

Impacto: Google ignora sitemap por ser demasiado grande y de baja calidad.

Solución: Sitemap solo con URLs canonical y de valor.

Crawl Budget vs Indexación

Importante: Crawl budget ≠ indexación.

Googlebot puede rastrear (crawl) una página
pero decidir NO indexarla

Razones:
- Contenido duplicado
- Baja calidad
- Bloqueada por noindex
- Canonical apunta a otra URL

Proceso completo:

1. Googlebot descubre URL
2. Verifica crawl budget disponible
3. Rastrea página (si hay budget)
4. Evalúa calidad
5. Decide si indexar (independiente de crawl)

Checklist de Optimización

Antes de considerar tu crawl budget optimizado:

Análisis:

• [✓] Revisado Crawl Stats en Search Console
• [✓] Identificadas páginas de baja prioridad
• [✓] Auditado sitemap XML
• [✓] Medido response time del servidor

Optimizaciones:

• [✓] Robots.txt bloquea contenido de bajo valor
• [✓] Sitemap solo incluye URLs importantes
• [✓] Eliminados redirect chains
• [✓] Canonical tags en todas las páginas
• [✓] Parámetros sin valor: canonical + Disallow (la herramienta de GSC ya no existe)

Monitoreo:

• [✓] Crawl stats monitoreados mensualmente
• [✓] Server response time < 500ms
• [✓] > 95% de requests exitosos
• [✓] Páginas nuevas indexan en < 7 días

Conclusión

El crawl budget importa solo si tienes un sitio grande con miles de páginas. Para la mayoría, optimizar contenido y estructura tiene mayor impacto.

Si tienes problema de crawl budget:

✓ Elimina contenido duplicado y de baja calidad ✓ Optimiza velocidad del servidor ✓ Usa robots.txt y sitemap estratégicamente ✓ Consolida variaciones de URL ✓ Monitorea Crawl Stats regularmente

Si tu sitio es pequeño:

Enfócate en crear contenido valioso. Google rastreará e indexará sin problema.

Tu próximo paso: Ve a Search Console → Settings → Crawl Stats. Si ves > 95% de success rate y páginas nuevas indexan en pocos días, tu crawl budget está bien. Si no, implementa las optimizaciones de este artículo.

---

Fuentes y Referencias

1. Google Search Central: "What Crawl Budget Means for Googlebot" - https://developers.google.com/search/blog/2017/01/what-crawl-budget-means-for-googlebot
2. Google Search Central: "Large Site Owner's Guide to Managing Your Crawl Budget" - https://developers.google.com/crawling/docs/crawl-budget
3. Google: "How Search Works: Crawling & Indexing" - https://developers.google.com/search/docs/fundamentals/how-search-works

---

Última actualización: 7 de febrero de 2026