¿Qué es el crawl budget en SEO para Google?

El crawl budget es un concepto clave en SEO. Sin embargo, a muchas personas les cuesta entender qué se esconde realmente detrás de él… Y por eso lo descuidan. Ahora bien, tener en cuenta su existencia para optimizar su sitio en consecuencia es MUY importante, por no decir capital.

En este artículo, nuestra agencia SEO le propone abordar el concepto de crawl budget en SEO: definición de crawler, cómo funciona el Googlebot, la reserva de crawl… Al terminar esta lectura, lo sabrá todo sobre el rastreo y tendrá todas las claves para optimizar su crawl budget. ¡Empecemos!

¿Qué es un crawler?

Como su propio nombre indica, la misión principal de un crawler, también llamado robot de indexación, es rastrear un sitio web. Pero, ¿qué significa esto exactamente?

Todos los sitios accesibles a través del motor de búsqueda de Google han sido rastreados previamente, es decir, un robot ha recorrido el sitio y analizado su contenido. Sin la existencia de estos robots, Google no sería la ingente base de datos de información que conocemos hoy y utilizamos a diario.

Navegando de enlace en enlace, los Googlebots recorren la web de forma constante, 24 horas al día y 7 días a la semana. Estos pequeños programas autónomos buscan sin descanso contenido nuevo y actualizaciones. ¿Su objetivo? Indexar páginas nuevas y ayudar al motor de búsqueda a organizarlas según su calidad y su grado de relevancia.

Existen distintos tipos de crawlers de Google para cubrir cada área:

• búsqueda,
• móvil,
• anuncios,
• imágenes,
• vídeos…

Presentación de Googlebot

A los robots de indexación de la empresa de Mountain View se les llama más comúnmente «Googlebots». Cada motor de búsqueda tiene sus propias herramientas: Bingbot para Bing, Slurp para Yahoo!, Baiduspider para Baidu…

Con una cuota de mercado de casi el 93 %, Google se encuentra en una situación de cuasi monopolio a nivel mundial.

Fuente: Webrankinfo

Comprender cómo funciona el Googlebot es hoy esencial para cualquiera que quiera que su sitio se indexe y obtener visibilidad en internet. Entonces, ¿cómo funciona?

La misión principal del Googlebot es recorrer la web, ya sea a partir de un directorio de URL ya conocidas, de los datos presentes en los sitemaps, o saltando de enlace en enlace. Para ver cómo el Googlebot visita las distintas partes de su sitio web, puede utilizar el famoso archivo robots.txt. También es en este archivo donde puede indicar las URL que no deben indexarse.

Tras el paso de un Googlebot, la página recorrida o rastreada se indexa, lo que significa que se posiciona en la SERP. A partir de ese momento, se vuelve visible y, por tanto, accesible para los usuarios desde el motor de búsqueda. No obstante, tenga cuidado de no confundir indexación y posicionamiento: el Googlebot solo visita y lista las páginas, mientras que el posicionamiento de estas páginas en la SERP no depende de él, sino de un conjunto de criterios de posicionamiento SEO definidos por Google.

¿Qué es el límite de frecuencia de rastreo (crawl rate limit)?

Rastrear un sitio web moviliza una cierta cantidad de recursos del servidor. Al igual que un gran número de visitantes presentes de forma simultánea en un sitio sobrecarga el servidor y puede afectar al rendimiento del sitio, un rastreo excesivo por parte de los Googlebots puede ser un inconveniente. Por esta razón, Google define para cada sitio un límite de frecuencia de rastreo: el robot visita un cierto número de páginas al mismo tiempo, no más. El objetivo es no afectar al rendimiento de carga y, en consecuencia, a la calidad de la navegación de los visitantes «reales».

¿Qué es una solicitud de rastreo (crawl request)?

Realizar una solicitud de rastreo, o solicitud de exploración, puede resultar útil cuando ha añadido recientemente una página o ha introducido nuevos cambios en un sitio.

Si no realiza una solicitud de rastreo, significa que tendrá que esperar pacientemente el paso del Googlebot. Y esto puede tardar varios días, o varias semanas, según el tipo de sitio y la frecuencia habitual del paso del robot.

Actualizados con mucha frecuencia, los medios de comunicación, los sitios de actualidad caliente y los marketplaces son rastreados varias veces al día por los robots. ¡Pero esto está lejos de ser el caso de todos los sitios!

Para tener visibilidad sobre el estado de la exploración de sus páginas, la herramienta Search Console le será de gran ayuda. También está a su disposición una herramienta de inspección de URL.

Para hacer una solicitud de rastreo a Google, tiene dos opciones:

• enviar una URL directamente al índice, ideal en el caso de un número reducido de enlaces por explorar,
• enviar un sitemap completo, que es la mejor alternativa para solicitar la exploración de un sitio web o de un gran número de URL.

¿Qué es una reserva de crawl budget?

Para comprender mejor el concepto de «reserva de crawl budget», es importante entender que cada sitio dispone de un determinado recurso en función de su notoriedad, su importancia, su frecuencia de actualización, el número de páginas que contiene… Se tienen en cuenta varios criterios.

Si su sitio tiene páginas con error 4XX o mucho contenido obsoleto, debe saber que parte del crawl budget dedicado a su sitio se consume explorando estas páginas. Esto implica que los Googlebots dedicarán tiempo a explorar páginas que resultan inútiles. Y mientras están ocupados haciéndolo, no visitan otras páginas, probablemente más interesantes y estratégicas para su marca. No hay mejor manera de malgastar inútilmente su crawl budget…

En lugar de intentar maximizar el número de URL exploradas por Google, céntrese más en todas las páginas exploradas innecesariamente. En conjunto, estas URL representan sin duda una reserva de crawl budget considerable que sería interesante aprovechar.

¿Qué puede ralentizar el rastreo de Google?

Varios elementos influyen, directa o indirectamente, en la frecuencia de rastreo de los robots de Google. El reto consiste en identificar rápidamente los que afectan directamente a su sitio para actuar cuanto antes.

Entre los más frecuentes encontramos:

• las trampas para crawlers, o «crawler traps». Estos problemas de estructura del sitio, más o menos importantes, suelen ser los culpables y pueden perjudicar seriamente su SEO. Ralentizan considerablemente el trabajo de los crawlers, por ejemplo cuando existe un número infinito de URL irrelevantes. Los robots se pierden entonces en las profundidades de la arquitectura y de las páginas de su sitio en lugar de converger hacia sus páginas estratégicas. La navegación por facetas o las URL configurables generadas automáticamente son buenos ejemplos. ¡Un auténtico despilfarro de crawl budget!
• la frecuencia de actualización del sitio. Imaginemos que los Googlebots suelen visitar su sitio 4 veces por semana y siempre encuentran contenido nuevo que indexar. Si de repente deja de actualizar su sitio, los robots seguirán visitándolo pero no detectarán ninguna actualización a lo largo de sus visitas. Tras varias visitas infructuosas, adquirirán la costumbre de rastrear su sitio con menos frecuencia. En cambio, actualizar el contenido con regularidad puede, en cierto modo, «impulsar» el rastreo de su sitio en esa página.
• el tiempo de carga del sitio. Un sitio lento solo verá rastreadas unas pocas de sus páginas cada vez que pase un crawler, mientras que un sitio de alto rendimiento verá aumentar su frecuencia de exploración.
• las redirecciones y los bucles de redirección. Auténticos callejones sin salida para los robots, este tipo de enlaces malgasta mucho crawl budget para nada.
• un nivel de arquitectura demasiado complejo y profundo. Este tipo de problema implica que se visiten páginas poco relevantes, mientras que las más interesantes no se visitan…
• una mala paginación. En un foro, por ejemplo, ¡la visita de un robot a las páginas 2, 3, 4, 5 no es necesariamente útil!
• un número excesivo de cargas de scripts JavaScript. Largo y tedioso para los servidores, el rastreo del código JavaScript requiere recuperar todos los recursos y resulta ser un auténtico sumidero de crawl budget…
• el contenido duplicado. Si su sitio contiene contenido duplicado interno, su crawl budget se consume solo, porque el robot pasará varias veces por el mismo contenido… Del mismo modo que el contenido de baja calidad, como las FAQ, consume crawl budget innecesariamente…
• el Mobile First. Es importante comparar el paso del Googlebot dedicado a móvil con el dedicado a escritorio. Una sola consigna, más que nunca: ¡piense en Mobile First!

Un sitemap inexistente o que no se ha actualizado a pesar de que se han producido cambios en el sitio también puede estar en el origen de una ralentización del rastreo de Google.

¿Por qué hay que preocuparse por el crawl budget?

Para algunos webmasters y expertos en SEO, el crawl budget no merece que nos detengamos demasiado en él. Para otros, este elemento requiere una atención especial. Entonces, ¿qué hay de cierto?

Teniendo en cuenta la cantidad astronómica de páginas presentes en internet, los crawlers se ven obligados a conceder a cada sitio web un recurso de exploración previamente definido —y sobre todo no ampliable—. Sí, ¡tiene que haber para todo el mundo! ¿Quiere que su sitio, y más concretamente sus páginas estratégicas, se indexen rápidamente? Entonces piense en optimizar su crawl budget.

Para comprobar los efectos beneficiosos de la optimización de su crawl budget, la técnica es sencilla: compare el número de páginas nuevas rastreadas antes y después de la optimización.

¿Cuántas URL de mi sitio se exploran cada día?

Para conocer con precisión el número de URL rastreadas por Google, el análisis de los archivos de registro (logs) es el método más infalible, y por una buena razón: permite saber qué imagen de su sitio se envía a los motores de búsqueda. Este análisis permite, entre otras cosas, recopilar información como las páginas, las categorías y las partes del sitio rastreadas, la frecuencia de rastreo y la información recibida sobre estas distintas páginas.

Como de costumbre, la famosa Search Console también le proporcionará información muy importante sobre el rastreo de su sitio.

¿Prefiere estudiar el rastreo de sus páginas una a una? ¡El inspector de URL de Search Console será su mejor aliado! Los comentarios de la herramienta sobre la página en cuestión le darán una visión general de las áreas de mejora que debe abordar.

¿Cómo optimizar su crawl budget?

Teniendo en cuenta todos los elementos mencionados anteriormente en este artículo, existen varias técnicas que, combinadas, permiten mejorar significativamente su crawl budget. Desde el punto de vista de la optimización SEO, conviene pensar en cómo ahorrar este preciado recurso que es el crawl budget.

Identifique las páginas que consumen crawl budget innecesariamente

En casi todos los sitios web, los robots rastrean muchas páginas que no lo necesitarían. Este desperdicio de crawl budget también perjudica el rendimiento SEO del sitio.

A través de Search Console, puede ver el número de páginas que se rastrean pero no se indexan. Estos datos ofrecen una primera visión general del crawl budget que podría dedicarse a otras páginas más importantes y estratégicas. Pero es realmente gracias al análisis de logs como podrá conocer con precisión el volumen de crawl budget desperdiciado. La técnica consiste en comparar el número de páginas rastreadas con el número total de páginas del sitio para identificar:

• ¿qué porcentaje del sitio se rastrea?
• ¿cuáles son las páginas estratégicas para su SEO que no se rastrean?
• ¿qué páginas consumen crawl budget innecesariamente?

Fuente: Screamingfrog

Oriente al Googlebot hacia las páginas estratégicas

Si bien la arquitectura de su sitio debe pensarse ante todo para el usuario, descuidar el comportamiento y las expectativas de los robots de exploración sería un error.

Facilitar el paso de los robots por las páginas pilares de su sitio es una excelente manera de acelerar su indexación. Las acciones necesarias para llegar a las páginas en cuestión deben limitarse a 3 como máximo.

La calidad del enlazado interno también será determinante en el recorrido de los robots. Por esta razón, las páginas que se benefician de numerosos enlaces no deben elegirse al azar.

Fuente: Oncrawl

Cuide la precisión del archivo robots.txt

Para evitar un consumo innecesario de crawl budget, es importante indicar en el archivo robots.txt todas las URL que no deben explorarse. Bloquear ciertas URL permite reorientar automáticamente el rastreo hacia páginas útiles.

Todas las páginas que contienen la etiqueta no se indexan, pero sí se rastrean. No dude en echar un vistazo a todas esas páginas que no se indexan voluntariamente y en apartarlas de los robots de exploración si es necesario.

Para optimizar su crawl budget, debe saber sin falta qué páginas visitan los robots y cuáles no. Si su sitio no es rastreado con regularidad por los Googlebots, probablemente implica que muchas de sus páginas no se exploran, por lo que no se indexan ni se posicionan… Así que son invisibles para los usuarios: ¡una enorme pérdida de tráfico! Su posicionamiento en la SERP se ve, por tanto, afectado negativamente.

Una situación frecuente —y bastante molesta para su SEO— es que los robots indexen una cantidad demasiado grande de páginas de calidad media o baja.

En resumen, las 3 reglas de oro que debe recordar sin falta para optimizar su crawl budget son:

• un contenido único, original y relevante,
• actualizaciones muy regulares de su sitio,
• una velocidad de carga óptima de sus páginas.

¿Quiere beneficiarse de la experiencia de nuestra agencia SEO para optimizar su crawl budget y su posicionamiento natural? ¡No dude en ponerse en contacto con nosotros!