Qué es el crawling o rastreo de una web y su importancia en SEO

En marketing nos encantan los anglicismos para designar conceptos, quizás por su capacidad de síntesis, ya que muchas veces en una sola palabra se concentra todo el significado.

Crawling es un término que engloba el concepto de rastreo, justo la acción que el principal buscador mundial, Google, realiza constantemente en las webs que forman parte de la red.

Partiendo de ahí, entendemos como crawling o rastreo de sitios web el recorrido que realiza un crawler (que sería un bot) para leer y analizar el código y el contenido de una web. Para ello, el crawler viaja de página en página mediante los enlaces que va encontrando.

Google lo hace a través de su crawler, denominado GoogleBot, que es el responsable de realizar los rastreos de webs para analizarlas con el objetivo de indexarlas adecuadamente según los parámetros que considere el algoritmo del momento, que varía cada cierto tiempo.

Para ponérselo fácil al buscador, una web deberá tener las condiciones idóneas para que sea conocida (es decir, que exista para Google) y pueda de este modo ser rastreada, analizada e indexada de manera óptima.

La arquitectura interna optimizada en una web resulta decisiva

Dado este escenario, existen diferentes opciones de compatibilidad con el buscador. Entre las acciones más habituales se puede diseñar un enlace externo hacia el sitio web en cuestión o dar de alta la web en la plataforma Search Console.

Es un trabajo invisible e interno que no se muestra en la arquitectura de diseño exterior, pero resulta vital para una web, ya que una apariencia externa espectacular puede no servir de nada sin estos buenos cimientos que quedan ocultos para los usuarios.

El crawler (por ejemplo, el de Google, que es el que estamos usando como modelo) comienza rastreando la web a través de todas sus secciones, aprovechando los enlaces previos que se hayan creado para facilitar el proceso.

En este sentido, también es importante jugar con otros elementos como un mapa del sitio, que debe darse de alta en Search Console y que ofrecerá una información ordenada de la web.

La importancia de facilitar el acceso al GoogleBot es máxima, ya que no debemos pensar en términos particulares, sino globales. Es decir, existen millones de webs que el bot va a visitar, por lo que una de sus premisas es discriminar entre aquellas que están optimizadas y aquellas que no.

¿Qué es el Crawl Budget y cómo afecta al SEO?

Aquí introducimos otro elemento clave, el denominado crawl budget, que sería algo así como el presupuesto de rastreo. Este concepto hace referencia al tiempo y al esfuerzo que dedicará el bot a rastrear y analizar un sitio web en un plazo determinado. Es en este momento cuando se produce la primera criba de aquellas webs que el bot no puede «leer».

Por tanto, si Google no indexa una página, esta no será clasificada dentro de su algoritmo y eso interfiere en la estrategia que se está siguiendo a nivel SEO. Y aunque Google suele ser bastante eficiente como para no preocuparse por el crawl budget, sí que debemos prestar atención en determinadas ocasiones:

• Si tenemos un sitio web grande, con más de 10.000 páginas, Google puede tener problemas de indexación.
• Si añadimos un nuevo sitio web con cientos de páginas, deberemos disponer del presupuesto de rastreo necesario para indexarlas todas rápidamente.
• Si tenemos muchas redirecciones, porque estas consumen el crawl budget.

¿Qué parámetros tiene en cuenta Google a la hora de hacer crawling?

Como todo en la vida, la respuesta a esta pregunta varía según las optimizaciones de Google, y además, debemos saber que la fórmula exacta de su algoritmo no se conoce, por lo que siempre debemos permanecer alerta para optimizar nuestra web. Lo que sí sabemos es que hay variables que podemos tener en cuenta para estas optimizaciones:

• Calidad de los contenidos
• Accesibilidad y fluidez de la página
• Estructura del sitio web
• Facilidad de acceso para los rastreadores
• Calidad técnica del sitio web

Además, existen buenas prácticas que podemos llevar a cabo para optimizarla en función de las variables mencionadas:

• Mejorar la velocidad del sitio: Esto hace que los rastreadores de Google lleguen a más URL internas.
• Enlazado interno: igual que añadimos enlaces externos, darnos relevancia apuntando a landing pages que tenemos optimizadas y eliminar los enlaces rotos que dirigen a páginas eliminadas.
• Arquitectura plana: esto permitirá que el sitio web tenga cierta autoridad y por tanto, atraiga más tráfico.
• Evitar páginas huérfanas: son aquellas que no tienen enlaces internos o externos hacia ningúna otra landing pages.
• No generar contenido duplicado: Google evita invertir su tiempo en indexar páginas iguales o similares, dando preferencia a aquellas con contenido único y de calidad.

Cabe destacar que el conocimiento y estudio de estos parámetros hace que el concepto de crawling no sea abstracto e ininteligible, a pesar de que su algoritmo es como la fórmula secreta en Coca-Cola. Aun así, el crawling budget está en pleno proceso de crecimiento y se va perfeccionando a las nuevas tecnologías que surgen en internet.

Todo este proceso es comparable a la teoría del iceberg

Conozco, seguramente al igual que tú, webs muy bonitas en términos de diseño que no aparecen en los resultados de búsqueda ni siquiera citando el nombre de su marca. De ahí, el enorme valor de ese trabajo «sucio» para dar visibilidad al portal.

Aprovecho para hacer un paralelismo con los procesos de marketing. El marketing no es el resultado final de un mensaje en forma de comunicación o publicidad, sino el proceso inicial (seguramente invisible) de analizar y diagnosticar todas las variables que nos llevan a tomar una decisión final en forma de estrategia y que puede derivar en dicho mensaje.

Siempre digo que el proceso de marketing es como un iceberg: la parte que se ve (muy pequeña respecto al volumen total) sería la comunicación o publicidad (el resultado final), mientras que la parte sumergida sería todo el esfuerzo y el trabajo de investigación que nos lleva a tomar decisiones estratégicas.

¿Qué puede afectar negativamente al crawling de una web?

Como puedes imaginar, el crawling es un elemento fundamental para el denominado posicionamiento orgánico en buscadores (search engine optimization o SEO), ya que sin rastreo no hay indexación.

Pero esto no acaba aquí. Además de esa compatibilidad de la que hemos hablado, el trabajo continúa. Retomando el concepto de crawl budget, debemos tener muy en cuenta que todo lo que le pueda generar problemas al bot y le haga perder tiempo y recursos jugará en nuestra contra para una óptima indexación en los términos que deseamos.

 A modo de ejemplo, algunas de las cosas que pueden dar problemas son:

• El tiempo de respuesta de nuestro servidor a la hora de acceder a la web; aquí la rapidez desempeña un rol destacado.
• De la misma manera, la velocidad de carga de los recursos digitales que formen parte de la web (fotografía, vídeos, etc.) también penaliza.
• Los típicos errores no previstos o no optimizados, como los catalogados de código 400 o 500.
• Los enlaces rotos y las redirecciones problemáticas.
• Una inadecuada adaptación a los diferentes formatos (la versión móvil, por ejemplo).

Algunas propuestas para mejorar la indexación

La primera de ellas sería aumentar la autoridad del dominio. Este hecho es muy importante para incrementar la frecuencia de rastreo del bot en la web. Se trata de adquirir mayor relevancia para forzar al bot a que la visite con más frecuencia. Una buena manera de lograrlo es con enlaces de calidad hacia el sitio web, ya que eso provoca el denominado link juice, que permite aumentar la autoridad de la página y mejorar el posicionamiento y la relevancia de esta.

Por otra parte, podemos mejorar la relación con el bot de Google creando y actualizando los contenidos con la mayor frecuencia posible, ya que de este modo el buscador percibirá que la web ofrece contenido nuevo y actualizado con regularidad, lo que optimiza el crawl budget.

Os recomendamos que no dejéis de actualizaros en las últimas tendencias y adquiráis los conocimientos adecuados. Os invito a que miréis detenidamente el Máster en Marketing Digital.