Crawling, también conocido como rastreo de sitios web, es el recorrido que lleva a cabo un crawler (bot de software) a través del contenido de un sitio web. Para ello, va saltando entre los enlaces del sitio web que va encontrando.
Dado que todo sitio web actualmente enfoca su posicionamiento en el buscador de Google, el crawler de Google (llamado GoogleBot) funciona de igual manera, accede a un sitio web en particular, analiza su contenido y posteriormente, lo introduce en su índice. Si se aprovecha de buena forma es la herramienta ideal para escalar puestos en las SERPs de los buscadores, generando más tráfico, alcanzando a un mayor número de usuarios, mejorando la presencia en la red.
Tipos de bots de Google
Antes hemos nombrado a GoogleBot, que es el robot de Google encargado de rastrear los sitios web. Además, podemos encontrar algunos subtipos del mismo:
-
- Para la versión móvil está Googlebot smartphones.
-
- Para la versión escritorio está Googlebot desktop.
-
- El encargado de rastrear las imágenes es Googlebot Images.
-
- El encargado de rastrear las noticias es Googlebot News.
-
- El encargado de rastrear los vídeos es Googlebot Video.
Crawling, ¿cuál es su uso?
El cometido principal del crawling es repasar todos los enlaces y el contenido de un sitio web para indexar tanto lo nuevo como lo modificado en los buscadores. Básicamente sirve para que todo el contenido nuevo y/o modificado aparezca en Google.
Crawl Budget, ¿qué es?
Aunque no parezca real, Google está limitado en cuanto a recursos. Google asigna a sus crawlers un tiempo para el rastreo, conocido como crawl budget (presupuesto de rastreo). Este presupuesto es asignado en función de la autoridad del sitio web, la calidad, la accesibilidad y la velocidad.
Se recomienda optimizar el crawl budget cuando los sitios web cuentan con más de 5000 Urls.
Hace algunos años, si estabas interesado en conocer cuál es el crawl budget de tu sitio web, podías consultarlo a través de Search Console, una de las herramientas más conocidas para aquellos que se dedican al SEO. En la actualidad, Google ha deshabilitado esa opción.
Crawling. Elementos interesantes
Dado que no se sabe cuál es la fórmula que hace que un sitio web se posicione en las primeras posiciones de las SERP, sí que se debe tener en cuenta algunos elementos que hacen de ayuda para subir a las primeras posiciones de las mismas:
-
- La usabilidad y accesibilidad de una web son fundamentales. La experiencia de usuario es uno de los principales elementos a tener en cuenta. Si un usuario no entiende cómo funciona un sitio web, lo más probable es que abandone dicho sitio web. Además, la accesibilidad abre las puertas de acceso a la información a aquellos usuarios que tienen algún tipo de discapacidad.
-
- Aplicación de buenas prácticas en el SEO on-page. Cuando se desarrolla un sitio web, se debe tener en cuenta aplicar buenas prácticas técnicas, como desarrollar un árbol de categorías óptimo, aplicar atributos alt en las imágenes u optimizar el renderizado del sitio web.
-
- Ofrecer contenido de calidad y original generando además dicho contenido de manera diaria, lo que hará entender a Google que el sitio web se encuentra “vivo”.