¿Qué es el web crawling? Significado, proceso y ejemplos

TL;DR

El web crawling es el proceso automatizado que los motores de búsqueda utilizan para encontrar, leer e indexar páginas de todo internet. Lo realiza un web crawler, un pequeño programa también llamado spider bot, que va de enlace en enlace, visita cada página y guarda lo que ve para que esa página pueda aparecer después en los resultados de búsqueda. En resumen, sin crawling no hay indexación, y sin indexación no hay presencia en Google ni en Bing.

¿Qué es el web crawling?

Es una tarea automatizada que analiza el contenido de los sitios web de la red. El web crawling lo lleva a cabo un web crawler, también conocido como spider bot. Este revisa cada sitio web visitando todas sus páginas. De este modo, el spider bot ayuda a motores de búsqueda como Google a descubrir e indexar en la base de datos. Es bastante importante para mantener la relevancia de los resultados de búsqueda.

La función de los bots es recopilar información, incluidos los enlaces relevantes, el contenido de los sitios web y la estructura de los sitios. Después, los motores utilizan esa información para clasificar los sitios y crear los índices adecuados.

A veces, este mismo proceso se denomina website crawling, internet crawling o web spidering. Todos describen lo mismo: un bot que rastrea la web de una página a otra y recopila datos por el camino. La palabra «spider» viene simplemente de la forma en que el bot se desplaza por la red de enlaces — como una araña por su tela.

Sin el web crawling, los motores de búsqueda no tendrían nada que clasificar. Todos los resultados que ve en Google, Bing o Yahoo existen porque antes un crawler visitó esa página, la leyó y la añadió al índice.

¿Qué es un web crawler?

Un web crawler es un bot que navega por la web al servicio de un motor de búsqueda. También se le llama spider, spider bot o bot de motor de búsqueda. Su única tarea es visitar páginas, leer su contenido y devolver la información al motor de búsqueda para que la página pueda indexarse.

Los distintos motores de búsqueda utilizan sus propios crawlers. Entre los más conocidos están:

• Googlebot: el crawler de Google, con versiones separadas para escritorio y móvil
• Bingbot: el crawler principal de Bing
• YandexBot: utilizado por Yandex
• DuckDuckBot: el crawler de DuckDuckGo
• Baiduspider: utilizado por el motor de búsqueda chino Baidu
• Slurp: el antiguo bot crawler de Yahoo

Todos estos crawlers siguen reglas similares, pero la forma en que priorizan las páginas y la frecuencia con la que vuelven a visitarlas es distinta. Esa es una de las razones por las que un mismo sitio web puede posicionarse de forma diferente en Google y en Bing.

Consulte este artículo para ver la diferencia entre un web crawler y un web scraper.

¿Cómo funciona el web crawling?

El proceso de web crawling no es sencillo. Comienza con las URL conocidas. El spider bot acude a cada dirección web para revisar las páginas y extraer datos. Además, también localiza nuevas URL comprobando los enlaces entrantes y salientes. De este modo, un web crawler o bot de motor de búsqueda amplía el conjunto de páginas web. Este proceso de website crawling se lleva a cabo de forma constante, tanto para el procesamiento de datos como para la indexación de sitios web.

Conviene señalar que el website crawling se basa en un archivo llamado robots.txt. Este indica al web crawler qué página debe visitar. Las herramientas de scraping siguen también la misma regla.

El proceso de web crawling puede dividirse en cuatro pasos básicos:

1. Empezar por una URL semilla. El crawler parte de una lista conocida de direcciones web.
2. Descargar y leer la página. Descarga el contenido de la página, incluidos el texto, las imágenes y las metaetiquetas.
3. Encontrar nuevos enlaces. Cada enlace de la página se añade a una cola llamada crawl frontier.
4. Repetir y volver a visitar. El crawler pasa a la siguiente URL de la cola y, de vez en cuando, vuelve a las páginas antiguas para comprobar si hay actualizaciones.

Este ciclo no se detiene nunca. La web cambia a cada segundo, así que los crawlers funcionan de forma continua para mantener actualizados los índices de los motores de búsqueda.

Web crawling vs. web scraping: la diferencia

El web crawling consiste en descubrir e indexar. Un crawler se desplaza por la web, sigue enlaces e indica al motor de búsqueda qué páginas existen. No le importan demasiado los datos que hay en la página, le importa que la página esté ahí.

El web scraping consiste en extraer. Un scraper acude a una página concreta (o a una lista de páginas) y extrae datos concretos: precios, opiniones, detalles de producto, datos de contacto. El objetivo es obtener contenido útil con fines comerciales, de investigación o de analítica.

Una forma rápida de recordar la diferencia:

• Crawling = «¿qué páginas hay ahí fuera?»
• Scraping = «¿qué hay en esta página que yo necesite?»

Los crawlers suelen seguir las reglas de robots.txt y ser respetuosos con el servidor. Los scrapers son más selectivos y a menudo utilizan un proxy o una VPN para acceder a los datos sin ser bloqueados.

Tipos de web crawlers

No todos los crawlers hacen el mismo trabajo. Según lo que se indexe y con qué frecuencia, los web crawlers se dividen en unos pocos tipos principales:

• Crawlers de uso general — los utilizan los grandes motores de búsqueda (Googlebot, Bingbot) para rastrear la mayor parte posible de la web pública.
• Crawlers focalizados — solo rastrean páginas relacionadas con un tema o dominio concreto. Resultan útiles para motores de búsqueda de nicho y proyectos de investigación.
• Crawlers incrementales — vuelven a visitar páginas que ya conocen para detectar actualizaciones y sustituir enlaces obsoletos.
• Crawlers distribuidos — se ejecutan en muchas máquinas a la vez y reparten el trabajo entre varios servidores.
• Crawlers empresariales — los utiliza una sola empresa para indexar su propio sitio web y que los usuarios puedan buscar dentro de él.

La mayoría de las herramientas modernas de web crawling combinan varios de estos enfoques a la vez para ser rápidas y precisas.

Ventajas y desventajas

Ventajas

• Los motores de búsqueda se mantienen al día con los contenidos nuevos y modificados.
• Los usuarios obtienen resultados de búsqueda más precisos y relevantes.
• Los propietarios de sitios reciben tráfico procedente de las búsquedas — sin crawling, un sitio es invisible para Google.
• Los crawlers también ayudan en las auditorías de sitios, las revisiones SEO y la monitorización de precios.

Desventajas

• Demasiados bots accediendo a un mismo servidor pueden ralentizar el sitio.
• Los bots maliciosos disfrazados de crawlers pueden hacer scraping de contenido o robar datos.
• Los crawlers que ignoran robots.txt pueden indexar páginas que no deberían ser públicas.

Para gestionar el crawling a gran escala sin sobrecargar una sola IP, los desarrolladores recurren a veces a un spider pool (un grupo de bots crawler que reparten el trabajo entre muchos proxies o servidores). Esto acelera el crawling, reduce la probabilidad de sufrir bloqueos y mantiene baja la carga sobre cualquier sitio de destino.

Ejemplos

Los grandes motores de búsqueda como Google, Bing y Yahoo dependen de los web crawlers para indexar sitios web. También se utilizan en SEO para analizar la estructura de un sitio web. Muchos expertos en publicidad online emplean web spiders para consultar y comparar precios.

Más allá de los motores de búsqueda, las empresas también recurren al web crawling para sus propias necesidades. Los equipos de SEO rastrean sus propios sitios web para encontrar enlaces rotos, metaetiquetas ausentes y páginas que no están indexadas. Las empresas de comercio electrónico utilizan crawlers para seguir los precios de la competencia en tiempo real. Los agregadores de noticias rastrean a los medios para sacar a la luz las noticias más recientes.

En resumen, allí donde haga falta saber qué hay en la web (a gran escala), hay un web crawler haciendo el trabajo.

Preguntas frecuentes

¿Qué significa web crawling?

El web crawling consiste en navegar automáticamente por internet con un bot para encontrar y leer páginas web. Después, los motores de búsqueda utilizan los datos recopilados para construir un índice de la web.

¿Cuál es la diferencia entre un web crawler y un web spider?

Son lo mismo. «Spider» no es más que un apodo antiguo para el web crawler, basado en la idea de un bot que se desplaza por la «red» de enlaces.

¿Es legal el web crawling?

Rastrear páginas web públicas suele ser legal, sobre todo cuando el crawler respeta las reglas del robots.txt del sitio. Rastrear páginas protegidas por un inicio de sesión, ignorar robots.txt o reutilizar contenido con derechos de autor puede entrar en una zona gris legal.

¿Qué es un spider pool en web crawling?

Un spider pool es un grupo de bots crawler que trabajan juntos, normalmente repartidos entre muchas direcciones IP o proxies. Permite rastrear sitios web grandes más rápido y reduce el riesgo de sufrir rate limiting o bloqueos.

¿Cómo se utiliza el web crawling en SEO?

Los especialistas en SEO utilizan crawlers para auditar sus propios sitios web, para encontrar enlaces rotos, páginas duplicadas, etiquetas ausentes o páginas a las que los motores de búsqueda no pueden llegar. Rastrear su sitio es el primer paso para corregir lo que le impide posicionarse.

¿Con qué frecuencia rastrean los motores de búsqueda un sitio web?

Depende del sitio. Los sitios populares que se actualizan con frecuencia pueden rastrearse varias veces al día. Los sitios pequeños o que se actualizan rara vez quizá solo se rastreen cada varias semanas.