Rastreador web
Un programa que sigue enlaces de página en página para descubrir y descargar contenido, el motor de recorrido que hay debajo del scraping a gran escala.
Un rastreador descubre; un scraper extrae. Un rastreador parte de unas URLs semilla y sigue los enlaces que encuentra, página a página, trazando el mapa de una web o de una parte de la web. El scraping es lo que haces con las páginas que descarga. Los dos suelen funcionar juntos, y por eso las palabras se confunden, pero el rastreador es concretamente la parte que decide adónde ir después.
Rastrear a cualquier escala choca con el mismo muro que el scraping: muchas peticiones desde una dirección, descubiertas rápido, acaban limitadas o bloqueadas. Un rastreador que sigue miles de enlaces necesita repartir esas peticiones en un pool, o se ahoga en el primer dominio con mucho tráfico.
Los rastreadores que se portan bien también respetan las reglas que una web publica para ellos, algo tan práctico como cortés: ignorarlas es uno de los comportamientos que hacen que se marque una dirección.
Los problemas difíciles del rastreo están en decidir qué descargar y saber cuándo parar; descargar páginas es lo fácil. Un rastreador ingenuo que sigue todos los enlaces que ve volverá a visitar el mismo contenido por URLs distintas, se meterá en espacios infinitos como calendarios que generan una página nueva para cada fecha futura, seguirá parámetros de filtro y orden que multiplican un listado en miles de URLs casi idénticas y se saldrá de la web por los enlaces externos.
Así que la maquinaria que importa es la contabilidad. Un registro normalizado de lo ya visto, para que una URL con los parámetros en otro orden se reconozca como la misma página. Reglas de alcance explícitas sobre qué dominios y rutas entran. Un límite de profundidad. Y cortesía: una pausa entre peticiones a un mismo host y un tope de cuántas le haces a la vez, porque un rastreador que machaca un solo dominio no se distingue de un ataque sea cual sea su intención.
Los honeypots son la trampa concreta en la que caen los rastreadores, y explotan justo la exhaustividad que hace bueno a un rastreador. Un enlace oculto con CSS o una ruta prohibida en robots.txt es algo que ningún humano pide nunca, así que cualquier cosa que lo pida se ha identificado sola. Seguir cada enlace que encuentras es el comportamiento que se vigila, y por eso renderizar la página y seguir solo lo que es realmente accesible funciona mejor que analizar el código en bruto y seguirlo todo.
Conviene tener clara la diferencia con un scraper porque cambia lo que optimizas. El trabajo de un rastreador es la cobertura: encontrarlo todo sin duplicar ni entrar en bucles. El trabajo de un scraper es la extracción: sacar los campos de una página de forma fiable aunque cambie el diseño. La mayoría de los proyectos necesitan los dos, y fallan de formas completamente distintas.
Preguntas frecuentes
¿Qué diferencia hay entre un rastreador y un scraper?
Un rastreador descubre y un scraper extrae. El rastreador decide qué URLs descargar después siguiendo enlaces y gestionando lo que ya ha visto; el scraper saca los campos que quieres de lo que se haya descargado. La mayoría de los proyectos usan los dos, y fallan de forma distinta: los rastreadores fallan entrando en bucles o dejando huecos de cobertura, los scrapers fallan cuando cambia un diseño.
¿Cómo evito que mi rastreador se quede atascado en bucles?
Normaliza las URLs antes de registrarlas, para que los parámetros en otro orden o las barras finales no parezcan páginas nuevas, y compara cada candidata con lo que ya has visto. Añade un límite de profundidad y reglas de alcance explícitas sobre qué dominios y rutas entran. Vigila los espacios infinitos como los calendarios y los filtros por facetas, que generan URLs válidas ilimitadas a partir de un contenido finito.
¿A qué velocidad debería ir un rastreador?
Más despacio de lo que puede. Pon una pausa entre peticiones al mismo host y limita la concurrencia por dominio, porque un rastreador que satura una web no se distingue de un ataque sea cual sea tu intención. Si robots.txt indica una pausa de rastreo, respétala. Repartir la carga entre muchos hosts en lugar de agotar uno es más rápido en conjunto y mucho menos probable que te bloqueen.
¿Por qué bloquearon mi rastreador si iba con cortesía?
Un ritmo cortés no te protege de caer en un honeypot. Seguir cada enlace del código, incluidos los ocultos con CSS o prohibidos en robots.txt, es justo el comportamiento que identifica la automatización, y el ritmo de peticiones nunca fue el problema. Sigue lo que es realmente accesible en una página renderizada en lugar de todo lo que contiene el HTML.
Volver al glosario completo.

