ES
Empezar

Glosario

Scraping y automatización

Paginación

Cómo reparte una web una lista larga en muchas páginas o cargas, y la parte de un scraping con más probabilidades de perder datos sin avisar o atrapar a un rastreador.

La paginación es la forma en que una web sirve una lista larga por partes en lugar de toda de golpe, y es donde el scraping falla en silencio. Conseguir la primera página es fácil; conseguir todas, cada una exactamente una vez y sabiendo cuándo las tienes todas, es el trabajo de verdad, y está engañosamente lleno de trampas. La mayoría de los conjuntos de datos incompletos se deben a una paginación gestionada un poco mal, más que a un bloqueo.

El mecanismo varía, y el enfoque correcto varía con él. Las páginas numeradas clásicas o un enlace de siguiente son el caso amable: sigue el enlace hasta que desaparezca. La paginación por desplazamiento, página 2, página 3, es sencilla pero se rompe cuando la lista cambia por debajo, saltándose o duplicando elementos en silencio a medida que las cosas se mueven entre peticiones. La paginación por cursor, en la que cada respuesta te da un token para la siguiente, es la forma moderna y robusta, y la que más recompensa llamar directamente al endpoint de datos. Y el scroll infinito no tiene páginas: el contenido se carga a medida que te desplazas, lo que suele significar una petición en segundo plano que puedes encontrar y llamar en lugar de una página que tengas que renderizar.

Este último punto es la jugada con más impacto, y conecta con las entradas de renderizado y de API. El scroll infinito y las listas que se cargan dinámicamente parecen exigir un navegador headless desplazándose para siempre, pero el desplazamiento casi siempre lanza por debajo una petición de datos paginada, y llamar directamente a esa petición con el parámetro de página o de cursor te da toda la lista en fragmentos limpios, más rápido y más barato que manejar un navegador. Encontrar la paginación en la pestaña de red suele ser el momento en que un scraping difícil se vuelve fácil.

Hay dos fallos que merecen nombre porque son muy comunes. El primero es parar demasiado pronto, tratar de forma incoherente una página vacía o un enlace de siguiente que falta y terminar en silencio con tres cuartas partes de los datos, y por eso importa validar el recuento total frente a lo que dice la web. El segundo es la trampa del rastreador que describe su entrada: los filtros por facetas y los calendarios generan páginas válidas sin fin a partir de un contenido finito, así que paginar sin límites de alcance mete a un rastreador en un espacio infinito. La paginación es donde se gana o se pierde la cobertura, tanto por quedarse corto como por pasarse.

Preguntas frecuentes

¿Cómo hago scraping de todas las páginas de una lista y no solo de la primera?

Ajusta el método. Sigue los enlaces de siguiente hasta que desaparezcan en la paginación clásica; incrementa los desplazamientos con cuidado en las páginas numeradas, vigilando que los elementos no se muevan entre peticiones; sigue el token que te da cada respuesta en la paginación por cursor, que es la más fiable. Para el scroll infinito, busca la petición en segundo plano que se lanza al desplazarte y llámala directamente con su parámetro de página o de cursor.

¿Cómo hago scraping de páginas con scroll infinito?

Normalmente sin desplazarte. El scroll infinito lanza una petición de datos paginada en segundo plano cuando llegas al final, así que abre la pestaña de red, busca esa petición y llámala directamente con su parámetro de página o de cursor para sacar toda la lista en fragmentos limpios. Es más rápido, más barato y menos frágil que manejar un navegador headless que se desplace sin fin.

¿Por qué a mi scraper le faltan datos entre páginas?

Casi siempre por una paginación gestionada un poco mal: parar pronto ante una página vacía incoherente o un enlace de siguiente que falta, o usar desplazamientos con una lista que cambia entre peticiones, de modo que se saltan o se duplican elementos. Valida el total recogido frente al recuento que muestra la web, y prefiere la paginación por cursor o un endpoint de datos directo, mucho menos propensos a huecos silenciosos.

Volver al glosario completo.

HProxy.

Las definiciones solo te llevan hasta cierto punto. Ejecutar frente a objetivos reales.

Residenciales desde 0,23 $ por GB, pagas por uso y el saldo nunca caduca.

HProxy