Scraping de APIs
Recoger datos llamando a los endpoints JSON que usa una página en lugar de procesar su HTML, normalmente la vía más rápida, barata y fiable cuando existe.
Hacer scraping de una API significa ir a la fuente que usa la propia página. La mayoría de las webs modernas no incrustan sus datos en el HTML; envían una cáscara y luego descargan el contenido real de endpoints JSON en segundo plano. Esos endpoints existen para servir al propio front end de la web, y en la gran mayoría de los casos puedes llamarlos directamente y recibir datos estructurados en lugar de una página renderizada que tendrías que analizar. Cuando hay uno disponible, casi siempre es la respuesta correcta.
Las ventajas se suman en todo lo demás de este glosario. Te saltas el renderizado, así que no hay navegador headless ni su coste. Te saltas el análisis, porque el JSON ya está estructurado, así que no hay selectores que mantener frente a los cambios de diseño. Transfieres una fracción de los bytes, ya que no bajas imágenes, fuentes ni scripts, lo que con la facturación por gigabyte es un ahorro directo. Y los datos suelen ser más limpios y completos de lo que muestra la página, porque el endpoint a menudo devuelve campos que el front end decide no mostrar.
Encontrarlos es una habilidad que se repite, sin depender de la suerte. Abre la pestaña de red del navegador, filtra las peticiones que devuelven JSON y observa cuáles se lanzan cuando aparecen los datos que quieres, al cargar, al desplazarte, al hacer clic en un filtro. La paginación y los parámetros se ven en esas peticiones, así que aprendes a pedir la página dos, una categoría concreta o un rango de fechas leyendo lo que pide la web. Esa media hora en la pestaña de red suele ser el trabajo más rentable de todo el proyecto.
Las advertencias honestas evitan que parezca magia. Estos endpoints no están documentados y pueden cambiar sin aviso, ya que son internos, así que necesitan vigilancia como cualquier scraping. A menudo llevan su propia autenticación, tokens o parámetros firmados que genera la página, que a veces hay que reproducir y que de vez en cuando es la parte difícil. Tienen límite de peticiones y defensas como cualquier otra superficie, así que los proxies y el ritmo siguen aplicándose. Y cuando una web renderiza de verdad los datos en el HTML en el servidor sin un endpoint aparte, el scraping de API simplemente no se aplica y el análisis es la vía. Pero cuando hay un endpoint, ir primero al HTML es hacer la versión difícil de un trabajo fácil.
Preguntas frecuentes
¿Cómo encuentro la API oculta de una web?
Abre la pestaña de red del navegador, filtra las peticiones que devuelven JSON y observa cuáles se lanzan cuando aparecen los datos que quieres, al cargar, al desplazarte, al hacer clic en un filtro. Esas peticiones revelan el endpoint, sus parámetros y su paginación, así que puedes llamarlo directamente. Es una habilidad que se repite, y la media hora que lleva suele ahorrar todo el resto del proyecto.
¿Hacer scraping de una API es mejor que hacerlo del HTML?
Cuando existe un endpoint, casi siempre. Te saltas el renderizado y el análisis, transfieres muchos menos bytes y obtienes datos estructurados que a menudo son más limpios y completos de lo que muestra la página, y más estables porque no se rompen con los cambios de diseño. Las excepciones son las webs que renderizan los datos en el HTML sin un endpoint aparte, donde el análisis es la única vía.
¿Sigo necesitando proxies para hacer scraping de una API?
Sí. Los endpoints internos de una web tienen límite de peticiones y defensas como cualquier otra superficie, ligados a tu dirección igualmente, así que el pool, la rotación y el ritmo que usarías con el HTML se aplican sin cambios. Lo que cambia es el coste y la fiabilidad de cada petición; el objetivo las sigue contando y filtrando igual.
Volver al glosario completo.

