Web scraping
La recogida automatizada de datos de webs, el motivo más común por el que la gente usa proxies a gran escala.
El web scraping es recoger información de webs mediante un programa. En lugar de que una persona copie precios en una hoja de cálculo, un script descarga las páginas y extrae los valores, con un volumen y una frecuencia que ningún proceso manual podría mantener. El seguimiento de precios, los estudios de mercado, el seguimiento de posiciones SEO, la búsqueda de contactos comerciales, la comparación de tarifas de viaje y la creación de conjuntos de datos de entrenamiento se basan en él.
Los proxies entran en juego por una razón aritmética. Los límites de peticiones casi siempre se cuentan por dirección, así que una sola IP que pide diez mil páginas supera un umbral al que diez mil peticiones repartidas entre muchas direcciones nunca se acercan. No has burlado nada; has dejado de concentrar el tráfico en un solo sitio, que es también el aspecto que tiene una población de visitantes reales.
El tipo de proxy que necesitas depende de en qué se fija el objetivo, y conviene averiguarlo probando, sin fiarse de la fama. Una web que solo cuenta peticiones por dirección puede funcionar perfectamente con proxies de centro de datos baratos. Una web que clasifica por tipo de red rechazará cualquier dirección de centro de datos sea cual sea el ritmo. Prueba las URLs exactas que necesitas antes de comprar para una dificultad que has supuesto.
A los objetivos más difíciles no se les vence con direcciones, y esa lección sale cara. Más allá de la reputación de red están la huella TLS, la huella del navegador, la puntuación de comportamiento y los honeypots, y todos actúan en capas que un proxy no toca. Un scraper que funciona en un navegador y falla desde un script con la misma IP suele delatarse en el handshake, antes de que cuente la dirección.
Hay una gran diferencia práctica entre recoger HTML y recoger páginas renderizadas, y decide la mayor parte de tu coste. Descargar documentos es rápido y barato. Manejar un navegador real ejecuta JavaScript y parece mucho más humano, pero también descarga cada imagen, fuente y script, y con la facturación residencial por gigabyte eso es dinero gastado en recursos que tiras. Muchas webs exponen un endpoint JSON que devuelve los mismos datos con una fracción del tamaño, y encontrarlo suele ser la hora más rentable del proyecto.
Sobre la conducta, nuestra postura es clara y nos la aplicamos a nosotros mismos. Recoge datos públicos y no personales. Respeta lo que una web publica sobre el acceso automatizado. Espacia las peticiones para no degradar un servicio que usan otras personas. No trates un bloqueo como una invitación a redoblar. Más allá de los buenos modales, lo que es legal depende de la jurisdicción, de las condiciones de la web y de la naturaleza de los datos, sobre todo cuando hay información personal, y eso es una pregunta para un abogado.
La nota final honesta es que el scraping es mantenimiento continuo. Los diseños cambian, las defensas se actualizan, los endpoints se mueven, y un scraper es algo que mantienes funcionando sin darlo nunca por terminado. Presupuestarlo desde el principio es la diferencia entre un flujo de datos fiable y una serie de sorpresas.
Preguntas frecuentes
¿Necesito proxies residenciales para hacer web scraping?
Solo si el objetivo filtra por tipo de red, algo que dista mucho de ser universal. Muchas webs simplemente cuentan peticiones por dirección y funcionan perfectamente con proxies de centro de datos, que son más rápidos y mucho más baratos. Prueba primero tus URLs con la opción barata; pagar tarifas residenciales por una web que nunca comprueba es gastar dinero en una confianza que nadie te pide.
¿Cuántos proxies necesito para hacer scraping de una web?
Calcúlalo a partir del límite en lugar de elegir un número. Si un objetivo tolera más o menos una petición cada pocos segundos por dirección y necesitas un volumen fijo en un tiempo fijo, la aritmética te da el tamaño del pool. Luego añade margen, porque hay direcciones que se caen y algunas ya estarán marcadas. Empezar despacio con unas pocas y medir dónde empiezan los errores es mejor que adivinar a lo grande.
¿Por qué bloquean mi scraper aunque use buenos proxies?
Porque la dirección es una capa entre varias. La huella TLS identifica tu cliente HTTP antes de descifrar nada, la huella del navegador detecta contradicciones entre lo que dices ser y lo que informas, y un ritmo demasiado regular se ve por sí solo. Una petición que funciona en un navegador real y falla desde un script con la misma IP se está detectando por encima de la red.
¿Es legal el web scraping?
Depende de la jurisdicción, de las condiciones de servicio de la web y mucho de qué datos sean, ya que la información personal conlleva obligaciones mucho más estrictas. Eso lo convierte en una pregunta para un abogado. Nuestras propias reglas, que proponemos como mínimo y no como asesoramiento legal: datos públicos y no personales, respeto a las normas publicadas sobre el acceso automatizado y peticiones espaciadas para no degradar el servicio a nadie.
¿Uso un navegador headless o peticiones HTTP simples?
Peticiones donde puedas, navegador donde no quede otra. La descarga simple es muchísimo más rápida y barata, y con facturación por gigabyte evita pagar imágenes y fuentes que tiras. Un navegador headless está justificado cuando los datos solo existen de verdad después de ejecutar JavaScript. Antes de recurrir a uno, comprueba si la página se alimenta de un endpoint JSON que puedes llamar directamente, algo habitual y normalmente mucho más ligero.
Volver al glosario completo.

