ES
Empezar

Glosario

Rendimiento

Concurrencia

Cuántas peticiones ejecutas a la vez, la palanca principal del rendimiento del scraping y un límite oculto habitual.

La concurrencia es el número de peticiones en curso a la vez. Es lo que marca cuánto avanza un scraper, mucho más que la velocidad de cada petición: un trabajo que descarga cien páginas en paralelo termina en una fracción del tiempo de otro que las descarga una detrás de otra, aunque cada petición no sea más rápida.

Los proxies se relacionan con la concurrencia de dos formas. Un pool te permite mantener una concurrencia alta sin acumular peticiones sobre una dirección, ya que cada petición en paralelo puede tomar una salida distinta. Pero el propio servicio de proxies puede limitar las conexiones simultáneas, y un plan que limita los hilos limita en silencio el rendimiento por rápida que sea la red.

Por eso, en cualquier proxy, conviene mirar además del precio por gigabyte si las conexiones simultáneas están limitadas. La concurrencia ilimitada es lo que permite que se note de verdad la ventaja real de un pool, el paralelismo.

Más no es automáticamente mejor, y aquí es donde la gente se pasa. La concurrencia sube el rendimiento solo hasta que otra cosa se convierte en el cuello de botella: tu propio ancho de banda, tu CPU si analizas sobre la marcha, la tolerancia del objetivo o la memoria si usas navegadores reales, que consumen mucho más que una petición HTTP simple. A partir de ahí, subirla produce tiempos de espera agotados y reintentos en lugar de resultados, y los reintentos te cuestan un tráfico que ya pagaste.

También se relaciona con el límite de peticiones de una forma que pilla a la gente. Cincuenta peticiones en paralelo por cincuenta salidas distintas son cincuenta visitantes separados para un contador por dirección. Cincuenta peticiones en paralelo por UNA sola dirección son una ráfaga que superará casi cualquier umbral al instante. La concurrencia y el tamaño del pool tienen que ir juntos, o el paralelismo que añadiste solo hará que te bloqueen antes.

La forma honesta de encontrar tu número es probando y desde abajo. Empieza con prudencia, súbela por pasos y vigila la tasa de errores en lugar del gráfico de rendimiento. El ajuste correcto es el que queda justo por debajo de donde empiezan los fallos, y cambia en cada objetivo porque en realidad es una propiedad del objetivo y no de tu máquina.

Cómo lo gestiona HProxy

Nuestros planes residenciales no limitan las conexiones simultáneas ni los hilos, porque un límite de hilos es un límite de rendimiento con otras palabras, y es justo la restricción que hace que un plan que parece barato sea lento en la práctica.

Preguntas frecuentes

¿Qué nivel de concurrencia es bueno para hacer scraping?

No hay un número universal, porque el límite lo pone el objetivo. Empieza bajo, súbelo por pasos y vigila la tasa de errores: el ajuste correcto está justo por debajo de donde empiezan los fallos. Una web tolerante puede aceptar cientos de peticiones en paralelo y una estricta un puñado, y el mismo código necesitará ajustes distintos para cada una.

¿Más concurrencia significa scraping más rápido?

Hasta cierto punto, y luego se invierte. Una vez que superas tu propio techo de ancho de banda, CPU o memoria, o la tolerancia del objetivo, el paralelismo extra produce tiempos de espera agotados y reintentos en lugar de resultados. Como los reintentos pagan un tráfico que ya cruzó la red, pasarse de concurrencia con facturación por gigabyte cuesta dinero además de tiempo.

¿Los proveedores de proxies limitan las conexiones simultáneas?

Muchos sí, y suele estar escondido en los detalles del plan en lugar de anunciarse. Un tope de hilos o de conexiones es un tope de rendimiento con otras palabras, y puede hacer que una tarifa por gigabyte que parece barata sea lenta en la práctica. Conviene comprobarlo antes de comparar precios, porque dos planes con la misma tarifa pueden diferir muchísimo en lo que te dejan ejecutar de verdad.

¿Qué relación hay entre la concurrencia y el tamaño de mi pool de proxies?

Tienen que ir juntos. Las peticiones en paralelo repartidas entre muchas salidas parecen muchos visitantes separados, y de eso se trata. El mismo paralelismo forzado por una sola dirección es una ráfaga que supera al instante un límite por dirección. Subir la concurrencia sin suficientes direcciones distintas detrás solo hace que te bloqueen antes de lo que lo harían ejecutando en secuencia.

Volver al glosario completo.

HProxy.

No te fíes solo de nuestra palabra. Mídelo tú mismo.

Funciona en tu navegador contra la dirección real. Sin registro y sin guardar ninguna lista.

HProxy