ES
Empezar

Glosario

Scraping y automatización

Lógica de reintentos

Cómo gestiona un scraper las peticiones fallidas: mal hecha, gasta ancho de banda y agrava los bloqueos; bien hecha, rescata sin ruido la mayoría de fallos pasajeros.

La lógica de reintentos es lo que hace tu scraper cuando falla una petición, y marca la diferencia entre un flujo que sobrevive a una red inestable y uno que convierte un tropiezo temporal en una factura y un bloqueo. Los fallos son inevitables a escala, una conexión caída, un origen lento, un límite de peticiones momentáneo, y la mayoría son pasajeros, así que reintentar es lo correcto. Reintentar mal es una de las heridas autoinfligidas más comunes del scraping.

La disciplina central es el backoff: esperar cada vez más entre intentos en lugar de machacar al momento. El backoff exponencial, duplicar el retraso cada vez, con un poco de aleatoriedad para que muchos trabajadores no reintenten a la vez, reparte la carga y da a un objetivo con problemas margen para recuperarse. Reintentar al instante hace lo contrario: amontona más peticiones sobre lo que ya estaba fallando, y así es justo como un límite de peticiones suave se convierte en un bloqueo duro. El fallo te decía que fueras más despacio, y un reintento inmediato responde acelerando.

Leer el fallo es lo que separa un reintento inteligente de uno torpe, y cada fallo merece una respuesta distinta. Un 429 con una cabecera Retry-After es una instrucción precisa: espera ese tiempo, sin adivinar. Un 503 merece un reintento con backoff. Un tiempo de espera agotado en la conexión puede necesitar solo otra salida. Pero un 403, un CAPTCHA o un contenido degradado son una decisión sobre ti, y reintentarlos sin cambios, misma dirección, misma huella, solo gasta dinero en confirmar el bloqueo. Esos piden cambiar algo, una dirección nueva o un enfoque distinto, en lugar de volver a intentarlo.

Hay una dimensión de coste fácil de olvidar con la facturación por gigabyte. Una petición que falló después de transferir la mayor parte de su respuesta te ha costado igualmente ese tráfico, así que una política de reintentos agresiva contra un objetivo inestable puede multiplicar la factura de ancho de banda sin recoger nada más. Un tope de intentos, backoff entre ellos y una regla que deje de reintentar los fallos no pasajeros son cortesía y, además, la diferencia entre una política de reintentos que rescata peticiones y una que duplica tus costes en silencio.

Preguntas frecuentes

¿Qué es el backoff exponencial?

Una estrategia de reintentos en la que la espera entre intentos crece cada vez, normalmente duplicándose, casi siempre con un poco de aleatoriedad para que muchos trabajadores no reintenten al unísono. Reparte la carga y da a un objetivo con problemas margen para recuperarse, y por eso funciona donde fallan los reintentos instantáneos. Es la opción por defecto sensata y estándar para gestionar los fallos pasajeros de las peticiones.

¿Debería reintentar todas las peticiones fallidas?

No, y es el error habitual. Reintenta los fallos pasajeros, tiempos de espera agotados, 503, un 429 tras su retraso Retry-After, porque esos suelen funcionar al segundo intento. No reintentes sin cambios un 403, un CAPTCHA o un contenido degradado: son decisiones sobre ti, así que reintentar con la misma dirección y la misma huella solo paga por confirmar el bloqueo. Cambia algo o para.

¿Una mala lógica de reintentos puede subir el coste de mis proxies?

Bastante, con la facturación por gigabyte. Una petición que falló después de transferir la mayor parte de su respuesta ya te costó ese ancho de banda, así que los reintentos agresivos contra un objetivo inestable multiplican la factura sin recoger nada. Pon un tope de intentos, haz backoff entre ellos y deja de reintentar los fallos no pasajeros, y los reintentos pasarán de multiplicar costes a rescatar de verdad.

Volver al glosario completo.

HProxy.

Las definiciones solo te llevan hasta cierto punto. Ejecutar frente a objetivos reales.

Residenciales desde 0,23 $ por GB, pagas por uso y el saldo nunca caduca.

HProxy