Límite de peticiones
El tope de una web sobre cuántas peticiones puede hacer un origen en un periodo, el obstáculo más común con el que se encuentra un scraper.
El límite de peticiones es un tope a la velocidad con la que un origen puede pedir cosas. Si lo superas, el servidor deja de atenderte, casi siempre con una respuesta 429 Too Many Requests, hasta que se reinicia el periodo. Existe para que ningún cliente consuma la capacidad que necesitan los demás, y lo aplican servidores que no tienen ninguna opinión sobre ti.
Su propiedad definitoria es que ignora la intención, y es lo que conviene interiorizar. El contador no sabe si eres hostil o simplemente estás muy ocupado. Cuenta peticiones por origen y actúa según el número, y por eso un trabajo legítimo de gran volumen lo activa con la misma facilidad que un abuso. Portarse bien no te libra de la aritmética.
El contador casi siempre va ligado a algo identificativo: una dirección IP, una clave de API, una cuenta o una sesión. La clave que use decide tus opciones, y conviene averiguarla en lugar de suponerla. Si una web limita por dirección, repartir las peticiones entre un pool funciona. Si limita por clave de API, más direcciones no cambian nada y necesitas otra clave o un ritmo más lento.
Para eso existe un proxy rotativo, y esta es la descripción honesta de lo que hace: el límite sigue igual, y dejas de concentrar el tráfico contra un único contador. El mismo volumen total repartido en un pool de proxies deja a cada dirección muy por debajo de un umbral al que nunca se acerca. No se ha burlado nada; se ha reorganizado la aritmética.
La respuesta que recibes dice mucho, y leerla bien ahorra días. Un 429 suele llevar una cabecera Retry-After que indica exactamente cuánto esperar: la web te dice sus reglas con claridad. Respetarla es lo educado y lo eficaz, porque ignorarla y reintentar al momento es lo que convierte una limitación temporal en un bloqueo más largo.
Pero no todos los límites se anuncian, y los silenciosos son los peligrosos. Un sistema antibots con margen de maniobra a menudo degrada el servicio en vez de rechazarte: respuestas más lentas, resultados recortados, datos antiguos de la caché o registros omitidos en silencio. Tus peticiones siguen devolviendo 200 y tu conjunto de datos está mal. Quien hace web scraping a gran volumen debería comparar los resultados con una referencia fiable en lugar de fiarse de los códigos de estado.
La solución más infravalorada es simplemente ir más despacio y con variación. Un retraso fijo ya es un patrón detectable, y una variación real del ritmo mantiene las peticiones bajo los límites y parece menos mecánica. Cuesta tiempo, y el tiempo suele salir más barato que el coste creciente de que te limiten, te pongan pruebas y acaben bloqueándote.
Preguntas frecuentes
¿Qué significa un error 429?
Too Many Requests: has superado lo permitido para lo que sea que cuente el servidor, y volverá a atenderte cuando se reinicie el periodo. Busca una cabecera Retry-After, que indica exactamente cuánto esperar. Es un rechazo temporal, y tratarlo como tal, bajando el ritmo, suele ser todo lo que hace falta.
¿Más proxies solucionan siempre el límite de peticiones?
Solo cuando el límite se cuenta por dirección IP. Si va ligado a una clave de API, una cuenta o una cookie de sesión, añadir direcciones no cambia nada porque el contador nunca miró tu dirección. Averigua a qué va ligado el límite antes de comprar capacidad para resolverlo, o escalarás la dimensión equivocada.
¿Cómo averiguo el límite de peticiones de una web?
A veces está publicado, en la documentación de la API o en cabeceras de respuesta que indican el límite, lo que queda y el momento de reinicio. Cuando no lo está, averígualo probando con cuidado: empieza muy por debajo de cualquier umbral plausible, sube poco a poco y vigila el primer 429 o la primera señal de contenido degradado. Machacar una web a propósito para descubrir el límite es de mala educación y una buena forma de ganarte un bloqueo más largo.
¿Es mejor rotar IPs o ir más despacio?
Las dos cosas, y resuelven mitades distintas. La rotación evita que el volumen se concentre contra un contador; ir más despacio con variación real ataca el patrón del propio tráfico, algo con lo que la rotación no hace nada. Rotar lo bastante rápido como para mantener un ritmo regular de máquina sigue pareciendo una máquina, solo que con muchas direcciones.
¿Puede el límite de peticiones ser silencioso?
Sí, y es el fallo contra el que más conviene protegerse. Algunas webs degradan el servicio en vez de rechazarte: respuestas más lentas, menos resultados, valores antiguos de la caché o registros que faltan en silencio, todo con un 200 perfectamente normal. Nada en tus logs lo señalará. La única defensa fiable es comparar de vez en cuando los datos que recoges con una petición que sabes que está limpia.
Volver al glosario completo.

