ES
Empezar

Integraciones · Automatización y scraping

Usa HProxy con Scrapy.

Envía cada petición de Scrapy por una salida residencial de HProxy.
EmpezarLeer la guía completa
  • 3 pasos
  • Código que funciona
  • HTTP y SOCKS5
  • Acceso en la URL del proxy

Por qué un proxy

Por qué usar un proxy con Scrapy

Scrapy es el framework de scraping específico de Python, hecho para rastrear a gran volumen con su propio planificador, pipelines y middleware.

Scrapy rinde mejor con muchas peticiones simultáneas, que es justo lo que antes activa un límite por IP. Un pool rotativo detrás es lo que evita que una concurrencia alta haga que bloqueen todo el rastreo.

Setup

Configurar HProxy en Scrapy

  1. 1

    Fija el proxy en cada petición con su diccionario meta, o de forma global en un downloader middleware.

  2. 2

    Pon tu acceso en la URL del proxy, con el host y el puerto del panel.

  3. 3

    Sube CONCURRENT_REQUESTS cuando el pool ya aguante la carga, y solo entonces.

Conviene saber

Para un proyecto entero, configura el proxy en un HttpProxyMiddleware personalizado en lugar de en cada petición.

El host, el puerto y el acceso que se muestran aquí son el formato; tus valores exactos están en tu panel, listos para copiar.

Scrapy, con HProxy

# in your spider
def start_requests(self):
    yield scrapy.Request(
        "https://ipinfo.io/json",
        meta={"proxy": "http://user-country-us:[email protected]:8080"},
    )

Scrapy preguntas

Preguntas frecuentes

¿Dónde va el proxy en un proyecto de Scrapy?

Por petición vale para un trabajo rápido, y para un proyecto entero el sitio adecuado es un middleware personalizado basado en HttpProxyMiddleware. Fijarlo en un sitio central hace que todos los spiders lo hereden y que cambies el endpoint en un archivo en lugar de en cada petición que construyes.

¿Cómo roto proxies en Scrapy?

Con un proxy pasarela no hace falta: el pool asigna una salida distinta en cada petición detrás de un endpoint que no cambia. Si gestionas tú una lista de direcciones sueltas, lo habitual es un middleware que asigne una por petición, aunque son más piezas para el mismo resultado.

¿Cómo se relaciona la concurrencia de Scrapy con los límites del proxy?

Directamente, y conviene ajustarlo a propósito. Los ajustes de peticiones simultáneas de Scrapy deciden cuánto tráfico envías a la vez, y enviar mucha concurrencia por muy pocas direcciones activa los límites por dirección antes que ejecutarlo en secuencia. La concurrencia y el tamaño del pool tienen que ir de la mano.

¿Sigo respetando robots.txt en Scrapy?

Scrapy lo respeta por defecto y merece la pena mantenerlo así. Las rutas prohibidas son justo lo que nada legítimo pide, así que ignorar el archivo es una de las formas más seguras de que marquen una dirección, además de ser una mala práctica.

Listos cuando tú lo estés.

Tu panel está a diez segundos. Sin llamada comercial, sin suscripción, sin mínimo.