ES
Empezar

Integraciones · Automatización y scraping

Usa HProxy con Python Requests.

Envía la librería requests a través de una IP residencial de HProxy en tres líneas.
  • 3 pasos
  • Código que funciona
  • HTTP y SOCKS5
  • Acceso en la URL del proxy

Por qué un proxy

Por qué usar un proxy con Python Requests

Requests es la librería HTTP más usada en Python, la opción por defecto para scripts, scrapers y clientes de API.

Un script que golpea una web una y otra vez desde una dirección es justo el patrón para el que existen los límites de peticiones. Enviar Requests por un pool residencial rotativo reparte el tráfico para que cada dirección pase desapercibida.

Setup

Configurar HProxy en Python Requests

  1. 1

    Copia el host, el puerto y el acceso de tu proxy del panel de HProxy.

  2. 2

    Crea un diccionario proxies que apunte tanto http como https a la misma URL de proxy.

  3. 3

    Pásalo en cada petición, o fíjalo una vez en una sesión.

Conviene saber

El usuario lleva la selección: user-country-de te hace salir por Alemania, y añadiendo -city-frankfurt afinas más.

El host, el puerto y el acceso que se muestran aquí son el formato; tus valores exactos están en tu panel, listos para copiar.

Python Requests, con HProxy

import requests

proxies = {
  "http":  "http://user-country-us:[email protected]:8080",
  "https": "http://user-country-us:[email protected]:8080",
}
r = requests.get("https://ipinfo.io/json", proxies=proxies)
print(r.json())

Python Requests preguntas

Preguntas frecuentes

¿Por qué requests sigue mostrando mi IP real?

Normalmente porque el diccionario proxies solo cubría un esquema. Pon las dos claves, http y https, porque una petición a una URL HTTPS usa la entrada https y un diccionario solo con http envía esa petición directa sin avisar. Compruébalo descargando un endpoint de eco de IP a través de la sesión en lugar de darlo por hecho.

¿Cómo uso un proxy para todas las peticiones?

Fíjalo una vez en un objeto Session y usa esa sesión en todo momento, en lugar de pasar el argumento en cada llamada. Es menos código, mantiene las conexiones abiertas entre peticiones y elimina el tipo de error en el que una llamada sale directa sin avisar porque se olvidó el argumento.

¿Por qué mi scraper funciona en un navegador pero falla desde requests?

Lo más habitual es la huella TLS. El handshake que envía un cliente HTTP de Python es distinto del de un navegador por mucho cuidado que pongas al copiar las cabeceras, y los sistemas de detección lo leen antes de descifrar tu petición. Copiar el user agent no cambia el handshake que hay debajo.

¿requests resuelve el DNS a través del proxy?

Con un proxy HTTP al que se le da una URL completa, el proxy suele resolver el nombre de host en su lado. Con SOCKS depende del esquema que uses: la variante que resuelve en remoto deja la consulta en el lado del proxy, mientras que la otra resuelve en local y produce una fuga de DNS que muestra a tu propio resolvedor cada destino.

Listos cuando tú lo estés.

Tu panel está a diez segundos. Sin llamada comercial, sin suscripción, sin mínimo.