ES
Empezar

Glosario

Scraping y automatización

User agent

El texto que envía un cliente para identificar su navegador y su sistema operativo, una de las señales más sencillas que una web contrasta con tu IP.

Un user agent es una línea de texto que se envía con cada petición y en la que tu cliente dice qué es. La versión de un navegador es una cadena larga y abarrotada que nombra un motor de renderizado, una plataforma y varios elementos de compatibilidad que solo existen porque las webs llevan décadas buscándolos. La de una librería de scripts suele ser corta y honesta, algo como python-requests o curl seguido de un número de versión.

Las webs la leen por motivos totalmente normales la mayor parte del tiempo: elegir un diseño para móvil, avisar a un navegador desactualizado, servir un formato que el cliente admite. Se convirtió en una señal para detectar proxies por accidente, porque los clientes automatizados se anuncian en ella por defecto y muchísimos nunca piensan en cambiarla. Quien hace web scraping con el valor por defecto de una librería sin tocar se identifica en la primera línea de la petición.

También es lo más fácil de falsear de toda la petición, y precisamente por eso no demuestra nada por sí sola. Cualquier cliente puede enviar cualquier cadena, y todas las webs lo saben. Nadie serio toma un user agent convincente como prueba de un navegador real, así que poner uno es lo mínimo exigible.

Para quien defiende, su valor está en servir de comprobación de coherencia, y esto es lo que importa de verdad. Decir que eres Chrome en Windows te compromete con muchas otras cosas: una huella TLS que coincida, un conjunto de client hints que coincida, un tamaño de pantalla creíble, el ORDEN de cabeceras que envía un Chrome real y todo lo que la huella del navegador lee sobre la máquina que hay debajo. Si contradices algo de eso, la cadena no te ha ayudado: le ha dado a la web algo concreto con lo que pillarte en contradicción.

El orden de las cabeceras merece mención aparte porque se pasa por alto constantemente. Los navegadores reales emiten las cabeceras en una secuencia constante y característica, y las librerías HTTP las emiten en el orden en que el código las añadió. Una cadena de user agent perfecta que llega en un orden que ningún navegador produce es una contradicción que no cuesta nada detectar.

Eso hace que el consejo práctico sea más concreto que el habitual. Pon un user agent realista y actual, porque la cadena por defecto de una librería te delata gratis. No lo rotes al azar en cada petición, un instinto común y francamente malo: los visitantes reales no cambian de navegador entre una página y otra, y una sesión cuya identidad de cliente no para de cambiar llama más la atención que una que nunca cambia. Elige una identidad creíble por sesión y mantenla.

Preguntas frecuentes

¿Debería rotar el user agent?

En cada petición no, y aquí es donde falla mucho consejo. Un visitante real no cambia de navegador entre una página y otra, así que una sesión cuyo user agent no para de cambiar es más sospechosa que una que se mantiene. Elige una cadena creíble y actual por sesión o por identidad y mantenla durante toda esa sesión.

¿Cambiar el user agent impide que me detecten?

No. Elimina una delación evidente, la cadena por defecto de la librería, y nada más. Los sistemas de detección comprueban si lo que dices encaja con tu huella TLS, tu orden de cabeceras, tus client hints y tu comportamiento, y un user agent de navegador sobre un handshake de Python es una contradicción en toda regla. Es necesario y está muy lejos de ser suficiente.

¿Cuál es el mejor user agent para hacer web scraping?

Uno actual y común que encaje con todo lo demás que presentas. No hay ninguna cadena mágica, y copiar una antigua o poco común es peor que inútil, porque la propia rareza identifica. Elige una versión actual de un navegador muy usado y asegúrate de que el resto de tu petición pudiera venir de verdad de él.

¿Puede una web ver mi user agent real si lo cambio?

Solo recibe lo que envías, así que no. Lo que sí puede es notar que lo que enviaste no encaja con todo lo demás de la conexión: el handshake TLS es de una librería y no de ese navegador, el orden de las cabeceras está mal, faltan los client hints o el tamaño de pantalla es inverosímil. No necesita tu cadena real para saber que la que enviaste es falsa.

Volver al glosario completo.

HProxy.

Las definiciones solo te llevan hasta cierto punto. Ejecutar frente a objetivos reales.

Residenciales desde 0,23 $ por GB, pagas por uso y el saldo nunca caduca.

HProxy