ES
Empezar

Glosario

Protocolos y autenticación

WebSocket

Un protocolo que convierte una petición HTTP en una conexión persistente en los dos sentidos, usado para flujos de datos en directo, y un caso especial que los proxies tienen que llevar.

Un WebSocket empieza disfrazado de petición web normal. El cliente envía lo que parece una petición HTTP normal con una cabecera Upgrade; el servidor responde 101 Switching Protocols; y desde ese momento la conexión deja de funcionar por petición y respuesta. Se convierte en un canal persistente y bidireccional sobre la misma conexión TCP, por el que cualquiera de los dos lados envía mensajes cuando quiere, mientras viva la conexión.

El disfraz era el objetivo del diseño: al empezar como HTTP en los puertos web estándar, el 80 para ws y el 443 para wss, envuelto en TLS, el protocolo atraviesa infraestructura construida para el tráfico web. Lo que aporta frente a preguntar una y otra vez a un servidor si algo ha cambiado es inmediatez y economía, una conexión permanente en lugar de un goteo de consultas, y por eso lleva las superficies en directo de la web: cotizaciones, libros de órdenes, chat, notificaciones, resultados deportivos, editores colaborativos, paneles en directo.

Esa lista explica por qué los scrapers se lo encuentran tanto. En esas páginas, el documento que descargas es el andamiaje, y las cifras que querías llegan después, como mensajes por un socket que la página abre tras cargar. Descargar el HTML te da una cáscara sin datos; incluso renderizar la página solo ayuda si después escuchas. La vía directa es la misma que usa la página: abre tú mismo el endpoint del socket, envía el mensaje de suscripción que envía el propio cliente de la web y lee el flujo, que suele ser un JSON más limpio del que la página te habría mostrado nunca.

Pasarlo por un proxy funciona, con asimetrías que conviene conocer. El wss cifrado pasa por un proxy HTTP dentro de un túnel CONNECT normal, el mismo relé ciego que usa HTTPS, así que en general funciona sin más. El ws simple le pide al proxy que gestione el Upgrade de forma explícita, algo que algunos proxies HTTP hacen mal; en la práctica casi todo lo real es wss de todos modos. Un proxy SOCKS5, que retransmite TCP sin interpretarlo, lleva cualquiera de los dos sin problemas. El fallo propio de los sockets es la duración: una conexión abierta durante horas convierte la estabilidad de la salida en parte de tu arquitectura, y las salidas de un pool rotativo no están hechas para durar. Los flujos de larga duración piden una dirección estática o una sesión fija ajustada al trabajo.

Hay otra propiedad que importa a gran volumen: un socket tiene estado de una forma en que las peticiones no lo tienen. Tu suscripción, tu autenticación y la idea que tiene el servidor de quién eres viven en esa única conexión, así que si una salida muere en pleno flujo toca reconectar y volver a suscribirse, y un consumidor bien construido trata eso como algo esperado.

Preguntas frecuentes

¿Los WebSockets funcionan a través de un proxy?

En general sí. La forma cifrada, wss, pasa por los proxies HTTP dentro del mismo túnel CONNECT que cualquier tráfico HTTPS, y SOCKS5 la retransmite como TCP normal. El ws sin cifrar a través de un proxy HTTP es la combinación frágil, ya que el proxy tiene que retransmitir el handshake Upgrade y el soporte ahí es irregular. Como los despliegues reales son casi todos wss, la mayoría de las configuraciones funcionan sin más.

¿Por qué faltan los datos cuando hago scraping de una página en directo?

Porque la página es una cáscara y el contenido llega por un socket después de cargar. Descargar el documento solo captura el andamiaje. La solución eficiente es encontrar el endpoint del socket en la pestaña de red del navegador, conectarte a él directamente, enviar el mismo mensaje de suscripción que envía la página y consumir el flujo, que suele devolver datos estructurados más limpios que analizar la página renderizada.

¿Qué tipo de proxy uso para flujos de WebSocket?

Uno cuya salida siga existiendo dentro de una hora. Una conexión abierta convierte la estabilidad de la salida en parte del diseño, así que los pools rotativos tienen la forma equivocada: encajan mejor una dirección estática, un proxy ISP o una sesión fija ajustada a la vida prevista de la conexión. Más allá de la persistencia, las consideraciones habituales de confianza de red se aplican sin cambios, ya que la web ve el origen del socket igual que vería el de una petición.

¿Las conexiones WebSocket tienen límite de peticiones?

De otra forma que las peticiones. Las webs limitan las conexiones simultáneas por dirección y por cuenta, frenan el ritmo de mensajes dentro de una conexión y desconectan a los consumidores que se suscriben a demasiado. Como el estado vive en la conexión, la aplicación del límite suele parecer una desconexión más que un código de error, así que un consumidor resistente cuenta con reconectar y volver a suscribirse como algo normal.

Volver al glosario completo.

HProxy.

No te fíes solo de nuestra palabra. Mídelo tú mismo.

Comprueba el protocolo de un proxyCoge proxies gratis para probar

Funciona en tu navegador contra la dirección real. Sin registro y sin guardar ninguna lista.

HProxy