Procesado de datos
Convertir una respuesta descargada en datos estructurados, la mitad del scraping que ocurre después de la red y que falla por motivos totalmente distintos.
La descarga es la mitad ruidosa del scraping, con sus proxies, bloqueos y reintentos; el análisis es la mitad silenciosa donde aparece de verdad el valor. Una respuesta llega como bytes, marcado, JSON y a veces cosas peores, y el análisis es todo lo que hay entre esa llegada y una fila limpia: decodificación, construcción del árbol, selección, normalización, validación. Los flujos de datos se suelen juzgar por su ritmo de descarga y mueren por la calidad de su análisis.
En HTML, analizar significa construir un árbol del documento con un analizador que tolere la web real, donde las etiquetas se quedan sin cerrar y el anidamiento es una aspiración. Los analizadores de verdad reparan ese marcado como lo hacen los navegadores; la extracción improvisada con expresiones regulares funciona hasta que aparece el primer atributo en un orden inesperado, y por eso las expresiones regulares sobre marcado son el cuento con moraleja por excelencia de la comunidad. Una vez existe un árbol, toman el relevo los lenguajes para apuntar, y el trabajo del análisis termina cuando la selección tiene algo sólido en lo que apoyarse.
La mejor jugada de análisis suele ser esquivar el HTML por completo. Las páginas modernas ya llevan sus datos en forma estructurada: respuestas JSON que alimentan los propios scripts de la página, bloques de estado incrustados en el documento y las anotaciones legibles por máquina que las webs publican para los buscadores, nombre del producto, precio y disponibilidad en una etiqueta script, etiquetados con un vocabulario público. Leerlos da campos con tipo sin arqueología de selectores, y cambian mucho menos que los diseños, porque otra maquinaria depende de ellos.
La codificación es la trampa que hay debajo de todo. Los bytes se convierten en texto mediante una codificación de caracteres, y suponer la equivocada produce mojibake, los símbolos de moneda y las letras acentuadas destrozados de un análisis que técnicamente salió bien. Los charsets declarados mienten de vez en cuando; las respuestas comprimidas hay que descomprimirlas antes que nada; y los números llegan vestidos con la configuración regional, donde 1.299,00 y 1,299.00 discrepan sobre qué signo es el decimal. Normalizar, precios a un número y una moneda, fechas a una forma con zona horaria, espacios colapsados, también es analizar, y saltárselo solo traslada el trabajo a cada consumidor de tus datos.
La disciplina que separa los flujos duraderos es validar la SALIDA además de la descarga. Un análisis que no encuentra ningún precio en una página que claramente vende cosas es una señal: o se movió el diseño o la web te sirvió algo distinto de la página real, y un flujo que registra los campos vacíos como éxito llenará un almacén de huecos con mucha seguridad. Los fallos de análisis son baratos cuando hacen ruido y ruinosos cuando son silenciosos, así que constrúyelos para que hagan ruido.
Preguntas frecuentes
¿Por qué no debería analizar HTML con expresiones regulares?
Porque la estructura del marcado, el anidamiento, los atributos opcionales en cualquier orden, las etiquetas sin cerrar que reparan los navegadores, es justo lo que las expresiones regulares no pueden seguir. Los patrones que sobreviven a una página se rompen en sus hermanas. Los analizadores HTML de verdad reparan el desorden y lo convierten en un árbol, los selectores lo recorren después de forma fiable, y la expresión regular sigue siendo útil para lo que hace bien: limpiar las cadenas extraídas una a una.
¿Qué datos de una página web son más fáciles de analizar?
Los que la página ya publica como datos. Muchas webs incrustan anotaciones legibles por máquina para los buscadores, nombre, precio y disponibilidad en JSON etiquetado dentro de una etiqueta script, y muchas más envían su estado como JSON que consumen los propios scripts de la página. Los dos dan campos con tipo sin trabajo de selectores, y los dos son más estables que los diseños porque otros sistemas dependen de ellos.
¿Por qué el texto que extraigo muestra caracteres rotos?
Por una codificación que no coincide: los bytes se decodificaron con el juego de caracteres equivocado, normalmente por fiarse de una declaración errónea o ausente. El resultado es mojibake, acentos y símbolos de moneda destrozados en un análisis que por lo demás salió bien. Detecta y respeta la codificación real, descomprime antes de decodificar y prueba con páginas con texto que no esté en inglés, donde el fallo se ve enseguida.
¿Cómo sé que mi analizador sigue funcionando?
Valida las salidas, sin fiarte de los códigos de estado. Exige que aparezcan de verdad los campos esperados, precios numéricos, fechas plausibles, recuentos por encima de cero en páginas que visiblemente tienen artículos, y lanza una alarma cuando no sea así. Los cambios de diseño y las respuestas degradadas en silencio se presentan como descargas con éxito con campos vacíos o erróneos, así que la única alarma fiable es comprobar los propios datos.
Volver al glosario completo.

