Pipeline de datos en tiempo real con Kafka y Spark
Cuando el dato llega tarde, la decisión ya se tomó sin él. Así diseñamos un pipeline de streaming a prueba de picos para un cliente del sector retail.
El problema: datos que llegaban cuando la decisión ya se había tomado
Un retailer con más de 400 tiendas nos contactó porque su capa de analítica batch tardaba hasta 24 horas en reflejar lo que pasaba en el punto de venta. El equipo de pricing ajustaba precios con datos del día anterior, y las promociones se lanzaban a ciegas.
En GDA hicimos el diagnóstico: el cuello de botella no era el volumen, era la arquitectura. Los eventos de venta dormían en una base transaccional hasta que un job nocturno los transformaba. Para un negocio donde la elasticidad de precio se mide en horas, eso es inaceptable.
La solución: streaming de extremo a extremo con Kafka y Spark
Diseñamos una arquitectura event-driven con Apache Kafka como columna vertebral. Cada punto de venta publica eventos de transacción, inventario y clickstream a topics particionados por tienda y categoría.
Spark Structured Streaming consume esos topics con micro-batches de 5 segundos, aplica joins con datos maestros de producto y escribe resultados en el lakehouse. La latencia total de punta a punta quedó en menos de 10 segundos.
La clave estuvo en el diseño de particionado y la política de retention: 7 días de hot retention en Kafka, con compactación para las tablas de estado que Spark necesita para hacer joins exactamente-una-vez.
Los resultados medidos por GDA
El pipeline procesa 1,2 millones de eventos por segundo en picos de campaña, con un SLA de 99,95% de disponibilidad y exactamente-una-vez de procesamiento.
El equipo de pricing pasó de decisiones diarias a decisiones por hora. El inventario obsoleto se redujo 23% en el primer trimestre, y la pérdida por quiebre de stock bajó 18%.
Lo que aprendimos
El streaming no es una herramienta, es un cambio de contrato con el negocio: la latencia que prometés define la arquitectura que construís. Definí primero el SLA, después elegí la tecnología.
Y una lección operativa: la observabilidad del pipeline es tan importante como el pipeline mismo. Sin trazabilidad de offsets y lag por partición, un problema de streaming es invisible hasta que el negocio lo nota.
¿Listo para transformar tu negocio?
Contactanos y descubrí cómo podemos ayudarte a alcanzar tus objetivos.
Comencemos