Cómo Ahorrar en Logs y No Enloquecer con las Facturas de Splunk
Hace poco me encontré con un proyecto interesante llamado SigLens. La gente decidió enfrentar algo sagrado: destronar a Splunk y ElasticSearch, prometiendo ahorros de recursos diez veces mayores a cambio. Parece típico marketing exagerado, si no fuera por un "pero": el proyecto fue archivado recientemente, cambió a licencia Apache 2.0, y ahora está disponible como código abierto como base lista para cualquiera que quiera construir su propio sistema de observabilidad sin que le roben.
Por cierto, los desarrolladores de SigLens afirman que su solución es 100 veces más eficiente que Splunk. Siempre soy escéptico con esas cifras, pero el trasfondo técnico del equipo (dar servicio a más de 10,000 ingenieros) te hace querer ver los detalles más de cerca.
¿Cuál es el Principal Dolor de las Soluciones Actuales
Si has trabajado con logs en proyectos grandes, conoces este escenario. Primero configuras ElasticSearch, la vida es genial, y luego seis meses después te das cuenta de que el cluster ha crecido a tamaños obscenos, requiere atención constante del admin, y devora memoria como si no hubiera un mañana. Grafana Loki parece una salvación hasta que entran en juego consultas complejas — el rendimiento a veces se parece al de una tortuga.
SigLens fue concebido como respuesta a estas luchas. Es un binario Go que combina logs, métricas y trazas en un solo paquete. Sin dependencias externas. Puedes ejecutarlo en una laptop normal y, según los autores, manejar hasta 8 TB de datos por día.
Qué Puede Hacer Esta Herramienta
El proyecto es interesante principalmente por su arquitectura "todo-en-uno". En lugar de saltar entre diferentes herramientas, obtienes un único punto de entrada.
Soporte para Lenguajes de Consulta Familiares
Este es probablemente su lado más fuerte. Si tu equipo ha estado escribiendo en Splunk SPL durante años, no hay necesidad de reentrenar. SigLens entiende tanto SPL como SQL regular. Esto reduce significativamente la barrera de entrada para la migración.
Flexibilidad en la Ingesta de Datos
La herramienta no te obliga a reescribir tus pipelines de entrega de logs. Puede aceptar datos en formatos OpenTelemetry, Elastic, Splunk HEC e incluso Loki. Esencialmente, puedes reemplazarlo en lugar de tu backend existente, y la mayoría de tus agentes (como Fluentbit o Vector) ni notarán el cambio.
Rendimiento en Números Reales
El blog de los autores tiene un caso de estudio donde procesaron 1 PB de datos en un solo día. Para esto, necesitaron solo 32 instancias EC2. Como comparación: Splunk o Elastic necesitarían alrededor de 3,000 máquinas para la misma tarea. La diferencia en costos de infraestructura es colosal.
El Lado Técnico
SigLens está escrito en Go, lo que explica su naturaleza ligera. El punto destacado aquí es el motor de almacenamiento, optimizado para las especificidades de series temporales y logs no estructurados. A diferencia de Elastic, que construye índices invertidos pesados en cada campo, SigLens usa enfoques más eficientes para compresión y búsqueda.
Curiosamente, el proyecto ofrece dashboards integrados y un sistema de alertas desde el primer momento. No necesariamente necesitas agregar Grafana, aunque probablemente existe esa capacidad a través de API.
Quién Podría Beneficiarse Ahora
Dado que el proyecto ha pasado al modo archivo, es un arma de doble filo. Por un lado, no deberías esperar desarrollo activo del equipo original. Por otro lado, la licencia Apache 2.0 te da libertad completa.
Veo varios escenarios donde SigLens podría "despegar":
- Herramientas de monitoreo interno en startups, donde el presupuesto de infraestructura es limitado pero ya hay muchos datos.
- Depuración local. Gracias a ser un único binario, es fácil levantar en un contenedor Docker en la máquina de un desarrollador para analizar trazas y logs en tiempo real.
- Una base para crear tu propia solución propietaria de análisis de datos.
¿Vale la Pena Probar
Si estás cansado de pagar miles de dólares por Splunk o de luchar manteniendo clusters masivos de Elasticsearch, SigLens es un gran candidato para explorar. Sí, el proyecto está archivado, pero el código Go que hay es bastante maduro y funcional.
Para un inicio rápido, tienen Helm charts y imágenes Docker listas. Puedes desplegar el sistema en cinco minutos y ver cómo maneja tu flujo de logs. Quizás este es exactamente el caso donde el código abierto "abandonado" puede ahorrarle a una empresa el presupuesto de nube de un año.
En mi práctica, a menudo estos motores especializados rinden mejor que las soluciones universales todo-en-uno. Lo principal es entender que ahora tendrás que proporcionar soporte por tu cuenta o a través de la comunidad que decida hacer fork del proyecto.
Proyectos relacionados