Comment faire des économies sur les logs sans devenir fou à cause des factures Splunk

Récemment, je suis tombé sur un projet intéressant appelé SigLens. Les développeurs ont décidé de s'attaquer à quelque chose de sacré — détrôner Splunk et ElasticSearch, en promettant des économies de ressources dix fois supérieures. Cela ressemble à du marketing typique, s'il n'y avait un « mais » : le projet a récemment été archivé, est passé sous licence Apache 2.0, et est maintenant disponible en open source comme base prête à l'emploi pour quiconque souhaite construire son propre système d'observabilité sans se faire plumer.

Au fait, les développeurs de SigLens affirment que leur solution est 100 fois plus efficace que Splunk. Je suis toujours sceptique face à de tels chiffres, mais l'expérience technique de l'équipe (au service de plus de 10 000 ingénieurs) donne envie de regarder les détails de plus près.

Quel est le principal problème des solutions actuelles

Si vous avez travaillé avec des logs sur des projets de grande envergure, vous connaissez ce scénario. D'abord, vous configurez ElasticSearch, la vie est belle, puis six mois plus tard, vous réalisez que le cluster a atteint des tailles obscènes, nécessite une attention constante de l'administrateur et dévore la mémoire comme si c'était la fin du monde. Grafana Loki ressemble au salut jusqu'à ce que des requêtes complexes entrent en jeu — les performances ressemblent parfois à celles d'une tortue.

SigLens a été conçu comme une réponse à ces difficultés. C'est un binaire Go qui combine logs, métriques et traces dans un seul package. Aucune dépendance externe. Vous pouvez l'exécuter sur un ordinateur portable ordinaire et, selon les auteurs, traiter jusqu'à 8 To de données par jour.

Ce que cet outil peut faire

Le projet est intéressant principalement pour son architecture « tout-en-un ». Au lieu de basculer entre différents outils, vous obtenez un point d'entrée unique.

Support des langages de requêtes familiers

C'est probablement son point fort. Si votre équipe écrit en SPL Splunk depuis des années, il n'est pas nécessaire de se recycler. SigLens comprend à la fois SPL et SQL classique. Cela abaisse considérablement la barrière d'entrée pour la migration.

Flexibilité dans l'ingestion des données

L'outil ne vous force pas à réécrire vos pipelines de livraison de logs. Il peut accepter des données aux formats OpenTelemetry, Elastic, Splunk HEC et même Loki. Essentiellement, vous pouvez le substituer à votre backend existant, et la plupart de vos agents (comme Fluentbit ou Vector) ne remarqueront même pas le changement.

Performances en chiffres réels

Le blog des auteurs présente une étude de cas où ils ont traité 1 Po de données en une seule journée. Pour cela, ils n'avaient besoin que de 32 instances EC2. À titre de comparaison : Splunk ou Elastic aurait besoin d'environ 3 000 machines pour la même tâche. La différence en termes de coûts d'infrastructure est colossale.

L'aspect technique

SigLens est écrit en Go, ce qui explique sa légèreté. Le point fort ici est le moteur de stockage, optimisé pour les spécificités des séries temporelles et des logs non structurés. Contrairement à Elastic, qui construit des index inversés lourds sur chaque champ, SigLens utilise des approches plus efficaces pour la compression et la recherche.

Curieusement, le projet propose des tableaux de bord intégrés et un système d'alertes prêt à l'emploi. Vous n'avez pas nécessairement besoin de greffer Grafana, bien que cette capacité existe probablement via l'API.

Qui pourrait en bénéficier maintenant

Puisque le projet a été mis en mode archive, c'est une arme à double tranchant. D'une part, vous ne devez pas vous attendre à un développement actif de la part de l'équipe originale. D'autre part, la licence Apache 2.0 vous donne une liberté totale.

Je vois plusieurs scénarios où SigLens pourrait « décoller » :

1. Outils de surveillance internes dans les startups, où le budget infrastructure est limité mais il y a déjà beaucoup de données.
2. Débogage local. Grâce au fait que c'est un binaire unique, il est facile de le lancer dans un conteneur Docker sur la machine d'un développeur pour analyser les traces et les logs en temps réel.
3. Une base pour créer votre propre solution propriétaire d'analyse de données.

Cela vaut-il la peine d'essayer

Si vous en avez assez de payer des milliers de dollars pour Splunk ou de lutter pour maintenir d'énormes clusters Elasticsearch, SigLens est un excellent candidat à explorer. Oui, le projet est archivé, mais le code Go est assez mature et fonctionnel.

Pour un démarrage rapide, ils proposent des charts Helm et des images Docker prêts à l'emploi. Vous pouvez déployer le système en cinq minutes et voir comment il gère votre flux de logs. C'est peut-être exactement le cas où l'open source « abandonné » peut faire économiser à une entreprise un budget cloud d'un an.

Dans ma pratique, il est souvent question que ces moteurs spécialisés étroits fonctionnent mieux que les solutions universelles tout-en-un. L'essentiel est de comprendre que vous devrez maintenant assurer le support vous-même ou par le biais de la communauté qui décidera de forker le projet.