Zo bespaar je op logs en raak je niet gek van Splunk-facturen

Onlangs stuitte ik op een interessant project genaamd SigLens. De mensen besloten iets heiligs aan te pakken — Splunk en ElasticSearch van de troon stoten, met tienvoudige resourcebesparingen als belofte. Het klinkt als typische marketinghype, ware het niet voor één "maar": het project is recent gearchiveerd, overgeschakeld naar Apache 2.0-licentie, en is nu openbaar beschikbaar als een kant-en-klare basis voor iedereen die zijn eigen observability-systeem wil bouwen zonder beroofd te worden.

Overigens beweren de SigLens-ontwikkelaars dat hun oplossing 100 keer efficiënter is dan Splunk. Ik ben altijd sceptisch over zulke cijfers, maar de technische achtergrond van het team (het bedient 10.000+ engineers) maakt dat je de details beter wilt bekijken.

Wat is het Hoofdprobleem van Huidige Oplossingen

Als je met logs in grote projecten hebt gewerkt, ken je dit scenario. Eerst stel je ElasticSearch in, het leven is geweldig, en dan realiseer je je zes maanden later dat de cluster obscene proporties heeft aangenomen, constante admin-aandacht vereist, en geheugen verorbert alsof er geen morgen is. Grafana Loki lijkt redding totdat complexe queries in het spel komen — prestaties lijken soms op die van een schildpad.

SigLens is bedacht als antwoord op deze frustraties. Het is een Go-binary die logs, metrics en traces combineert in één pakket. Geen externe afhankelijkheden. Je kunt het draaien op een normale laptop en, volgens de auteurs, tot 8 TB aan data per dag verwerken.

Wat Dit Gereedschap Kan Doen

Het project is interessant vooral vanwege de "all-in-one" architectuur. In plaats van te schakelen tussen verschillende tools, krijg je één enkel toegangspunt.

Ondersteuning voor Bekende Querytalen

Dit is waarschijnlijk de sterkste kant. Als je team al jaren in Splunk SPL schrijft, is er geen noodzaak om bij te scholen. SigLens begrijpt zowel SPL als reguliere SQL. Dit verlaagt de instapdrempel voor migratie aanzienlijk.

Flexibiliteit in Data-inname

Het gereedschap dwingt je niet om je logleveringspijplijnen te herschrijven. Het kan data accepteren in OpenTelemetry-, Elastic-, Splunk HEC- en zelfs Loki-formaten. In wezen kun je het inpluggen in plaats van je bestaande backend, en de meeste van je agents (zoals Fluentbit of Vector) zullen de switch niet eens merken.

Prestaties in Werkelijke Cijfers

Het blog van de auteurs bevat een case study waarin ze 1 PB aan data in één dag verwerkten. Hiervoor hadden ze slechts 32 EC2-instanties nodig. Ter vergelijking: Splunk of Elastic zou voor dezelfde taak ongeveer 3.000 machines nodig hebben. Het verschil in infrastructuurkosten is kolossaal.

De Technische Kant

SigLens is geschreven in Go, wat de lichtgewicht aard verklaart. Het hoogtepunt hier is de opslagengine, geoptimaliseerd voor de specificaties van tijdreeksen en ongestructureerde logs. In tegenstelling tot Elastic, dat zware omgekeerde indexen op elk veld bouwt, gebruikt SigLens efficiëntere benaderingen voor compressie en zoekopdrachten.

Interessant is dat het project standaard ingebouwde dashboards en een waarschuwingssysteem biedt. Je hoeft niet per se Grafana aan te koppelen, hoewel suche mogelijkheid waarschijnlijk via de API bestaat.

Wie Zou Er Nu Voordelen Uit Kunnen Halen

Omdat het project naar archivemodus is verplaatst, is het een tweesnijdend zwaard. Aan de ene kant kun je geen actieve ontwikkeling van het oorspronkelijke team verwachten. Aan de andere kant geeft de Apache 2.0-licentie je volledige vrijheid.

Ik zie verschillende scenario's waarin SigLens zou kunnen "aanslaan":

1. Interne monitoringtools in startups, waar infrastructuurbudget beperkt is maar er al veel data is.
2. Lokaal debuggen. Dankzij het een single binary is, is het gemakkelijk op te starten in een Docker-container op de machine van een ontwikkelaar voor het analyseren van traces en logs in realtime.
3. Een basis voor het creëren van je eigen proprietary data-analyseoplossing.

Is Het De Moeite Waard Om Te Proberen

Als je het beu bent om duizenden dollars te betalen voor Splunk of te worstelen met het onderhouden van enorme Elasticsearch-clusters, is SigLens een uitstekende kandidaat om te verkennen. Ja, het project is gearchiveerd, maar de Go-code daar is vrij volwassen en functioneel.

Voor een snelle start hebben ze kant-en-klare Helm-charts en Docker-images. Je kunt het systeem in vijf minuten deployen en zien hoe het je logstream afhandelt. Misschien is dit precies het geval waar " verlaten" open source een bedrijf een jaar aan cloudbudget kan besparen.

In mijn praktijk is het vaak zo dat deze nauw gespecialiseerde engines beter presteren dan universele all-in-one-oplossingen. Het belangrijkste is te begrijpen dat je nu zelf voor ondersteuning moet zorgen of via de community die besluit het project te forken.