Splunkの請求書に頭を悩ませない！ログコスト削減の方法
最近、SigLensという興味深いプロジェクトを見つけました。このプロジェクトは、神聖な存在への挑戦を決意しました——SplunkとElasticSearchを倒し、10倍のリソース節約を約束するというものです。典型的なマーケティングの誇大広告のように聞こえますが、一つ「しかし」があるのです：このプロジェクトは最近アーカイブ化され、Apache 2.0ライセンスに移行し、搾取されない独自のオブザーバビリティシステムを構築したい任何人に対して、オープンな形で готов foundationとして利用可能になりました。
ちなみに、SigLensの開発者は、 Splunkより100倍効率的だと主張しています。私はこのような数字には常に懐疑的ですが、チームの技術的バックグラウンド（10,000人以上のエンジニアにサービスを提供）は、詳細をもう少し見てみたいと思わせます。
現在のソリューションの主な痛みはどこか
大規模プロジェクトでログ接触过ことがある人なら、このシナリオを知っているでしょう。まずElasticSearchを設定すると、生活は素晴らしいものに思えますが、6ヶ月後にはクラスタが途方もないサイズに成長し постоянный管理が必要で、メモリを貪り食っていることに気づきます。Grafana Lokiは救いのように見えますが、複雑なクエリが登場すると——パフォーマンスは時折亀のようになります。
SigLensは、これらの苦悩への答えとして生み出されました。Goバイナリ 하나로 로그、指標、トレースを組み合わせたものです。外部依存関係なし。普通のノートパソコン上で実行でき 作者によると、1日あたり最大8TBのデータを処理できます。
このツールできること
このプロジェクトの興味深い点は、主に「オールインワン」アーキテクチャにあります。異なるツール間を飛び回る代わりに、単一のエントリーポイントが得られます。
熟悉的クエリ言語のサポート
これはおそらく最大の強みです。あなたのチームがSplunk SPLで長年書いていたなら、再教育の必要はありません。SigLensはSPLと標準SQLの両方を理解します。これにより、移行の敷居が大幅に下がります。
データ取り込みの柔軟性
このツールは、ログ配信パイプラインを書き直すよう強制しません。OpenTelemetry、Elastic、Splunk HEC、さらにはLoki形式でデータを受け入れることができます。本質的に、既存のバックエンドの代わりにこれを導入でき、FluentbitやVectorなどのほとんどのエージェントは切り替えに気づきません。
実際の数字でのパフォーマンス
作者のブログには、1日あたり1PBのデータを処理したケーススタディがあります。このために必要だったのはわずか32台のEC2インスタンスだけです。比較のために：SplunkやElasticでは同じタスクに約3,000台のマシンが必要でした。インフラコストの差は甚大です。
技術的な側面
SigLensはGoで書かれているため軽量です。这里的主なハイライトは、時系列と非構造化ログの特性に最適化されたストレージエンジンです。すべてのフィールドに重い転置インデックスを構築するElasticとは異なり、SigLensは圧縮と検索により効率的なアプローチを使用しています。
興味深いことに、このプロジェクトは箱から出してすぐに組み込みのダッシュボードとアラートシステムを提供します。必ずしもGrafanaを追加する必要はなく хотя、API経由でこの機能も利用可能です。
誰が今すぐ利用できるか
プロジェクトがアーカイブモードに移行したため、これは諸刃の剣です。的一面では、元のチームからの能動的な開発を期待すべきではありません。他面では、Apache 2.0ライセンスは完全な自由を与えてくれます。
SigLensが「流行する」可能性のあるシナリオがいくつかあります：
- インフラ予算が限られているが既に大量のデータがあるスタートアップの内部監視ツール。
- ローカルデバッグ。単一バイナリであるため、開発者のマシン上でDockerコンテナとして簡単に起動し、トレースとログをリアルタイムで分析できます。
- 独自のプロプライエタリなデータ分析ソリューションを作成するための基盤。
試してみる価値はあるか
Splunkに何千ドルも払うのに疲れているか、大規模なElasticsearchクラスタの維持に苦しんでいるなら、SigLensは探索に最適な候補です。是的、プロジェクトはアーカイブ化されていますが、そこにあるGoコードは非常に成熟しており機能的です。
クイックスタートには、 готовые HelmチャートとDockerイメージがあります。5分でシステムをデプロイし、ログストリームをどのように処理するか確認できます。おそらく、「放棄された」オープンソースが企業のクラウド予算を1年分節約できる、まさにそのようなケースかもしれません。
私の経験では、これらの狭い専門特化型エンジンが汎用的なオールインワンソリューションより優れたパフォーマンスを示すことがよくあります。重要なのは、自分が 이제コミュニティまたはプロジェクトをフォークする意思决定了承担サポートする必要があることを理解することです。
関連プロジェクト