Apache Ossieがアナリストと開発者の架け橋になる試み
よくある話だ。マーケティング部門はExcelで顧客獲得コストをある計算式で算出し、BIツールでは異なる数値が表示され、dbtプロジェクトではアナリストが三者三様のロジックを組み込んでいる。経営陣がデータが「一致しない」と尋ねると、計算式がどこで間違っているのかを見つける長いプロセスが始まる。
この問題はセマンティックの断片化と呼ばれている。Tableau、Superset、AIエージェントなど、データスタック内の各ツールはそれぞれ独立した世界で動き、メタデータを独自の方法で解釈する。Apache Software Foundationの人々は 여기에終止符を打つ時が来たと判断し、Ossieプロジェクト(旧称Open Semantic Interchange)を発表した。
なぜまた別の標準が必要なのか
端的に言えば、「収益」や「アクティブユーザー」の定義を一度行えばどこでもその定義使えるようにするためだ。現在、BIツールを別のものに乗り換えると、ビジネスロジックを一から書き直す必要がある。Ossieは、分析界の「エスペラント語」となるべきベンダーに依存しないフォーマットを提供する。
このプロジェクトは現在Apacheインキュベータ段階にある。つまり、まだ形を整えている最中だが、すでに真剣なコミュニティが背後にはある。SQLエンジンと高度なLLMボットの両方が理解できる単一の信頼できる情報源を作成することが狙いだ。
リポジトリの中身
何時間もかけてコンパイルする複雑なバイナリソフトウェアはない。本質的には、仕様とそれらを取り扱うヘルパーツールのセットだ。
仕様コア
フォルダcore-specには、セマンティックレイヤーがどのように見えるべきかの説明が入っている。これらは通常のJSONとYAMLファイルだ。機械可読なスキーマにより、指標定義を間違えていないかを自動的に検証できる。
コンバーター
これは実務者にとっておそらく最も有用的な部分だ。フォルダconvertersには、Ossieフォーマットから他の人気システムへの変換ツールが入っている。現在、dbt、GoodData、Polaris、さらにはSalesforce向けの実装がある。これにより、仕様を「引き出しにしまった」ままにするのではなく、実際に作業中のツールに組み込むことができる。
例とバリデーション
乾燥したドキュメントを読むのが面倒な人のために、フォルダexamplesがある。分析システムの標準ベンチマークである完全なTPC-DSモデルが含まれている。複雑なリレーションシップや集計が実際のデータを使ってどのように記述されているかを確認できる。
実際の動作
YAMLファイルでデータモデルを記述する状況を想像してほしい。テーブル、その間のリレーション,最重要的是、計算された指標を指定する。
{
"name": "total_sales",
"description": "Сумма всех успешных транзакций без учета возвратов",
"expression": "sum(order_amount)",
"filters": ["status = 'completed'"]
}
その後、このファイルをコンバーターに通す。出力はBIツール用の設定ファイルになる。明日経営陣がツールを切り替える決めても、どのフィルターが古いレポートにあったかを思い出す必要はない。単に別のコンバーターを実行するだけだ。
これはAIエージェントにとって特に重要だ。ニューラルネットワークがデータベースについて適切に質問に答えるには、文脈が必要だ。Ossieは「平均注文額の計算方法」についての幻觉を排除し、この文脈を構造化されたフォーマットで提供する。
今すぐ採用すべきか
プロジェクトはまだインキュベーション段階であり、その通りだ。GitHubのスターはまだ数千也不是(约700 at the time of writing)、ドキュメントは時にはソースコードを読み漁る必要があるかもしれない。しかし、Apacheがこのプロジェクトの後ろ盾しており、主要な分析企業のコントリビューターがリストに現れている。
Ossieをぜひ詳しく見るべき人は以下の通り:
- dbtの指標が経営陣がBIツールで見るものと一致しないことに疲れ果てたチーム。
- モデルのインポート/エクスポートサポートを追加したい分析プラットフォームの開発者。
- ニューラルネットワークに明確なデータ構造を与えたい複雑なLLMベースのシステムを構築している人。
データベースが1つとチャートが2つだけの小さなスタートアップで働いているなら、Ossieは過剰に感じるかもしれない。しかし、ツールが2つ以上になると、「同じ名前で異なる意味”问题が本格的に姿を現す。
プロジェクトは公式リポジトリで試すことができる。Slackコミュニティへのリンクもあり、開発者は仕様に関する質問に対してかなり迅速に応答している。この標準を採用するベンダーが増えれば、移行や分析設定での頭痛の種は減っていくはずだ。
関連プロジェクト