CPA Manager Plusでニューラルネットワーククエリを整理する方法

複数のニューラルネットワークモデルを本番環境或个人用ツールとして組み合わせると、いずれ混乱に陥ります。1件目のリクエストはClaudeに、2件目はGeminiに、3件目はOpenAIでタイムアウトし、月末には理解できない額の請求が届く──这样的混乱が発生します。トラフィックルーティングにCLIProxyAPI（CPA）を使用しているなら、標準インターフェースではすぐに不足を感じることでしょう。

CPA Manager Plus（CPAMP）プロジェクトは、このギャップを埋めます。独自のサーバーにデプロイできるコントロールパネル兼オブザーバビリティシステムで、リクエスト履歴をローカルに保存し、トークンが実際にどこで消費されているかを把握できます。

内部構造

このツールは2つのコンポーネントで構成されています。1つ目はお、Webインターフェースで、デフォルトパネル代わりにCPAに直接埋め込むことができます。2つ目はGoで書かれた個別のManager ServerとSQLiteデータベースです。

アーキテクチャはシンプルで、クラウドへの登録が不要です。このプロジェクトは外部へのテレメトリを送信しません──すべてのログとモデル価格データはローカルファイルに保存されます。アクセスキーはローカルキー data.keyを使用して、データベースに書き込まれる前に暗号化されます。

パネルの主な機能

データ漏えいなしの障害検出

APIアグリゲーターの主な問題は、リクエストが失敗した理由を把握するのが難しいことです。ログには通常、混沌としたデータか、機密ユーザー情報を含む生のJSONが含まれています。

CPAMPはCPAキューからデータを取得し、SQLiteに保存します。ステータス、レイテンシー、トークンタイプ、アカウントでの検索が可能になります。エラーボディからは自動的に個人情報が削除されます。デバッグ用に別のシステムにログを転送する必要がある場合は、履歴をJSONL形式でエクスポートできます。

正確なコスト追跡

パネルでは、モデル、プロバイダー、アカウント、クライアントAPIキー、プロジェクトごとにコストを分類できます。

価格はmodels.devから自動的に取得され、問題が発生した場合はLiteLLMとOpenRouterにフォールバックします。カスタムエンドポイントや法人割引がある場合は、価格は手動で上書きできます。アプリケーションは複雑な価格構造を考慮しています：入力トークンと出力トークンの違い、コンテキストキャッシュ、推論トークンなどが含まれます。

アカウント管理とクォータ自動化

CodexやxAIアカウントのプールで作業している場合、リクエストウィンドウ制限に頻繁に遭遇します。CPAMPはアカウントの状態をスケジュールでチェックし、クォータの状態を読み取り、制限に近づいたときにアカウントを自動的にクールダウン状態に送信できます。アカウントが破損した場合は、手動レビューまたは回復用の別のアクションキューに入ります。

起動方法

CPAとマネージャーバンドルをデプロイする最も簡単な方法は、Docker Composeを使用することです。設定ファイルを作成します：

services:
  cli-proxy-api:
    image: eceasy/cli-proxy-api:latest
    restart: unless-stopped
    ports:
      - '8317:8317'
    volumes:
      - cpa-data:/app/data

  cpa-manager-plus:
    image: seakee/cpa-manager-plus:latest
    restart: unless-stopped
    ports:
      - '18317:18317'
    volumes:
      - cpa-manager-plus-data:/data

volumes:
  cpa-data:
  cpa-manager-plus-data:

コマンド docker compose up -d でコンテナを起動します。起動後、アドレス http://<host>:18317/management.html を開き、コンテナログから生成された管理者キー cpa-manager-plus を取得して、URLとマスターキーでCPAをリンクさせます。

プロキシがすでに別で実行されている場合は、マネージャーをスタンドアロンコンテナとして起動できます：

docker run -d \
  --name cpa-manager-plus \
  --restart unless-stopped \
  -p 18317:18317 \
  -v cpa-manager-plus-data:/data \
  seakee/cpa-manager-plus:latest

誰が使うべきか

このプロジェクトは、チーム或个人用スクリプト用に独自のニューラルネットワークゲートウェイを維持している人を対象としています。パイプラインが失敗した理由を盲目的に推測したり、どの同僚が1日のトークン制限全部を使い果たしたのかに頭を悩ませたりすることに厌倦しているなら、CPAMPは外部監視サービスの余計な手間なしで問題を解決します。データベースが数分で立ち上がり、ClickHouseやGrafanaのセットアップも不要で、何が起きているかをすぐに把握できます。