Jak uporządkować zapytania do sieci neuronowych za pomocą CPA Manager Plus

Zarządzanie stackiem kilku modeli sieci neuronowych w środowisku produkcyjnym lub narzędziach osobistych prędzej czy później prowadzi do chaosu. Jedno zapytanie trafiło do Claude, drugie do Gemini, trzecie przekroczyło limit czasu w OpenAI, a na koniec miesiąca otrzymujesz rachunek na zawrotną kwotę. Jeśli używasz już CLIProxyAPI (CPA) do routowania ruchu, standardowy interfejs szybko staje się niewystarczający.

Projekt CPA Manager Plus (CPAMP) wypełnia tę lukę. To panel kontrolny i system observability, który można wdrożyć na własnym serwerze, przechowuje historię zapytań lokalnie i pomaga zrozumieć, gdzie faktycznie zużywane są tokeny.

Pod maską

Narzędzie składa się z dwóch części. Pierwsza to interfejs webowy, który można osadzić bezpośrednio w CPA zamiast domyślnego panelu. Druga to osobny Manager Server napisany w Go z bazą danych SQLite.

Architektura jest prosta i nie wymaga rejestracji w chmurze. Projekt nie wysyła żadnych danych telemetrycznych na zewnątrz — wszystkie logi i dane o cenach modeli są przechowywane w lokalnych plikach. Klucze dostępu są szyfrowane przed zapisem do bazy danych przy użyciu lokalnego klucza data.key.

Główne funkcje panelu

Wyszukiwanie błędów bez wycieku danych

Głównym problemem agregatorów API jest to, że trudno zrozumieć, dlaczego zapytanie się nie powiodło. Logi zazwyczaj zawierają albo chaos, albo surowy JSON z wrażliwymi danymi użytkowników.

CPAMP pobiera dane z kolejki CPA i przechowuje je w SQLite. Dostajesz wyszukiwanie po statusie, opóźnieniu, typach tokenów i kontach. Ciała błędów są automatycznie oczyszczane z informacji prywatnych. Jeśli musisz przenieść logi do debugowania do innego systemu, historię można eksportować w formacie JSONL.

Dokładne śledzenie kosztów

Panel rozkłada koszty według modelu, dostawcy, konta, kluczy API klientów i projektów.

Ceny są pobierane automatycznie z models.dev, a w przypadku problemów istnieją alternatywy dla LiteLLM i OpenRouter. Jeśli masz niestandardowe endpointy lub rabaty korporacyjne, ceny można nadpisywać ręcznie. Aplikacja uwzględnia złożone struktury cenowe: różnicę między tokenami wejściowymi a wyjściowymi, cachowanie kontekstu i tokeny rozumowania.

Kontrola kont i automatyzacja limitów

Pracując z pulą kont Codex i xAI, często natrafiasz na limity okna żądań. CPAMP może sprawdzać status kont według harmonogramu, odczytywać stan limitów i automatycznie wysyłać konto na przestój, gdy zbliża się do limitu. Jeśli konto ulegnie awarii, trafia do osobnej kolejki akcji do ręcznego przeglądu lub odzyskania.

Jak uruchomić

Najłatwiejszy sposób wdrożenia CPA i pakietu menedżera to Docker Compose. Utwórz plik konfiguracyjny:

services:
  cli-proxy-api:
    image: eceasy/cli-proxy-api:latest
    restart: unless-stopped
    ports:
      - '8317:8317'
    volumes:
      - cpa-data:/app/data

  cpa-manager-plus:
    image: seakee/cpa-manager-plus:latest
    restart: unless-stopped
    ports:
      - '18317:18317'
    volumes:
      - cpa-manager-plus-data:/data

volumes:
  cpa-data:
  cpa-manager-plus-data:

Uruchom kontenery poleceniem docker compose up -d. Po uruchomieniu otwórz adres http://<host>:18317/management.html, pobierz wygenerowany klucz admina z logów kontenera cpa-manager-plus i połącz CPA przez URL i klucz główny.

Jeśli Twój proxy już działa osobno, menedżer może być uruchomiony jako samodzielny kontener:

docker run -d \
  --name cpa-manager-plus \
  --restart unless-stopped \
  -p 18317:18317 \
  -v cpa-manager-plus-data:/data \
  seakee/cpa-manager-plus:latest

Dla kogo to jest

Projekt jest skierowany do osób, które utrzymują własną bramkę sieci neuronowych dla zespołu lub skryptów osobistych. Jeśli masz dość bezmyślnego zgadywania, dlaczego pipeline się nie powiódł i który kolega wykorzystał cały dzienny limit tokenów, CPAMP rozwiązuje problem bez dodatkowych komplikacji z zewnętrznymi usługami monitoringu. Baza danych uruchamia się w kilka minut, nie wymaga konfiguracji ClickHouse ani Grafany i od razu daje jasny obraz tego, co się dzieje.