Warum Agenten spezialisierte Inferenz benötigen und wie TokenSpeed LLMs beschleunigt

Wenn Sie ein Standard-neuronales Netzwerk für Text- oder Code-Generierung ausführen, reichen Engines wie vLLM normalerweise völlig aus. Aber sobald es um autonome KI-Agenten geht, ändert sich das Bild. Ständige Tool-Aufrufe, Dialogverzweigungen, wiederholte Kontextübergaben und wachsende KV-Caches bringen Standard-Inferenz schnell an ihre Grenzen.

Im Mai dieses Jahres hat das LightSeek-Team TokenSpeed auf GitHub veröffentlicht. Die Entwickler haben es sich zur Aufgabe gemacht, eine spezialisierte Engine für Agenten-Workloads zu erstellen, die die Geschwindigkeit von TensorRT-LLM mit einer klaren und einfachen Python-Schnittstelle kombiniert.

Was in Standard-Engines bei der Arbeit mit Agenten zusammenbricht

Agenten-Szenarien unterscheiden sich grundlegend von Chatbot-Dialogen. Ein Bot erhält eine Anfrage, generiert eine einzelne Antwort und gibt Ressourcen frei. Ein Agent hingegen arbeitet in Zyklen:

• Er formt Gedanken und wählt ein Tool aus
• Er wartet auf eine Antwort von einer externen API oder Datenbank
• Er analysiert das erhaltene Ergebnis und nimmt den nächsten Schritt

Dadurch wächst der Kontext kontinuierlich, was den Server zwingt, lange Token-Ketten neu zu berechnen oder massive Speichervolumina für den KV-Cache aufrechtzuerhalten. Wenn Sie Dutzende solcher Agenten gleichzeitig ausführen, beginnen selbst leistungsstarke Beschleuniger zu warten, während sie auf die Datenübertragung warten.

TokenSpeed-Architektur und die Lösung

Die TokenSpeed-Autoren haben keine weitere dünne Hülle über PyTorch erstellt. Sie haben kritische Systemkomponenten neu geschrieben, um maximale Leistung aus der Hardware zu extrahieren.

Zunächst haben sie die Kontrollschleife von der Ausführung getrennt. Der Request-Scheduler ist in C++ geschrieben, während die höhere Ausführung in Python bleibt. Der Zustand jeder Anfrage, KV-Cache-Eigentumsübertragung und Timing sind an eine strenge Finite State Machine gebunden. Das C++-Typsystem prüft die Cache-Ressourcen-Wiederverwendungssicherheit zur Kompilierzeit und eliminiert Speicherlecks vollständig.

Zweitens enthält die Engine einen statischen Compiler für verteiltes Rechnen. Entwickler müssen Parallelitätslogik nicht manuell über torch.distributed schreiben. Es reicht aus, Annotationen an Modulgrenzen zu platzieren – der Compiler generiert automatisch Befehle für die Kommunikation zwischen Prozessoren.

Drittens haben sie die low-level Kernel überarbeitet. Die Autoren haben ihre eigene Version des Multi-Head Latent Attention (MLA)-Algorithmus implementiert, optimiert für NVIDIA Hopper- und Blackwell-Architekturen. Er minimiert die Latenz während der aktiven Arbeit mit langen Kontexten.

Zahlen und Real-Tests

Die Entwickler liefern konkrete Benchmarks für aktuelle Modelle. Im Mai demonstrierte das Projekt eine Geschwindigkeit von 580 Tokens pro Sekunde auf dem Qwen3.5-397B-A17B-Modell bei Agenten-Aufgaben.

In Vergleichsdiagrammen mit TensorRT-LLM auf NVIDIA B200-Chips beim Ausführen des Kimi K2.5-Modells gewinnt TokenSpeed beim Durchsatz auf dem gleichen Latenzniveau.

Es ist interessant zu sehen, wie schnell sich das Projekt an neue Releases anpasst. Zum Beispiel wurde Support für Kimi K3-Modelle und FP4-Inferenz für NVIDIA- und AMD-GPUs buchstäblich am Tag ihrer offiziellen Veröffentlichung hinzugefügt.

Integration in bestehenden Code

Aus Einstiegsperspektive verwendet TokenSpeed AsyncLLM. Die Architektur minimiert CPU-Overhead für die Verarbeitung eingehender HTTP-Anfragen, sodass der Server bei hohem RPS nicht überlastet wird.

Das Server-Startup-Beispiel sieht vertraut aus für jeden, der mit vLLM gearbeitet hat:

python3 -m tokenspeed.entrypoints.openai.api_server \
    --model Qwen/Qwen2.5-7B-Instruct \
    --port 8000

Danach können Sie sich mit dem standardmäßigen OpenAI-Client mit dem Server verbinden, was die Integration in bestehende Agent-Frameworks wie AutoGen, CrewAI oder LangChain vereinfacht.

Lohnt es sich für den Production-Einsatz

Derzeit hat das Repository etwa 17.000 Stars und fast 50 offene Issues. Dies ist ein junges, dynamisches Projekt, das noch zu früh ist, um als konservativer Industriestandard bezeichnet zu werden.

Es lohnt sich definitiv, TokenSpeed auszuprobieren, wenn Sie bereits KI-Agenten-Infrastruktur deployed haben und an die Leistungsgrenze von vLLM bei langen Kontexten gestoßen sind. Wenn Sie einen einfachen Server für das Serving eines grundlegenden Chatbots benötigen, reichen Standard-Tools vorerst aus.