Pourquoi les agents ont besoin d'une inférence spéciale et comment TokenSpeed accélère les LLMs

Lorsque vous exécutez un réseau neuronal standard pour la génération de texte ou de code, des moteurs comme vLLM offrent généralement des capacités plus que suffisantes. Mais dès qu'il s'agit d'agents IA autonomes, la situation change. Les appels d'outils constants, les embranchements de dialogue, les passages de contexte répétés et la croissance du KV-cache mettent rapidement les moteurs d'inférence standard à genoux.

En mai de cette année, l'équipe LightSeek a publié TokenSpeed sur GitHub. Les développeurs se sont donné pour mission de créer un moteur spécialisé pour les workloads d'agents qui combine la vitesse de TensorRT-LLM avec une interface Python claire et simple.

Ce qui dysfonctionne dans les moteurs standard lors du travail avec des agents

Les scénarios d'agents diffèrent significativement du dialogue de chatbot. Un bot reçoit une requête, génère une réponse unique et libère les ressources. Un agent, en revanche, opère en cycles :

• Il forme ses pensées et sélectionne un outil
• Il attend une réponse d'une API externe ou d'une base de données
• Il analyse le résultat reçu et passe à l'étape suivante

Cela provoque une croissance continue du contexte, forçant le serveur à recalculer de longues chaînes de tokens ou à maintenir des volumes de mémoire massifs pour le KV-cache. Si vous exécutez des dizaines de ces agents simultanément, même des accélérateurs puissants commencent à tourner au ralenti en attendant le transfert de données.

Architecture de TokenSpeed et solution

Les auteurs de TokenSpeed n'ont pas créé un autre wrapper léger sur PyTorch. Ils ont réécrit les composants système critiques pour extraire les performances maximales du matériel.

Premièrement, ils ont séparé la boucle de contrôle de l'exécution. Le planificateur de requêtes est écrit en C++, tandis que l'exécution de plus haut niveau reste en Python. L'état de chaque requête, le transfert de propriété du KV-cache et la synchronisation sont liés à une machine à états finis stricte. Le système de types C++ vérifie la sécurité de réutilisation des ressources cache au moment de la compilation, éliminant complètement les fuites de mémoire.

Deuxièmement, le moteur inclut un compilateur statique pour le calcul distribué. Les développeurs n'ont pas besoin d'écrire manuellement la logique de parallélisme via torch.distributed. Il suffit de placer des annotations aux limites des modules — le compilateur génère automatiquement les commandes de communication inter-processeurs.

Troisièmement, ils ont retravaillé les noyaux de bas niveau. Les auteurs ont implémenté leur propre version de l'algorithme Multi-head Latent Attention (MLA), optimisé pour les architectures NVIDIA Hopper et Blackwell. Il minimise la latence lors du travail actif avec de longs contextes.

Chiffres et tests réels

Les développeurs fournissent des benchmarks concrets sur les modèles actuels. En mai, le projet a démontré une vitesse de 580 tokens par seconde sur le modèle Qwen3.5-397B-A17B dans les tâches d'agent.

En regardant les graphiques de comparaison avec TensorRT-LLM sur les puces NVIDIA B200 lors de l'exécution du modèle Kimi K2.5, TokenSpeed l'emporte sur le débit au même niveau de latence.

Il est intéressant de voir avec quelle rapidité le projet s'adapte aux nouvelles versions. Par exemple, le support des modèles Kimi K3 et l'inférence FP4 pour les GPU NVIDIA et AMD ont été ajoutés littéralement le jour de leur sortie officielle.

Intégration dans le code existant

D'un point de vue du point d'entrée, TokenSpeed utilise AsyncLLM. L'architecture minimise la surcharge CPU pour le traitement des requêtes HTTP entrantes, de sorte que le serveur ne soit pas submergé à haut RPS.

L'exemple de démarrage du serveur sera familier à quiconque a travaillé avec vLLM :

python3 -m tokenspeed.entrypoints.openai.api_server \
    --model Qwen/Qwen2.5-7B-Instruct \
    --port 8000

Après cela, vous pouvez vous connecter au serveur en utilisant le client OpenAI standard, ce qui simplifie l'intégration dans les frameworks d'agents existants comme AutoGen, CrewAI ou LangChain.

Vaut-il la peine de le déployer en production

Actuellement, le dépôt compte environ 17 000 étoiles et près de 50 issues ouvertes. C'est un projet jeune et dynamique qu'il est trop tôt pour qualifier de standard industriel conservateur.

Il vaut définitivement la peine d'essayer TokenSpeed si vous avez déjà une infrastructure d'agents IA déployée et que vous avez atteint le plafond de performance de vLLM sur les longs contextes. Si vous avez besoin d'un serveur simple pour servir un chatbot basique, les outils standard suffiront pour l'instant.