Perché gli Agent Necessitano di Inferenza Speciale e Come TokenSpeed Accelera gli LLM

Quando esegui una rete neurale standard per la generazione di testo o codice, motori come vLLM di solito hanno capacità più che sufficienti. Ma non appena si tratta di agenti AI autonomi, la situazione cambia. Chiamate di strumenti costanti, ramificazione del dialogo, passaggi di contesto ripetuti e cache KV in crescita rapida portano rapidamente l'inferenza standard in ginocchio.

Nel maggio di quest'anno, il team LightSeek ha rilasciato TokenSpeed su GitHub. Gli sviluppatori si sono posti l'obiettivo di creare un motore specializzato per carichi di lavoro agent che combinasse la velocità di TensorRT-LLM con un'interfaccia Python chiara e semplice.

Cosa Si Rompe nei Motori Standard quando si Lavorano con gli Agent

Gli scenari agent differiscono significativamente dal dialogo chatbot. Un bot riceve una richiesta, genera una singola risposta e rilascia le risorse. Un agent, d'altra parte, opera in cicli:

• Forma i pensieri e seleziona uno strumento
• Aspetta una risposta da un'API esterna o da un database
• Analizza il risultato ricevuto e prende il prossimo passo

Questo causa una crescita continua del contesto, costringendo il server a ricalcolare catene di token lunghe o mantenere volumi di memoria massicci per la cache KV. Se esegui decine di questi agent simultaneamente, anche accelerator potenti iniziano a girare a vuoto mentre aspettano il trasferimento dei dati.

Architettura TokenSpeed e la Soluzione

Gli autori di TokenSpeed non hanno creato un altro wrapper sottile su PyTorch. Hanno riscritto componenti critici del sistema per estrarre le massime prestazioni dall'hardware.

Innanzitutto, hanno separato il loop di controllo dall'esecuzione. Lo scheduler delle richieste è scritto in C++, mentre l'esecuzione di livello superiore rimane in Python. Lo stato di ogni richiesta, il trasferimento della proprietà della cache KV e la temporizzazione sono legati a una rigorosa macchina a stati finiti. Il sistema di tipi C++ verifica la sicurezza del riutilizzo delle risorse cache in fase di compilazione, eliminando completamente le perdite di memoria.

In secondo luogo, il motore include un compilatore statico per il calcolo distribuito. Gli sviluppatori non hanno bisogno di scrivere manualmente la logica di parallelismo attraverso torch.distributed. È sufficiente posizionare annotazioni ai confini del modulo: il compilatore genera automaticamente i comandi per la comunicazione tra processori.

Terzo, hanno rielaborato i kernel di basso livello. Gli autori hanno implementato la propria versione dell'algoritmo Multi-head Latent Attention (MLA), ottimizzato per le architetture NVIDIA Hopper e Blackwell. Minimizza la latenza durante il lavoro attivo con contesti lunghi.

Numeri e Test nel Mondo Reale

Gli sviluppatori forniscono benchmark concreti sui modelli attuali. A maggio, il progetto ha dimostrato una velocità di 580 token al secondo sul modello Qwen3.5-397B-A17B nei compiti agent.

Guardando i grafici di confronto con TensorRT-LLM sui chip NVIDIA B200 durante l'esecuzione del modello Kimi K2.5, TokenSpeed vince sulla throughput allo stesso livello di latenza.

È interessante vedere quanto velocemente il progetto si adatta ai nuovi rilasci. Ad esempio, il supporto per i modelli Kimi K3 e l'inferenza FP4 per GPU NVIDIA e AMD è stato aggiunto letteralmente il giorno del loro rilascio ufficiale.

Integrazione nel Codice Esistente

Da una prospettiva di punto di ingresso, TokenSpeed utilizza AsyncLLM. L'architettura minimizza il sovraccarico CPU per l'elaborazione delle richieste HTTP in entrata, quindi il server non viene sopraffatto ad alto RPS.

L'esempio di avvio del server sembra familiare a chiunque abbia lavorato con vLLM:

python3 -m tokenspeed.entrypoints.openai.api_server \
    --model Qwen/Qwen2.5-7B-Instruct \
    --port 8000

Dopo di ciò, puoi connetterti al server usando il client OpenAI standard, che semplifica l'integrazione in framework agent esistenti come AutoGen, CrewAI o LangChain.

Vale la Pena Distribuire in Produzione

Attualmente, il repository ha circa 17.000 stelle e quasi 50 issue aperte. Questo è un progetto giovane e dinamico che è troppo presto per chiamarlo standard industriale conservativo.

Vale sicuramente la pena provare TokenSpeed se hai già un'infrastruttura agent AI distribuita e hai raggiunto il soffitto delle prestazioni di vLLM sui contesti lunghi. Se hai bisogno di un server semplice per servire un chatbot base, gli strumenti standard saranno sufficienti per ora.