Python
在 Apple Silicon 上使用 MTPLX 将本地神经网络速度提升两倍
MTPLX 利用 Qwen 3.5-3.8 等现代模型中内置的 MTP heads，在 Apple Silicon 上实现高达 2.24 倍的加速，且无需单独的 draft model。
#qwen
2 个项目 Python
为什么 Agent 需要专用推理以及 TokenSpeed 如何加速 LLM
标准推理引擎在处理自主 AI Agent 时往往力不从心。TokenSpeed 提供了一种专用解决方案，将 TensorRT-LLM 的速度与 Python 友好的接口相结合。