Swift
如何在普通 Mac 上用两 GB 内存运行 260 亿参数模型
工程师 Andrey Mikhailov 开发了 TurboFieldfare，这是一款自定义 Swift/Metal 运行时，可在基础款 MacBook Air M2 上仅用 2 GB 内存运行 Google 的 Gemma 4 26B-A4B 模型。
#llm-inference
2 个项目 Python
深入探索 LitGPT - 如何在不使用重型框架的情况下微调和运行开源神经网络
Lightning AI 的 LitGPT 使用纯 PyTorch 重写了 20 多种流行 LLM 架构，提供微调、部署和基准测试功能，且无需重型框架开销。