Swift
如何在普通 Mac 上用两 GB 内存运行 260 亿参数模型
工程师 Andrey Mikhailov 开发了 TurboFieldfare，这是一款自定义 Swift/Metal 运行时，可在基础款 MacBook Air M2 上仅用 2 GB 内存运行 Google 的 Gemma 4 26B-A4B 模型。
#on-device-ai
2 个项目 Python
How to fit AI into smart glasses without going crazy from lag
How to fit AI into smart glasses without going crazy from lag. Meet Needle — a 26M parameter model for instant function calling.