Swift
一般的なMacで260億パラメータのモデルを2GBのメモリで実行する方法
エンジニアのAndrey Mikhailovが、Swift/Metalで書かれたカスタムランタイムTurboFieldfareを構築しました。これは基本的なMacBook Air M2の上でわずか2 GBのRAMでGoogleのGemma 4 26B-A4Bモデルを実行します。
#on-device-ai
2 プロジェクト Python
スマートグラスにAIを組み込むのにラグで頭を悩ませない方法
スマートグラスにAIを組み込むのにラグで頭を悩ませない方法。インスタントな関数呼び出しを実現する26Mパラメータモデル「Needle」を紹介