Swift
一般的なMacで260億パラメータのモデルを2GBのメモリで実行する方法
エンジニアのAndrey Mikhailovが、Swift/Metalで書かれたカスタムランタイムTurboFieldfareを構築しました。これは基本的なMacBook Air M2の上でわずか2 GBのRAMでGoogleのGemma 4 26B-A4Bモデルを実行します。
言語
ホーム言語
セクション
エンジニアのAndrey Mikhailovが、Swift/Metalで書かれたカスタムランタイムTurboFieldfareを構築しました。これは基本的なMacBook Air M2の上でわずか2 GBのRAMでGoogleのGemma 4 26B-A4Bモデルを実行します。
スマートグラスにAIを組み込むのにラグで頭を悩ませない方法。インスタントな関数呼び出しを実現する26Mパラメータモデル「Needle」を紹介
Paperless-aiは、AIを使用して文書を自動分類し、自然言語検索やメタデータ管理を実現するPaperless-ngx向けインテリジェント拡張機能です。