Python
Apple Silicon上でローカルLLMを最大2倍高速化するMTPLX
MTPLXは、Qwen 3.5-3.8のような最新モデルの組み込みMTPヘッドを活用し、Apple Siliconで最大2.24倍の高速化を達成します。ドラフトモデルが不要です。
言語
ホーム言語
セクション
MTPLXは、Qwen 3.5-3.8のような最新モデルの組み込みMTPヘッドを活用し、Apple Siliconで最大2.24倍の高速化を達成します。ドラフトモデルが不要です。
Soupを使ったコンシューマハードウェアでの8Bモデルファインチューニングの実用ガイドmdashレイヤーストリーミングと自動パイプラインを小型GPUにもたらすCLIツール。
Skalesはデスクトップとモバイル向けのローカルAIエージェントで、システム上で自律的に動作し、ファイルを読み取り、ブラウザを管理し、定常的な監視なしでタスクチェーンを実行します。
エンドツーエンド暗号化とゼロトラストアーキテクチャで、Raspberry Pi上にプライベート監視カメラを構築。クラウドサブスクリプション不要。
エンジニアのAndrey Mikhailovが、Swift/Metalで書かれたカスタムランタイムTurboFieldfareを構築しました。これは基本的なMacBook Air M2の上でわずか2 GBのRAMでGoogleのGemma 4 26B-A4Bモデルを実行します。