Shell
27Bパラメータのニューラルネットワークを通常のiPhoneや家庭用PCで実行する方法
Bonsai-27Bは1ビットおよび三元量子化を使用し、27Bパラメータのモデルをわずか3.5GBのRAMに収めることで、离散GPUのないiPhoneやノートPCでも実行可能にします。
言語
ホーム言語
セクション
Bonsai-27Bは1ビットおよび三元量子化を使用し、27Bパラメータのモデルをわずか3.5GBのRAMに収めることで、离散GPUのないiPhoneやノートPCでも実行可能にします。
SmolChat-Androidは、コンパクトな言語モデルをAndroidデバイス上でローカルに動作させるオープンソースアプリです。インターネット接続不要です。