Shell
Hoe een neuraal netwerk met 27 miljard parameters uit te voeren op een gewone iPhone of thuis-pc
Bonsai-27B gebruikt 1-bit en ternaire kwantisatie om een 27B-parametermodel in slechts 3,5 GB RAM te passen, waardoor het kan draaien op iPhones en laptops zonder discrete GPU's.