Shell
Come eseguire una rete neurale da 27 miliardi di parametri su un iPhone normale o un PC di casa
Bonsai-27B usa la quantizzazione a 1 bit e ternaria per comprimere un modello da 27B parametri in soli 3,5 GB di RAM, eseguibile su iPhone e laptop senza GPU dedicata.