Shell
Como Executar uma Rede Neural de 27 Bilhões de Parâmetros em um iPhone Comum ou PC de Casa
Bonsai-27B usa quantização de 1 bit e ternária para caber um modelo de 27B parâmetros em apenas 3,5 GB de RAM, tornando-o executável em iPhones e laptops sem GPUs dedicadas.