Shell
Cómo ejecutar una red neuronal de 27 mil millones de parámetros en un iPhone normal o PC de casa
Bonsai-27B utiliza cuantización de 1 bit y ternaria para ajustar un modelo de 27B parámetros en solo 3.5 GB de RAM, haciéndolo ejecutable en iPhones y portátiles sin GPUs dedicadas.