So führen Sie ein 26-Milliarden-Parameter-Modell mit nur zwei Gigabyte Arbeitsspeicher auf einem normalen Mac aus

Wenn Sie ein einfaches MacBook Air mit M2 und 8 GB unified Memory besitzen, wird das Ausführen moderner Sprachmodelle zur traurigen Geschichte. Selbst ein bescheidenes 14–20 Milliarden Parameter umfassendes Modell benötigt nach 4-Bit-Quantisierung 10 bis 16 GB RAM. Das System beginnt aggressiv Daten auf die Festplatte auszulagern, die Generierungsgeschwindigkeit sinkt auf Bruchteile eines Tokens pro Sekunde, und die macOS-Oberfläche beginnt einzufrieren.

Ingenieur Andrey Mikhailov löste dieses Problem mit einem unkonventionellen Engineering-Trick. Er schrieb von Grund auf eine Laufzeitumgebung namens TurboFieldfare, die Googles Instruktionsmodell Gemma 4 26B-A4B mit nur 2 GB RAM ausführt.

Was ist der Haupt-Architekturtrick?

Gemma 4 26B-A4B basiert auf einer Mixture-of-Experts-Architektur (MoE). Es verfügt über 26 Milliarden Parameter insgesamt, aber nicht alle Schichten werden für die Verarbeitung eines bestimmten Tokens aktiviert – nur etwa 3,88 Milliarden Parameter.

Typischerweise laden Laufzeitumgebungen wie llama.cpp oder MLX die gesamten Modellgewichte vor Beginn der Arbeit in den Speicher. Für 4-Bit-Gemma sind das etwa 14,3 GB. TurboFieldfare macht es anders:

• Der gemeinsame Kern des Modells mit 1,35 GB und der FP16-KV-Cache für den Kontext werden im persistenten RAM gehalten.
• Der Router des Modells an jeder Schicht bestimmt, welche 8 Experten für das aktuelle Token benötigt werden.
• Das Programm prüft den lokalen Expert-Cache im Speicher (16 Slots mit einem LFU-Algorithmus).
• Wenn der benötigte Experte nicht im RAM ist, lädt die Laufzeitumgebung ihn direkt vom SSD über parallele Systemaufrufe pread in Puffer, auf die Metal zugreifen kann.

Während die GPU den gemeinsamen Experten-Zweig berechnet, schafft es ein paralleler CPU-Thread, die fehlenden Gewichte aus dem Speicher zu lesen. Dadurch passt der Spitzen-Speicherverbrauch in etwa 2 GB.

Keine Abhängigkeiten von llama.cpp und MLX

Das Projekt ist rein in Swift 6.2 und Metal 4 geschrieben. Der Autor hat keinen weiteren Wrapper um bestehende C++-Bibliotheken erstellt – er schrieb benutzerdefinierte GPU-Kernel für Quantisierung, Matrizenmultiplikation (GEMV), Attention, MoE, RMSNorm-Normalisierung und RoPE.

Das Repository enthält vier sofort einsatzbereite Utilities:

1. TurboFieldfareMac – eine native Desktop-Anwendung, entwickelt mit SwiftUI und AppKit, mit integriertem Chat, Speichermonitoring und Generierungseinstellungen.
2. TurboFieldfareCLI – eine Kommandozeilen-Schnittstelle für Stapelgenerierung und skriptgesteuerte Ausführung über JSON-Nachrichtendateien.
3. TurboFieldfareServer – ein lokaler Server mit einer API, kompatibel mit der OpenAI Chat Completions-Spezifikation (http://127.0.0.1:8080/v1).
4. TurboFieldfareRepack – ein Utility für das Streaming von Gewichts-Downloads von Hugging Face direkt in das benutzerdefinierte .gturbo-Format.

Der Installer lädt nur die erforderlichen Byte-Bereiche herunter und packt sie on-the-fly. Sie müssen nicht zuerst 15 GB Quellgewichte herunterladen und dann weitere 15 GB der konvertierten Datei daneben behalten.

Realistische Leistung

Streaming-Reads von der Festplatte erzeugen unvermeidlich I/O-Latenz. Es gibt keine Wunder: Die Generierungsgeschwindigkeit hängt direkt vom SSD-Durchsatz und einem schnellen Cache ab.

Der Autor führte eine Reihe von Benchmarks über verschiedene Apple-Silicon-Generationen hinweg durch:

• Auf einem Basis-MacBook Air M2 mit 8 GB RAM erreicht die Geschwindigkeit 5,1–6,3 Tokens pro Sekunde. Das ist ein angenehmes Tempo zum Echtzeit-Lesen von Text.
• Auf einem MacBook Pro mit M5 Pro und 24 GB Speicher erreicht die Generierungsgeschwindigkeit 31–35 Tokens pro Sekunde.

Für die Prefill-Phase (Verarbeitung des eingehenden Prompts) implementierte der Autor ein Chunking bei 128 Tokens. Dies hilft, einen einzelnen geladenen Experten für eine Gruppe von Zeilen auf einmal aufzurufen, was die Time-to-First-Token merklich reduziert.

Wie bauen und ausführen

Der Build erfordert einen Apple-Silicon-Mac mit einer aktuellen Version von macOS und Xcode mit Swift-6.2-Unterstützung.

Klonen Sie das Repository und bauen Sie das Projekt im Release-Modus:

git clone https://github.com/drumih/turbo-fieldfare.git
cd turbo-fieldfare
swift build -c release

Nach dem Build starten Sie die native Anwendung:

.build/release/TurboFieldfareMac

Beim ersten Start klicken Sie auf die Schaltfläche Download. Die App lädt das Modell herunter (etwa 15 GB freier Festplattenspeicher erforderlich) und bereitet das scratch/gemma4.gturbo-Verzeichnis vor. Nach Abschluss des Downloads klicken Sie auf Load Model und geben Ihre Anfrage im Eingabefeld ein.

Wenn Sie die Konsole bevorzugen, können Sie das Modell mit einem separaten Befehl herunterladen:

swift run -c release TurboFieldfareRepack \
  --output scratch/gemma4.gturbo \
  --overwrite

Anschließend übergeben Sie eine Dialogdatei an die CLI:

swift run -c release TurboFieldfareCLI \
  --model scratch/gemma4.gturbo \
  --messages-file messages.json

Und um lokale Clients wie OpenCode oder benutzerdefinierte Python-Skripte anzubinden, starten Sie einfach den Server:

.build/release/TurboFieldfareServer --model scratch/gemma4.gturbo

Der Server lauscht auf Port 8080 und bedient die vertrauten /v1/chat/completions-Endpunkte mit Streaming und Tool-Calling-Unterstützung.

Wo das Projekt in der Praxis nützlich sein wird

Dies ist keine universelle Engine für beliebige Gewichte. TurboFieldfare ist strikt auf ein bestimmtes Modell zugeschnitten – Gemma 4 26B-A4B. Aber innerhalb seiner Nische deckt das Projekt mehrere konkrete Szenarien ab:

• Lokaler Entwicklerassistent auf Low-End-Laptops. Wenn Sie 8 GB RAM haben, ist das Ausführen eines 26B-Modells auf andere Weise ohne Einfrieren des gesamten Systems praktisch unmöglich.
• Hintergrund-Server für Tool-Calling und Text-Parsing über die Loopback-Schnittstelle, ohne vertrauliche Daten in die Cloud zu senden.
• Lernressource für Low-Level-Metal-Optimierung. Das Repository enthält ein Protokoll von 103 detaillierten Experimenten mit Benchmarks für Lesegeschwindigkeiten, Caching und GPU-Kernel-Leistung.

Wenn Sie große MoE-Modelle lokal auf einem Basis-MacBook ausführen möchten oder daran interessiert sind, benutzerdefinierte Metal-Shader für ML zu schreiben, lohnt es sich definitiv, das Repository zu klonen und zu studieren.