Neues offenes Qwen3.8-Modell fordert proprietäre Flaggschiffe heraus

Das Team von Alibaba hat die Qwen3.8-Weight-Serie als Open Source veröffentlicht, einschließlich des Qwen3.8-27B-Modells und der gewaltigen MoE-Variante Qwen3.8-2.4T-A95B. Zum ersten Mal sind Qwen-Max-Klasse-Modelle auf Hugging Face und ModelScope zum Self-Hosting und Fine-Tuning verfügbar.

Wenn Sie die Entwicklung offener LLMs im vergangenen Jahr verfolgt haben, ist Ihnen wahrscheinlich eine interessante Verschiebung aufgefallen. Entwickler konkurrierten früher um reine Kontextfenstergrößen oder MMLU-Benchmark-Ergebnisse. Jetzt hat sich der Fokus auf praktische Aufgaben verlagert: Aufrechterhaltung des Reasoning-Kontexts in langen Gesprächen, angemessene Reaktion auf Umgebungsfehler beim Schreiben von Code und zuverlässige Tool-Nutzung. Die Qwen3.8-Serie konzentriert sich genau auf diese Bereiche.

Was ist neu in Qwen3.8

In diesem Update haben Entwickler die architektonischen Verbesserungen von Qwen3.5 auf leistungsfähigere Weights portiert und zwei nützliche Steuerungselemente für die Reasoning-Logik hinzugefügt.

Das erste Feature ist der reasoning_effort-Parameter. Jetzt können Sie die Tiefe des Denkprozesses des Modells vor der Antwortgenerierung explizit regulieren. Wenn die Aufgabe einfach ist, verschwendet das Modell keine zusätzlichen Tokens für endlose Reasoning-Ketten. Für komplexes Refactoring oder mathematische Herleitungen können Sie den Parameter auf Maximum hochschrauben.

Das zweite Feature löst ein häufiges Problem mit langen Agent-Dialogen — preserve_thinking. Normalerweise geht beim Übergang zum nächsten Schritt der Kontext früherer Reasoning-Prozesse verloren, was dazu führt, dass das Modell Schleifen dreht oder verworfene Hypothesen wiederholt. Hier wird der Thought-Process-Kontext zwischen den Nachrichten beibehalten, was die iterative Entwicklung spürbar beschleunigt.

Architektonisch stützt sich die Familie auf eine Kombination aus Gated Delta Networks und Sparse Mixture-of-Experts. Dies reduziert den Speicheroverhead und bietet hohe Generierungsgeschwindigkeit selbst bei Kontexten bis zu 262k Tokens.

Benchmark-Ergebnisse und Metriken

Werfen wir einen Blick auf die Benchmarks für die Qwen3.6- und Qwen3.5-Modellreihen, die die Grundlage für die aktuelle Veröffentlichung bildeten.

Bei Code-Generierung und externen Function-Calling-Aufgaben erreicht die 35B-A3B-Architektur eine Leistung auf Augenhöhe mit schwereren monolithischen Modellen. Gleichzeitig bleiben nur etwa 3 Milliarden Parameter pro Token aktiv.

Nachfolgend finden Sie Ergebnisse für die älteren und jüngeren Modelle der 3.5-Reihe:

Lokale Ausführung oder auf einem Server

Das Qwen-Team hat Integrationen mit nahezu allen gängigen Inferenz-Engines vorbereitet. Sie können das Modell auf einem bescheidenen Server ebenso wie auf einem Cluster mit mehreren GPUs ausführen.

Schnellstart über Hugging Face Transformers

Der unkomplizierteste Weg, um einen OpenAI-kompatiblen Endpunkt zu starten, ist das integrierte CLI der transformers-Bibliothek:

transformers serve Qwen/Qwen3.8-27B --port 8000 --continuous-batching

Nach Ausführung des Befehls lauscht der Server auf http://localhost:8000/v1.

Produktionsbereitstellung über vLLM und SGLang

Für hohen Durchsatz ist es besser, spezialisierte Engines zu verwenden. Beachten Sie die Reasoning- und Tool-Calling-Parser-Flags — sie werden für den korrekten Betrieb der Agent-Funktion benötigt.

Start über vLLM:

vllm serve Qwen/Qwen3.8-27B \
  --port 8000 \
  --tensor-parallel-size 4 \
  --max-model-len 262144 \
  --reasoning-parser qwen3 \
  --enable-auto-tool-choice \
  --tool-call-parser qwen3_coder

Start über SGLang:

sglang serve \
  --model-path Qwen/Qwen3.8-27B \
  --port 8000 \
  --tp-size 4 \
  --context-length 262144 \
  --reasoning-parser qwen3 \
  --tool-call-parser qwen3_coder

Wenn Sie mit Apple Silicon arbeiten, verwenden Sie die mlx-lm- oder mlx-vlm-Pakete. Für die Ausführung auf Consumer-Hardware über CPU und bescheidene GPUs sind quantisierte GGUF-Builds bereits auf Hugging Face unter llama.cpp verfügbar.

Fine-Tuning für Ihre Aufgaben

Wenn Sie das Modell für eine interne Codebasis oder einen spezifischen API-Dialekt anpassen müssen, empfiehlt das Repository die Verwendung bewährter Bibliotheken:

• Unsloth für schnelles und speichereffizientes LoRA/QLoRA-Training
• LLaMA-Factory und Swift für SFT, DPO und GRPO

Flaggschiff-MoE-Varianten erfordern erhebliche Server-Ressourcen, aber die 27B-Version lässt sich ohne Probleme auf einer oder zwei Karten wie RTX 4090 oder A100 mit Quantisierung fine-tunen.

Wer wird von diesem Projekt profitieren

Die Qwen3.8-Serie adressiert mehrere praktische Szenarien gleichzeitig:

• Lokale Code-Assistenten und Autovervollständigung in einer geschlossenen Unternehmensumgebung, in der Sie keinen Code an externe Cloud-APIs senden können
• Komplexe autonome Agents, die mehrstufige Pipelines ausführen, Test-Logs lesen und Fehler im Repository selbst beheben
• Forschungspipelines mit langem Kontext, Dokumentenverarbeitung und dem Finden von Zusammenhängen in großen Textmengen
• Optimierung kompakter Versionen für enge Domänen ohne Verlust der gesamten Reasoning-Kohärenz

Wenn Sie eine offene Grundlage für autonome Agents oder einen Terminal-Code-Assistenten suchen, probieren Sie Qwen3.8-27B. Das Modell wird bereits von den meisten Ökosystem-Tools unterstützt und lässt sich buchstäblich mit ein paar Befehlen bereitstellen.