Lokale ElevenLabs-Qualität auf eigener Hardware mit VoiceStudio

Kürzlich musste ich mehrere Dutzend Tutorial-Videos vertonen und Untertitel schneiden. Mein erster Gedanke war, Cloud-Dienste wie ElevenLabs zu nutzen. Aber wenn man die Kosten für ein Team-Abonnement berechnet und realizes, dass Entwurfs-Audio und vertrauliche Materialien an externe Server gesendet werden, lässt die Begeisterung nach.

VoiceStudio (ehemals OmniVoice-Studio) gewinnt auf GitHub an Popularität. Es ist eine Desktop-Anwendung für Sprachsynthese, Stimmklonen, Transkription und Vertonung, die lokal läuft.

Keine Tokens, keine Generierungsguthaben und kein verpflichtendes Binden einer Kreditkarte. Sie laden die App herunter, sie lädt die erforderlichen Modellgewichte herunter, und die gesamte Verarbeitung läuft auf Ihrer GPU oder CPU.

Was die App kann

Das Repository vereint nahezu alle bemerkenswerten Open-Source-Audio-Entwicklungen der letzten Zeit. Anstatt ein Dutzend separate Jupyter-Notebooks zu starten oder mit inkompatiblen PyTorch-Versionen zu kämpfen, erhalten Sie eine fertige GUI und einen lokalen Server.

Hier sind die wichtigsten Szenarien, die das Programm abdeckt:

1. Stimmklonen. Funktioniert im Zero-Shot-Modus: Sie nehmen ein kurzes 5–15 Sekunden langes Referenz-Audioclip ohne Rauschen oder Musik, geben Text ein und erhalten einen fertigen Track mit derselben Stimmlage.
2. Stimmdesign. Wenn Sie keine fertige Probe haben, werden die Parameter über Text eingestellt: Alter, Akzent, Tonfall, emotionale Färbung oder Sprechbesonderheiten.
3. Automatische Video-Vertonung. Das Tool kann Sprache in Videos erkennen, übersetzen, Sprecher über Diarisierung trennen, die synthetisierte Stimme über den Originaltrack legen und die fertige Datei sofort exportieren.
4. Hörbücher und lange Geschichten. Sie können eine Datei im EPUB- oder PDF-Format hochladen, Zeilen auf verschiedene virtuelle Sprecher verteilen, Kapitel rendern und das fertige Buch im MP3-Format zusammenstellen.
5. System-Diktier-Widget. Durch Drücken eines globalen Hotkeys wird Sprache vom Mikrofon in Echtzeit in Text transkribiert, und ein lokales Sprachmodell kann sofort Füllwörter entfernen und Satzzeichen hinzufügen.

Der integrierte Modellkatalog ermöglicht es, mit einer Tastenkombination zwischen 16 Synthese-Engines und 11 Erkennungs-Engines zu wechseln.

Unter der Haube und im Terminal

Die Projektarchitektur ist durchdacht. Die Entwickler haben nicht alles in schweres Electron verpackt.

• Desktop-Shell: Tauri v2 in Rust, das das System-Tray, Hotkey-Aufrufe und die Verwaltung von Hintergrundprozessen übernimmt.
• Oberfläche: React mit Vite-Bundler und Zustand-State-Manager.
• Backend: FastAPI in Python, das auf Port 8000 läuft. Darin laufen Modelladapter, Aufgabenwarteschlangen und eine SQLite-Datenbank mit Migrationen über Alembic.

Bei den Sprachsynthese-Engines werden über k2-fsa/OmniVoice, CosyVoice 3, GPT-SoVITS, VoxCPM2, PocketTTS und MOSS-TTS 646 Sprachen unterstützt. Für die Transkription stehen WhisperX, Faster-Whisper, Parakeet TDT und FunASR zur Verfügung. Bei Bedarf werden Audiotracks mit Demucs getrennt, und Sprecher werden über Pyannote identifiziert.

Wenn Sie keine Oberfläche benötigen und Audio aus Skripten generieren möchten, bietet das Backend eine OpenAI-kompatible API. Leiten Sie einfach die Basis-URL in Ihrem Client um:

base_url="http://localhost:8000/v1"

Zusätzlich zur Standard-REST-API werden WebSocket, Server-Sent Events und MCP (Model Context Protocol) unterstützt. Das bedeutet, Sprachsynthese und -erkennung können direkt als Werkzeug für KI-Agenten in Claude Code oder Cursor aufgerufen werden.

Hardware-Anforderungen und Installation

Für einen schnellen Start haben die Autoren fertige Builds vorbereitet:

• macOS: DMG-Paket für Apple Silicon (MPS- und MLX-Backends werden unterstützt). Auf alten Intel-Prozessoren funktioniert das lokale Backend nicht.
• Windows: MSI-Installer für 64-Bit-Systeme mit CUDA-Beschleunigung.
• Linux: AppImage-Paket und fertige Docker-Container mit CUDA- und ROCm-Support.

Beim ersten Start richtet das Programm automatisch eine isolierte Python-Umgebung ein und lädt das Basismodell herunter.

Das Minimum für komfortables Arbeiten ist 8 GB RAM und 4 GB VRAM beim Ausführen auf der GPU. Wenn keine GPU vorhanden ist, funktionieren Basismodelle auch auf der CPU, aber das Generieren langer Segmente dauert deutlich länger. Für schwere Modelle wie CosyVoice 3 ist eine Karte mit 8–16 GB VRAM besser geeignet.

Wenn Sie das Projekt aus dem Quellcode ausführen möchten, benötigen Sie git und Python:

git clone https://github.com/...

Um nur die Web-Oberfläche im Browser auszuführen, verwenden Sie den Befehl python -m app.

Für wen es nützlich ist

Das Projekt wird offensichtlich jedem gefallen, der regelmäßig mit Audioinhalten arbeitet, aber keine Daten an externe Clouds weitergeben möchte. Es ist ein großartiger Fund für Podcast-Lokalisierung, automatisierte Dokumentationsvertonung, Vertonung von Indie-Spielen oder schnelle lokale Meeting-Transkription ohne Dauerbegrenzung.

Der Code wird unter der AGPL-3.0-Lizenz vertrieben, und Basismodelle werden unter Apache-2.0 ausgeliefert. Wenn Sie nach einer eigenständigen Audio-Kombination für Ihren Desktop gesucht haben, ist VoiceStudio definitiv einen Installationsversuch wert.