Voice Clone Studio vereint alle wichtigen Stimmodelle in einem Fenster

Wer schon einmal versucht hat, lokale Sprachsynthese oder Stimmkloning einzurichten, erinnert sich wahrscheinlich an die Abhängigkeitshölle. Ein Modell braucht PyTorch 2.1 mit alten torchaudio-Bibliotheken, ein anderes eine frische CUDA-Build, und ein drittes eine separate ONNX-Runtime-Version. Das Ergebnis: fünf virtuelle Umgebungen auf der Festplatte, jede mit ihrer eigenen Gradio-Oberfläche auf einem zufälligen Port.

Der Entwickler unter dem Pseudonym FranckyB hat diesem Chaos ein Ende bereitet und das Projekt Voice Clone Studio veröffentlicht. Im Wesentlichen handelt es sich um ein modulares All-in-one-Tool, das Qwen3-TTS, Microsoft VibeVoice, Fish Speech, LuxTTS, Resemble AI Chatterbox und den MMAudio-Effektgenerator unter einem Dach vereint.

Was dieses Tool kann

Statt fünf Tabs mit verschiedenen Skripten offen zu halten, ist hier alles in Tabs mit einer einheitlichen Datenpipeline aufgeteilt.

Stimmkloning und Emotionen

Das Grundszenario ist einfach: Du lädst ein kurzes 3–10 Sekunden langes Audiobeispiel hoch, gibst den Text mit der ursprünglichen Transkription ein und erhältst das Ergebnis. Das Schöne daran ist, dass du per Dropdown zwischen den Engines wechseln kannst:

• Qwen3-TTS in den Varianten 0.6B und 1.7B
• VibeVoice (1.5B, Vollmodell und 4-Bit quantisiert)
• Fish Speech S2 Pro mit 4B Parametern
• LuxTTS und Chatterbox

Wenn du die Fish Speech Engine auswählst, kannst du Intonations-Tags direkt in den Text einfügen, wie [whisper], [laughing] oder [excited]. Das System kennt über 15.000 solcher Marker. Der Entwickler hat auch einen netten Trick eingebaut: Wenn du zurück zu Qwen oder VibeVoice wechselst, werden die Tags automatisch aus dem Text entfernt, bevor sie an das Modell gesendet werden – deine Skripte bleiben also intakt.

Dialogszenarien für Podcasts

Eines der interessantesten Tabs ist Conversation. Es ist für lange Dialoge zwischen mehreren Sprechern konzipiert.

Das Skript wird in einem einheitlichen Textformat geschrieben:

[1]: Привет, как продвигается проект?
[2]: Отлично, только что собрал окружение без конфликтов.
[3]: Можно к вам присоединиться?

Im Qwen-Modus gibt es 9 eingebaute Erzähler mit einstellbaren Pausen zwischen den Zeilen. Und wenn du in den VibeVoice-Modus wechselst, erhältst du eine kontinuierliche Track-Generierung von bis zu 90 Minuten mit vier Sprechern, die deine eigenen Stimmproben verwenden. Das Modell setzt automatisch Betonungen und fügt manchmal sogar subtilen Raumklang für mehr Realismus hinzu.

Stimmdesign aus Textbeschreibung

Wenn keine Audiodatei zum Klonen vorhanden ist, kommt das Voice Design Tab basierend auf Qwen3-TTS zum Einsatz. Du beschreibst einfach den gewünschten Charakter mit Worten: Alter, Geschlecht, emotionaler Tonfall, ein leichter britischer Akzent oder eine ruhige und hinterhältige Sprechweise. Das neuronale Netz generiert eine einzigartige Stimme von Grund auf.

Stimmveränderung und Soundeffekte

Das Voice Changer-Modul funktioniert über Chatterbox per Speech-to-Speech-Konvertierung. Du sprichst Text ins Mikrofon, wählst einen Zielklang aus gespeicherten Samples und das Modell nimmt deine Sprache in einer anderen Stimme auf, wobei die ursprünglichen Timings und die Intonation erhalten bleiben.

Für Video-Dubbing wurde MMAudio zum Projekt hinzugefügt. Du gibst entweder eine Textbeschreibung des Sounds ein oder legst ein fertiges Videoclip ohne Audio ab. Das neuronale Netz analysiert das Video und generiert synchronisierte Soundeffekte in 44,1 kHz-Qualität.

Datenvorbereitung und Feintuning

Voice Clone Studio verfügt über einen integrierten Audio-Vorbereitungsarbeitsbereich (Prep Audio). Du kannst ein langes Video ablegen, die Audiospur extrahieren, Rauschen über DeepFilterNet entfernen, die Lautstärke normalisieren und die Datei automatisch mit Qwen3-ASR oder Whisper in Phrasen schneiden.

Es gibt hier auch das Modul Train Custom Voices. Wenn einfaches Klonen aus einem kurzen Sample nicht ausreicht, startet das Projekt lokales LoRA-Finetuning für VibeVoice oder Qwen. Die Oberfläche zeigt Loss-Graphen und Epoch-Fortschritt an, und die trainierten Gewichte landen sofort im Presets-Ordner. Auf einer CUDA-fähigen GPU dauert das Training auf einem kleinen Datensatz 10 bis 30 Minuten.

Was unter der Haube steckt

Die Projektarchitektur ist modular. Das Hauptskript voice_clone_studio.py umfasst nur etwa 230 Zeilen und lädt dynamisch Tabs aus dem Verzeichnis modules/core_components/tools/. Nicht benötigte Modelle oder schwere Tabs können in den Einstellungen deaktiviert werden, um die Oberfläche und den Speicher nicht zu überladen.

Unter den interessanten technischen Lösungen:

1. CUDA Graphs-Beschleunigungsunterstützung (Faster-Qwen3-TTS-Projekt), die eine 5–10-fache Inferenzbeschleunigung für Qwen bringt.
2. Verteilung von Modellen auf verschiedene GPUs. Wenn du zwei GPUs im System hast, kannst du die Sprachgenerierung auf eine Karte legen und die ASR-Erkennung sowie das lokale LLM auf die zweite.
3. Integrierter Prompt Manager. Er verbindet sich mit einem lokalen llama.cpp- oder Ollama-Server, lädt ein GGUF-Modell herunter und hilft beim Generieren von Dialog- oder System-Prompts direkt in der Oberfläche.

Start und Fallstricke

Die Mindestanforderung für komfortables Arbeiten sind 8 GB VRAM auf NVIDIA-GPUs. Auf macOS läuft das Projekt auch über MPS (Apple Silicon), aber der Training-Tab wird automatisch ausgeblendet, da das Training CUDA-fokussiert ist.

Ein schneller Start unter Linux sieht so aus:

git clone https://github.com/FranckyB/Voice-Clone-Studio.git
cd Voice-Clone-Studio
chmod +x setup-linux.sh
./setup-linux.sh
./launch.sh

Für Windows gibt es ein fertiges setup-windows.bat sowie eine Docker-Compose-Konfiguration, falls du SOX und FFMPEG nicht direkt auf dem System installieren möchtest.

Einige praktische Feinheiten, die du beachten solltest:

• Python 3.11 wird empfohlen. Version 3.12 kann Probleme beim Bauen von Wheels für die DeepFilterNet-Rauschunterdrückung haben.
• Linux- und macOS-Nutzer sollten das Paket openai-whisper wegen Umgebungskonflikten nicht installieren. VibeVoice ASR und Qwen3 ASR funktionieren stattdessen hervorragend als Standard.
• Die erste Generierung auf jedem Sample hat eine Verzögerung, während Stimm-Prompts gecacht werden, aber nachfolgende Zeilen werden deutlich schneller zusammengestellt.

Wem das Projekt nützt

Voice Clone Studio adressiert drei klare Bedürfnisse. Erstens ist es ein hervorragendes Testfeld für alle, die die Qualität von VibeVoice, Qwen3 und Fish Speech auf demselben Audiomaterial vergleichen möchten, ohne sich mit Konsolen herumzuschlagen. Zweitens werden Podcast- und Hörbuch-Ersteller das Conversation-Modul mit 90-minütiger Generierung zu schätzen wissen. Drittens ist es eine fertige Workstation zur Vorbereitung von Datensätzen und zum Trainieren eigener Stimmodelle, ohne Trainingsskripte schreiben zu müssen.