ElevenLabs en local sur votre propre matériel avec VoiceStudio

Récemment, j'ai dû enregistrer une bonne dizaines de tutoriels vidéo et couper les sous-titres. Ma première pensée a été d'utiliser des services cloud comme ElevenLabs. Mais quand on calcule le coût de l'abonnement équipe et qu'on réalise que les brouillons audio et les documents confidentiels seront envoyés sur des serveurs externes, l'enthousiasme s'évapore.

VoiceStudio (anciennement OmniVoice-Studio) gagne en popularité sur GitHub. C'est une application de bureau pour la synthèse vocale, le clonage de voix, la transcription et le doublage qui fonctionne en local.

Pas de jetons, pas de crédits de génération, pas de liaison de carte obligatoire. Vous téléchargez l'application, elle récupère les poids des modèles nécessaires, et tout le traitement s'exécute sur votre GPU ou CPU.

Ce que l'application peut faire

Le dépôt rassemble presque tous les développements audio open source notables de ces derniers temps. Au lieu de lancer une dizaines de notebooks Jupyter séparés ou de gérer des versions PyTorch incompatibles, vous obtenez une interface graphique prête à l'emploi et un serveur local.

Voici les principaux scénarios couverts par le programme :

1. Clonage de voix. Fonctionne en mode zero-shot : vous prenez un extrait audio de référence court de 5 à 15 secondes sans bruit ni musique, vous entrez du texte, et vous obtenez une piste prête avec le même timbre.
2. Conception de voix. Si vous n'avez pas d'échantillon prêt, les paramètres sont définis via du texte : âge, accent, ton, coloration émotionnelle ou particularités de diction.
3. Doublage vidéo automatique. L'outil peut reconnaître la parole dans une vidéo, la traduire, séparer les locuteurs via diarisation, superposer la voix synthétisée sur la piste originale et exporter immédiatement le fichier terminé.
4. Livres audio et longues histoires. Vous pouvez télécharger un fichier au format EPUB ou PDF, distribuer les répliques entre différents narrateurs virtuels, rendre les chapitres et assembler le livre final au format MP3.
5. Widget de dictée système. Appuyer sur un raccourci global transcrit la voix du microphone en texte à la volée, et un modèle de langage local peut immédiatement nettoyer les mots de remplissage et ajouter la ponctuation.

Le catalogue de modèles intégré vous permet de basculer entre 16 moteurs de synthèse et 11 moteurs de reconnaissance à la volée avec une combinaison de touches.

Sous le capot et dans le terminal

L'architecture du projet est bien pensée. Les développeurs n'ont pas tout enveloppé dans un Electron lourd.

• Shell bureau : Tauri v2 en Rust, qui gère la barre système, les appels de raccourcis et la gestion des processus en arrière-plan.
• Interface : React avec le bundler Vite et le gestionnaire d'état Zustand.
• Backend : FastAPI en Python, tournant sur le port 8000. À l'intérieur s'exécutent les adaptateurs de modèles, les files d'attente de tâches et une base de données SQLite avec des migrations via Alembic.

Parmi les moteurs de synthèse vocale, 646 langues sont prises en charge via k2-fsa/OmniVoice, CosyVoice 3, GPT-SoVITS, VoxCPM2, PocketTTS et MOSS-TTS. Pour la transcription, WhisperX, Faster-Whisper, Parakeet TDT et FunASR sont disponibles. Les pistes audio sont séparées avec Demucs si nécessaire, et les locuteurs sont identifiés via Pyannote.

Si vous n'avez pas besoin de l'interface et voulez générer de l'audio à partir de scripts, le backend expose une API compatible OpenAI. Il suffit de rediriger l'URL de base dans votre client :

base_url="http://localhost:8000/v1"

En plus de l'API REST standard, WebSocket, Server-Sent Events et MCP (Model Context Protocol) sont pris en charge. Cela signifie que la synthèse vocale et la reconnaissance peuvent être appelées directement comme un outil pour les agents IA dans Claude Code ou Cursor.

Configuration matérielle requise et installation

Pour un démarrage rapide, les auteurs ont préparé des builds prêts à l'emploi :

• macOS : Paquet DMG pour Apple Silicon (les backends MPS et MLX sont pris en charge). Sur les anciens processeurs Intel, le backend local ne fonctionnera pas.
• Windows : Installateur MSI pour systèmes 64 bits avec accélération CUDA.
• Linux : Paquet AppImage et conteneurs Docker prêts à l'emploi avec support CUDA et ROCm.

Au premier lancement, le programme configure automatiquement un environnement Python isolé et télécharge le modèle de base.

Le minimum pour un travail confortable est de 8 Go de RAM et 4 Go de mémoire vidéo lors de l'exécution sur GPU. S'il n'y a pas de GPU, les modèles de base fonctionnent aussi sur CPU, mais générer de longs segments prendra nettement plus de temps. Pour les modèles lourds comme CosyVoice 3, mieux vaut avoir une carte avec 8 à 16 Go de VRAM.

Si vous voulez exécuter le projet depuis les sources, vous aurez besoin de git et Python :

git clone https://github.com/...

Pour exécuter uniquement l'interface web dans le navigateur, utilisez la commande python -m app.

À qui cela sera utile

Le projet plaira clairement à tous ceux qui travaillent régulièrement avec du contenu audio mais ne veulent pas fuir les données vers des clouds externes. C'est une trouvaille formidable pour la localisation de podcasts, le voiceover automatisé de documentation, le doublage de jeux indépendants, ou la transcription rapide locale de réunions sans limites de durée.

Le code est distribué sous licence AGPL-3.0, et les modèles de base sont fournis sous Apache-2.0. Si vous cherchiez un outil audio complet autonome pour votre bureau, VoiceStudio vaut définitivement le coup d'être installé et testé.