So übersetzen Sie nicht lokalisierte Spiele direkt auf Ihrem Android-Bildschirm

Jeder, der versucht hat, japanische Visual Novels oder JRPGs ohne offizielle Übersetzung zu spielen, kennt diesen Schmerz. Entweder halten Sie Ihr Handy vor den Bildschirm, richten die Kamera auf Ihren Monitor, oder Sie graben sich in PC-Speicher-Hooks ein, konfigurieren Drittanbieter-OCR-Tools und beten, dass die Textkodierung nicht schon in der allerersten Zeile kaputtgeht.

Auf Mobilgeräten und Handheld-Konsolen mit Android war es lange Zeit sogar noch schlimmer. Es gab praktisch keine fertigen Übersetzungstools. kürzlich entdeckte ich ein interessantes Projekt namens PlayTranslate, das dieses Problem auf ziemlich elegante Weise löst.

PlayTranslate mit Persona 3 Reload

Was PlayTranslate macht

Im Wesentlichen ist es ein Android-Overlay, das Text auf dem Bildschirm in Echtzeit erfasst, erkennt und in die ausgewählte Sprache übersetzt. Die App unterstützt 25 Ausgangssprachen aus Spielen und kann Übersetzungen in 59 Sprachen ausgeben, einschließlich Russisch.

Das Projekt richtet sich an zwei Zielgruppen: diejenigen, die einfach eine storylastiges Spiel in einer Sprache spielen möchten, die sie verstehen, und diejenigen, die eine Fremdsprache durch Spiele und Visual Novels lernen. Aus diesem Grund ist die Funktionalität considerably tiefer als nur „das Bild erkennen und durch einen einfachen Übersetzer jagen".

Wichtige Funktionen unter der Haube

Es bringt viele praktische Funktionen zusammen, für die normalerweise fünf verschiedene Plugins zusammengefügt werden müssen:

1. Automatische Übersetzung und Tippen-zum-Übersetzen. Sie können tippen, um den Bildschirm zu übersetzen, oder den Auto-Modus aktivieren, der Dialogfenster-Änderungen überwacht und die Übersetzung automatisch ohne zusätzliche Schritte aktualisiert.
2. Interaktives Wörterbuch und Popup-Lupenfunktion. Wenn Sie einen schwebenden Cursor über ein unbekanntes Wort bewegen, wird sofort ein Wörterbucheintrag mit Kontext angezeigt.
3. Furigana und Pinyin über Zeichen. Für Japanisch- oder Chinesisch-Lernende gibt es einen Modus, der Lesehinweise direkt über den Symbolen in Echtzeit anzeigt.
4. Tiefe Integration mit AnkiDroid und Yomitan. Sie können einen Satz mit einem Klick als Anki-Karte speichern, komplett mit Screenshot, Transkription, Übersetzung, Text-to-Speech und sogar einem aufgezeichnetenSnippet Spielaudio. Yomitan-Wörterbücher mit Betonungsakzent und Häufigkeitslisten werden unterstützt.
5. Physikalische Tasten und geteilter Bildschirm. Auf Handheld-Konsolen wie Ayn Thor oder Handys mit Gamepads können Sie die Übersetzungsanzeige einer physischen Taste zuweisen, die gedrückt gehalten wird. Die App funktioniert mit Dual-Screen-Geräten und dem Splitscreen-Modus von Android.

Technischer Stack und Offline-Betrieb

Was die Projektarchitektur besonders ansprechend macht, ist ihre Fähigkeit, vollständig offline zu funktionieren. Die Entwickler haben einen robusten lokalen Inferenz-Stack aufgebaut, anstatt nur Web-APIs zu wrappen.

So funktioniert das Innenleben:

• Die optische Zeichenerkennung (OCR) verwendet eine Kombination aus PaddleOCR (PP-OCRv6-Detektoren), benutzerdefinierten Modellen wie MangaOCR für vertikalen Text und der OpenCV-Bibliothek für Konturvorverarbeitung und -verfolgung.
• Die morphologische Analyse und Echtzeit-Textsegmentierung basieren auf spezialisierten Bibliotheken: Sudachi für Japanisch, HanLP für Chinesisch, KOMORAN für Koreanisch und PyThaiNLP für Thailändisch.
• Die lokale Modellinferenz läuft über Alibabas MNN-Engine. Bei Bedarf können Sie kompakte LLMs in den Gerätespeicher laden für Offline-Übersetzung: TranslateGemma 4B, Qwen 2.5 1.5B Instruct oder Bergamot vom Mozilla Firefox-Team.

Wenn Sie Netzwerkzugang haben und maximale Übersetzungsqualität mit Kontextbewusstsein wünschen, können Sie in den Einstellungen praktisch jede externe API verbinden. Unterstützte Optionen umfassen DeepL, OpenAI, Google Gemini, DeepSeek, Mistral, Groq, OpenRouter oder jeden kompatiblen Server mit einer benutzerdefinierten Basis-URL.

Installation und erste Schritte

Die App ist nicht im Google Play verfügbar aufgrund ihrer Bildschirmaufnahme- und Overlay-Funktionalität, daher müssen Sie sie manuell über APK von der Release-Seite des Repositories installieren.

Nach der Installation müssen Sie zwei Berechtigungen in den Android-Einstellungen erteilen: Bildschirmaufnahme-Zugriff für die OCR-Funktionalität und Barrierefreiheits-Berechtigungen, wenn Sie die Übersetzung an Gamepad-Tasten binden möchten.

Das Projekt ist Open Source unter GPL 3.0, geschrieben in Kotlin und wird aktiv weiterentwickelt.

Für wen das Projekt geeignet ist

Wenn Sie JRPG-Ports, PSP-, PS2- oder Switch-Emulatoren auf Android spielen und es leid sind, auf Fan-Übersetzungen zu warten, löst PlayTranslate das Problem sofort. Für diejenigen, die Immersionslernen nutzen, um Japanisch oder Chinesisch zu studieren, spart die Integration mit AnkiDroid und Yomitan-Wörterbüchern erheblich Zeit bei der Analyse von Spiel-Dialogen.