Jak prawidłowo tłumaczyć niezlokalizowane gry bezpośrednio na ekranie Androida

Każdy, kto próbował grać w japońskie powieści wizualne lub JRPG-y bez oficjalnego tłumaczenia, zna ten ból. Albo trzymasz telefon przy ekranie, albo kierujesz kamerę na monitor, albo grzebiesz w hookach pamięci PC, konfigurujesz zewnętrzne narzędzia OCR i modlisz się, żeby kodowanie tekstu nie popsuło się już w pierwszej linijce.

Na urządzeniach mobilnych i konsolach przenośnych z Androidem przez długi czas było jeszcze gorzej. Praktycznie nie było gotowych narzędzi do tłumaczenia. Niedawno odkryłem interesujący projekt o nazwie PlayTranslate, który rozwiązuje ten problem dość elegancko.

PlayTranslate z Persona 3 Reload

Co robi PlayTranslate

To zasadniczo nakładka na Androida, która przechwytuje tekst z ekranu w czasie rzeczywistym, rozpoznaje go i tłumaczy na wybrany język. Aplikacja obsługuje 25 języków źródłowych z gier i może wyprowadzać tłumaczenia na 59 języków, w tym rosyjski.

Projekt skierowany jest do dwóch grup odbiorców: osób, które po prostu chcą przejść grę z fabułą w zrozumiałym dla siebie języku, oraz uczących się języka obcego poprzez gry i powieści wizualne. Dlatego funkcjonalność sięga znacznie głębiej niż tylko „rozpoznaj obraz i przepuść przez podstawowy translator”.

Kluczowe funkcje pod maską

Łączy wiele praktycznych funkcji, które zwykle wymagają złożenia pięciu różnych wtyczek:

1. Automatyczne tłumaczenie i tłumaczenie jednym kliknięciem. Możesz kliknąć, aby przetłumaczyć ekran, lub włączyć tryb automatyczny, który monitoruje zmiany w oknach dialogowych i automatycznie aktualizuje tłumaczenie bez dodatkowych kroków.
2. Interaktywny słownik i lupa popup. Najedzenie kursora pływającego na nieznane słowo natychmiast wyświetla wpis słownikowy z kontekstem.
3. Futurigana i pinyin nad znakami. Dla uczących się japońskiego lub chińskiego jest tryb wyświetlający podpowiedzi do czytania bezpośrednio nad symbolami w czasie rzeczywistym.
4. Głęboka integracja z AnkiDroid i Yomitan. Możesz zapisać zdanie do karty Anki jednym kliknięciem, wraz ze zrzutem ekranu, transkrypcją, tłumaczeniem, syntezą mowy, a nawet nagranym fragmentem dźwięku z gry. Obsługiwane są słowniki Yomitan z akcentem tonalnym i listami częstotliwości.
5. Przyciski fizyczne i tryb podzielonego ekranu. Na konsolach przenośnych takich jak Ayn Thor lub telefonach z kontrolerami do gier możesz przypisać wyświetlanie tłumaczenia do przytrzymanego przycisku fizycznego. Aplikacja współpracuje z urządzeniami z dwoma ekranami i trybem Split Screen w Androidzie.

Stos technologiczny i praca bez internetu

To, co sprawia, że architektura projektu jest szczególnie przekonująca, to możliwość działania całkowicie offline. Deweloperzy zbudowali solidny stos wnioskowania lokalnego, zamiast po prostu owijać webowe API.

Oto jak działają wnętrza:

• Optyczne rozpoznawanie znaków (OCR) wykorzystuje kombinację PaddleOCR (detektory PP-OCRv6), niestandardowych modeli takich jak MangaOCR do tekstu pionowego oraz biblioteki OpenCV do wstępnego przetwarzania konturów i śledzenia.
• Analiza morfologiczna i segmentacja tekstu w czasie rzeczywistym opierają się na wyspecjalizowanych bibliotekach: Sudachi dla japońskiego, HanLP dla chińskiego, KOMORAN dla koreańskiego i PyThaiNLP dla tajskiego.
• Lokalne wnioskowanie modelu odbywa się przez silnik MNN firmy Alibaba. Jeśli chcesz, możesz załadować kompaktowe LLM do pamięci urządzenia do tłumaczenia offline: TranslateGemma 4B, Qwen 2.5 1.5B Instruct lub Bergamot od zespołu Mozilla Firefox.

Jeśli masz dostęp do sieci i chcesz maksymalnej jakości tłumaczenia ze świadomością kontekstu, możesz połączyć się z praktycznie dowolnym zewnętrznym API w ustawieniach. Obsługiwane opcje to DeepL, OpenAI, Google Gemini, DeepSeek, Mistral, Groq, OpenRouter lub dowolny kompatybilny serwer z niestandardowym URL bazowym.

Instalacja i pierwsze kroki

Aplikacja nie jest dostępna w Google Play ze względu na funkcje przechwytywania ekranu i nakładki, więc musisz zainstalować ją ręcznie przez APK ze strony wydań repozytorium.

Po instalacji musisz przyznać dwa uprawnienia w ustawieniach Androida: dostęp do nagrywania ekranu dla funkcji OCR oraz uprawnienia dostępności, jeśli chcesz powiązać tłumaczenie z przyciskami kontrolera do gier.

Projekt jest open source na licencji GPL 3.0, napisany w Kotlinie i aktywnie rozwijany.

Dla kogo jest ten projekt

Jeśli grasz w porty JRPG, emulatory PSP, PS2 lub Switch na Androidzie i masz dość czekania na fanowskie tłumaczenia, PlayTranslate rozwiązuje problem natychmiast. Dla osób uczących się japońskiego lub chińskiego metodą immersji, integracja ze słownikami AnkiDroid i Yomitan oszczędza znacznie czasu podczas analizy dialogów w grze.