Come tradurre correttamente i giochi non localizzati direttamente sullo schermo Android

Chiunque abbia provato a giocare a visual novel giapponesi o JRPG senza una traduzione ufficiale conosce questo dolore. Sei bloccato a tenere il telefono davanti allo schermo, a puntare la fotocamera verso il monitor, oppure ti addentri negli hook di memoria del PC, configuri strumenti OCR di terze parti e speri che la codifica del testo non si rompa proprio alla prima riga.

Sui dispositivi mobili e sulle console portatili con Android, le cose sono state a lungo ancora peggiori. Non c'erano praticamente strumenti di traduzione pronti all'uso disponibili. Recentemente ho scoperto un progetto interessante chiamato PlayTranslate che risolve questo problema in modo piuttosto elegante.

PlayTranslate con Persona 3 Reload

Cosa fa PlayTranslate

In sostanza, è un overlay Android che acquisisce il testo dallo schermo in tempo reale, lo riconosce e lo traduce nella lingua selezionata. L'app supporta 25 lingue sorgente dai giochi e può produrre traduzioni in 59 lingue, incluso il russo.

Il progetto si rivolge a due tipi di pubblico: coloro che vogliono semplicemente giocare a un gioco narrativo in una lingua che comprendono, e coloro che imparano una lingua straniera attraverso i giochi e le visual novel. Per questo motivo, le funzionalità vanno ben oltre il semplice "riconoscere l'immagine e passarla a un traduttore base".

Funzionalità principali sotto il cofano

Riunisce molte funzionalità pratiche che di solito richiedono di assemblare cinque plugin diversi:

1. Traduzione automatica e tocca per tradurre. Puoi toccare per tradurre lo schermo o abilitare la modalità automatica, che monitora le modifiche alle finestre di dialogo e aggiorna la traduzione automaticamente senza passaggi aggiuntivi.
2. Dizionario interattivo e lente d'ingrandimento popup. Passando con un cursore fluttuante su una parola sconosciuta viene immediatamente visualizzata una voce del dizionario con il contesto.
3. Furigana e pinyin sui caratteri. Per chi studia giapponese o cinese, c'è una modalità che mostra i suggerimenti di lettura direttamente sopra i simboli in tempo reale.
4. Integrazione profonda con AnkiDroid e Yomitan. Puoi salvare una frase su una scheda Anki con un clic, completa di screenshot, trascrizione, traduzione, sintesi vocale e persino un frammento registrato dell'audio del gioco. Sono supportati i dizionari Yomitan con accento tonale e liste di frequenza.
5. Pulsanti fisici e schermo diviso. Sulle console portatili come Ayn Thor o sui telefoni con gamepad, puoi assegnare la visualizzazione della traduzione a un pulsante fisico premuto. L'app funziona con i dispositivi a doppio schermo e con la modalità Schermo diviso di Android.

Stack tecnico e funzionamento offline

Ciò che rende l'architettura del progetto particolarmente interessante è la sua capacità di funzionare completamente offline. Gli sviluppatori hanno costruito un robusto stack di inferenza locale invece di semplicemente wrappare API web.

Ecco come funzionano gli interni:

• Il riconoscimento ottico dei caratteri (OCR) utilizza una combinazione di PaddleOCR (rilevatori PP-OCRv6), modelli personalizzati come MangaOCR per il testo verticale e la libreria OpenCV per la preelaborazione e il tracciamento dei contorni.
• L'analisi morfologica e la segmentazione del testo in tempo reale si basano su librerie specializzate: Sudachi per il giapponese, HanLP per il cinese, KOMORAN per il coreano e PyThaiNLP per il thailandese.
• L'inferenza del modello locale viene eseguita attraverso il motore MNN di Alibaba. Se lo desideri, puoi caricare LLM compatti nella memoria del dispositivo per la traduzione offline: TranslateGemma 4B, Qwen 2.5 1.5B Instruct o Bergamot dal team di Mozilla Firefox.

Se hai accesso alla rete e vuoi la massima qualità di traduzione con consapevolezza del contesto, puoi connetterti a praticamente qualsiasi API esterna nelle impostazioni. Le opzioni supportate includono DeepL, OpenAI, Google Gemini, DeepSeek, Mistral, Groq, OpenRouter o qualsiasi server compatibile con un URL base personalizzato.

Installazione e primi passi

L'app non è disponibile su Google Play a causa della sua funzionalità di acquisizione schermo e overlay, quindi dovrai installarla manualmente tramite APK dalla pagina delle release del repository.

Dopo l'installazione, dovrai concedere due permessi nelle impostazioni di Android: accesso alla registrazione dello schermo per la funzionalità OCR e permessi di Accessibilità se vuoi associare la traduzione ai pulsanti del gamepad.

Il progetto è open source sotto GPL 3.0, scritto in Kotlin e in fase di sviluppo attivo.

A chi è destinato questo progetto

Se stai giocando a port di JRPG, emulatori PSP, PS2 o Switch su Android e sei stanco di aspettare le traduzioni dei fan, PlayTranslate risolve il problema immediatamente. Per chi usa l'immersion learning per studiare giapponese o cinese, l'integrazione con AnkiDroid e i dizionari Yomitan fa risparmiare molto tempo nell'analisi del dialogo dei giochi.