Android画面上でローカライズされていないゲームを正しく翻訳する方法
公式翻訳のない日本のビジュアルノベルやJRPGをプレイしようとしたことがある人なら、この的痛苦は知っているはずです。手机的画面をカメラに向けるか、PCのメモリフック弄って、サードパーティのOCRツールを設定して、最初の行でテキストエンコーディングが壊れないことを祈るかのどちらかです。
Android搭載のモバイルデバイスやハンドヘルドコンソールでは、長い間さらに状況は悪かったです。実質的に готовые 翻訳ツールが存在しませんでした。先日、この問題をかなりエレガントな方法で解決する面白いプロジェクトPlayTranslateを発見しました。
PlayTranslateとPersona 3 Reload
PlayTranslateできること
本質的には、Androidオーバーレイとして画面上のテキストをリアルタイムでキャプチャし、認識して、選択した言語に翻訳します。このアプリはゲームからの25のソース言語をサポートし、ロシア語を含む59の言語への翻訳出力が可能です。
このプロジェクトは2つの対象ユーザーを想定しています：ストーリードリブンゲームを自分が理解できる言語でプレイしたいだけのユーザーと、ゲームやビジュアルノベルを通じて外国어를 학습하는 사람들입니다。そのため、機能性は「画像を認識して基本的な翻訳に通す」だけを大幅に超えています。
内部の主要機能
通常は5つの異なるプラグインを組み合わせる必要がある多くの実用的な機能を1つにまとめています：
- 自動翻訳とタップ翻訳。タップして画面を翻訳するか、ダイアログウィンドウの変更を監視して余分な手順なしで翻訳を自動的に更新する自動モードを有効にできます。
- インタラクティブ辞書とポップアップルーペ。不明な単語にフローティングカーソルをホバーすると、コンテキスト付きの辞書エントリがすぐに表示されます。
- 文字上のふりがなとピンイン。日本語や中国語学習者のために、リアルタイムで文字の上に直接読み取りヒントを表示するモードがあります。
- AnkiDroidとYomitanの深い統合。ワンクリックでスクリーンショット、書き起こし、翻訳、テキスト読み上げ、さらにはゲームオーディオの録音スニペットを含むAnkiカードに文を保存できます。アクセント記号と頻度リスト付きのYomitan辞書をサポートします。
- 物理ボタンと分割画面。Ayn Thorのようなハンドヘルドコンソールやゲームパッド付き電話では、翻訳表示を長押しした物理ボタンに割り当てることができます。このアプリはデュアルスクリーンデバイスとAndroidの分割画面モードに対応しています。
技術スタックとオフライン動作
プロジェクトのアーキテクチャで特に注目すべきは、完全にオフラインで動作する能力です。開発者は単にWeb APIをラップするのではなく、堅牢なローカル推論スタックを構築しました。
内部の動作は以下の通りです：
- 光学式文字認識（OCR）は、PaddleOCR（PP-OCRv6検出器）、縦書きテキスト用のMangaOCRなどのカスタムモデル、輪郭前処理とトラッキングを行うOpenCVライブラリの組み合わせを使用します。
- 形態素解析とリアルタイムテキストセグメンテーションは、特殊なライブラリに依存しています：日本語用のSudachi、中国語用のHanLP、韓国語用のKOMORAN、タイ語用のPyThaiNLP。
- ローカルモデル推論はAlibabaのMNNエンジンを通じて実行されます。必要に応じて、デバイスメモリにコンパクトなLLMをロードしてオフライン翻訳に使用できます：TranslateGemma 4B、Qwen 2.5 1.5B Instruct、またはMozilla FirefoxチームのBergamot。
ネットワークアクセスがあり、コンテキスト認識を伴う最高品質の翻訳が必要な場合は、設定で事実上任意の外部APIに接続できます。サポートされているオプションには、DeepL、OpenAI、Google Gemini、DeepSeek、Mistral、Groq、OpenRouter、またはカスタムベースURLを持つ互換性のあるサーバーが含まれます。
インストールと開始方法
このアプリは画面キャプチャとオーバーレイ機能のためGoogle Playでは利用できないため、リポジトリのリリースページからAPK経由で手動でインストールする必要があります。
インストール後、Android設定で2つの権限を付与する必要があります：OCR機能用の画面録画アクセスと、ゲームパッドボタンに翻訳をバインドしたい場合はユーザー補助権限です。
このプロジェクトはGPL 3.0の下でオープンソースであり、Kotlinで書かれており、活発に開発中です。
このプロジェクトの対象ユーザー
AndroidでJRPGポート、PSP、PS2、またはSwitchエミュレータをプレイしており、ファンの翻訳を待つのに疲れている場合、PlayTranslateはすぐに問題を解決します。日本語や中国語を勉強するためにイマーシブ学習を使用している人にとって、AnkiDroidとYomitan辞書との統合は、ゲームのダイアログを分析する際に大幅な時間を節約します。
関連プロジェクト