Как играть в игры на русском с помощью OCR MORT

Я плохо знаю английский. В простые аркады на английском я ещё могу играть, но сюжетноориентированные даются с трудом. И даже если уровень английского позволяет, это просто не так комфортно, как играть на родном языке. Вот была бы программа, которая бы могла переводить игры...

Формально, таких программ много. Суть их работы заключается в том, чтобы распознать текст с экрана, перевести и вывести в готовом виде. Большая их часть не предназначена для работы непосредственно с играми, тогда как MORT хорошо справляется именно с играми. Перевод в реальном времени, несколько зон для захвата текста, несколько движков для распознавания на борту, настройка переводчика и удобный вывод переведенного текста на экран. Но обо всём по порядку.

Официальный сайт: https://github.com/killkimno/MORT
Скачать: https://github.com/killkimno/MORT/releases/latest

Что такое MORT? Это программа, которая считывает текст с экрана в реальном времени с использованием OCR (оптическое распознавание символов) и вывод его перевода с использованием настроенных БД или переводчиков.

При первом запуске программы нас встречают 3 окна.

Основное рабочее окно, где можно настроить зоны для распознавания (Search), сделать быстрый перевод выделенной зоны (Snap shot) и запустить распознавание и перевод в реальном времени (Translate).
Настраиваемое полупрозрачно окно с распознанным текстом и переводом.
Окно настроек с открытой вкладкой "Быстрый старт".

На этой вкладке можно запустить небольшое обучение по настройке зон для распознавания. Но мы выполним это в обычном режиме.

В первом окне программы MORT нажимаем на кнопку Search. Открывается окно OCR area management. Здесь можно добавлять и зоны для распознавания на кнопку Add OCR area, добавлять зоны для исключения части экрана из распознавания (Add exclusion area), сбросить все зоны (Default) и применить все выполненные настройки зон (Apply).

Нажимаем на кнопку Add OCR area, чтобы добавить зону для распознавания на экране. Он светлеет, что означает режим выделения зон. Нажимаем на Левую кнопку мыши и, удерживая, выделяем текст в игре, желательно захватывая как можно меньше другого пространства.

Желтым обозначена зона для распознавания

После того, как выделили зону, отпустите ЛКМ. Рамка у зоны станет черной и её теперь можно изменить, растягивая или перемещая. Нажмите кнопку Apply. Чтобы в дальнейшем увидеть настроенные зоны, снова нажмите на Search в первом окне.

Теперь займемся настройками распознавания и перевода. Открываем окно настроек (вызывается нажатием шестеренки в первом окне). Затем открываем слева вкладку General.

Это вкладка разделена на 3 блока:

OCR.
Пункт OCR отвечает, каким OCR движком будет производиться распознавание. На мой взгляд, лучше справляется WIN OCR (его и рекомендует программа). В качестве альтернативы можно также использовать Tesseract. В обоих случаях нужно выбрать язык игры - английский. Пункт OCR results output отвечает за вывод распознанного текста вместе с переводом. Лучше выключить.
Translation setting
Здесь мы выбираем, каким образом будем переводить. Вариант по умолчанию (Basic Google) нам подходит лучше всего, перевод выполняется онлайн при помощи переводчика Google.
Image Adjust
Здесь можно настроить отсечение цвета в RGB и HSV в зонах, которые будут захватываться. Данная настройка позволяет отделить разнообразную графику игр от однотонного текста, что позволяет лучше распознать текст. Treshold делает то же самое, но немного по другому. Результат изменения этих параметров можно посмотреть в превью при нажатии кнопки Preview Adjust Preview. Оптимальные, на мой взгляд, значения для HSV - 0-100, 70-100, для Threshold - 160 (или стандартные 127). Выбрать можно что-то одно.

Превью для настройки HSV со значениями 0-100, 70-100

Переходим во вкладку Translation.

Translation window Type
Здесь выбирается тип окна с переведенным текстом. Dark - обычное окно Windows с текстом. Layer - полупрозрачное окно, внешний вид настраивается во вкладке Text. Overlay - перевод отображается в местах, где был распознан текст. Работает только если захватывается определённое окно (будет рассмотрено далее). Пока рекомендую выбрать опцию Layer. Сейчас можно изменить размер и расположение этого окна с синей рамкой, а также его внешний вид во вкладке Text.
Naver (Papago) нас не интересует, так как мы выполняем перевод при помощи Google.
Google Translator Settings
Здесь в первом списке выбираем English, во втором - Russian, всё просто, перевод с английского на русский
TTS
Можно также включить озвучивание перевода. Не всегда удобно при переводе в реальном времени, лучше не включать.

Базовые настройки выполнены, нажимаем Apply, можно проверить выполненную работу.

Открываем окно с игрой, затем запускаем работу программы. Либо сочетанием клавиш (CTRL+SHIFT+Z), либо при нажатии Translate в первом окне программы. Программа выдаст предупреждение, что при использовании переводчика по умолчанию (Гугл) лучше использовать режим снапшота. Жмем Да, чтобы всё равно использовать наши настройки.

Теперь программа распознает и переводит всё, что отображается на экране в ранее выделенной зоне. Поэтому перевод лучше располагать в другом месте.

Ура, мы выполнили базовые настройки и, в принципе, можно уже играть, в дальнейшем корректируя размеры зоны для распознавания, добавляя новые (для перевода обучающих подсказок, например) и изменяя окно для отображения перевожа.

Также программой можно пользоваться и без режима в реальном времени. В таком случае во время игры нажмите CTRL+SHIFT+A , чтобы выделить определенную зону текста на экране и перевести только его один раз. Это действие останавливает перевод в реальном времени.

Горячие клавиши можно изменить в настройках во вкладке ETC.

Для того, чтобы распознавание происходило только содержимого игры, а не всего экрана (и чтобы работал режим Overlay), в настройках можно указать, в каком окне производить распознавание.

В настройках переходим во вкладку Additional.

В блоке Image Capture нажимаем на кнопку Specify the Window to bring the screen. В появившемся окне выбираем окно с нашей игрой и жмем ОК. В графе State будет написано название окна с вашей игрой. Не закрывайте это окно, потому что только с ним происходит захват определённого окна.

Теперь переводиться будет только окно с игрой. Можно открывать другие окна и они не будут мешать захвату. а также должен работать режим наложения перевода Overlay.

Также во вкладке Additional в блоке Processing Speed можно выбрать скорость обработки распознавания и перевода, но это повышает нагрузку процесса программы.

Там же можно сохранить и загрузить выбранные настройки для разных игр.

В расширенных настройках (Advanced setting) во вкладке Additional можно частично настроить как выводить текст в режимах Overlay и Dark.

В моём конкретном случае, для игры Persona 5, я выделил всё окно для распознавания и исключил зоны по углам, где обычно отображаются дни недели, карта и подсказки управления.

Немного скриншотов результатов работы

В режиме Overlay в виду повышенной стильности (стилёвости?) Персоны текст может прыгать. Так что лучше посмотреть на работу режимов отображения Layer и Overlay и выбрать для себя подходящий.

Также можно настроить зону для распознавания только диалоговых окон и сибтитров, а редко появляющиеся сообщения на экране в других местах переводить с помощью режима Snap Shot (CTRL+SHIFT+A). Или переводить не в реальном времени все зоны, а только один раз при нажатии CTRL+Shift+C (может быть изменено)

Спасибо за внимание

#игры #перевод #jrpg