Сьогодні цифрові комікси (Manga, Webtoons тощо) перетинають культурні кордони з небаченою швидкістю. Однак для видавців контенту та команд локалізації переклад коміксів давно є «чорною дірою» ефективності. Це набагато складніше, ніж просто перекладати текст.

З самого початку Shangyi AI(商译 AI) усвідомлювала, що для справжнього вирішення цієї проблеми недостатньо створити простий «перекладач» — необхідно розробити автоматизований двигун, який би міг замінити «ретушера» та «леттерера».

Нашою відправною точкою стало глибоке вивчення справжніх больових точок цієї індустрії.

Виклик перший: фрагментоване «поле бою» — формати коміксів

Насамперед ми маємо справу не з єдиним стандартом. Носії цифрових коміксів надзвичайно різноманітні:

Формати архівів (CBZ/CBR): це стандарт для ентузіастів. По суті, це запаковані архіви із зображеннями (ZIP/RAR). Наша система повинна вміти розпаковувати такі архіви та зчитувати внутрішню послідовність JPEG/PNG у правильному порядку.
Формат документів (PDF): це стандарт для багатьох офіційних публікацій. Обробка PDF є складнішою: він може містити як зображення, так і векторну графіку з вбудованим текстом, тому наш парсер повинен працювати з обома типами вмісту.
Потоковий формат (Webtoons): це найбільша точка зростання і водночас найскладніший виклик. Вебтуни розроблені спеціально для смартфонів і являють собою довгі вертикальні стрічки зображень. Тут відсутнє поняття «сторінки», і саме верстка, залишені порожні місця та поділ на речення формують ритм оповіді.

Наш AI-пайплайн має вміти «споживати» всі ці формати й уніфікувати їх у оброблювані візуальні та текстові дані.

Виклик другий: справжнє вузьке місце — 20% переклад, 80% «обробка зображень»

Досліджуючи робочі процеси традиційних груп ханізації або професійних локалізаційних команд, ми виявили вражаючий факт: суто текстовий переклад (Translation) може становити лише 20% загального обсягу роботи. Справжнє вузьке місце полягає у двох творчих етапах, які здебільшого залежать від ручної праці:

1. Король больових точок: перемалювання (Redrawing)

Проблема: Звукові ефекти (SFX, як-от «Бум!», «Свист») у коміксах є частиною мистецтва, вони глибоко інтегровані з фоном, лініями персонажів і навіть спецефектами.
Ручна каторга: це не можна просто “закрити”. Редравер повинен запускати Photoshop і, як реставратор артефактів, за допомогою штампу та пензля вручну перемальовувати прихований фон. Складний розтягнутий по двох сторінній розгортці звуковий ефект може вимагати у досвідченого художника кілька годин роботи.

2. Клопітке мистецтво: верстка (Typesetting)

Проблема: Японська та корейська мови зазвичай дуже лаконічні, але при перекладі на китайську чи англійську довжина тексту суттєво зростає.
Ручне пекло: Тайпсетерам доводиться вручну “втискати” довший переклад у фіксовані за розміром діалогові вікна (бабли). Це вимагає багаторазового коригування розміру шрифту, переносу рядків та міжлітерного інтервалу, щоб забезпечити читабельність і не порушити естетику зображення. У вебтунах це також включає редизайн ритму вертикального читання.

Традиційні AI-інструменти перекладу тут абсолютно безсилі. Word-документи, які вони генерують, майже не мають практичної користі для ретушерів та тайпсетерів.

Наше рішення: інтегрований рушій «商译 AI»

Дизайнерська концепція Shangyi AI(商译 AI) полягає в тому, що: ми надаємо не просто переклад, а «фінальний продукт».

Щоб цього досягти, ми створили інтелектуальний рушій, що об’єднує OCR, AI-рендеринг та відновлення макету:

1. “Піксельний” OCR і аналіз макету

Наш перший крок — це не переклад, а «деконструкція».

Наша технологія OCR не лише розпізнає текст, але, що важливо, виконує аналіз макету (Layout Analysis). Вона точно розрізняє:

Текст у діалогових балонах (Balloon Text): знаходиться всередині балонів, потребує перекладу й заміни.
Артистичний текст (Artistic Text/SFX): Розміщується поверх зображення, потребує «стирання» та «перемалювання».

Одночасно система враховує порядок читання (у манзі – справа наліво, у вебтунах – зверху вниз), формуючи індекс для подальшого опрацювання.

2. «Інтелектуальна гумка»: AI-перемальовування та генеративне заповнення

Це наша ключова технологія. Коли OCR ідентифікує SFX і видаляє його, залишену «порожнечу» одразу обробляє наша AI-модель інпейнтингу (Inpainting).

Як це працює? Ми не використовуємо загальні AI-моделі, а впровадили спеціалізовану модель, натреновану на великій кількості манґи зі стильовими лініями та растровою тональністю. Він може «розуміти» художній стиль манґи (товщина ліній, штрихування тіней, щільність растрових точок) і генеративно «доповнювати» фонові та крайові області.
Ефект: Для простих фонів він виконує це миттєво. У випадках із складним перекриттям ліній персонажів результати його роботи також значно знижують потребу в ручному доопрацюванні. Це безпосередньо вирішує головну проблему «перемальовування».

3. «Інтелектуальний верстальник»: технологія відновлення макету

Переклад — це не просто вставити текст назад. Наш двигун відновлення макету (Document Reconstruction Engine) бере на себе завдання «вписування тексту».

Як це працює? Движок аналізує шрифт, розмір шрифту та вирівнювання оригінального тексту. Після отримання (зазвичай довшого) перекладу він автоматично обчислює оптимальні перенос рядків і масштабування розміру шрифту, щоб ідеально пристосуватися до простору оригінальної репліки, водночас забезпечуючи найвищу читабельність.
Спеціальна оптимізація для вебтунів: Для вебтунів наш рушій особливо стежить за «відчуттям дихання» вертикального потоку, забезпечуючи таке поділ на речення й залишення порожніх місць, яке відповідає ритму читання на мобільних пристроях.

4. «Переклад із душею»: контекстна обізнаність

І лише після цього йде переклад. Наш модуль перекладу тісно інтегрований із згаданим вище візуальним аналізом. Під час перекладу він знає такі відомості:

«Цей текст походить із вибухоподібної бульбашки.»(Під час перекладу слід використовувати різкішу інтонацію)
«Цей текст походить із хмарки думок.»(Слід використовувати внутрішній монолог)
«Усі репліки цього персонажа.»(Дотримуватися послідовності манери мовлення персонажа)

Висновок

Місія «Комікс AI» полягає у використанні штучного інтелекту, щоб перетворити локалізацію коміксів з трудомісткої «ручної майстерні» на ефективний «автоматизований індустріальний процес». Ми добре усвідомлюємо, що ШІ не здатен на 100% замінити людське художнє чуття, але ми прагнемо звільнити творців і перекладачів від 80% рутинної механічної праці, щоб вони могли зосередитися на 20% найважливішої креативної та культурної трансляції.

Ми вирішуємо не лише питання перекладу, а й проблему художньої продуктивності.

Про Shangyi AI(商译 AI) >>

Відвідайте Shangyi AI(商译 AI), щоб завантажити документ і одразу безкоштовно протестувати сервіс.>>

Стратегія перекладу PDF-документів: вирішення проблем із форматуванням і точна реконструкція верстки та змісту