Ako zistím, či je preklad AI kvalitný? Poskytuje Shangyi AI hodnotenie kvality (QE)?
“Pri hromadnom preklade tisícok súborov nie je možné, aby ich používateľ čítal jeden po druhom. Potrebujú mechanizmus na rýchle rozpoznanie súborov, pri ktorých môže dôjsť k zlyhaniu.”
Analýza základných príčin
Automatizované hodnotenie na základe COMET/Kiwi
Po vygenerovaní prekladu Shangyi AI spúšťa ľahký model QE (Quality Estimation). Tento model nie je závislý od referenčného prekladu, skóruje priamo na základe sémantickej zhody medzi zdrojovým textom a prekladom. Odseky s príliš nízkym skóre budú označené ako „vysoké riziko“.
Detekcia neistoty
LLM pri generovaní produkuje logprobs (logaritmické pravdepodobnosti). Ak má AI pri každom slove vo vete veľmi nízku mieru dôvery, systém určí, že veta môže obsahovať halucinácie alebo je ťažko preložiteľná, a zvýrazní ju v editore, aby upozornil na potrebu dôkladného manuálneho overenia.
Kontrola konzistencie formátu
Systém tiež automaticky kontroluje technické chyby: napríklad, ak sú v pôvodnom texte 3 čísla, v preklade iba 2; ak je na konci pôvodného textu otáznik, či nebol v preklade vynechaný. Tieto tvrdé kritériá sú tiež súčasťou hodnotenia kvality.
Zhrnutie konečného riešenia
Kvantifikácia kvality prekladu na základe údajov umožňuje cielenú post-editáciu (PE) a viacnásobne zvyšuje efektivitu práce.