Cum pot ști dacă traducerea realizată de AI este de calitate? Oferă Shangyi AI scoruri de evaluare a calității (QE)?
“La traducerea în masă a mii de fișiere, utilizatorii nu pot parcurge fiecare document în parte. Au nevoie de un mecanism care să permită identificarea rapidă a fișierelor cu potențial ridicat de risc.”
Analiza cauzei fundamentale
Scor automat bazat pe COMET/Kiwi
După generarea traducerii, Shangyi AI rulează un model QE (Quality Estimation) de tip lightweight. Acest model nu depinde de traducerea de referință, ci evaluează direct gradul de aliniere semantică dintre textul sursă și traducere. Paragrafele cu scoruri foarte mici vor fi marcate drept „cu risc ridicat”.
Detectarea incertitudinii
LLM generează Logprobs (probabilități logaritmice) în timpul procesului de generare. Dacă AI-ul are un nivel foarte scăzut de încredere pentru fiecare cuvânt dintr-o propoziție, sistemul va considera că acea propoziție ar putea prezenta halucinații sau dificultăți de traducere, evidențiind-o în editor pentru a atrage atenția asupra unei verificări suplimentare de către un editor uman.
Verificarea consistenței formatului
Sistemul verifică automat și erorile tehnice: de exemplu, dacă textul sursă conține 3 cifre, iar traducerea doar 2; dacă sursa se termină cu semn de întrebare, iar acesta lipsește din traducere. Acești indicatori stricti sunt de asemenea incluși în scorul de calitate.
Rezumatul soluției finale
Cuantificarea calității traducerii pe baza datelor face ca activitatea de post-editare (PE) să fie direcționată și mult mai eficientă.