Come posso sapere se la traduzione dell’AI è di buona qualità? Shangyi AI fornisce punteggi di qualità (QE)?
“Durante la traduzione in batch di migliaia di file, non è possibile leggerli tutti individualmente. È necessario disporre di un meccanismo per identificare rapidamente i file che potrebbero contenere errori critici.”
Analisi delle cause principali
Valutazione automatica basata su COMET/Kiwi
Dopo la generazione della traduzione, Shangyi AI esegue un modello QE (Quality Estimation) leggero. Il modello QE non si basa su traduzioni di riferimento, ma attribuisce un punteggio direttamente in base al grado di allineamento semantico tra il testo sorgente e la traduzione. I segmenti con punteggi troppo bassi vengono contrassegnati come 'ad alto rischio'.
Rilevamento dell'incertezza
Durante la generazione, il LLM produce anche i Logprobs (probabilità logaritmiche). Se l’AI presenta una bassa confidenza su ciascuna parola di una frase, il sistema determina che la frase potrebbe essere soggetta a allucinazioni o difficoltà di traduzione e la evidenzia nell’editor, invitando a una verifica manuale approfondita.
Verifica della coerenza del formato
Il sistema esegue anche controlli automatici su eventuali errori tecnici: ad esempio, se nel testo originale sono presenti 3 numeri, ma nella traduzione solo 2; oppure se il testo originale termina con un punto interrogativo che manca nella traduzione. Anche questi parametri oggettivi fanno parte della valutazione della qualità.
Riepilogo soluzione finale
Quantificare la qualità della traduzione tramite i dati permette di rendere il lavoro di post-editing (PE) più mirato ed estremamente più efficiente.