Hoe weet ik of de AI goed vertaalt? Biedt Shangyi AI een kwaliteitsbeoordeling (QE) aan?
“Bij het batchgewijs vertalen van duizenden bestanden is het voor gebruikers niet mogelijk om deze stuk voor stuk te lezen. Ze hebben een mechanisme nodig om snel te identificeren welke bestanden mogelijk ‘mislukt’ zijn.”
Analyse hoofdoorzaak
Automatische score op basis van het COMET/Kiwi-model
Na het genereren van de vertaling voert Shangyi AI een lichtgewicht QE (Quality Estimation) model uit. Dit model is niet afhankelijk van een referentievertaling, maar scoort direct op basis van de semantische overeenstemming tussen de brontekst en de vertaling. Segmenten met een te lage score worden gemarkeerd als ‘hoog risico’.
Onzekerheidsdetectie
Tijdens de generatie produceert het LLM Logprobs (logaritmische waarschijnlijkheden). Als de AI bij elk woord in een zin een zeer lage mate van vertrouwen aangeeft, bepaalt het systeem dat de zin mogelijk hallucinaties bevat of moeilijk te vertalen is, en markeert deze in de editor om nadrukkelijk door een mens te laten herzien.
Opmaakconsistentiecontrole
Het systeem controleert ook automatisch op technische fouten: bijvoorbeeld, als de brontekst drie cijfers bevat, controleert het of de vertaling er slechts twee heeft; of als de brontekst eindigt met een vraagteken, controleert het of dit teken in de vertaling ontbreekt. Deze harde criteria maken ook deel uit van de kwaliteitsbeoordeling.
Samenvatting definitieve oplossing
Kwantificeer vertaalkwaliteit met data, zodat post-editing (PE) doelgericht en efficiënter wordt uitgevoerd.