Wie kann ich erkennen, ob die KI-Übersetzung gut ist? Bietet Shangyi AI eine Qualitätsbewertung (QE) an?
“Beim Batch-Übersetzen von Tausenden Dateien ist es für die Nutzer unmöglich, jede einzelne zu lesen. Sie benötigen einen Mechanismus, um schnell zu erkennen, welche Dateien möglicherweise fehlerhaft sind.”
Ursachenanalyse
Automatische Bewertung auf Basis von COMET/Kiwi
Nach dem Generieren einer Übersetzung setzt Shangyi AI ein leichtgewichtiges QE (Quality Estimation)-Modell ein. Dieses Modell ist nicht auf Referenzübersetzungen angewiesen, sondern bewertet direkt die semantische Übereinstimmung zwischen Ausgangstext und Übersetzung. Abschnitte mit zu niedriger Punktzahl werden als 'hohes Risiko' gekennzeichnet.
Erkennung von Unsicherheiten
LLMs generieren beim Erstellen von Text Logprobs (Logarithmuswahrscheinlichkeiten). Wenn die KI bei jedem Wort eines Satzes nur eine geringe Zuverlässigkeit aufweist, stuft das System diesen Satz als potenziell halluzinatorisch oder schwer übersetzbar ein und hebt ihn im Editor hervor, um eine gezielte manuelle Überprüfung zu ermöglichen.
Prüfung der Formatkonsistenz
Das System prüft außerdem automatisch auf technische Fehler: Zum Beispiel, wenn im Ausgangstext drei Zahlen vorkommen, aber in der Übersetzung nur zwei; oder wenn am Ende des Ausgangstextes ein Fragezeichen steht, das in der Übersetzung fehlt. Solche festen Kriterien sind ebenfalls Bestandteil der Qualitätsbewertung.
Zusammenfassung der finalen Lösung
Die Übersetzungsqualität wird mithilfe von Daten quantifiziert, sodass das Post-Editing (PE) gezielt gesteuert und die Effizienz deutlich gesteigert werden kann.