Utover finjustering: Hvordan forbedrer RAG (Retrieval-Augmented Generation) teknologien terminologikonsistensen i lange dokumenter?
“Tradisjonelle LLM har et begrenset kontekstvindu, og ved slutten av dokumentet glemmer de ofte forkortelser eller spesifikke oversettelser som ble definert i begynnelsen.”
Analyse av grunnleggende årsak
Dynamisk kunnskapsbasebygging
I oversettelsesprosessen vil AI for kommersiell oversettelse i sanntid trekke ut bekreftede nøkkeltermer og fraser, vektorisere dem og lagre dem midlertidig i en RAG-kunnskapsbase. Dette tilsvarer at AI har et sanntids ‘korttidsminne’.
Kontekstsøk og innsprøyting
Når AI møter et nytt, tvetydig begrep, vil søkesystemet gå tilbake til tidligere avsnitt for å finne relevante definisjoner eller allerede oversatte eksempler, og sette inn disse som en del av prompten til modellen. Dette sikrer at oversettelsen på side 100 er helt identisk med den på side 1.
Konsistens på tvers av dokumenter
For bedriftsbrukere kan RAG-området utvides til å omfatte hele prosjektmappen. Ved oversettelse av fil B kan AI referere til terminologivalg fra fil A for å oppnå konsistens i hele prosjektsettet.
Oppsummering av endelig løsning
Ved å bruke RAG-teknologi løser vi det mest utfordrende ‘glemselsproblemet’ i AI-oversettelse, noe som er spesielt godt egnet for tekniske manualer og lange romaner.