Heute freuen wir uns, die LILT Contextual AI Engine ankündigen zu können, ein neues generatives Sprachmodell, das In-Context-Learning (ICL) implementiert. Mit fünfmal mehr Parametern als beim vorherigen LILT-Modell, das ersetzt wird, unterstützt kontextbezogene KI die Workflows für verifizierte (mit Verifizierung durch Menschen) und sofortige (vollautomatische) Lokalisierung in Unternehmen. Kontextbezogene KI übertrifft sowohl GPT-4 als auch Google Translate und ist dabei über 1000 x kompakter als GPT-4. Das bedeutet, dass selbstverwaltete Kunden der LILT KI-Plattform auf ihrem eigenen Computer bereitstellen können.
Die kontextbezogene KI-Engine unterstützt die beiden wichtigsten Funktionen zur Beschleunigung von Lokalisierungs-Workflows: ICL und sofortige Fertigstellung in Echtzeit. Erstens macht ICL manuelle Wiederholungszyklen überflüssig. Das Feedback von menschlichen Linguisten, die die Genauigkeit und Sachlichkeit der Übersetzung überprüfen, wird in Echtzeit in das Modell eingebracht Zweitens vervollständigen die neuen Modelle die Eingaben der Linguisten in Echtzeit. Diese Modelle werden auf einer global verteilten Infrastruktur bereitgestellt, was eine schnelle ICL und eine schnelle Fertigstellung in allen Regionen ermöglicht.
Die Systemarchitektur ist ein generatives vortrainiertes Transformator-Modell [1], das speziell für die Übersetzung entwickelt wurde, und zwar mit einem Encoder-Netzwerk zum Verständnis der Quelle und einem Decoder-Netzwerk zum Generieren von Vervollständigungen. ICL wird über Feinabstimmungs-Adapterschichten [2] innerhalb des Netzwerks implementiert, sobald ein Linguist einen Satz vervollständigt, sodass das Modell Wissen aus allen vom Benutzer bereitgestellten Daten aufnimmt. Dies unterscheidet sich vom Ansatz von GPT-4 beim Lernen aus Benutzerdaten (wenige Schritte), der sich auf das Lernen aus normalerweise weniger als zehn Beispielen beschränkt. Wir haben diesen hochmodernen ICL-Ansatz um lokalisierungsspezifische Funktionen wie automatische zweisprachige Markup-Übertragung [3] und automatische Korrektur menschlicher Übersetzung [4] erweitert.
Kontextbezogene KI verwaltet separate kontextbezogene Modelle für jeden Kunden und jeden Inhaltstyp (z. B. Recht, Produktbeschreibungen, kreatives Marketing usw.), die sofort über eine mehrstufige Caching-Architektur bereitgestellt werden. Sie erfüllt zudem die sprachlichen Anforderungen von Unternehmensinhalten, wie die Beibehaltung von Großschreibung und Markup-Tags, die Befolgung von Terminologie und DNTs (Do-not-translate – Wörter, die nicht übersetzt werden) sowie die nahtlose Verbindung zu Dutzenden von Content-Plattformen.
Eine weitere Neuerung dieser Generation von Modellen ist, dass sie Terminologie-Einschränkungen auf eine Weise integrieren, die sowohl den Kontext als auch linguistische Bedenken miteinbezieht, sodass Begriffe korrekt gebeugt und formatiert werden und der Text um den Begriff herum fließend und präzise angepasst wird. Dieser Ansatz ähnelt der Verwendung von Terminologie durch professionelle Linguist:innen: Bei jeder Entscheidung zur Textgenerierung wird der gesamte relevante Kontext berücksichtigt.
Kontextbezogene KI zeigt bereits bahnbrechende Ergebnisse in realen Workflows. Beispielsweise verbesserte sich die Wortvorhersagegenauigkeit (WPA) [5], d. h. die Anzahl der Wörter, die von der KI korrekt vorhergesagt werden und daher nicht von einem Menschen eingegeben werden müssen, in allen LILT-Kunden-Workflows von Englisch nach Deutsch nach der Bereitstellung des neuen Modells von 77,4 % auf 85,0 %. Das heißt, Linguisten müssen durchschnittlich nur 3 von 20 Wörtern eingeben, während der Rest automatisch von kontextbezogener KI generiert wird.
Darüber hinaus produziert die neue Generation von Übersetzungsmodellen eine bessere Qualität, insbesondere in Bezug auf Long-Distance Dependencies (LDD), den Sprachfluss und die Anpassung an Benutzereingaben, wie in den folgenden Beispielen hervorgehoben wird.
Beispiel für Long-Distance Dependencies/Sprachfluss
V1:
V2:
Beispiel für Sprachfluss
V1:
V2:
Beispiel für Anpassung an Benutzereingaben
V1:
V2:
Wir haben kontextbezogene KI auch mit Google Translate und GPT-4 auf dem ACED Corpus verglichen [6]. ** Wir geben sowohl BLEU- als auch COMET-Scores zu tatsächlichen Lokalisierungsdaten von Unternehmen bekannt [7]. Google und GPT-4 wurden über ihre jeweiligen APIs abgefragt. Für GPT-4 implementierten wir ICL als Fuzzy 5-Shot Prompting. Um dies zu erreichen, entwickelte das Team einen benutzerdefinierten Prompt-Generator basierend auf der Satz-Transformatoren-Bibliothek [8].
** HINWEIS: Das ACED-Korpus besteht aus öffentlichen Webdaten, die bis 2020 datiert sind. Da der Trainingssatz von GPT-4 Webdaten bis 2021 enthält, können die GPT-4-Scores überhöht sein.
ICL verbessert die Leistung von GPT-4 erheblich. Kontextbezogene KI-ICL erzielt die besten Ergebnisse für beide Testsätze.
Hier ist ein Beispielsatz, der GPT-4 mit kontextbezogener KI vergleicht. Bei GPT-4 fehlt die Übereinstimmung des Geschlechts beim Artikel vor „SpEVA™-Einlegesohle“ („ein“ anstatt „eine“). Die kontextbezogene KI verwendet den Begriff für „internal heel counter“ korrekt. Die Übersetzung von „bounce-back“ klingt im Deutschen ebenfalls natürlicher.
Die kontextbezogene LILT KI liefert hochmoderne Ergebnisse für verifizierte Anwendungsfälle für die Lokalisierung in Unternehmen. Wir freuen uns darauf, dass jeder dieses neue System ausprobiert und uns Feedback gibt.
Referenzen
[1] https://arxiv.org/abs/1706.03762
[2] https://arxiv.org/abs/1909.08478
[3] https://aclanthology.org/2021.findings-emnlp.299
[4] https://aclanthology.org/2022.naacl-main.36/
[5] https://aclanthology.org/2016.amta-researchers.9.pdf
[6] https://aclanthology.org/2022.naacl-main.36/
