Aujourd'hui, nous sommes ravis d'annoncer le moteur d'IA contextuelle LILT, un nouveau modèle de langage génératif qui met en œuvre l'apprentissage en contenu. Avec 5 fois plus de paramètres que le précédent modèle LILT qu'il remplace, l'IA contextuelle alimente les flux de travail de localisation d'entreprise vérifiés (avec une vérification humaine) et instantanés (entièrement automatiques). L'IA contextuelle surpasse GPT-4 et Google Translate tout en restant plus de 1000 fois plus compacte que GPT-4, ce qui signifie que les clients autogérés de la plateforme d'IA LILT peuvent se déployer sur leur propre ordinateur.
Le moteur d'IA contextuelle prend en charge les deux fonctionnalités clés pour accélérer les flux de travail de localisation : l'ICL et l'achèvement rapide en temps réel. D'abord, l'ICL élimine le besoin de cycles de formation manuels. Les retours de linguistes humains, qui vérifient l'exactitude et la factualité de la traduction, sont intégrés au modèle en temps réel. Ensuite, les nouveaux modèles complètent, en temps réel, les incitations de ces linguistes humains. Ces modèles sont déployés sur des infrastructures distribuées à l'échelle mondiale, ce qui permet une ICL rapide et un achèvement prompt dans toutes les régions.
L'architecture du système est un modèle de transformateur préformé génératif [1] conçu spécifiquement pour la traduction avec un réseau de codage pour comprendre la source et un réseau de décodeur pour générer le résultat. La LCI est mise en œuvre par l'intermédiaire de couches adaptatrices de réglage précis [2] dans le réseau immédiatement après qu'un linguiste ait terminé une phrase, de sorte que le modèle ingère les informations provenant de toutes les données fournies par l'utilisateur. Cela diffère de l'approche de GPT-4 pour apprendre à partir des données des utilisateurs (apprentissage par la suite), qui est limitée à l'apprentissage à partir de moins de dix exemples. Nous avons étendu cette approche de pointe de l'ICL avec des fonctionnalités spécifiques à la localisation, telles que le transfert de balisage bilingue automatique [3] et la correction automatique de la traduction humaine [4].
L'IA contextuelle maintient des modèles contextualisés distincts pour chaque client et type de contenu (par exemple, des textes juridiques, des descriptions de produits, du marketing créatif, etc.) qui sont immédiatement déployés via une architecture multiniveau de mise en cache. Elle gère également les exigences de contenu de langue d'entreprise, telles que la préservation des majuscules et des balises, le respect de la terminologie et des contraintes de DNT (ne pas traduire) et la connexion transparente à des dizaines de plateformes de contenu.
Une autre nouvelle caractéristique de cette génération de modèles est qu'ils intègrent des contraintes de terminologie d'une manière qui est sensible à la fois aux préoccupations du contexte et de la langue, de sorte que les termes sont correctement infléchis et formatés et que le texte entourant le terme est adapté pour la fluidité et la précision. Cette approche est similaire à la façon dont un linguiste professionnel utilise la terminologie : il intègre tout le contexte pertinent à chaque décision de génération de texte.
L'IA contextuelle obtient déjà des résultats notoires dans des flux de travail réels. Par exemple, pour tous les flux de travail des clients LILT de l'anglais à l'allemand, la précision de la prédiction des mots (WPA) [5], c'est-à-dire le nombre de mots correctement prédits par l'IA et qui n'ont donc pas besoin d'être tapés par un humain, a été améliorée de 77,4 % à 85,0 % après le déploiement du nouveau modèle. Autrement dit, les linguistes doivent seulement taper 3 mots sur 20 en moyenne, tandis que le reste est généré automatiquement par l'IA contextuelle.
En outre, la nouvelle génération de modèles de traduction montrent une meilleure qualité, en particulier en ce qui concerne les dépendances à longue distance, la fluidité et l'ajustement à l'entrée de l'utilisateur, comme démontré dans les exemples suivants.
Dépendance à longue distance / exemple de maîtrise
V1 :
V2 :
Exemple de maîtrise
V1 :
V2 :
Exemple de réglage de l'entrée de l'utilisateur
V1 :
V2 :
Nous avons également comparé l'IA contextuelle à Google Translate et GPT-4 sur le Corpus ACED [6]. ** Nous signalons les scores BLEU et de COMET sur les données de localisation réelles de l'entreprise [7]. Google et GPT-4 ont été interrogés via leurs API respectives. Pour GPT-4, nous avons implémenté l'ICL comme floue pour l'invitation en 5 coups. Pour y parvenir, l'équipe a construit un générateur d'invitation personnalisé en fonction de la bibliothèque de transformateurs de phrase [8].
** REMARQUE : le corpus ACED se compose de données Web publiques datant de 2020. Comme l'ensemble de formation de GPT-4 comprend des données Web jusqu'en 2021, les scores de GPT-4 peuvent être embellis.
Pour GPT-4, l'ICL améliore les performances de manière significative. L'ICL de l'IA contextuelle obtient les meilleurs résultats pour les deux ensembles de tests.
Voici une phrase d'exemple qui compare GPT-4 à l'IA contextuelle. GPT-4 manque l'accord de genre pour l'article avant « SpEVA™-Einlegesohle » (« Ein » vs « eine »). L'IA contextuelle utilise correctement le terme pour « internal heel counter. » La traduction de « bounce-back » semble également plus naturelle en allemand.
L'IA contextuelle LILT produit des résultats de pointe pour des cas d'utilisation vérifiés de la localisation en entreprise. Nous sommes ravis que tous les gens essayent ce nouveau système et nous fassent parvenir leurs retours.
Références
[1] https://arxiv.org/abs/1706.03762
[2] https://arxiv.org/abs/1909.08478
[3] https://aclanthology.org/2021.findings-emnlp.299
[4] https://aclanthology.org/2022.naacl-main.36/
[5] https://aclanthology.org/2016.amta-researchers.9.pdf
[6] https://aclanthology.org/2022.naacl-main.36/
