Hoy nos complace anunciar el motor de IA contextual de LILT, un nuevo modelo de lenguaje generativo que implementa el aprendizaje en contexto (ICL). Con 5 veces más parámetros que el anterior modelo de LILT al que reemplaza, la IA contextual potencia los flujos de trabajo de localización empresarial verificados (con verificación humana) e inmediatos (completamente automáticos). La IA contextual supera a GPT-4 y Google Translate mientras que sigue siendo más de 1000 veces más compacta que GPT-4, lo que significa que los clientes autogestionados de la plataforma de IA de LILT pueden implementarla en sus propios equipos.
El motor de IA contextual admite las dos características clave para acelerar los flujos de trabajo de localización: el ICL y la completación de entradas sugerencias en tiempo real. En primer lugar, el ICL elimina la necesidad de ciclos de reentrenamiento manuales. La retroalimentación de los lingüistas humanos, que verifican la exactitud y la factibilidad de la traducción, se incorpora al modelo en tiempo real. En segundo lugar, los nuevos modelos completan, en tiempo real, las entradas de esos lingüistas humanos. Estos modelos se implementan en una infraestructura distribuida globalmente, lo que permite un ICL rápido y una completación de entradas en todas las regiones.
La arquitectura del sistema es un modelo de transformador [1] preentrenado y generativo, diseñado específicamente para la traducción, con una red de codificadores para comprender la fuente y una red de decodificadores para generar completaciones. El ICL se implementa a través de capas de adaptadores de ajuste [2] dentro de la red inmediatamente después de que un lingüista completa una oración, de modo que el modelo ingiere conocimiento de todos los datos proporcionados por el usuario. Esto difiere del enfoque de GPT-4 para el aprendizaje a partir de los datos del usuario (aprendizaje de pocos disparos), que se limita a aprender de generalmente menos de diez ejemplos. Ampliamos este enfoque de ICL de última generación con una funcionalidad específica de localización, como la transferencia automática de marcado bilingüe [3] y la corrección automática de la traducción humana [4].
La IA contextual mantiene modelos contextualizados separados para cada cliente y tipo de contenido (por ejemplo, legal, descripciones de productos, marketing creativo, etc.) que se implementan inmediatamente a través de una arquitectura de almacenamiento en caché de varias etapas. También maneja los requisitos de contenido del lenguaje empresarial, como la preservación de las etiquetas de mayúsculas y marcado, la adhesión a la terminología y las restricciones de términos DNT (no traducir), y la conexión fluida a docenas de plataformas de contenido.
Otra característica nueva de esta generación de modelos es que incorporan restricciones terminológicas de una manera que es sensible tanto al contexto como a asuntos lingüísticos, de modo que los términos se ajustan y formatean correctamente, y el texto que rodea al término se adapta para lograr fluidez y exactitud. Este enfoque es similar a la forma en que un lingüista profesional utiliza la terminología: incorpora todo el contexto relevante en cada decisión de generación de texto.
La IA contextual ya muestra resultados innovadores en flujos de trabajo del mundo real. Por ejemplo, en todos los flujos de trabajo de clientes de LILT de inglés a alemán, la exactitud de predicción de palabras (WPA) [5], es decir, el número de palabras que la IA predice correctamente y, por lo tanto, no necesita ser tipificada por un humano, mejoró del 77,4 % al 85,0 % después de que implementamos el nuevo modelo. Es decir, los lingüistas necesitan escribir solo 3 de cada 20 palabras en promedio, mientras que el resto se genera automáticamente mediante la IA contextual.
Además, la nueva generación de modelos de traducción muestra una calidad mejorada, especialmente con respecto a las dependencias de larga distancia, la fluidez y el ajuste a la entrada del usuario, como se destaca en los siguientes ejemplos.
Ejemplo de dependencia de larga distancia y fluidez
V1:
V2:
Ejemplo de fluidez
V1:
V2:
Ejemplo de ajuste a la entrada del usuario
V1:
V2:
También comparamos la IA contextual con Google Translate y GPT-4 en el ACED Corpus [6]. ** Informamos tanto las puntuaciones BLEU como las de COMET en los datos de localización empresariales reales [7]. Google y GPT-4 fueron consultados a través de sus respectivas API. En el caso de GPT-4, implementamos el ICL como indicaciones parciales de 5 disparos. Para lograr esto, el equipo construyó un generador de mensajes personalizado basado en la biblioteca de transformadores de oraciones [8].
** NOTA: el corpus de ACED consiste en datos web públicos que datan de 2020. Como el conjunto de entrenamiento de GPT-4 incluye datos web hasta 2021, las puntuaciones de GPT-4 pueden estar infladas.
En el caso de GPT-4, el ICL mejora el rendimiento significativamente. El ICL del motor de IA contextual logra los mejores resultados para ambos conjuntos de prueba.
Aquí hay una oración de ejemplo, que compara GPT-4 con la IA contextual. GPT-4 no capta la concordancia de género para el artículo que viene antes de «SpEVA™-Einlegesohle» («ein» versus «eine»). La IA contextual utiliza correctamente el término para «internal heel counter». La traducción de «bounce-back» también suena más natural en alemán.
La IA contextual de LILT produce resultados de vanguardia para casos de uso de localización empresarial verificados. Nos entusiasma la posibilidad de que todos prueben este nuevo sistema y envíen sus comentarios.
Referencias
[1] https://arxiv.org/abs/1706.03762
[2] https://arxiv.org/abs/1909.08478
[3] https://aclanthology.org/2021.findings-emnlp.299
[4] https://aclanthology.org/2022.naacl-main.36/
[5] https://aclanthology.org/2016.amta-researchers.9.pdf
[6] https://aclanthology.org/2022.naacl-main.36/
