Serie de conversaciones sobre IA, episodio 1: LLM, ¿por qué este es el momento de la IA?
Te damos la bienvenida a la primera publicación de blog de nuestra serie de conversaciones sobre IA, donde compartiremos ideas y predicciones sobre IA de los cofundadores y expertos de LILT. Durante las próximas semanas, obtendrás una comprensión más profunda de los modelos de lenguaje de gran tamaño, las próximas tendencias en la industria de la localización y las implicaciones comerciales de la IA generativa. ¡Empecemos ya!
Un poco de historia sobre nuestros expertos: los fundadores de LILT, Spence Green y John DeNero se conocieron en Google, mientras trabajaban en el programa de Google Translate. Como investigadores de Stanford y Berkeley, ambos tienen experiencia trabajando con tecnología de lenguaje natural para que la información sea accesible para todos. Les sorprendió saber que Google Translate no se usaba para productos y servicios empresariales dentro de la empresa y se fueron para comenzar su propia empresa con el fin de abordar esta necesidad: LILT.
La base de la tecnología de IA de LILT es similar a la de ChatGPT y Google Translate, antes de nuestra IA contextual patentada, el enfoque que prioriza el uso de conectores y la retroalimentación adaptada a los humanos. Hablamos con Spence y John para aprender más sobre los modelos de lenguaje de gran tamaño y sus opiniones sobre la IA.
¿Qué impacto ha tenido ChatGPT en la industria desde su introducción hace unos meses? ¿Hay algo realmente diferente ahora?
John: Ha habido muchos cambios en los últimos años. No estoy seguro de que haya habido muchos cambios en los últimos meses, pero en los últimos años, hemos visto que uno de los principales objetivos de la IA finalmente se ha realizado: tener un sistema que pueda aprender de los datos sin restringir mucho lo que aprende de ellos. Es increíble. Cada vez que haces algo inteligente, tienes que tener una representación del mundo que sea relevante para aquello que estás tratando de hacer. Y ahora tenemos computadoras que pueden elegir con exactitud su propia representación para hacer lo que les pidamos.
Spence: Sabes, con ChatGPT en particular, el documento sobre GPT-3 se publicó en 2020, por lo que la construcción de estos modelos de lenguaje a gran escala no es un avance en los últimos dos meses. En el transcurso de los últimos 10 años, solíamos construir sistemas y modelos realmente específicos para cada tarea. Ahora, con el aprendizaje profundo, puedes usar un marco de aprendizaje más general para muchas tareas diferentes, lo cual es realmente un cambio enorme con respecto a cinco o seis años atrás.
John: Creo que hubo una gran innovación con ChatGPT. Pero no fue necesariamente una innovación de IA. Fue más bien una innovación de interfaz, o sea, una forma de configuración para que las personas pudieran interactuar con ella, entenderla y sentirse cómodas sin mucha capacitación.
¿Cómo definen los modelos de lenguaje de gran tamaño (LLM) y la IA generativa?
John: La IA generativa es un sistema informático que puede generar cosas que antes pensábamos que solo las personas podían generar: arte, fotografías, ensayos y traducciones. Por lo tanto, lo que la palabra «generativa» significa es que puede generar el tipo de cosas para las cuales se requería formalmente la expresividad y la creatividad humanas a la hora de crear.
Cada vez que escribes un documento completo o generas una imagen completa, estás haciendo IA generativa. Y lo que hace que sea IA es que los resultados son diferentes respecto de cualquiera de los ejemplos que ha visto antes porque está haciendo esa síntesis. La traducción es definitivamente generación: simplemente, está bastante limitada en lo que respecta a cómo deberían ser los resultados.
Un modelo de lenguaje de gran tamaño ha observado grandes cantidades de texto, generalmente de la web, y está configurado para sintetizar texto nuevo según los patrones que ha observado.
Y realmente puede hacer dos cosas. Puede hacer algo parecido a la lectura, o sea, que puede codificar el texto que proporcionaste para averiguar el contexto con el fin de generar texto nuevo, y luego puede generar texto nuevo.
¿Puedes explicar la diferencia entre la IA general y la específica, y cómo eso se aplica a algo como ChatGPT frente a LILT?
John: Entonces, un modelo de traducción se parece a un modelo de lenguaje de gran tamaño, excepto que el contenido está en un idioma diferente al que se genera. Y sucede que los modelos de traducción son buenos para una cosa en particular, que es la traducción, mientras que los modelos de lenguaje se pueden usar para muchas cosas diferentes, ya que puedes poner cualquier pregunta en la entrada y luego generará una respuesta.
¿Cómo se ve el futuro y por qué están entusiasmados? ¿Cómo creen que se verán los LLM + la IA generativa en 5 años?
John: Si pienso más allá de LILT, hay casos en los que el trabajo de las personas se divide en la parte realmente interesante donde necesitan su experiencia para hacerlo, y luego hay una cierta cantidad de trabajo pesado al tener que escribir un informe sobre lo que hicieron. Es casi como si una máquina pudiera hacerlo, si la máquina pudiera escribir texto. Ahora tenemos máquinas que pueden escribir texto, por lo que podría ser que alguien en esa posición pueda pasar más tiempo haciendo las cosas que realmente le importan. Por ejemplo, un médico podría pasar más tiempo reuniéndose con pacientes y menos tiempo escribiendo informes médicos después, ya que en parte estaría asistido por la IA.
Spence: Creo que una de las cosas que me entusiasman dentro de LILT, que es algo de lo que hablamos hace mucho tiempo y de alguna manera motivó el trabajo que hicimos sobre la corrección de errores gramaticales, es deshacernos del concepto de una guía de estilo y, en cambio, aprender de los datos y el texto previo que genera un negocio. Sería genial si el sistema pudiera leer textos previos en inglés y decir: «Esta es la guía de estilo, y así es como la generamos en francés».
* * *
¡Gracias por la conversación, Spence y John! A medida que las empresas continúan adoptando el cambio y las oportunidades que se avecinan, será cada vez más importante que los equipos y líderes globales inviertan en tecnologías de IA para seguir siendo competitivos. Sintoniza el próximo episodio de nuestra serie de IA para explorar más a fondo la IA, los modelos de lenguaje de gran tamaño y su impacto en la industria de la traducción.
