Série de causeries sur l'IA, épisode 1 : LLM — Pourquoi le moment est-il venu pour l'IA ?
Bienvenue dans le premier article de blog de notre série de discussions sur l'IA, où nous partagerons les idées et les prédictions des cofondateurs et des experts de LILT sur l'IA. Pendant les prochaines semaines, vous pouvez vous attendre à mieux comprendre les grands modèles de langage, des tendances à venir dans l'industrie de la localisation et des implications commerciales de l'IA générative. Lançons-nous !
Quelques informations sur nos experts : les fondateurs de LILT, Spence Green et John DeNero se sont réunis chez Google, tout en travaillant sur le programme de Google Translate. Étant chercheurs à Stanford et à Berkeley, ils ont tous deux travaillé sur la technologie de langage naturel dans le but de rendre l'information accessible à tous. Ils ont été stupéfaits d'apprendre que Google Translate n'était pas utilisé pour les produits et services d'entreprise au sein de l'entreprise et ont décidé de créer leur propre entreprise pour répondre à ce besoin.
La base technologique de LILT est similaire à ChatGPT et Google Translate, avant notre IA brevetée et notre rétroaction adaptée aux humains. Nous avons discuté avec Spence et John pour en savoir plus sur les grands modèles de langage et leurs réflexions sur l'IA.
Qu'est-ce que ChatGPT a fait à l'industrie depuis son introduction il y a quelques mois, et est-ce que quelque chose est vraiment différent maintenant ?
John : Il y a eu beaucoup de changements au cours des dernières années. Je ne suis pas sûr qu'il y ait eu beaucoup de changements au cours des derniers mois, mais au cours des dernières années, nous avons enfin vu l'un des principaux objectifs de l'IA, à savoir un système capable d'apprendre des données sans trop restreindre ce qu'il apprend des données. C'est incroyable. Chaque fois que vous faites quelque chose d'intelligent, vous devez avoir une représentation du monde qui est pertinente pour ce que vous essayez de faire. Et maintenant, nous avons des ordinateurs qui peuvent choisir avec précision leur propre représentation afin de faire ce que nous leur demandons.
Spence : Vous savez, avec ChatGPT notamment, le document GPT-3 est sorti en 2020. La création de ces modèles de langage à grande échelle n'est donc pas une avancée majeure au cours des deux derniers mois. Au cours des 10 dernières années, nous avons eu l'habitude de créer des systèmes et des modèles vraiment spécifiques à certaines tâches. Maintenant, avec l'apprentissage en profondeur, vous pouvez utiliser un cadre d'apprentissage plus général pour beaucoup de tâches différentes, ce qui est vraiment un énorme changement par rapport à ce qui se faisait il y a cinq ou six ans.
John : Je pense qu'il y a eu une grande innovation avec ChatGPT. Ce n'était pas tant une innovation d'IA. Il s'agissait plus d'une innovation d'interface, comme sa configuration, de sorte que les gens puissent interagir avec lui d'une manière qu'ils comprenaient et avec laquelle ils étaient à l'aise, sans beaucoup de formation.
Comment définissez-vous les grands modèles de langage (LLM) et l'IA générative ?
John : L'IA générative est un système informatique qui peut générer des choses que seuls les gens pouvaient générer auparavant : l'art, les photographies, les essais et les traductions. Donc, ce que le mot « génératif » signifie, c'est qu'il peut créer des types de choses pour lesquelles l'expressivité et la créativité humaines étaient autrefois nécessaires.
Chaque fois que vous écrivez un document dans son intégralité ou générez une image entière, vous faites de l'IA générative. Et la chose qui en fait de l'IA, c'est que les résultats sont différents de tous les exemples observés auparavant, parce que l'IA en fait la synthèse. La traduction est définitivement générative, elle est juste assez contrainte par rapport à ce à quoi les résultats devraient ressembler.
Un grand modèle de langage a observé de grandes quantités de texte, généralement à partir du Web, et est configuré pour synthétiser de nouveaux textes en fonction des modèles observés.
Et cela peut vraiment produire deux choses. Cela peut donner des résultats similaires à la lecture, c'est-à-dire que l'IA peut coder du texte que vous avez fourni afin de comprendre le contexte pour générer de nouveaux textes, avant de générer de nouveaux textes.
Pouvez-vous expliquer la différence entre l'IA générale et l'IA spécifique et comment cela s'applique à quelque chose comme ChatGPT et LILT ?
John : Un modèle de traduction ressemble donc à un modèle de langage de grande taille, sauf que le contenu est dans une langue différente de celle générée. Et il se trouve que les modèles de traduction sont excellents dans un domaine particulier, qui est la traduction, alors que les modèles de langage peuvent être utilisés pour beaucoup de choses différentes, parce que vous pouvez poser une question et que l'IA génère une réponse.
À quoi ressemble l'avenir et pourquoi l'attendez-vous avec impatience ? À quoi pouvons-nous nous supposer que l'IA générative et les LLM ressembleront dans 5 ans ?
John : Si je pense au-delà de LILT, il y a des cas où le travail des gens se divise en la partie vraiment intéressante où ils ont besoin de leur expertise pour le faire, et il y a une certaine corvée à devoir rédiger un rapport sur ce qu'ils ont fait. Cela ressemble à ce qu'une machine pourrait faire, si seulement la machine pouvait écrire du texte. Maintenant, nous avons des machines qui peuvent écrire du texte, et il se pourrait que quelqu'un qui se trouve dans cette position puisse passer plus de temps à faire les choses dont il se soucie réellement. Par exemple, un médecin pourrait passer plus de temps avec des patients et moins de temps à rédiger des rapports médicaux par la suite, parce qu'une partie de cette tâche serait assistée par l'IA.
Spence : Je pense que l'une des choses qui m'enthousiasment chez LILT, dont nous avons parlé il y a très longtemps et qui a en quelque sorte motivé le travail que nous avons fait sur la correction des erreurs grammaticales, est de se débarrasser de la notion de guide de style et d'apprendre à partir des données et du texte précédent généré par une entreprise. Ce serait génial si le système pouvait lire des textes en anglais et dire : « C'est le guide de style, et c'est ainsi que nous le générons en français. »
* * *
Merci de discuter, Spence et John ! Alors que les entreprises s'approprient le changement et les opportunités qui s'offrent à elles, il deviendra de plus en plus important pour les équipes et les dirigeants du monde entier d'investir dans les technologies d'IA pour rester compétitifs. Écoutez le prochain épisode de notre série sur l'IA pour une exploration plus approfondie de l'IA, des grands modèles de langage et de leur impact sur l'industrie de la traduction.
