Infos pour
Accès direct
UFR
Le texte suivant a été traduit automatiquement de l'allemand et n'a pas été post-édité.
Les grands modèles linguistiques (Large Language Models, LLM) – la technologie qui sous-tend des outils tels que ChatGPT et Claude, utilisés quotidiennement par des millions de personnes – ne révèlent leur plein potentiel qu’après un ajustement approfondi. Cette étape, connue dans le milieu scientifique sous le nom de « fine-tuning » ou « post-entraînement », permet de spécialiser un modèle dans de nouveaux domaines d’expertise, de nouvelles langues ou de nouvelles tâches, et garantit qu’il soit plus sûr et mieux adapté aux besoins humains. Pourtant, bien que presque toutes les applications pratiques reposent sur cet ajustement, on en sait étonnamment peu à ce jour sur quand, pourquoi et comment il fonctionne réellement. C’est précisément là qu’interviennent les recherches de Marius Mosbach.
Son objectif est de faire passer l’adaptation des modèles linguistiques d’un ensemble de recettes empiriques à une science fondée, et d’utiliser cette compréhension pour développer des systèmes d’IA plus fiables et plus adaptables. Son travail s’articule autour de trois axes : d’une part, il s’intéresse à l’interprétabilité des modèles, c’est-à-dire à la manière dont les modèles linguistiques fonctionnent en interne et à la façon dont l’adaptation les modifie. Mais Marius Mosbach s’intéresse également à la question de la généralisation, c’est-à-dire à la question de savoir quand et pourquoi les modèles fonctionnent de manière fiable même en dehors de leurs données d’entraînement. Il explore également le domaine de l’apprentissage continu, dans lequel les systèmes continuent d’apprendre de manière dynamique même après la fin de l’entraînement, peuvent actualiser les connaissances obsolètes et s’améliorer au fur et à mesure de leur utilisation. Il tient particulièrement à rendre la recherche sur l’interprétabilité des systèmes d’IA applicable dans la pratique.
Dans les milieux spécialisés, Marius Mosbach s’est notamment fait connaître grâce à LLM2Vec, un procédé permettant de transformer de grands modèles linguistiques en encodeurs de texte performants. Par ailleurs, ses travaux fondamentaux sur la stabilité du « fine-tuning » de modèles linguistiques tels que « Bert » ont suscité un vif intérêt.
À l’Université de la Sarre, Marius Mosbach met en place un nouveau groupe de recherche au sein du département des sciences et technologies du langage du Saarland Informatics Campus. Parallèlement, il occupera le poste de directeur scientifique au Centre de recherche allemand pour l’intelligence artificielle (DFKI), ce qui lui permettra d’être étroitement impliqué dans le paysage international de la recherche et dans les travaux sur l’IA menés sur ce site.
Marius Mosbach a reçu de nombreuses distinctions pour ses travaux, en collaboration avec ses coauteurs, notamment le « Best Paper Award » lors de la conférence COLING 2022, le « Best Theme Paper Award » lors de l'ACL 2023 ainsi que le « Most Interesting Paper Award » lors du BabyLM Challenge 2023. Marius Mosbach prendra ses fonctions à l'Université de la Sarre le 1er octobre 2026.
Brève biographie
Marius Mosbach a étudié l'informatique à l'Université de la Sarre, où il a également obtenu son doctorat à la Faculté de mathématiques et informatique. Il a ensuite mené des recherches en tant que post-doctorant au Mila – Institut d'IA du Québec et à l'Université McGill à Montréal (Canada). Marius Mosbach prendra ses fonctions de professeur à l’Université de la Sarre et de directeur scientifique au Centre de recherche allemand pour l’intelligence artificielle (DFKI) le 1er octobre.
