Infos pour
Accès direct
UFR
L'architecture fondamentale des modèles de langage doit être repensée. Avant de la modifier, il est nécessaire de mieux comprendre la structure actuelle sur le plan théorique. Le chercheur se penche sur cette question grâce à une subvention de 1,4 million d'euros du programme Emmy Noether de la Fondation allemande pour la recherche (DFG).
Le texte suivant a été traduit automatiquement de l'allemand et n'a pas été post-édité.
Tous les grands modèles linguistiques sont actuellement basés sur ce qu'on appelle l'architecture Transformer. Celle-ci s'inspire de la capacité humaine à prêter attention aux informations pertinentes et à ignorer les détails moins importants. Ceci est calculé par des méthodes mathématiques en ne prêtant attention qu'aux données qui semblent significatives pour la question posée. « Les réseaux neuronaux sous-jacents imitent ainsi une autre capacité humaine, à savoir penser par associations, c'est-à-dire relier entre elles des idées et des souvenirs », explique Michael Hahn, professeur de linguistique informatique à l'Université de la Sarre. Pour ce faire, l'IA recherche des modèles dans d'énormes bases de données et établit des liens entre eux. Grâce à un entraînement constant, la machine apprend à trouver le bon ensemble de données au bon endroit afin d'obtenir un résultat encore plus précis.
« C'est précisément là que des erreurs graves peuvent survenir si l'association de l'IA était erronée. Cependant, ces liens erronés peuvent également être causés par le fait que les réseaux neuronaux ne disposent jusqu'à présent que d'un nombre fixe de couches dans lesquelles les algorithmes sont calculés. Cela limite les résultats », explique Michael Hahn à l' . Avec son équipe, le chercheur en informatique a déjà pu fournir un justificatif mathématique montrant que les réseaux neuronaux commettent systématiquement des erreurs. Celles-ci ne peuvent être éliminées ni par un entraînement supplémentaire sur de grandes bases de données, ni par de meilleures invites, c'est-à-dire des instructions plus précises à l'IA.
Les grands modèles linguistiques actuels atteignent donc leurs limites, ce que Michael Hahn attribue principalement à trois lacunes. « D'une part, les modèles ont du mal à comprendre un état changeant. Ils ne font pas de mises à jour lorsque la situation a changé. Nous avons testé cela à l'aide d'un exemple simple : plusieurs personnes se passent deux livres différents au sein de leur groupe et l'IA doit finalement dire qui tient quel livre dans ses mains. Plus il y avait de tours, moins l'IA était précise », explique le professeur. Transposée aux assistants IA déjà utilisés en médecine, cette faiblesse des modèles linguistiques est plus que préoccupante. « Dans de tels systèmes, différents diagnostics, médicaments administrés et examens, tels que des analyses de sang, sont reliés entre eux. Si l'IA ne classe pas correctement la chronologie, les résultats des tests et les médicaments qui en découlent, cela peut être dangereux pour le patient », cite Hahn comme exemple.
Le deuxième déficit des « grands modèles linguistiques » actuels peut être considéré comme tout aussi problématique. « À ce jour, l'IA n'est pas capable de penser de manière logique. L'exemple de la médecine illustre bien ce problème : si l'IA veut sélectionner le bon médicament pour un tableau clinique donné à partir d'une grande base de données, elle doit être capable de déduire les symptômes correspondants. Pour établir un diagnostic, une assistance IA doit également connaître les règles selon lesquelles un médecin exclut d'abord certaines maladies. Une telle approche systématique, basée sur des règles logiques, ne peut pas encore être reproduite via des réseaux neuronaux », explique Michael Hahn.
Le linguiste informatique estime que les résultats de l'IA sont encore moins fiables lorsqu'il s'agit du troisième domaine problématique qu'il a défini : « Jusqu'à présent, les grands modèles linguistiques échouent souvent à traiter de manière pertinente des entrées complexes et imbriquées. Cela est particulièrement visible dans le domaine juridique, lorsqu'il s'agit d'évaluer sur quelle base juridique et dans quel contexte temporel une personne a causé un préjudice à une autre personne ou à une entreprise. Ces chaînes de pensées, souvent difficiles à comprendre même pour les humains, ne peuvent jusqu'à présent être traitées sans erreur à l'aide des réseaux neuronaux », souligne Michael Hahn.
Dans le cadre de son projet de recherche, qu'il souhaite désormais mener dans le cadre du programme Emmy Noether, il se concentrera dans un premier temps sur les fondements théoriques de l'architecture Transformer. L'objectif est de mieux comprendre le contexte des mathématiques qui permet aux réseaux neuronaux d'aboutir à leurs résultats. Pour cela, il souhaite également étudier le nombre de couches dont ces réseaux doivent disposer pour pouvoir agir de manière plus « intelligente ». Dans un deuxième temps, il souhaite mener des recherches sur des systèmes hybrides, voire concevoir des architectures entièrement nouvelles qui présentent des capacités plus prévisibles et fonctionnent de manière plus fiable et plus performante que les « grands modèles linguistiques » actuels.
Avec le programme Emmy Noether, la Deutsche Forschungsgemeinschaft (DFG) soutient les jeunes chercheurs qui ont obtenu leur doctorat il y a moins de quatre ans, qui ont une expérience internationale et qui ont suivi une formation postdoctorale. Le linguiste informatique Michael Hahn, originaire de Sarrebruck, reçoit désormais 1,4 million d'euros pour créer un groupe de recherche Emmy Noether. Avec cinq doctorants, il se concentrera sur le thème de recherche « Comprendre et surmonter les limites architecturales des modèles linguistiques neuronaux ». Pour l'année 2025, il s'agit déjà du troisième groupe Emmy Noether approuvé pour la recherche en informatique à Sarrebruck. Les deux autres groupes ont récemment démarré leurs activités à l'Institut Max Planck d'informatique (voir communiqué de presse du 29/10/25). Une telle concentration sur un seul site est inhabituelle : l'année dernière, seuls trois groupes Emmy Noether dans toute l'Allemagne se sont consacrés à des thèmes liés à l'informatique (voir base de données Gepris).
Informations complémentaires :
Programme Emmy Noether de la Communauté allemande de recherche
Département de linguistique et de technologie linguistique de l'Université de la Sarre
Site web personnel du professeur Michael Hahn : https://www.mhahn.info
Pour toute question, veuillez contacter :
Prof. Dr Michael Hahn, chaire de linguistique, informatique et cognition
Tél. 0681 302-4343
E-mail : mhahn(at)lst.uni-saarland.de
