Alle großen Sprachmodelle basieren derzeit auf der so genannten Transformer-Architektur. Bei dieser hat man sich an der menschlichen Fähigkeit orientiert, auf relevante Informationen zu achten und nicht so wichtige Details zu ignorieren. Michael Hahn, Professor für Computerlinguistik der Universität des Saarlandes, konnte mathematisch beweisen, dass Transformer bei Aufgaben scheitern, in denen jeder Teil der Eingabe für die Ausgabe relevant ist. Wenn also nur ein einziges Zeichen verändert wird, kann dies das korrekte Ergebnis verändern. Darüber kann der Informatikforscher theoretische Einsichten gewinnen, mit denen man die Stärken und Schwächen von großen Sprachmodellen besser vorhersagen lassen.
Erst kürzlich hatte Michael Hahn für seine Forschung an der Schnittstelle von Maschinellem Lernen und Computerlinguistik 1,4 Millionen Euro von der Deutschen Forschungsgemeinschaft erhalten, um eine Emmy-Noether-Forschungsgruppe zu gründen (siehe Pressemitteilung vom 13.11.25). Der Heinz Maier-Leibnitz-Preis gilt als einer der renommiertesten Preise im deutschsprachigen Raum für Wissenschaftlerinnen und Wissenschaftler in einem frühen Karrierestadium. Er ist mit 200.000 Euro dotiert, die die Preisträgerinnen und Preisträger dabei unterstützen sollen, ihre wissenschaftliche Laufbahn weiter zu verfolgen. Der Preis ist benannt nach dem Physiker und ehemaligen Präsidenten der Deutschen Forschungsgemeinschaft Heinz Maier-Leibnitz und wird seit 1977 vergeben.
Weitere Informationen:
Pressemitteilung der Deutschen Forschungsgemeinschaft
Informationen zum Heinz Maier-Leibnitz-Preis
Persönliche Webseite von Professor Michael Hahn: https://www.mhahn.info
Fragen beantwortet:
Prof. Dr. Michael Hahn
Lehrstuhl für Language, Computation, and Cognition
Tel. 0681 302-4343
E-Mail: mhahn(at)lst.uni-saarland.de

