Mathematisches Kolloquium

Capabilities and Limits of Large Language Models

AI systems based on Large Language Models (LLMs) are showing stunning progress. What are the abilities and limits of these models? I will present an emerging theory, from my group and others, on the capabilities of the underlying neural network architecture — the Transformer. First, I will study which functions this architecture is able to generalizably learn from finite data. Then, I will show bounds on the number of tokens that a Transformer needs to produce to perform specific computations. While the focus is on mathematical results, I will illustrate them with empirical data from Transformers and real-world Large Language Models.

Recovering groups and dynamics from Lp-representations

(Vortrag im Rahmen der Berufungskommission für die Besetzung der Professur für reine Mathematik)

Quantum symmetries of singular curves

(Vortrag im Rahmen der Berufungskommission für die Besetzung der Professur für reine Mathematik)

Index theory and moduli spaces: from analysis to algebraic geometry

(Vortrag im Rahmen der Berufungskommission für die Besetzung der Professur für reine Mathematik)

Invariants of Calabi-Yau 3-folds and beyond

(Vortrag im Rahmen der Berufungskommission für die Besetzung der Professur für reine Mathematik)

Ekeland-Hofer capacities from the Floer-theoretic point of view

(Vortrag im Rahmen der Berufungskommission für die Besetzung der Professur für reine Mathematik)

Hecke L-values of number fields

(Vortrag im Rahmen der Berufungskommission für die Besetzung der Professur für reine Mathematik)

Rational points on varieties and near manifolds

(Vortrag im Rahmen der Berufungskommission für die Besetzung der Professur für reine Mathematik)

Unlikely intersections in algebraic and diophantine geometry

(Vortrag im Rahmen der Berufungskommission für die Besetzung der Professur für reine Mathematik)

Geometric valuation theory from convex bodies to functions

(Vortrag im Rahmen der Berufungskommission für die Besetzung der Professur für reine Mathematik)

Large random matrices, partitions and lozenge tilings

(Vortrag im Rahmen der Berufungskommission für die Besetzung der Professur für reine Mathematik)

Hyperbolic dynamics and oscillatory integrals: connecting themes across pure mathematics

(Vortrag im Rahmen der Berufungskommission für die Besetzung der Professur für reine Mathematik)