LARGE LANGUAGE MODELS – WIE KI-SPRACHMODELLE FUNKTIONIEREN, LERNEN UND DIE DIGITALE WELT NEU SCHREIBEN

Was sind Large Language Models?

Ein Large Language Model (LLM) ist ein Deep-Learning-Modell, das auf Basis statistischer Muster in massiven Textkorpora natürlichsprachliche Texte versteht und generiert. Das Fundament ist dabei denkbar simpel: Das Modell lernt, gegeben einen Kontext, das wahrscheinlichste nächste Token vorherzusagen – ein Token entspricht dabei grob einem Wortbestandteil, etwa 0,75 Wörtern im Durchschnitt.

Aus dieser scheinbar trivialen Aufgabe emergieren komplexe Fähigkeiten: Übersetzung, logisches Schlussfolgern, Codegenerierung, Zusammenfassung, Analogiebildung. Dieser Effekt – das unerwartete Auftreten höherer Fähigkeiten jenseits einer kritischen Modellgröße – wird in der Forschung als Emergenz bezeichnet und ist bis heute nicht vollständig verstanden.

Der Begriff „Large" ist dabei relativ und verschiebt sich mit jeder Modellgeneration. Was 2020 mit GPT-3 als gigantisch galt – 175 Milliarden Parameter – ist heute ein mittleres Modell. Aktuelle Spitzenmodelle werden auf über eine Billion Parameter geschätzt, wobei viele Anbieter exakte Zahlen nicht veröffentlichen.

Von n-Grammen zur Transformer-Revolution

Die Geschichte maschinellen Sprachverstehens beginnt weit vor dem KI-Hype. N-Gramm-Modelle der 1990er Jahre schätzten Wortwahrscheinlichkeiten durch reine Auszählung von Zeichenfolgen – ein stochastischer Ansatz ohne Verständnis von Bedeutung.

Meilensteine der Sprachmodellierung

• 2013 – Word2Vec (Google): Wörter werden als Vektoren in einem hochdimensionalen Raum dargestellt. Semantische Ähnlichkeit lässt sich rechnerisch abbilden: „König – Mann + Frau ≈ Königin" funktioniert tatsächlich.
• 2015 – Recurrent Neural Networks (LSTM/GRU): Sequenzielle Architektur, die Kontext über Zeitschritte weitergibt – aber bei langen Sequenzen an Gedächtnislimits stößt.
• 2017 – „Attention Is All You Need": Das epochale Paper von Vaswani, Shazeer, Parmar et al. bei Google Brain und Google Research beschreibt die Transformer-Architektur. Rekurrenz wird vollständig durch Attention-Mechanismen ersetzt.
• 2018 – BERT (Google): Bidirectional Encoder Representations from Transformers – das erste große Pre-training/Fine-tuning-Paradigma für NLP-Aufgaben.
• 2019 – GPT-2 (OpenAI): 1,5 Milliarden Parameter. OpenAI veröffentlichte das Modell zunächst nur gestaffelt aus Bedenken über Missbrauchspotenzial.
• 2020 – GPT-3 (OpenAI): 175 Milliarden Parameter, trainiert auf ~300 Milliarden Token. Erstmals werden Few-Shot-Fähigkeiten ohne Fine-tuning dokumentiert.
• November 2022 – ChatGPT: GPT-3.5-turbo mit RLHF-Fine-tuning als Konversationssystem. Binnen fünf Tagen erreicht es eine Million Nutzer – kein Produkt zuvor wuchs schneller.
• 2023 – GPT-4, Claude 2, Llama 2, Gemini: Multi-Modell-Wettbewerb. Multimodalität (Text + Bild) wird zum Standard der Spitzenklasse.
• 2024 – GPT-4o, Claude 3.5, Gemini 1.5 Pro, Llama 3: Kontextfenster explodieren (1 Million Token bei Gemini 1.5 Pro), Kosteneffizienz steigt stark.
• Januar 2025 – DeepSeek R1: Chinesisches Open-Source-Reasoning-Modell, das mit deutlich geringerem Trainingsaufwand vergleichbare Ergebnisse zu proprietären Spitzenmodellen erzielt und eine Debatte über Trainingseffizienz auslöst.

Transformer-Architektur: Wie Aufmerksamkeit Sprache modelliert

Das Herzstück aller modernen LLMs ist die Transformer-Architektur. Ihr zentrales Konzept ist der Self-Attention-Mechanismus: Für jedes Token in einer Eingabesequenz berechnet das Modell, welche anderen Token besonders relevant sind – und gewichtet deren Informationsbeitrag entsprechend.

Self-Attention: Kontextabhängige Relevanz

Nehmen wir den Satz: „Die Bank kann brechen." – Bedeutet „Bank" hier eine Sitzgelegenheit oder ein Finanzinstitut? Self-Attention analysiert den gesamten Satz und gewichtet die umgebenden Token, um die wahrscheinlichste Bedeutung zu bestimmen. Das geschieht nicht durch hartcodierte Regeln, sondern durch erlernte Gewichtsmatrizen.

Die Berechnung erfolgt über drei Vektoren pro Token: Query (Q), Key (K) und Value (V). Der Attention-Score ergibt sich aus dem Skalarprodukt von Q und K, normiert durch die Quadratwurzel der Vektordimension und durch eine Softmax-Funktion. Das Ergebnis skaliert die V-Vektoren – ein eleganter, aber rechnerisch teurer Mechanismus mit quadratischer Komplexität bezüglich der Sequenzlänge.

Multi-Head Attention

Statt einer einzelnen Attention-Operation verwendet der Transformer mehrere parallele Attention-Köpfe (Multi-Head Attention). Jeder Kopf lernt, auf andere Aspekte des Kontexts zu achten – syntaktische Abhängigkeiten, semantische Relationen, Koreferenzen. Die Ausgaben aller Köpfe werden konkateniert und linear transformiert.

Positionskodierung und Kontextfenster

Da Transformer im Gegensatz zu RNNs keine inhärente Sequenzinformation verarbeiten, wird Positionsinformation explizit als Positional Encoding addiert – entweder als fixe sinusoidale Funktionen oder als lernbare Embeddings. Neuere Architekturen wie RoPE (Rotary Position Embedding) ermöglichen eine effiziente Extrapolation auf lange Kontextfenster.

Training: Datenmenge, Skalierungsgesetze und RLHF

Das Training eines LLMs gliedert sich typischerweise in zwei Phasen: Pre-training auf riesigen Textkorpora und Fine-tuning für spezifische Aufgaben oder sicherheitsorientiertes Verhalten.

Pre-training: Statistik im galaktischen Maßstab

Im Pre-training wird das Modell auf Textmengen trainiert, die menschliche Lesefähigkeit um Größenordnungen übersteigen. GPT-3 wurde auf etwa 300 Milliarden Token trainiert, GPT-4 auf geschätzt mehreren Billionen. Die Quellen umfassen Common Crawl (eine Webcrawl-Datenbank), Bücher, Wikipedia, wissenschaftliche Paper und Code-Repositorien.

Das Ziel: für jedes Token im Training den negativen Log-Likelihood (den Cross-Entropy-Loss) zu minimieren. Das Modell lernt, die Wahrscheinlichkeitsverteilung über das Vokabular so zu schätzen, dass das tatsächlich folgende Token die höchste Wahrscheinlichkeit erhält.

Skalierungsgesetze: Chinchilla und die optimale Compute-Nutzung

Lange galt: mehr Parameter = besseres Modell. Das Chinchilla-Paper (Hoffmann et al., DeepMind, 2022) korrigierte diese Annahme fundamental. Es zeigte: Für ein optimales Verhältnis von Modellgröße und Trainingsdaten sollten auf jeden Parameter etwa 20 Token Trainingsdaten entfallen. Ein 70-Milliarden-Parameter-Modell braucht demnach etwa 1,4 Billionen Token – nicht die damals üblichen 300–400 Milliarden. Diese Erkenntnis veränderte, wie die gesamte Branche LLMs trainiert.

RLHF: Menschen trainieren KI-Präferenzen

Reinforcement Learning from Human Feedback (RLHF) ist der entscheidende Schritt, der aus einem rohen Sprachmodell einen nützlichen Assistenten macht. Der Prozess läuft in drei Phasen:

1. Supervised Fine-tuning (SFT): Das Modell wird auf von Menschen geschriebenen hochwertigen Antworten feinabgestimmt.
2. Reward Model Training: Menschliche Bewerter ordnen Modellausgaben nach Qualität. Ein separates Belohnungsmodell lernt, diese Präferenzen vorherzusagen.
3. PPO-Optimierung: Das Sprachmodell wird durch Reinforcement Learning (Proximal Policy Optimization) so trainiert, dass es die Belohnungen maximiert.

Anthropic entwickelte als Alternative zu RLHF das Konzept Constitutional AI (CAI): Das Modell bewertet seine eigenen Ausgaben anhand explizit definierter Prinzipien und verbessert sich iterativ – eine Methode, die menschliches Feedback partiell durch KI-generiertes Feedback ersetzt.

Die wichtigsten LLMs im Überblick

Der LLM-Markt hat sich seit 2022 in einen intensiven Wettbewerb zwischen proprietären und Open-Source-Modellen entwickelt. Die folgende Tabelle gibt einen Überblick über die bedeutendsten Modelle (Stand März 2026):

Modell	Anbieter	Parameter	Besonderheit
GPT-4oProprietary	OpenAI	~1,76 Bil. (MoE, geschätzt)	Nativ multimodal (Text, Bild, Audio); hohe Reasoning-Leistung; breite API-Nutzung
Gemini 2.0 FlashProprietary	Google DeepMind	nicht veröffentlicht	2 Mio. Token Kontext; tief in Google Search & Workspace integriert; Multimodal
Claude 3.7 SonnetProprietary	Anthropic	nicht veröffentlicht	Constitutional AI; Extended Thinking; 200k Token; stark bei Code & Sicherheit
Llama 3.3 70BOpen Source	Meta AI	70 Milliarden	Lokal ausführbar; leistungsstark für die Größe; aktive Community
DeepSeek R1Open Source	DeepSeek AI	671 Milliarden (MoE)	Reasoning-fokussiert; Chain-of-Thought-Transparenz; kosteneffizientes Training
Mistral LargeProprietary	Mistral AI	~123 Milliarden	Europäisches Modell; starke Mehrsprachigkeit; effizientes MoE-Design
Grok 3Proprietary	xAI	nicht veröffentlicht	Echtzeit-Zugriff auf X (Twitter); Reasoning-Modus; Think-Before-You-Answer
Qwen 2.5 72BOpen Source	Alibaba Cloud	72 Milliarden	Starke Mehrsprachigkeit; Code- und Mathefähigkeiten; kommerziell nutzbar

MoE = Mixture of Experts: Statt alle Parameter für jeden Input zu aktivieren, spezialisieren sich Teilnetzwerke (Experten) auf bestimmte Muster. Nur eine Untermenge der Experten ist pro Token aktiv – das reduziert den Rechenaufwand bei gleichzeitig hoher Gesamtkapazität.

Was LLMs können – und wie gut

LLMs haben einen deutlichen Leistungssprung über mehrere Domänen hinweg vollzogen. Dabei gibt es signifikante Unterschiede zwischen Modellen – und klare Grenzen, die strukturell bedingt sind.

Nachgewiesene Stärken

• Codegenerierung: GPT-4 und Claude 3.5 Sonnet bestehen Aufgaben auf Niveau von Softwareentwicklungspraktika. GitHub Copilot, basierend auf OpenAI Codex, bearbeitet nach internen Daten ca. 40 % aller Codezeilen auf bestimmten Plattformen.
• Übersetzung: Aktuelle LLMs übertreffen bei Sprachpaaren mit ausreichend Trainingsdaten klassische neuronale Übersetzungssysteme in Nuancen und Kontext.
• Medizinisches Wissen: GPT-4 besteht den US Medical Licensing Exam (USMLE) mit einer Punktzahl, die menschliche Prüflinge übertrifft – ein reines Wissensgeneralisierungstest, kein klinisches Urteilsvermögen.
• Logisches Schlussfolgern (Chain-of-Thought): Durch Prompt-Techniken wie „Let's think step by step" verbessert sich die Reasoning-Leistung messbar – das Modell generiert explizite Zwischenschritte.
• Multimodalität: GPT-4o, Gemini 2.0 und Claude 3.5 Sonnet analysieren Bilder, Diagramme, Screenshots und generieren natürlichsprachliche Beschreibungen mit hoher Präzision.

Bekannte Schwächen

• Exakte Arithmetik: LLMs machen bei komplexen Berechnungen ohne Werkzeugnutzung (Tool Use / Code Interpreter) regelmäßig Fehler – sie rechnen nicht, sie schätzen statistisch.
• Konsistenz über lange Kontexte: Widersprüche zwischen frühen und späten Passagen in sehr langen Eingaben werden nicht immer erkannt.
• Aktualität: Das Wissen endet am Trainings-Cutoff. Ereignisse danach sind unbekannt – sofern kein Retrieval-Augmented Generation (RAG) System mit Echtzeit-Daten gekoppelt ist.
• Sicher negieren: „Was ist nicht in diesem Dokument erwähnt?" ist für LLMs strukturell schwieriger als positive Informationsabfrage.

Halluzinationen: Das strukturelle Problem

Kein Thema beschäftigt Forscher und Anwender gleichermaßen wie Halluzinationen – das Phänomen, dass LLMs sachlich falsche Aussagen mit dem gleichen Vertrauensniveau formulieren wie korrekte Fakten.

Ein viel zitiertes Beispiel: US-Anwalt Steven Schwartz reichte 2023 eine von ChatGPT generierte Klageschrift ein, die sechs erfundene Gerichtsentscheidungen mit vollständigen Aktenzeichen, Richternamen und Querverweisen enthielt. Keiner dieser Fälle existierte. Schwartz hatte die Zitate nicht verifiziert.

Ursachen: Warum Modelle lügen, ohne es zu wissen

Halluzinationen entstehen aus dem Grundprinzip der Token-Vorhersage. Das Modell generiert keine faktischen Aussagen – es generiert statistisch plausible Token-Sequenzen. Wenn im Trainingskorpus auf „Der Eiffelturm wurde im Jahr" häufig „1889 eingeweiht" folgt, lernt das Modell diese Assoziation. Ist die korrekte Jahreszahl im Trainingskorpus unterrepräsentiert oder kontaminiert, kann eine falsche Zahl mit gleicher Überzeugung generiert werden.

Weitere Faktoren: Das Modell hat keinen Zugangsmechanismus zu einem verlässlichen Faktenspeicher. Es gibt keine innere Überprüfungsinstanz, die zwischen „das steht in meinen Trainingsdaten" und „das ist wahr" unterscheidet. Laut einer Studie von Huang et al. (2023) halluzinieren selbst Spitzenmodelle bei komplexen Faktenfragen mit einer Rate zwischen 15 und 27 %.

LLMO: Large Language Model Optimization

Mit der wachsenden Verbreitung von LLMs als Suchinterface – ChatGPT hat nach OpenAI-Angaben über 300 Millionen wöchentliche aktive Nutzer, Gemini ist in die Google-Suche integriert – entsteht eine neue Disziplin: Large Language Model Optimization (LLMO).

LLMO bezeichnet die strategische Optimierung von Inhalten, Datenstrukturen und digitaler Präsenz mit dem Ziel, in den Antworten von LLMs zitiert, empfohlen oder als Referenz genannt zu werden. Es ist die logische Fortsetzung von SEO für eine Welt, in der nicht mehr nur Links, sondern KI-Antworten Vertrauen und Traffic steuern.

Wie LLMs ihre „Empfehlungen" bilden

LLMs generieren keine Echtzeitsuche – sie destillieren beim Training aufgenommenes Wissen. Welche Inhalte dieses Wissen formen, hängt ab von: Häufigkeit der Erwähnung in hochwertigen Quellen, Kohärenz und Faktendichte der Inhalte, strukturierter Maschinenlesbarkeit (Schema.org, semantisches HTML), und dem Vertrauensniveau der Quellen, auf denen das Modell trainiert wurde. LLMO-Strategien für Unternehmen kombinieren deshalb klassische Autoritätssignale mit neuen Anforderungen generativer KI.

Die praktischen Konsequenzen sind erheblich: Unternehmen, die als Experten in ihrem Bereich wahrgenommen werden wollen, müssen nicht nur für Google sichtbar sein, sondern auch als Referenz in KI-Antwortmaschinen taugen. Das erfordert andere Inhalte: präzise, faktendichte, quellengestützte Texte statt Keyword-gefüllte Webseiten.

Ethik, Bias und Regulierung

Die gesellschaftliche Debatte um LLMs ist komplex – zwischen berechtigten Sicherheitsbedenken, wirtschaftlichen Interessen und dem Risiko, Regulierung als Wettbewerbswaffe einzusetzen.

Trainingsdaten und Urheberrecht

LLMs wurden auf öffentlich zugänglichen Texten trainiert, darunter Millionen von urheberrechtlich geschützten Werken. Die New York Times klagte 2023 gegen OpenAI und Microsoft, weil Modelle Artikel nahezu verbatim reproduzieren können. Die Rechtslage ist international uneinheitlich und ungeklärt. Das europäische Urheberrecht enthält einen Text-und-Data-Mining-Vorbehalt, der Rechteinhabern ein Opt-out ermöglicht.

Bias: Spiegel gesellschaftlicher Ungleichheit

LLMs reproduzieren die Vorurteile und Ungleichheiten ihrer Trainingsdaten. Studien zeigen, dass Modelle bei Bewerbungstext-Generierung systematisch bestimmte Namen mit höherer Kompetenz assoziieren, medizinische Symptome bei Frauen anders beschreiben als bei Männern, oder bestimmte Ethnien in negativen Kontexten überrepräsentieren. RLHF kann diese Tendenzen abschwächen – beseitigt sie aber nicht vollständig, weil die Bewertenden selbst Träger gesellschaftlicher Normen sind.

Umweltkosten

Das Training von GPT-4 hat nach Schätzungen einen CO₂-Fußabdruck von über 5.000 Tonnen CO₂-Äquivalenten hinterlassen – vergleichbar mit Hunderten von Transatlantikflügen. Der Betrieb (Inferenz) der Modelle addiert täglich weitere erhebliche Mengen. Schätzungen der IEA zeigen, dass KI-Rechenzentren bis 2026 mehr Strom verbrauchen könnten als ganze Länder mittlerer Größe.

EU AI Act: Die erste KI-Regulierung weltweit

Der EU AI Act ist im August 2024 in Kraft getreten – die weltweit erste umfassende gesetzliche Regulierung von KI-Systemen. Er klassifiziert Anwendungen nach Risikoniveaus: von verbotenen Anwendungen (Social Scoring durch staatliche Akteure) über Hochrisiko-Systeme (medizinische Diagnose, kritische Infrastruktur) bis zu niedrigschwelligen Anwendungen. Für LLMs als General-Purpose AI gelten besondere Transparenzpflichten bezüglich Trainingsdaten und technischer Dokumentation.

Die Zukunft generativer KI

Die Entwicklungstrajektorie von LLMs folgt keinem linearen Pfad mehr – sie verzweigt sich in mehrere parallele Richtungen, die unterschiedliche Probleme angehen.

Reasoning-Modelle: Denken vor dem Antworten

OpenAIs o1-Serie (seit September 2024) und DeepSeek R1 (Januar 2025) markieren eine neue Klasse: Modelle, die vor der Ausgabe explizit einen Chain-of-Thought-Prozess durchlaufen – vergleichbar mit einem Schachcomputer, der Züge berechnet, bevor er zieht. Bei mathematischen und logischen Aufgaben übertreffen diese Modelle Standard-LLMs deutlich; die Laufzeit und Kosten steigen aber erheblich.

Agentische KI: Modelle als eigenständige Akteure

LLMs werden zunehmend als Agenten eingesetzt, die mehrere Werkzeuge nutzen, Pläne formulieren, Code ausführen und mit anderen Systemen interagieren. Frameworks wie LangChain, AutoGPT und OpenAI Assistants ermöglichen LLMs, eigenständig Subaufgaben zu delegieren, Ergebnisse zu bewerten und Fehler zu korrigieren. Das öffnet Anwendungsfelder von autonomer Forschungsassistenz bis zur automatisierten Codeentwicklung – und neue Sicherheitsfragen rund um unkontrollierte Systemzugriffe.

Lokale Modelle: Souveränität und Datenschutz

Die Open-Source-Bewegung – angeführt von Meta Llama, Mistral und DeepSeek – treibt den Einsatz lokal ausführbarer LLMs voran. Auf aktueller Consumer-Hardware (Apple M-Chips, Nvidia RTX-GPUs) laufen 7B- bis 70B-Modelle mit praktikablen Latenzzeiten. Das ermöglicht vollständige Datensouveränität und DSGVO-konformen Betrieb ohne Cloud-Abhängigkeit – relevant für Unternehmen mit sensiblen Daten.

Multimodale Integration

Die Grenzen zwischen Sprach-, Bild-, Audio- und Videoverarbeitung verschwimmen. Modelle wie Gemini 2.0 und GPT-4o nehmen Text, Sprache, Bilder und Videos als Input und generieren beliebige Kombinationen daraus. Die technische Konvergenz zur Universal-KI – einem Modell für alle Medientypen – ist in vollem Gange.

Häufige Fragen zu Large Language Models