Was ist ein LLM? Large Language Models erklärt

Was ist ein Large Language Model?

Ein Large Language Model ist ein Deep-Learning-Modell, das Text als Eingabe verarbeitet und Text als Ausgabe erzeugt. Es lernt dafür statistische Muster aus riesigen Textmengen während des Trainings und nutzt diese Muster anschließend, um die wahrscheinlichste Fortsetzung einer beliebigen Eingabe vorherzusagen.

Das "Large" im Namen bezieht sich auf die Parameteranzahl. Parameter sind die numerischen Gewichte im Netzwerk, die bestimmen, wie es auf eine Eingabe reagiert. GPT-3 hatte 175 Milliarden davon. GPT-4 wird auf etwa 1 Billion Parameter geschätzt, auch wenn OpenAI das nie offiziell bestätigt hat. Mehr Parameter bedeuten mehr Kapazität für Nuancen, längere Kontexte und genauere Vorhersagen, wobei der Zusammenhang jenseits einer bestimmten Größe weniger vorhersagbar wird.

Alle modernen LLMs verwenden die Transformer-Architektur, erstmals beschrieben im Paper "Attention Is All You Need" von Vaswani und Kollegen bei Google Brain, 2017. Die zentrale Innovation war der Self-Attention-Mechanismus. Statt Token sequenziell wie frühere rekurrente Netze zu verarbeiten, lässt der Transformer jedes Token einer Sequenz gleichzeitig auf jedes andere Token achten. Das macht das Training über Tausende von GPUs parallelisierbar und verbessert die Leistung bei langen Texten erheblich.

Das praktische Ergebnis: ein Modell, das Fragen beantworten, Code schreiben, Dokumente zusammenfassen, Sprachen übersetzen und mehrstufige Gespräche führen kann, alles über denselben zugrunde liegenden Mechanismus: Gegeben eine Folge von Token, sage vorher, was als nächstes kommt.

Parameter, Gewichte und was das Modell wirklich lernt

Ein Parameter ist eine Zahl. Ein LLM mit 175 Milliarden Parametern ist eine Funktion mit 175 Milliarden anpassbaren Zahlen. Während des Trainings werden diese Zahlen über Milliarden von Vorhersagebeispielen so justiert, bis die Modellausgaben den tatsächlichen nächsten Token in den Trainingsdaten möglichst nahekommen.

Was das Modell lernt, sind keine abrufbaren Fakten. Es lernt Verteilungen: Gegeben diese Wortfolge, sind diese nächsten Wörter wahrscheinlicher. Das Modell hat keinen Faktenindex, keine Datenbank, die es abfragt. Es hat statistische Muster, komprimiert in Milliarden von Zahlen. Das ist entscheidend für das Verständnis dessen, was LLMs zuverlässig können und was nicht.

Wie LLMs trainiert werden: Pre-Training, Fine-Tuning und RLHF

Das Training eines LLM läuft in drei Phasen ab. Die erste ist mit großem Abstand die teuerste.

Pre-Training ist die rechenintensive Phase, in der das Modell Hunderte Milliarden Token Text verarbeitet: Webseiten, Bücher, wissenschaftliche Paper, Code-Repositories und andere Quellen. Für jedes Token sagt das Modell das nächste vorher, der Vorhersagefehler wird berechnet, und alle Parameter werden leicht angepasst, um diesen Fehler zu verringern. Dieser Prozess läuft über Tausende von GPUs parallel, oft wochen- oder monatelang.

GPT-3 wurde auf etwa 300 Milliarden Token vortrainiert, darunter Inhalte aus Common Crawl (ein Web-Crawl mit über 50 Milliarden Webseiten), Wikipedia und digitalisierten Büchern. Das Training benötigte laut Lambda Labs' Analyse aus 2020 rund 355 GPU-Jahre Rechenleistung auf NVIDIA-V100-GPUs. In der Praxis liefen Tausende von GPUs parallel, um die Aufgabe innerhalb von Wochen abzuschließen.

Auf das Pre-Training folgt das Fine-Tuning. Das vortrainierte Modell wird auf einem kleineren, kuratierten Datensatz für spezifische Verhaltensweisen oder Aufgaben angepasst. Die Kosten dafür sind ein Bruchteil der Pre-Training-Kosten.

RLHF (Reinforcement Learning from Human Feedback) ist der Schritt, der aus einer reinen Textvervollständigungs-Engine einen brauchbaren Assistenten macht. Menschliche Bewerter bewerten die Modellausgaben nach Hilfsbereitschaft, Genauigkeit und Sicherheit. Auf diesen Bewertungen wird ein Reward-Modell trainiert. Das LLM wird dann weiter trainiert, um Ausgaben zu erzeugen, die beim Reward-Modell gut abschneiden. Genau das sorgt dafür, dass ChatGPT hilfreich antwortet, statt einfach das statistische Muster Ihrer Eingabe fortzusetzen.

Tokenisierung: wie Text zu Zahlen wird

Bevor irgendetwas davon funktioniert, muss Text in Zahlen umgewandelt werden. Tokenisierung zerlegt Text in Subwort-Einheiten. Häufige Wörter werden zu einzelnen Token, seltene oder komplexe Wörter werden in zwei oder drei Teile zerlegt. In GPT-artigen Tokenizern könnte "unglaublich" zu drei Token werden: "un", "glaub", "lich". Das Modell verarbeitet niemals Buchstaben oder Wörter direkt, sondern Token-IDs aus einem Vokabular von 50.000 bis 100.000 Einträgen.

Das Kontextfenster ist die maximale Anzahl an Token, die ein Modell in einem Durchlauf verarbeiten kann. Frühe LLMs hatten Kontextfenster von 2.000 bis 4.000 Token. GPT-4 unterstützt 128.000 Token. Gemini 1.5 Pro unterstützt 1 Million Token (Google, Februar 2024), wodurch es ein ganzes Buch oder eine große Codebasis in einem einzigen Aufruf verarbeiten kann.

Die wichtigsten LLMs: GPT-5.5, Claude, Gemini und Llama im Vergleich

Sieben Modelle prägen aktuell die LLM-Landschaft über Open-Source- und Closed-Source-Kategorien hinweg.

Der Sprung von 4.096 auf 1.000.000 Kontext-Token zwischen 2020 und 2024 ist keine marginale Verbesserung. Ein Modell mit 1 Million Token Kontext kann ein ganzes Buch in einem einzigen Durchgang lesen und verarbeiten. Gemini 1.5 Pro erreichte das im Februar 2024 (Google). Frühe LLMs verloren bei mehr als ein paar tausend Token an Kohärenz und produzierten Halluzinationen; die Fortschritte beim langen Kontext kamen sowohl aus architektonischen Änderungen als auch aus besser kuratierten Trainingsdaten.

Alle Closed-Source-Modelle (GPT-5.5, Claude, Gemini) legen ihre Parameteranzahl nicht offen. GPT-4 war das vorherige OpenAI-Flaggschiff, geschätzt auf 1 Billion Parameter, bevor es eingestellt wurde. Metas Llama-Familie ist vollständig Open Source und überprüfbar, was Llama 3.1 405B zum größten öffentlich verifizierbaren Modell macht.

"Die Modelle, die die nächsten Jahre prägen werden, werden bereits jetzt trainiert." (Dario Amodei, Anthropic-CEO, August 2023)

Der Open-Source-Bereich hat den Abstand zu Closed-Source-Spitzenmodellen deutlich verkleinert. Llama 3.1 405B übertrifft GPT-4 bei mehreren Benchmarks und lässt sich auf privater Infrastruktur betreiben, weshalb es zur Standardwahl für Unternehmen geworden ist, die keine Daten an externe APIs senden dürfen.

LLM-Trainingskosten: Die echten Zahlen für 2026

Trainingskosten sind der größte Einzelposten, um ein Spitzen-LLM auf den Markt zu bringen. Die Zahlen haben sich zwischen 2020 und 2026 erheblich verändert.

"Es sind mehr als hundert Millionen Dollar, und ich glaube, das ist wahrscheinlich mehr, als den meisten Menschen bewusst ist." (Sam Altman, OpenAI-CEO, über die Trainingskosten von GPT-4, zitiert in Fortune, April 2024)

Das Fine-Tuning eines vortrainierten Open-Source-Modells kostet laut derselben Analyse zwischen $500 und $5.000, abhängig von Modellgröße und Aufgabe. Deshalb starten die meisten Unternehmenseinsätze mit einem fein abgestimmten Llama- oder Mistral-Modell statt mit einem Training von Grund auf.

Die Zahl, die die wenigsten Guides zeigen

Die Trainingseffizienz hat sich schneller verbessert, als die reine Modellgröße gewachsen ist. GPT-3 kostete 2020 etwa $4,6 Millionen pro Trainingslauf. Ein Modell mit vergleichbaren Benchmark-Werten kostet heute laut der 2025er-Kostenanalyse von localaimaster.com unter $500.000 im Training, mit rund 40 Prozent jährlichem Effizienzgewinn durch Hardware-Verbesserungen und bessere Datenkuration. Bei diesem Tempo halbieren sich die Trainingskosten etwa alle zwei Jahre.

Das bedeutet nicht, dass Spitzen-KI billiger wird. Es bedeutet, dass sich die Spitze ständig weiterbewegt. OpenAI, Anthropic und Google reagieren auf jede Effizienzsteigerung mit größeren Modellen, sodass die Gesamtausgaben für Training weiter steigen, selbst wenn die Kosten pro Fähigkeitseinheit fallen. Dario Amodeis Prognose aus 2023 von einem 10-Milliarden-Dollar-Trainingslauf bis 2025 spiegelt genau dieses Muster.

Wie sich Hyperscale-Infrastruktur auf diese Kostenstruktur auswirkt, zeigt unser Hyperscaler-Guide im Detail.

Wie LLMs die KI-Produkte antreiben, die Sie nutzen

Jedes große KI-Produkt im breiten Einsatz heute hat ein LLM als Kernkomponente. ChatGPT, Claude, Gemini, Microsoft Copilot und Perplexity sind Oberflächen, die um Sprachmodelle herum gebaut wurden. Die Infrastruktur, die diese Produkte im Konsumentenmaßstab betreibt, gehört zu den teuersten Computing-Operationen, die je gebaut wurden.

Wenn Sie eine Anfrage in ChatGPT eingeben, wird Ihr Text tokenisiert und an ein Rechenzentrum gesendet, das Tausende von NVIDIA-H100- oder H200-GPUs betreibt. Das Modell verarbeitet die Token durch seine Transformer-Schichten, erzeugt eine Wahrscheinlichkeitsverteilung über das nächste Token, zieht daraus eine Stichprobe, hängt das Token an die Sequenz an und wiederholt das, bis eine vollständige Antwort entsteht. Auf einer einzelnen H100-GPU läuft ein Spitzen-LLM in der Größenordnung von GPT-5.5 mit etwa 20 bis 30 Token pro Sekunde. Eine Antwort mit 500 Wörtern benötigt rund 650 Token, was auf einer einzelnen GPU 20 bis 30 Sekunden dauert.

ChatGPT verarbeitet täglich Hunderte Millionen Anfragen. Bei diesem Volumen betreibt Microsoft (das ChatGPT auf Azure hostet) zehntausende H100-GPUs allein für Inferenz. OpenAIs monatliche Inferenzkosten werden auf hunderte Millionen Dollar geschätzt. Laut Goldman Sachs Research werden KI-Inferenz-Workloads bis 2030 einen wachsenden Anteil am globalen Stromverbrauch von Rechenzentren ausmachen.

Deshalb kostet die Hyperscale-Infrastruktur hinter diesen Produkten zig Milliarden Dollar im Bau und Betrieb. AWS, Azure, Google und Meta haben gemeinsam 290 Milliarden Dollar an Rechenzentrum-Investitionen bis 2027 zugesagt, fast ausschließlich getrieben von der LLM-Nachfrage.

Die Inferenzkosten pro LLM-Anfrage

Inferenz im Konsumentenmaßstab hat eine eigene Kostenlogik. Die GPT-4-API-Preise (der Vorgängergeneration) lagen 2024 bei $0,03 pro 1.000 Input-Token und $0,06 pro 1.000 Output-Token. Eine durchschnittliche ChatGPT-Anfrage verarbeitet etwa 500 Input-Token und erzeugt 500 Output-Token, was rund $0,045 an API-äquivalenten Rechenkosten entspricht. Bei geschätzt 500 Millionen Anfragen pro Tag liegen die täglichen Inferenzkosten für ChatGPT bei etwa 22,5 Millionen Dollar, also rund 8 Milliarden Dollar pro Jahr. Das ist eine grobe Schätzung, da OpenAI eigene Infrastruktur statt der öffentlichen API nutzt, sie verdeutlicht aber die Größenordnung der Rechenkosten hinter einem weit verbreiteten LLM-Produkt.

Was LLMs nicht können: Die vier größten Missverständnisse

Die häufigsten Missverständnisse über LLMs schaffen reale Probleme, wenn Unternehmen sie einsetzen.

LLMs wissen nichts

Sie haben standardmäßig kein Gedächtnis zwischen Sitzungen, keinen Zugriff auf Live-Informationen und keine interne Datenbank mit Fakten. Sie erzeugen plausibel klingenden Text auf Basis statistischer Muster aus den Trainingsdaten. Ein LLM, das einen bestimmten Fakt selbstbewusst behauptet, kann komplett falsch liegen. Das nennt man Halluzination: Das Modell erzeugt flüssigen, selbstsicheren Text, der sachlich falsch ist. Das passiert, weil das Modell auf Token-Wahrscheinlichkeit optimiert ist, nicht auf sachliche Richtigkeit.

LLMs können bei neuen Problemen nicht zuverlässig schlussfolgern

Sie wirken so, als würden sie schlussfolgern, aber das ist ein erlerntes Muster, kein Mechanismus. Bei einem Problemtyp, den das Modell schon tausendfach im Training gesehen hat, antwortet es, als hätte es verstanden. Bei wirklich neuen Problemen, die schrittweise logische Ableitung erfordern, scheitern aktuelle LLMs auf eine Weise, die ein logisches Schlussfolgerungssystem nicht tun würde. Chain-of-Thought-Prompting verbessert das, indem es das Modell zwingt, Zwischenschritte vor der endgültigen Antwort zu erzeugen, doch die Verbesserung bleibt unvollständig.

LLMs denken nicht zwischen den Token

Es gibt keinen Überlegungsprozess. Das Modell führt einen Forward-Pass durch seine Transformer-Schichten aus und zieht ein Token. Es hat kein Arbeitsgedächtnis oder einen internen Überlegungszustand jenseits dessen, was im Kontextfenster steht. Antworten, die durchdacht wirken, sind das Ergebnis des Trainings, nicht eines Schlussfolgerungsprozesses zur Inferenzzeit.

Größer ist nicht immer besser

Die Skalierung der Parameteranzahl hat reale Fähigkeitsverbesserungen gebracht, aber an der Spitze zeigen sich abnehmende Erträge. Das Chinchilla-Paper von DeepMind (2022) zeigte, dass bei einem gegebenen Rechenbudget die optimale Strategie darin besteht, ein kleineres Modell mit mehr Daten zu trainieren statt ein größeres Modell mit weniger Daten. Viele der größten Modelle, die zwischen 2020 und 2022 veröffentlicht wurden, waren im Verhältnis zu ihrer Parameteranzahl untertrainiert. Diese Erkenntnis trieb die Effizienzgewinne bei Llama 2 und 3 voran, die in rechenangepassten Vergleichen deutlich größere Modelle übertreffen.

Retrieval-Augmented Generation (RAG) adressiert die Wissensbegrenzung direkt, indem zur Inferenzzeit relevante Dokumente abgerufen und in das Kontextfenster eingebunden werden. Das reduziert sachliche Fehler bei domänenspezifischen Anfragen, ohne dass ein neuer Trainingslauf nötig wird.

Diese Grenzen sind auch der Grund, warum bestimmte Berufe strukturell resistent gegen KI-Ersatz bleiben. Tätigkeiten, die körperliche Geschicklichkeit in unvorhersehbaren Umgebungen, emotionales Vertrauen oder ethische Verantwortung erfordern, sind genau die Lücken, die LLMs nicht schließen können. Eine vollständige Übersicht, welche Berufe das geringste Automatisierungsrisiko tragen und warum, finden Sie in unserem Guide zu Jobs, die KI nicht ersetzen kann.

Die LLM-Zeitleiste: Wichtige Meilensteine von 2017 bis 2026

Die moderne Ära der Large Language Models umfasst weniger als ein Jahrzehnt. Das Tempo der Veränderung war so hoch, dass Modelle aus 2022 für die meisten Zwecke bereits als veraltet gelten.

Die vier Jahre zwischen dem ChatGPT-Start im November 2022 und Anfang 2026 haben mehr Fähigkeitszuwachs komprimiert als die vorherigen fünf Jahre LLM-Forschung zusammen. Ein Modell, das heute für wenige Cent pro Anfrage über eine API verfügbar ist, hätte 2020 Millionen Dollar dedizierter Infrastruktur gebraucht, um sich auch nur anzunähern.

Der Verlauf von Kosten und Fähigkeiten legt nahe, dass die Modelle von 2028 zu GPT-5.5 in etwa das Verhältnis haben werden, das GPT-5.5 heute zu GPT-2 hat. Die Infrastruktur für das Training wird mehr kosten, der Zugriff über eine API aber weniger.

Häufig gestellte Fragen

Verwandte Artikel