Kurz erklärt
Ein LLM (Large Language Model) ist ein KI-Sprachmodell, das mit sehr großen Textmengen trainiert wurde. Es kann Texte verstehen, zusammenfassen, übersetzen und neu formulieren. Bekannte Beispiele sind die Modelle hinter ChatGPT, Claude, Gemini oder Mistral. Ein LLM erzeugt wahrscheinliche Antworten, keine geprüften Fakten.
Was ist LLM?
Ein LLM zerlegt Text in kleine Bausteine, sogenannte Tokens. Beim Training lernt es aus Milliarden von Beispielen, welcher Baustein mit hoher Wahrscheinlichkeit als Nächstes folgt. Daraus entsteht die Fähigkeit, auf eine Frage einen flüssigen und passenden Text zu schreiben. Das Modell weiß dabei nicht im menschlichen Sinn, ob eine Aussage stimmt. Es kann deshalb überzeugend klingende Fehler machen. Fachleute nennen das Halluzination.
Ein LLM allein kennt Ihre Firmendaten nicht. Damit es mit internen Dokumenten arbeitet, nutzt man meist RAG: Das System sucht passende Textstellen und gibt sie dem Modell mit. Fine-Tuning ist etwas anderes. Dabei wird das Modell selbst nachtrainiert, etwa auf einen bestimmten Schreibstil. Ein KI-Agent geht noch einen Schritt weiter und nutzt ein LLM, um selbstständig Werkzeuge zu bedienen.
Für ein mittelständisches Unternehmen stellt sich vor allem die Frage, wofür das Modell eingesetzt wird und wohin die Daten fließen. Manche Anbieter verarbeiten Eingaben in den USA, andere in der EU, manche Modelle lassen sich auch im eigenen Rechenzentrum betreiben. Ein guter erster Schritt ist eine kurze Liste konkreter Aufgaben, etwa E-Mails vorformulieren oder Protokolle zusammenfassen. Danach prüfen Sie Anbieter, Vertrag und Datenschutz.
Typisches Szenario
Ein Großhändler mit 60 Mitarbeitenden möchte, dass der Vertrieb Angebotstexte schneller erstellt. Er testet ein LLM mit einigen anonymisierten Beispielanfragen und legt fest, dass jeder Text vor dem Versand von einem Menschen geprüft wird.
Beispielhafte Situation zur Veranschaulichung, kein Kundenprojekt.
Häufige Fragen zu LLM
Was ist der Unterschied zwischen LLM und ChatGPT?
ChatGPT ist ein Produkt, also eine Anwendung mit Chatfenster. Das LLM ist das Sprachmodell, das im Hintergrund die Antworten erzeugt. Dasselbe Modell kann auch in anderen Anwendungen stecken, etwa in einem Chatbot auf Ihrer Website oder in einem Programm, das E-Mails sortiert.
Darf ich Firmendaten in ein LLM eingeben?
Das hängt vom Anbieter, vom Vertrag und von der Art der Daten ab. Prüfen Sie, wo die Daten verarbeitet werden, ob sie zum Training genutzt werden und ob ein Auftragsverarbeitungsvertrag vorliegt. Personenbezogene und vertrauliche Daten sollten erst nach dieser Prüfung eingegeben werden.
Stand: Oktober 2026. Allgemeine Information, keine Rechtsberatung.