Large Language Model (LLM)

Ein Large Language Model ist ein KI-Modell mit sehr vielen Parametern, das auf großen Textmengen trainiert wurde. Es erzeugt Text, indem es fortlaufend das nächste Token vorhersagt. Die meisten heutigen Modelle beruhen auf der Transformer-Architektur, die 2017 vorgestellt wurde und ganz auf dem Mechanismus der Attention aufbaut.

Für die Suche sind drei Eigenschaften wichtig: Das Modell kennt nur, was bis zu seinem Knowledge Cutoff im Training vorkam. Es kann plausibel klingende, aber falsche Aussagen erzeugen (Halluzination). Und dieselbe Frage kann verschiedene Antworten ergeben. RAG soll die ersten beiden Punkte abmildern.

Einordnung: Bibliotheken beziehen das Modell meist als Dienst eines Anbieters. Der kann Modelle ändern, abschalten oder verteuern, was eine Frage von Abhängigkeit und Wechselkosten ist.

Weiterlesen

• Vaswani u. a. (2017): Attention Is All You Need
• Anthropic: Glossar