RAG (Retrieval Augmented Generation)

RAG steht für Retrieval Augmented Generation und bezeichnet eine Technik die die Schwächen von Sprachmodellen überbrückt: ihren eingeschränkten Wissensstand und die Tendenz zu Halluzinieren.

Das Prinzip ist elegant: Statt das Modell alles "auswendig wissen" zu lassen, sucht das System zunächst in einer externen Wissensbasis (z.B. deinen Firmendokumenten, einer Datenbank oder dem Internet) nach relevanten Informationen — und übergibt diese dann zusammen mit der Nutzerfrage an das Sprachmodell. Das Modell beantwortet die Frage dann basierend auf diesen konkreten, aktuellen Quellen.

Ein Praxisbeispiel: Ein Kundenservice-Bot der auf eure aktuellen Produktdokumentation, AGBs und FAQ zugreift. Statt aus dem Training "zu raten" liest er die echten aktuellen Dokumente — und halluziniert daher kaum noch.

RAG ist heute die Standard-Architektur für unternehmensnahe KI-Anwendungen. Tools wie Perplexity AI nutzen RAG um aktuelle Web-Informationen in ihre Antworten einzubeziehen. Für Unternehmen ist RAG oft der bessere Ansatz als Fine-Tuning, weil die Wissensbasis einfach aktualisiert werden kann ohne das Modell neu zu trainieren.