Was ist RAG und ein KI-Agent? Wie ein Unternehmen Dokumente in Antworten verwandelt

1. Was ist RAG und wie funktioniert es?

⚡ In einem Satz

RAG (Retrieval-Augmented Generation) ist eine KI-Architektur, die vor dem Antworten in Ihren Unternehmensdokumenten nach Passagen sucht — sie antwortet auf Basis von Quellen, nicht auf Basis des allgemeinen „Wissens" des Modells.

💡 Einfach erklärt

Stellen Sie sich vor, Sie stellen einen neuen Mitarbeiter ein. Er hat eine allgemeine Ausbildung und kommuniziert gut, kennt aber Ihre internen Verfahren, Preislisten oder Branchenvorschriften noch nicht. Wenn Sie ihm eine Frage stellen, antwortet er auf Basis dessen, was er an der Universität gelernt hat. Er kann recht haben — aber er kann auch etwas sagen, das glaubwürdig klingt, aber keine Grundlage in den Fakten hat.

Stellen Sie sich nun vor, Sie geben ihm Zugang zur Unternehmensbibliothek und sagen: „bevor du antwortest, prüfe die Dokumente". Genau das ist RAG.

Wie sieht das an einem konkreten Beispiel aus? Ein neuer Mitarbeiter im Unternehmen — seine erste Woche. Er will die Urlaubsregelung herausfinden, wie das Verfahren zur Bestellung von Ausrüstung funktioniert oder wen er um Zugang zum Lagersystem bitten soll. Die Information existiert im Unternehmen — im Handbuch, in den Verfahren, in den Handbüchern — aber sie ist über verschiedene Dokumente und Ordner verstreut.

Ohne ein RAG-System fragt der neue Mitarbeiter Kollegen, wühlt sich durch Ordner, schickt E-Mails. Jede Frage reißt jemanden im Team von seiner aktuellen Arbeit weg. Manche Antworten kommen spät, manche in widersprüchlichen Versionen.

Mit einem RAG-System tippt er die Frage in ein Chatfenster — genauso, wie er einem Kollegen eine Nachricht schreiben würde. Das System:

• Durchsucht die Dokumentenbasis und findet die relevante Passage des Handbuchs oder Verfahrens. Es sucht nicht nach Schlüsselwörtern wie eine Suchmaschine — es sucht nach Bedeutung, weil die Dokumente in eine mathematische Repräsentation ihres Inhalts umgewandelt wurden (sogenannte Embeddings — mehr im Abschnitt 🔧). Die Frage „wie bestelle ich einen Laptop?" erreicht das Verfahren zur Ausrüstungsbestellung, selbst wenn das Dokument „IT-Beschaffungsrichtlinie" heißt.
• Übergibt den Kontext — die gefundene Passage geht zusammen mit der Frage an das KI-Modell. Das Modell erhält die Anweisung: Antworte auf Basis dieses Dokuments.
• Generiert die Antwort — das Modell formuliert die Antwort in natürlicher Sprache und gibt die Quelle an. Der Mitarbeiter kann darauf klicken und selbst prüfen, ob das System das Dokument korrekt interpretiert hat.

Der Effekt: Der neue Mitarbeiter erhält in etwa einem Dutzend Sekunden eine Antwort, ohne jemanden im Team einzubeziehen. Und wenn einen Monat später eine weitere Person dazukommt — sind die Antworten vom ersten Tag an bereit.

🔧 Zum Vertiefen

Der Begriff RAG (Retrieval-Augmented Generation) wurde 2020 von Patrick Lewis und Mitautoren von Meta AI (damals Facebook AI Research) und dem University College London eingeführt, in einer auf der NeurIPS-Konferenz vorgestellten Arbeit. Die Idee: zwei Arten von Gedächtnis zu verbinden — parametrisches (was das Modell beim Training gelernt hat) und nicht-parametrisches (eine externe Dokumentenbasis, auf die das Modell im Moment des Generierens einer Antwort zurückgreift). Unter der einfachen Chat-Oberfläche steckt eine mehrstufige Pipeline:

• Dokumenten-Vorverarbeitung — bevor das System antworten kann, müssen die Dokumente vorbereitet werden. Jedes Dokument wird in Passagen (Chunks) festgelegter Länge aufgeteilt, unter Wahrung des Kontexts (z. B. mit an jeden Chunk angehängten Abschnittsüberschriften). Sind die Dokumente Scans oder Bilder, muss der Text zuerst extrahiert werden — hier kommt OCR ins Spiel (vgl. Was sind OCR, NLP und wie liest KI Dokumente?).
• Embeddings — jede Passage wird in ein Embedding umgewandelt — einen numerischen Vektor, der ihre Bedeutung repräsentiert, nicht ihren wörtlichen Inhalt. Dadurch erreicht die Frage „wie bestelle ich einen neuen Monitor?" das Beschaffungsverfahren, in dem steht „Anträge für IT-Ausrüstung werden über das Intranet-Formular eingereicht" — obwohl die Wörter nicht übereinstimmen.
• Vektordatenbank — Embeddings werden in einer speziellen Datenbank gespeichert (z. B. Pinecone, Weaviate, Qdrant, FAISS), die auf die Nächste-Nachbarn-Suche optimiert ist. Hier wird die Frage mit den Dokumenten abgeglichen.
• Reranking — ein optionaler, aber wichtiger Schritt. Ein separates Modell „bewertet" die Relevanz der gefundenen Passagen im Kontext der konkreten Frage und ordnet sie neu. Das verbessert die Antwortqualität, besonders wenn die anfängliche Suche teilweise relevante Passagen zurückgab.
• Erweiterter Prompt — die Frage des Nutzers wird mit den gefundenen Passagen zu einem einzigen Prompt kombiniert, der an das LLM geht (ein großes Sprachmodell, z. B. GPT-4, Claude, Llama). Der Prompt enthält die Anweisung: „antworte auf Basis der gelieferten Passagen; wenn du die Antwort nicht findest — sage das".
• Generierung mit Quellenangabe — das LLM generiert die Antwort und gibt an, aus welcher Passage (und damit aus welchem Dokument) die Information stammt.

Die Qualität eines RAG-Systems hängt von mehreren Faktoren ab: wie die Dokumente in Passagen aufgeteilt werden (zu klein verliert Kontext, zu groß verwässert die Relevanz), der Qualität des Embedding-Modells, der Suchkonfiguration und davon, wie gut sich das LLM an die gelieferten Quellen hält, statt auf sein Trainingswissen zurückzugreifen.

Es lohnt sich auch, die Grenzen zu kennen. Ein LLM hat eine Kontextgrenze (Context Window) — findet das System zu viele relevante Passagen, passen nicht alle in eine einzige Anfrage an das Modell. Dokumente mit Tabellen, Diagrammen oder komplexer Formatierung (z. B. mehrseitige Vertragsanhänge) sind schwerer zu verarbeiten als reiner Text. Und bei großen Dokumentenbasen wachsen die Kosten für die Pflege der Embeddings und der Suchinfrastruktur.

RAG beseitigt KI-Halluzinationen nicht — aber es reduziert sie erheblich, weil es das Modell zwingt, sich auf konkrete Dokumente zu stützen statt auf allgemeines Trainingswissen. Die Genauigkeit der Antworten hängt von der Qualität der Dokumente in der Basis ab und davon, wie gut das Suchsystem Passagen mit der Frage abgleicht (vgl. Was ist Künstliche Intelligenz? — der Abschnitt zu KI-Halluzinationen).

2. Was ist ein KI-Agent und wie unterscheidet er sich von einem Chatbot?

⚡ In einem Satz

Ein KI-Agent ist ein System aus vier Elementen — einem LLM, Werkzeugen, Gedächtnis und Autonomie — das eigenständig mehrstufige Aufgaben ausführt, statt nur Fragen zu beantworten.

💡 Einfach erklärt

Am einfachsten versteht man einen KI-Agenten, indem man drei Stufen der Selbstständigkeit vergleicht:

Ein Chatbot — beantwortet Fragen aus dem, was er beim Training gelernt hat. Er hat keinen Zugang zu Ihren Dokumenten oder Systemen. Sie stellen eine Frage, Sie erhalten eine Antwort, die glaubwürdig klingt — aber Sie wissen nicht, woher sie stammt oder ob sie aktuell ist.

Ein RAG-System — ein Chatbot mit Zugang zu einer Unternehmens-Dokumentenbasis. Vor dem Antworten prüft er Ihre Dokumente. Die Antwort beruht auf konkreten Quellen, die Sie verifizieren können. Ein erheblicher Qualitätssprung — aber ein RAG-System wartet weiterhin auf eine Frage und antwortet dann. Es ergreift von sich aus keine Handlung.

Ein KI-Agent — das ist mehr als ein Chatbot mit Werkzeugen. Er besteht aus vier Elementen:

• Ein LLM als „Gehirn" — ein großes Sprachmodell, das die Frage und den Kontext „versteht" und auf dieser Basis die nächsten Schritte formuliert. Es ist das LLM, das den gesamten Prozess „steuert".
• Zugang zu Werkzeugen — der Agent kann auf Dokumentenbasen zugreifen (RAG), APIs aufrufen (Schnittstellen, über die Systeme miteinander kommunizieren), Unternehmenssysteme durchsuchen, Dateien generieren. In fortgeschritteneren Anwendungen kann der Agent ein Bild aus einem Computer Vision-System analysieren oder Daten aus einem BI-Dashboard. Jedes Werkzeug ist eine eigene „Fähigkeit", die der Agent nutzt, wenn er „entscheidet", dass sie gebraucht wird.
• Gedächtnis — der Agent „erinnert sich" an frühere Schritte innerhalb einer Aufgabe und nutzt ihre Ergebnisse in den nächsten. Er beginnt nicht bei jedem Schritt von vorne.
• Autonomie — der Agent wählt den nächsten Schritt auf Basis des Ergebnisses des vorherigen. Er wartet nicht nach jeder Stufe auf eine Anweisung des Nutzers.

Wie sieht das in der Praxis aus? Wenn Sie dem Agenten die Aufgabe geben „prüfe, ob das neue Angebot des Lieferanten unseren Rahmenbedingungen entspricht", dann:

1. Sucht der Agent die Rahmenbedingungen in den Dokumenten (mithilfe von RAG als Werkzeug).
2. Vergleicht sie Punkt für Punkt mit dem Inhalt des Angebots.
3. Identifiziert die Abweichungen.
4. Generiert einen Bericht mit den Ergebnissen.

Ein Mensch verifiziert das Ergebnis und trifft die endgültige Entscheidung — muss aber nicht jeden Schritt selbst durchgehen. Wo der KI-Agent im Spektrum der Automatisierung sitzt — von einem Makro bis zu einem Agenten — darüber schreiben wir im Artikel Was ist Automatisierung?

🔧 Zum Vertiefen

In der KI-Branche gibt es eine anhaltende Debatte darüber, was es verdient, „Agent" genannt zu werden. Manche als „KI-Agenten" verkauften Lösungen sind in Wirklichkeit RAG-Systeme mit einer aufwendigen Oberfläche. Eine glaubwürdige Definition eines Agenten erfordert das Vorhandensein aller vier Elemente: eines LLM, Werkzeuge, Gedächtnis und Autonomie. Fehlt auch nur eines — ist es eher ein fortgeschrittener Chatbot als ein Agent.

Der ReAct-Ansatz — wie ein Agent „denkt" und handelt

Eine der am weitesten verbreiteten Agentenarchitekturen ist der ReAct-Ansatz (Reason + Act), 2022 von Shunyu Yao und Mitautoren der Princeton University und von Google Research vorgeschlagen. Der Name sagt es deutlich: Der Agent wechselt zwischen Schlussfolgern (Reason) und Handeln (Act). In der Praxis sieht das so aus — der Agent arbeitet in einer sich wiederholenden Schleife aus drei Schritten:

• Thought (Gedanke) (Gedanke) — der Agent „analysiert" den bisherigen Kontext und formuliert, was er als Nächstes tun soll. Das ist kein Denken im menschlichen Sinne — es ist das Generieren von Text, in dem das Modell seinen Plan ausformuliert.
• Action (Handlung) (Handlung) — der Agent führt eine konkrete Handlung aus: Er durchsucht die Dokumentenbasis, ruft eine API auf, führt eine Abfrage gegen ein Unternehmenssystem aus.
• Observation (Beobachtung) (Beobachtung) — der Agent erhält das Ergebnis der Handlung und geht auf dieser Basis zum nächsten Thought (Gedanke)-Schritt über.

Die Schleife Thought (Gedanke) → Action (Handlung) → Observation (Beobachtung) wiederholt sich, bis der Agent „entscheidet", dass die Aufgabe erledigt ist. Genau diese Schleife unterscheidet einen Agenten von einem RAG-System: RAG führt einen Zyklus aus (Suche → Antwort), ein Agent führt so viele aus, wie er braucht.

Warum ist das wichtig? Der ReAct-Ansatz gibt dem Agenten zwei Dinge, die einfacheren Systemen fehlen. Erstens — die Fähigkeit, mitten in der Aufgabe den Kurs zu korrigieren. Ist das Ergebnis eines Schritts unzureichend, kann der Agent die Strategie ändern, statt eine falsche Antwort zurückzugeben. Zweitens — Transparenz. Jeder Thought (Gedanke)-Schritt wird aufgezeichnet, sodass ein Mensch nachvollziehen kann, wie der Agent zum Ergebnis gelangt ist.

Ein wichtiger Vorbehalt: Wenn wir schreiben, dass der Agent „denkt", „analysiert" oder „plant", ist das eine Vereinfachung. Ein KI-Agent denkt nicht — er verarbeitet Anweisungen, Muster und Regeln. Aber der Effekt kann einem Mitarbeiter nahekommen, der bei Routineaufgaben eigenständig handelt (vgl. Was ist Künstliche Intelligenz? — der Abschnitt dazu, wie KI „denkt").

3. Fallstudie: ein Assistent für juristische Dokumente im deutschen Bausektor

⚡ In einem Satz

Ein Unternehmen im deutschen Bausektor ersetzte das manuelle Durchsuchen von Hunderten Seiten Vorschriften durch einen RAG-Assistenten — die Antwortzeit sank von Minuten auf etwa ein Dutzend Sekunden.

💡 Einfach erklärt

Der Bausektor in Deutschland ruht auf einem dichten Geflecht von Vorschriften und Verordnungen — HOAI (die Honorarordnung für Architekten und Ingenieure), VOB (die Vergabe- und Vertragsordnung für Bauleistungen) und vielen anderen. Jedes Angebot, jede Kalkulation, jede Abrechnung erfordert eine Prüfung anhand der Vorschriften.

Das Problem: Der Unternehmensinhaber verlor einen erheblichen Teil seiner Arbeitszeit damit, Kosten, Praktiken und rechtliche Anforderungen zu ermitteln. Die Dokumente existierten im Unternehmen — aber als Hunderte Seiten PDFs, über verschiedene Ordner verstreut. Die Antwort auf eine konkrete Frage zu finden bedeutete, die Dokumente manuell zu durchsuchen oder einen Berater anzurufen.

Die Lösung: Ein intelligenter Assistent (Chat) auf Basis der RAG-Architektur, der ausschließlich mit Dokumenten aus der Unternehmenswissensbasis arbeitet. Der Inhaber stellt eine Frage auf Polnisch oder Deutsch — das System durchsucht die Basis der Vorschriften, findet die relevante Passage und formuliert eine Antwort, unter Angabe der Quelle.

Was sich in der Praxis änderte:

• Die Zeit, um eine Antwort zu finden, sank von Minuten (und manchmal länger) auf etwa ein Dutzend Sekunden.
• Antworten auf Basis konkreter Passagen der Dokumente — der Inhaber kann jede einzelne verifizieren.
• Das System arbeitet in einer geschlossenen Umgebung — Unternehmensdokumente verlassen die sichere Infrastruktur nicht (mehr zur Sicherheit in Abschnitt 4).
• Neue Mitarbeiter finden sich schneller im Dickicht der Vorschriften zurecht — das System funktioniert wie ein erfahrener Kollege, an den man sich mit einer Frage wenden kann.

Das ist kein Ersatz für einen Anwalt oder Berater. Es ist die Beseitigung des mechanischen Suchens, damit Zeit und Aufmerksamkeit dorthin gehen können, wo sie wirklich gebraucht werden — zur Auslegung, zu Verhandlungen, zu Entscheidungen.

„Bevor wir mit dem Bau des Systems begannen, setzten wir uns zuerst mit dem Inhaber zusammen und schrieben auf, welche Fragen er am häufigsten stellt und in welchen Dokumenten er nach Antworten sucht. Es stellte sich heraus, dass die große Mehrheit der Fragen einige wenige konkrete Bereiche betraf — Sätze, Verfahren, Fristen. Das erlaubte uns, mit einer kleinen, klar definierten Basis zu beginnen, statt zu versuchen, ‚alles auf einmal hineinzukippen'."

— Karol Jurewicz, Business Process Architect, cm-opti

🔧 Zum Vertiefen

Aus technischer Sicht betrafen die wichtigsten Architekturentscheidungen:

• Der Umfang der Dokumentenbasis — statt alle Unternehmensdokumente hochzuladen, umfasst die Basis nur geprüfte Branchenvorschriften und -verordnungen. Das begrenzt das Risiko, dass das System veraltete oder irrelevante Informationen zurückgibt.
• Mehrsprachigkeit — das System verarbeitet Fragen und Antworten auf Polnisch und Deutsch, obwohl die Quelldokumente auf Deutsch sind. Das Modell generiert Antworten in der Sprache der Frage und bewahrt die Terminologie aus dem Quelldokument.
• Sicherheit — Dokumente werden in einer geschlossenen Cloud-Umgebung verarbeitet und gespeichert. Die Daten werden weder an öffentliche APIs gesendet noch zum Training externer Modelle genutzt. Details in Abschnitt 4.

„Der größte Fehler, den ich bei RAG-Implementierungen sehe, ist die Konzentration auf das KI-Modell unter Auslassung der Dokumentenvorbereitung. Ist die Basis ein Chaos — inkonsistente, duplizierte, veraltete Dokumente — dann gibt selbst das beste Modell schlechte Antworten. Deshalb investieren wir, bevor wir das System starten, Zeit in das Ordnen der Basis: was hineinkommt, in welchem Format, wie sie aufgeteilt wird."

— Michael Jan Rogocki, AI Engineer & Data Scientist, cm-opti

4. Datensicherheit — warum sie ein Fundament ist, kein Zusatz

⚡ In einem Satz

Datensicherheit in einem RAG-System ist eine Architekturanforderung, keine Option — sie bestimmt die Wahl der Infrastruktur, der Anbieter und der Einführungsmethode.

💡 Einfach erklärt

Wenn ein Unternehmen ein RAG-System einführt, gibt es ihm Zugang zu seinen wertvollsten Dokumenten: Verträgen, Vorschriften, internen Verfahren, Kundendaten. Das ist eine andere Situation als die Nutzung eines öffentlichen Chatbots, bei dem man eine Frage eintippt und sich nicht darum sorgt, was mit den Daten geschieht. In einem RAG-System für ein Unternehmen sind mehrere Dinge wichtig:

• Wo die Daten liegen. Dokumente müssen in einer kontrollierten Umgebung gespeichert werden — einer Private Cloud, einem dedizierten Server, einer Infrastruktur mit klar definiertem Datenstandort. Nicht auf dem öffentlichen Server des KI-Anbieters, nicht in einer mit anderen Unternehmen geteilten Umgebung.
• Wer Zugriff hat. Das Berechtigungssystem muss widerspiegeln, wer im Unternehmen welche Dokumente sehen soll. Enthält die RAG-Basis Kundenverträge, sollte nicht jeder Mitarbeiter danach fragen können.
• Was mit den Fragen und Antworten geschieht. Die Frage „wie hoch ist die Marge bei Projekt X?" enthält selbst vertrauliche Informationen — selbst wenn die Antwort nie generiert wird. Das System muss garantieren, dass der Inhalt von Fragen und Antworten das Unternehmen nicht verlässt und nicht zu einem externen KI-Modell-Anbieter gelangt.
• Ob die Daten das Modell trainieren. Eine wichtige Unterscheidung: In einem gut konzipierten RAG-System werden Unternehmensdokumente NICHT zum Training des KI-Modells verwendet. Sie werden im Moment des Generierens einer Antwort durchsucht — aber sie werden nicht Teil des Modells. Wenn Sie sie aus der Basis löschen, „erinnert sich" das System nicht an sie.

Das ist keine Checkliste aus einer Broschüre — das sind Architekturentscheidungen, die ganz zu Beginn des Projekts getroffen werden müssen, weil sie die Wahl der Infrastruktur, der Anbieter und der Einführungsmethode beeinflussen.

🔧 Zum Vertiefen

Datensicherheit im Kontext von RAG und KI-Agenten erstreckt sich über mehrere Schichten:

• Infrastruktur — eine Private-Cloud-Lösung (z. B. AWS, Azure, GCP mit dedizierter Konfiguration) oder On-Premise-Infrastruktur. Daten gespeichert in einer Region, die den regulatorischen Anforderungen entspricht (z. B. die EU für europäische Unternehmen).
• Modell-Isolierung — das KI-Modell kann als externer Dienst (API) laufen, aber die Eingabe- und Ausgabedaten werden vom Anbieter nicht zum Training des Modells genutzt. Alternativ: ein lokal gehostetes Modell (z. B. ein Open-Source-LLM auf der Unternehmensinfrastruktur), das volle Kontrolle gibt, aber größere Ressourcen erfordert.
• Zugriffskontrolle — ein Berechtigungssystem, integriert mit der bestehenden IT-Infrastruktur des Unternehmens (z. B. Active Directory, LDAP). Verschiedene Nutzergruppen haben Zugang zu verschiedenen Teilmengen von Dokumenten.
• Audit und Protokollierung — wer wann was gefragt hat. Logs werden in einer kontrollierten Umgebung gespeichert, nur intern zugänglich — nicht mit dem Modellanbieter geteilt.
• Regulatorische Konformität — je nach Branche: DSGVO, Branchenstandards, sektorale Anforderungen (z. B. BaFin für den Finanzsektor in Deutschland). Der EU AI Act führt zusätzliche Anforderungen für KI-Systeme mit hohem Risiko ein (vgl. Was ist Künstliche Intelligenz? — der Abschnitt zum EU AI Act).

Nutzt ein Unternehmen ein externes LLM über eine API, ist der Abschluss eines Data Processing Agreement (DPA, Auftragsverarbeitungsvertrag) mit dem Modellanbieter erforderlich — das ist eine DSGVO-Anforderung, wenn personenbezogene Daten an einen Dritten übermittelt werden.

Für uns ist Datensicherheit kein „Zusatz" zur Implementierung — sie ist der Ausgangspunkt. Wir beginnen jedes Projekt mit der Frage: welche Daten werden im System sein, wer soll Zugang dazu haben, welche Vorschriften gelten. Erst mit dieser Karte wählen wir dann die Infrastruktur und Architektur. Für Unternehmen in der Europäischen Union — und besonders in Polen und Deutschland, wo wir am häufigsten arbeiten — ist das besonders wichtig: Der EU-Regulierungsrahmen (DSGVO, EU AI Act) ist anspruchsvoll, und das Vertrauen eines Kunden wird über Jahre aufgebaut und in Minuten verloren.

— Die Perspektive von cm-opti

5. Wo beginnt man mit der RAG-Implementierung im Unternehmen

⚡ In einem Satz

Es lohnt sich, eine RAG-Implementierung mit einem einzigen Dokumentensatz und einem einzigen Fragetyp zu beginnen — dort, wo das Team beim Suchen nach Antworten die meiste Zeit verliert.

💡 Einfach erklärt

Sie müssen nicht sofort ein System bauen, das jede Frage zu allem beantwortet. Die besten RAG-Implementierungen beginnen mit einem engen, klar definierten Umfang:

• Identifizieren Sie das in Dokumenten eingeschlossene Wissen. Wo im Unternehmen verlieren Menschen Zeit mit der Suche nach Informationen? Handbücher? Branchenvorschriften? Technische Dokumentation? Interne Verfahren? Vertragsbedingungen? Je öfter jemand suchen muss — desto höher der Return on Investment.
• Prüfen Sie die Qualität der Dokumente. Sind die Dokumente aktuell? Gibt es keine widersprüchlichen Versionen desselben Dokuments? Liegen sie in einem verarbeitbaren Format vor (PDF, Word, HTML)? Eine RAG-Basis ist nur so gut wie die Dokumente, auf denen sie ruht — und das Ordnen der Dokumente ist in der Praxis der erste Schritt der Optimierung (vgl. Was ist Prozessoptimierung?).
• Definieren Sie, wer fragt und worüber. Nicht „jeder über alles" — konkret: Vertriebler über Preisbedingungen, Techniker über Normen, Manager über Verfahren. Je genauer Sie die Nutzergruppe und ihre Fragen definieren, desto schneller beginnt das System, präzise Antworten zu geben.
• Beginnen Sie mit einem Menschen in der Schleife (Human-in-the-Loop). Die erste Stufe ist ein System, das Antworten vorschlägt — und ein Mensch verifiziert sie. Mit der Zeit wächst das Vertrauen und der Anteil eigenständiger Antworten steigt.

Eine eigene Frage ist die Art der Bereitstellung — eine fertige Plattform, ein Cloud-Werkzeug oder eine von Grund auf gebaute Lösung. Das hängt vom Umfang, den Sicherheitsanforderungen und davon ab, wie unüblich die Dokumente sind. Wir vertiefen dieses Thema im Artikel über die Systemintegration.

Unternehmen in der gesamten Europäischen Union stehen vor derselben Herausforderung: der wachsenden Komplexität der Vorschriften, immer mehr Dokumenten und Wissen, das in den Köpfen weniger Personen eingeschlossen ist. RAG ist ein Werkzeug, das dieses Problem löst — aber nur, wenn die Implementierung mit dem Verständnis beginnt, welche Fragen das Team stellt und in welchen Dokumenten es nach Antworten sucht.

Unser erster Schritt ist stets eine Diagnose: nicht „welches Modell wählen", sondern „welches Wissen wollen Sie verfügbar machen und für wen". Die Technologie wählen wir zuletzt.

— Die Perspektive von cm-opti

Haben Sie Wissen, das in Dokumenten eingeschlossen ist und das Ihr Team stundenlang durchsucht? Let's talk — gemeinsam finden wir heraus, wo ein RAG-Assistent den schnellsten Return liefert.

Häufig gestellte Fragen (FAQ)

Wie unterscheidet sich RAG von einem gewöhnlichen Chatbot?

Ein Chatbot antwortet nur aus dem, was er beim Training gelernt hat. Ein RAG-System durchsucht vor dem Antworten eine festgelegte Dokumentenbasis — sodass die Antwort auf konkreten Passagen beruht und der Nutzer die Quelle prüfen kann.

Beseitigt RAG KI-Halluzinationen?

Es reduziert sie, beseitigt sie aber nicht. Das Modell kann eine Passage immer noch falsch interpretieren oder eine Antwort generieren, die über die gelieferten Dokumente hinausgeht. Deshalb sind das Verifizieren von Antworten und eine gut vorbereitete Basis wichtig.

Kann ein KI-Agent ohne menschliche Aufsicht arbeiten?

Im Geschäftskontext arbeitet ein KI-Agent innerhalb festgelegter Regeln und mit einem Menschen, der das Ergebnis verifiziert. Er ist kein autonomes Programm, das strategische Entscheidungen trifft — er ist ein System, das Abfolgen operativer Schritte automatisiert.

Landen meine Unternehmensdokumente in einem externen KI-Modell?

Das hängt von der Architektur ab. In einem gut konzipierten System bleiben die Dokumente in einer kontrollierten Umgebung und werden nicht zum Training des Modells genutzt. Das ist eine Entscheidung, die zu Beginn des Projekts getroffen werden muss — nicht nach der Einführung.

Wie lange dauert die RAG-Implementierung in einem Unternehmen?

Von einigen Wochen bis zu einigen Monaten — abhängig von der Anzahl der Dokumente, den Sicherheitsanforderungen und davon, ob das Unternehmen eine gut organisierte Wissensbasis hat. Ein erster funktionierender Prototyp auf einem engen Dokumentensatz lässt sich schnell starten; die Skalierung auf die gesamte Organisation ist eine separate Stufe.

Verwandte Artikel in der cm-opti Wissensdatenbank

• Was ist Künstliche Intelligenz?
• Was sind OCR, NLP und wie liest KI Dokumente?
• Was ist Automatisierung?
• Was ist Prozessoptimierung?
• Was ist Computer Vision?
• Was ist Systemintegration?
• Was ist Datenanalyse und BI?

Concepts explained in this article → Glossar

RAG (Retrieval-Augmented Generation), KI-Agent, Chatbot, Embedding, Vektordatenbank, LLM (Large Language Model), KI-Halluzinationen, Chunking, Reranking, Prompt, Human-in-the-Loop, ReAct (Reason + Act), Context Window, DPA (Data Processing Agreement)

Quellen und Referenzen

• Der Begriff RAG — Patrick Lewis et al., "Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks", Meta AI / UCL / NYU, NeurIPS 2020 — arxiv.org
• Der ReAct-Ansatz — Shunyu Yao et al., "ReAct: Synergizing Reasoning and Acting in Language Models", Princeton / Google Research, ICLR 2023 — arxiv.org
• Fallstudie — ein cm-opti-Projekt auf dem deutschen Markt (Bausektor, ein RAG-System auf HOAI/VOB-Dokumenten).