Was sind RAG und KI-Agenten? Wie aus Unternehmensdokumenten Antworten werden

1. Was ist RAG und wie funktioniert es?

⚡ In einem Satz

RAG (Retrieval-Augmented Generation) ist eine KI-Architektur, die vor dem Antworten in deinen Unternehmensdokumenten nach Passagen sucht: Sie antwortet auf Basis von Quellen, nicht auf Basis des allgemeinen „Wissens“ des Modells.

💡 Einfach erklärt

Stell dir vor, du stellst einen neuen Mitarbeiter ein. Er hat eine allgemeine Ausbildung und kommuniziert gut, kennt aber deine internen Verfahren, Preislisten oder Branchenvorschriften noch nicht. Wenn du ihm eine Frage stellst, antwortet er auf Basis dessen, was er im Studium gelernt hat. Vielleicht liegt er richtig, vielleicht sagt er aber auch etwas, das plausibel klingt, ohne durch Fakten gedeckt zu sein.

Stell dir nun vor, du gibst ihm Zugang zur Unternehmensbibliothek und sagst: „Bevor du antwortest, schau in die Dokumente.“. Genau das ist RAG.

Wie sieht das an einem konkreten Beispiel aus? Ein neuer Mitarbeiter in seiner ersten Woche will wissen, wie die Urlaubsregelung aussieht, wie er Arbeitsmittel bestellt oder wen er nach dem Zugang zum Lagersystem fragt. Die Informationen gibt es im Unternehmen: in der Arbeitsordnung, in Verfahrensanweisungen, in Anleitungen. Sie sind aber über verschiedene Dokumente und Ordner verstreut.

Ohne ein RAG-System fragt der neue Mitarbeiter Kollegen, wühlt sich durch Ordner, schickt E-Mails. Jede Frage reißt jemanden im Team von seiner aktuellen Arbeit weg. Manche Antworten kommen spät, manche in widersprüchlichen Versionen.

Mit einem RAG-System tippt er die Frage in ein Chatfenster, genauso, wie er einem Kollegen eine Nachricht schreiben würde. Das System:

• Durchsucht den Dokumentenbestand und findet die relevante Passage der Arbeitsordnung oder Verfahrensanweisung. Es sucht nicht nach Schlüsselwörtern wie eine Suchmaschine, es sucht nach Bedeutung, weil die Dokumente in eine mathematische Repräsentation ihres Inhalts umgewandelt wurden (sogenannte Embeddings, mehr im Abschnitt 🔧). Die Frage „Wie bestelle ich einen Laptop?“ landet beim Verfahren zur Bestellung von Arbeitsmitteln, selbst wenn das Dokument „IT-Beschaffungsrichtlinie“ heißt.
• Übergibt den Kontext - die gefundene Passage geht zusammen mit der Frage an das KI-Modell. Das Modell erhält die Anweisung: Antworte auf Basis dieses Dokuments.
• Generiert die Antwort - das Modell formuliert die Antwort in natürlicher Sprache und gibt die Quelle an. Der Mitarbeiter kann darauf klicken und selbst prüfen, ob das System das Dokument korrekt interpretiert hat.

Der Effekt: Der neue Mitarbeiter erhält in 10 bis 20 Sekunden eine Antwort, ohne jemanden im Team einzubeziehen. Und wenn einen Monat später die nächste Person anfängt, stehen ihr die Antworten vom ersten Tag an zur Verfügung.

🔧 Zum Vertiefen

Der Begriff RAG (Retrieval-Augmented Generation) wurde 2020 von Patrick Lewis und Mitautoren von Meta AI (damals Facebook AI Research) und dem University College London eingeführt, in einer auf der NeurIPS-Konferenz vorgestellten Arbeit. Die Idee: zwei Arten von Gedächtnis zu verbinden, parametrisches (was das Modell beim Training gelernt hat) und nicht-parametrisches (ein externer Dokumentenbestand, auf den das Modell im Moment des Generierens einer Antwort zurückgreift). Unter der einfachen Chat-Oberfläche steckt eine mehrstufige Pipeline:

• Dokumenten-Vorverarbeitung - bevor das System antworten kann, müssen die Dokumente vorbereitet werden. Jedes Dokument wird in Passagen (Chunks) festgelegter Länge aufgeteilt, unter Wahrung des Kontexts (z. B. mit an jeden Chunk angehängten Abschnittsüberschriften). Sind die Dokumente Scans oder Bilder, muss der Text zuerst extrahiert werden. Hier kommt OCR ins Spiel (vgl. Was sind OCR und NLP? So liest KI Dokumente).
• Embeddings - jede Passage wird in ein Embedding umgewandelt, einen numerischen Vektor, der ihre Bedeutung repräsentiert, nicht ihren wörtlichen Inhalt. Dadurch landet die Frage „Wie bestelle ich einen neuen Monitor?“ beim Beschaffungsverfahren, in dem steht „Bedarf an IT-Ausstattung wird über das Formular im Intranet gemeldet“, obwohl die Wörter nicht übereinstimmen.
• Vektordatenbank - Embeddings werden in einer speziellen Datenbank gespeichert (z. B. Pinecone, Weaviate, Qdrant, FAISS), die auf die Nächste-Nachbarn-Suche optimiert ist. Hier wird die Frage mit den Dokumenten abgeglichen.
• Reranking - ein optionaler, aber wichtiger Schritt. Ein separates Modell „bewertet“ die Relevanz der gefundenen Passagen im Kontext der konkreten Frage und ordnet sie neu. Das verbessert die Antwortqualität, besonders wenn die erste Suche nur teilweise relevante Passagen geliefert hat.
• Erweiterter Prompt - die Frage des Nutzers wird mit den gefundenen Passagen zu einem einzigen Prompt kombiniert, der an das LLM geht (ein großes Sprachmodell, z. B. GPT-4, Claude, Llama). Der Prompt enthält die Anweisung: „Antworte anhand der bereitgestellten Passagen. Wenn du keine Antwort findest, sag das.“
• Generierung mit Quellenangabe - das LLM generiert die Antwort und gibt an, aus welcher Passage (und damit aus welchem Dokument) die Information stammt.

Die Qualität eines RAG-Systems hängt von mehreren Faktoren ab: wie die Dokumente in Passagen aufgeteilt werden (zu kleine Passagen verlieren den Kontext, zu große verwässern die Relevanz), der Qualität des Embedding-Modells, der Suchkonfiguration und davon, wie gut sich das LLM an die gelieferten Quellen hält, statt auf sein Trainingswissen zurückzugreifen.

Auch die Grenzen solltest du kennen. Ein LLM hat eine Kontextgrenze (Context Window): Findet das System zu viele relevante Passagen, passen nicht alle in eine einzige Anfrage an das Modell. Dokumente mit Tabellen, Diagrammen oder komplexer Formatierung (z. B. mehrseitige Vertragsanhänge) sind schwerer zu verarbeiten als reiner Text. Und bei großen Dokumentenbasen wachsen die Kosten für die Pflege der Embeddings und der Suchinfrastruktur.

RAG beseitigt KI-Halluzinationen nicht, aber es reduziert sie erheblich, weil es das Modell zwingt, sich auf konkrete Dokumente zu stützen statt auf allgemeines Trainingswissen. Die Genauigkeit der Antworten hängt von der Qualität der hinterlegten Dokumente ab und davon, wie gut das Suchsystem Passagen mit der Frage abgleicht (vgl. Was ist Künstliche Intelligenz? - der Abschnitt zu KI-Halluzinationen).

2. Was ist ein KI-Agent und wie unterscheidet er sich von einem Chatbot?

⚡ In einem Satz

Ein KI-Agent ist ein System aus vier Elementen - einem LLM, Werkzeugen, Gedächtnis und Autonomie - das eigenständig mehrstufige Aufgaben ausführt, statt nur Fragen zu beantworten.

💡 Einfach erklärt

Am einfachsten versteht man einen KI-Agenten, indem man drei Stufen der Selbstständigkeit vergleicht:

Ein Chatbot - beantwortet Fragen aus dem, was er beim Training gelernt hat. Er hat keinen Zugang zu deinen Dokumenten oder Systemen. Du stellst eine Frage, du erhältst eine Antwort, die glaubwürdig klingt, aber du weißt nicht, woher sie stammt oder ob sie aktuell ist.

Ein RAG-System - ein Chatbot mit Zugang zu den Dokumenten des Unternehmens. Bevor er antwortet, sieht er in deinen Dokumenten nach. Die Antwort beruht auf konkreten Quellen, die du verifizieren kannst. Ein erheblicher Qualitätssprung, aber ein RAG-System wartet weiterhin auf eine Frage und antwortet dann. Von sich aus wird es nicht aktiv.

Ein KI-Agent - das ist mehr als ein Chatbot mit Werkzeugen. Er besteht aus vier Elementen:

• Ein LLM als „Gehirn“ - ein großes Sprachmodell, das die Frage und den Kontext „versteht“ und auf dieser Basis die nächsten Schritte formuliert. Das LLM „steuert“ den gesamten Prozess.
• Zugang zu Werkzeugen - der Agent kann auf Dokumentenbestände zugreifen (RAG), APIs aufrufen (Schnittstellen, über die Systeme miteinander kommunizieren), Unternehmenssysteme durchsuchen, Dateien generieren. In fortgeschritteneren Anwendungen kann der Agent ein Bild aus einem Computer Vision-System analysieren oder Daten aus einem BI-Dashboard abrufen. Jedes Werkzeug ist eine eigene „Fähigkeit“, die der Agent nutzt, wenn er „entscheidet“, dass sie gebraucht wird.
• Gedächtnis - der Agent „erinnert sich“ an frühere Schritte innerhalb einer Aufgabe und nutzt ihre Ergebnisse in den nächsten. Er beginnt nicht bei jedem Schritt von vorne.
• Autonomie - der Agent wählt den nächsten Schritt auf Basis des Ergebnisses des vorherigen. Er wartet nicht nach jeder Stufe auf eine Anweisung des Nutzers.

Wie sieht das in der Praxis aus? Wenn du dem Agenten die Aufgabe gibst „Prüfe, ob das neue Angebot des Lieferanten unserem Rahmenvertrag entspricht“, geht er so vor:

1. Er sucht die Konditionen des Rahmenvertrags in den Dokumenten (mit RAG als Werkzeug).
2. Er vergleicht sie Punkt für Punkt mit dem Angebot.
3. Er identifiziert die Abweichungen.
4. Er erstellt einen Bericht mit den Ergebnissen.

Ein Mensch verifiziert das Ergebnis und trifft die endgültige Entscheidung, muss aber nicht jeden Schritt selbst durchgehen. Wo KI-Agenten im Spektrum der Automatisierung stehen, vom Makro bis zum Agenten, beschreiben wir im Artikel Was ist Automatisierung?

🔧 Zum Vertiefen

In der KI-Branche wird diskutiert, was die Bezeichnung „Agent“ verdient. Manche als „KI-Agenten“ verkauften Lösungen sind in Wirklichkeit RAG-Systeme mit einer aufwendigen Oberfläche. Nach einer belastbaren Definition braucht ein Agent alle vier Elemente: LLM, Werkzeuge, Gedächtnis und Autonomie. Fehlt auch nur eines, ist es eher ein fortgeschrittener Chatbot als ein Agent.

Der ReAct-Ansatz - wie ein Agent „denkt“ und handelt

Eine der am weitesten verbreiteten Agentenarchitekturen ist der ReAct-Ansatz (Reason + Act), 2022 von Shunyu Yao und Mitautoren der Princeton University und von Google Research vorgeschlagen. Der Name ist Programm: Der Agent wechselt zwischen Schlussfolgern (Reason) und Handeln (Act). In der Praxis sieht das so aus: Der Agent arbeitet in einer Schleife aus drei Schritten, die sich wiederholt:

• Thought (Gedanke) - der Agent „analysiert“ den bisherigen Kontext und formuliert, was er als Nächstes tun soll. Das ist kein Denken im menschlichen Sinne, es ist das Generieren von Text, in dem das Modell seinen Plan ausformuliert.
• Action (Handlung) - der Agent führt eine konkrete Handlung aus: Er durchsucht den Dokumentenbestand, ruft eine API auf, führt eine Abfrage gegen ein Unternehmenssystem aus.
• Observation (Beobachtung) - der Agent erhält das Ergebnis der Handlung und geht auf dieser Basis zum nächsten Thought-Schritt über.

Die Schleife Thought → Action → Observation wiederholt sich, bis der Agent „entscheidet“, dass die Aufgabe erledigt ist. Genau diese Schleife unterscheidet einen Agenten von einem RAG-System: RAG führt einen Zyklus aus (Suche → Antwort), ein Agent führt so viele aus, wie er braucht.

Warum ist das wichtig? Der ReAct-Ansatz gibt dem Agenten zwei Dinge, die einfacheren Systemen fehlen. Erstens: die Fähigkeit, mitten in der Aufgabe den Kurs zu korrigieren. Ist das Ergebnis eines Schritts unzureichend, kann der Agent die Strategie ändern, statt eine falsche Antwort zurückzugeben. Zweitens: Transparenz. Jeder Thought-Schritt wird aufgezeichnet, sodass ein Mensch nachvollziehen kann, wie der Agent zum Ergebnis gelangt ist.

Ein wichtiger Vorbehalt: Wenn wir schreiben, dass der Agent „denkt“, „analysiert“ oder „plant“, ist das eine Vereinfachung. Ein KI-Agent denkt nicht, er verarbeitet Anweisungen, Muster und Regeln. Aber der Effekt kann einem Mitarbeiter nahekommen, der bei Routineaufgaben eigenständig handelt (vgl. Was ist Künstliche Intelligenz? - der Abschnitt dazu, wie KI „denkt“).

3. Fallstudie: KI-Assistent für Rechtsdokumente in der deutschen Baubranche

⚡ In einem Satz

Ein Unternehmen der deutschen Baubranche ersetzte das manuelle Durchsuchen Hunderter Seiten Vorschriften durch einen RAG-Assistenten: Er antwortet in 10 bis 20 Sekunden, und eine begründete Antwort liegt nach 10 Minuten statt nach etwa 1,5 Stunden vor.

💡 Einfach erklärt

Die Baubranche in Deutschland stützt sich auf ein dichtes Geflecht von Vorschriften und Verordnungen: HOAI (die Honorarordnung für Architekten und Ingenieure), VOB (die Vergabe- und Vertragsordnung für Bauleistungen) und vielen anderen. Jedes Angebot, jede Kalkulation, jede Abrechnung erfordert eine Prüfung anhand der Vorschriften.

Das Problem: Der Inhaber verbrachte einen erheblichen Teil seiner Arbeitszeit damit, Kosten, übliche Vorgehensweisen und rechtliche Anforderungen zu klären. Die Dokumente lagen im Unternehmen vor, allerdings als Hunderte PDF-Seiten, verstreut über verschiedene Ordner. Die Antwort auf eine konkrete Frage zu finden, bedeutete, die Dokumente manuell zu durchsuchen oder einen Berater anzurufen.

Die Lösung: Ein intelligenter Assistent (Chat) auf Basis der RAG-Architektur, der ausschließlich mit Dokumenten aus der Wissensdatenbank des Unternehmens arbeitet. Der Inhaber stellt eine Frage auf Polnisch oder Deutsch, das System durchsucht die Vorschriftensammlung, findet die relevante Passage und formuliert eine Antwort mit Quellenangabe.

Was sich in der Praxis änderte:

• Der Assistent antwortet in 10 bis 20 Sekunden, und der gesamte Weg von der Frage bis zur begründeten Antwort sank von etwa 1,5 Stunden auf 10 Minuten.
• Die Antworten stützen sich auf konkrete Passagen der Dokumente, der Inhaber kann jede einzelne prüfen.
• Das System arbeitet in einer geschlossenen Umgebung: Unternehmensdokumente verlassen die sichere Infrastruktur nicht (mehr zur Sicherheit in Abschnitt 4).
• Neue Mitarbeiter finden sich schneller im Dickicht der Vorschriften zurecht: Das System funktioniert wie ein erfahrener Kollege, an den man sich mit einer Frage wenden kann.

Der Assistent ersetzt keinen Anwalt und keinen Berater. Er nimmt das mechanische Suchen ab, damit Zeit und Aufmerksamkeit dorthin gehen, wo sie wirklich gebraucht werden: in Auslegung, Verhandlungen und Entscheidungen.

„Bevor wir mit dem Bau des Systems begannen, setzten wir uns zuerst mit dem Inhaber zusammen und schrieben auf, welche Fragen er am häufigsten stellt und in welchen Dokumenten er nach Antworten sucht. Es stellte sich heraus, dass die große Mehrheit der Fragen einige wenige konkrete Bereiche betraf: Honorarsätze, Verfahren, Fristen. So konnten wir mit einem kleinen, klar abgegrenzten Dokumentenbestand beginnen, statt zu versuchen, ‚alles auf einmal hineinzukippen‘.“

- Karol Jurewicz, Prozessoptimierung, cm-opti

🔧 Zum Vertiefen

Aus technischer Sicht betrafen die wichtigsten Architekturentscheidungen:

• Der Umfang des Dokumentenbestands - statt alle Unternehmensdokumente hochzuladen, umfasst der Bestand nur geprüfte Branchenvorschriften und -verordnungen. Das begrenzt das Risiko, dass das System veraltete oder irrelevante Informationen zurückgibt.
• Mehrsprachigkeit - das System verarbeitet Fragen und Antworten auf Polnisch und Deutsch, obwohl die Quelldokumente auf Deutsch sind. Das Modell generiert Antworten in der Sprache der Frage und behält die Fachbegriffe aus dem Quelldokument bei.
• Sicherheit - Dokumente werden in einer geschlossenen Cloud-Umgebung verarbeitet und gespeichert. Die Daten werden weder an öffentliche APIs gesendet noch zum Training externer Modelle genutzt. Details in Abschnitt 4.

„Der größte Fehler, den ich bei RAG-Projekten sehe, ist es, sich auf das KI-Modell zu konzentrieren und die Vorbereitung der Dokumente zu vernachlässigen. Ist der Dokumentenbestand ein Chaos - inkonsistente, duplizierte, veraltete Dokumente - dann gibt selbst das beste Modell schlechte Antworten. Deshalb investieren wir, bevor wir das System starten, Zeit in das Aufräumen des Bestands: was hineinkommt, in welchem Format, wie er aufgeteilt wird.“

- Michael Jan Rogocki, KI-Lösungsarchitektur, cm-opti

4. Datensicherheit - Fundament statt Zusatz

⚡ In einem Satz

Datensicherheit in einem RAG-System ist eine Architekturanforderung, keine Option. Sie bestimmt die Wahl der Infrastruktur, der Anbieter und der Einführungsmethode.

💡 Einfach erklärt

Wenn ein Unternehmen ein RAG-System einführt, gibt es ihm Zugang zu seinen wertvollsten Dokumenten: Verträgen, Vorschriften, internen Verfahren, Kundendaten. Das ist eine andere Situation als die Nutzung eines öffentlichen Chatbots, bei dem man eine Frage eintippt und sich keine Gedanken darüber macht, was mit den Daten geschieht. In einem RAG-System für ein Unternehmen sind mehrere Dinge wichtig:

• Wo die Daten liegen. Dokumente müssen in einer kontrollierten Umgebung gespeichert werden: einer Private Cloud, einem dedizierten Server, einer Infrastruktur mit klar definiertem Datenstandort. Nicht auf dem öffentlichen Server des KI-Anbieters, nicht in einer mit anderen Unternehmen geteilten Umgebung.
• Wer Zugriff hat. Das Berechtigungssystem muss widerspiegeln, wer im Unternehmen welche Dokumente sehen soll. Enthält der RAG-Dokumentenbestand Kundenverträge, sollte nicht jeder Mitarbeiter danach fragen können.
• Was mit den Fragen und Antworten geschieht. Die Frage „wie hoch ist die Marge bei Projekt X?“ enthält bereits vertrauliche Informationen, auch wenn die Antwort nie generiert wird. Das System muss garantieren, dass der Inhalt von Fragen und Antworten das Unternehmen nicht verlässt und nicht zum externen Anbieter des KI-Modells gelangt.
• Ob die Daten das Modell trainieren. Eine wichtige Unterscheidung: In einem gut konzipierten RAG-System werden Unternehmensdokumente NICHT zum Training des KI-Modells verwendet. Sie werden beim Generieren einer Antwort durchsucht, werden aber nicht Teil des Modells. Wenn du sie aus dem Bestand löschst, „erinnert sich“ das System nicht an sie.

Das ist keine Checkliste aus einer Broschüre, das sind Architekturentscheidungen, die ganz zu Beginn des Projekts getroffen werden müssen, weil sie die Wahl der Infrastruktur, der Anbieter und der Einführungsmethode beeinflussen.

🔧 Zum Vertiefen

Datensicherheit im Kontext von RAG und KI-Agenten erstreckt sich über mehrere Schichten:

• Infrastruktur - eine Private-Cloud-Lösung (z. B. AWS, Azure, GCP mit dedizierter Konfiguration) oder On-Premise-Infrastruktur. Die Daten liegen in einer Region, die den regulatorischen Anforderungen entspricht (z. B. in der EU für europäische Unternehmen).
• Modell-Isolierung - das KI-Modell kann als externer Dienst (API) laufen, aber die Eingabe- und Ausgabedaten werden vom Anbieter nicht zum Training des Modells genutzt. Alternativ: ein lokal gehostetes Modell (z. B. ein Open-Source-LLM auf der Unternehmensinfrastruktur), das volle Kontrolle gibt, aber größere Ressourcen erfordert.
• Zugriffskontrolle - ein Berechtigungssystem, integriert mit der bestehenden IT-Infrastruktur des Unternehmens (z. B. Active Directory, LDAP). Verschiedene Nutzergruppen haben Zugang zu verschiedenen Teilmengen von Dokumenten.
• Audit und Protokollierung - wer wann was gefragt hat. Logs werden in einer kontrollierten Umgebung gespeichert, nur intern zugänglich, nicht mit dem Modellanbieter geteilt.
• Regulatorische Konformität - je nach Branche: DSGVO, Branchenstandards, sektorale Anforderungen (z. B. BaFin für den Finanzsektor in Deutschland). Der EU AI Act führt zusätzliche Anforderungen für KI-Systeme mit hohem Risiko ein (vgl. Was ist Künstliche Intelligenz? - der Abschnitt zum EU AI Act).

Nutzt ein Unternehmen ein externes LLM über eine API, muss mit dem Modellanbieter ein Auftragsverarbeitungsvertrag (AVV, englisch Data Processing Agreement, DPA) geschlossen werden. Das verlangt die DSGVO, wenn personenbezogene Daten an einen Dritten übermittelt werden.

Für uns ist Datensicherheit kein „Zusatz“ zum Projekt, sondern der Ausgangspunkt. Wir beginnen jedes Projekt mit den Fragen: Welche Daten kommen ins System, wer soll darauf zugreifen, welche Vorschriften gelten? Erst mit diesem Überblick wählen wir Infrastruktur und Architektur. Für Unternehmen in der Europäischen Union ist das besonders wichtig: Der EU-Regulierungsrahmen (DSGVO, EU AI Act) ist anspruchsvoll, und das Vertrauen eines Kunden wird über Jahre aufgebaut und in Minuten verloren.

- Die Perspektive von cm-opti

5. RAG im Unternehmen einführen: Womit anfangen?

⚡ In einem Satz

Eine RAG-Einführung beginnt am besten mit einem einzigen Dokumentenbestand und einer Art von Fragen, und zwar dort, wo das Team die meiste Zeit mit der Suche nach Antworten verliert.

💡 Einfach erklärt

Du musst nicht sofort ein System bauen, das jede Frage zu allem beantwortet. Die besten RAG-Projekte beginnen mit einem engen, klar definierten Umfang:

• Finde das Wissen, das in Dokumenten feststeckt. Wo im Unternehmen verlieren Menschen Zeit mit der Suche nach Informationen? Handbücher? Branchenvorschriften? Technische Dokumentation? Interne Verfahren? Vertragsbedingungen? Je öfter jemand suchen muss, desto höher der Return on Investment.
• Prüfe die Qualität der Dokumente. Sind die Dokumente aktuell? Gibt es widersprüchliche Versionen desselben Dokuments? Liegen sie in einem verarbeitbaren Format vor (PDF, Word, HTML)? Ein RAG-System ist nur so gut wie die Dokumente, auf denen es aufbaut, und das Ordnen der Dokumente ist in der Praxis der erste Schritt der Optimierung (vgl. Was ist Prozessoptimierung?).
• Definiere, wer fragt und worüber. Nicht „jeder über alles“, konkret: Vertriebler über Preisbedingungen, Techniker über Normen, Manager über Verfahren. Je genauer du die Nutzergruppe und ihre Fragen definierst, desto schneller liefert das System treffende Antworten.
• Beginne mit Human-in-the-Loop. In der ersten Stufe schlägt das System Antworten vor, und ein Mensch prüft sie. Mit der Zeit wächst das Vertrauen, und der Anteil eigenständiger Antworten steigt.

Eine eigene Frage ist der Umsetzungsweg: eine fertige Plattform, ein Cloud-Werkzeug oder eine Eigenentwicklung. Das hängt vom Umfang, von den Sicherheitsanforderungen und davon ab, wie speziell die Dokumente sind. Wir vertiefen dieses Thema im Artikel über die Systemintegration.

Unternehmen in der gesamten Europäischen Union stehen vor derselben Herausforderung: Vorschriften werden komplexer, Dokumente werden mehr, und das Wissen steckt in den Köpfen weniger Personen. RAG ist ein Werkzeug, das dieses Problem löst, aber nur, wenn die Implementierung mit dem Verständnis beginnt, welche Fragen das Team stellt und in welchen Dokumenten es nach Antworten sucht. Unser erster Schritt ist stets eine Diagnose: nicht „Welches Modell nehmen wir?“, sondern „Welches Wissen willst du wem zugänglich machen?“ Die Technologie wählen wir zuletzt.

- Die Perspektive von cm-opti

Häufig gestellte Fragen (FAQ)

Wie unterscheidet sich RAG von einem gewöhnlichen Chatbot?

Ein Chatbot antwortet nur aus dem, was er beim Training gelernt hat. Ein RAG-System durchsucht vor dem Antworten einen festgelegten Dokumentenbestand, sodass die Antwort auf konkreten Passagen beruht und der Nutzer die Quelle prüfen kann.

Beseitigt RAG KI-Halluzinationen?

Es reduziert sie, beseitigt sie aber nicht. Das Modell kann eine Passage immer noch falsch interpretieren oder eine Antwort generieren, die über die gelieferten Dokumente hinausgeht. Deshalb sind die Prüfung der Antworten und ein gut vorbereiteter Dokumentenbestand wichtig.

Kann ein KI-Agent ohne menschliche Aufsicht arbeiten?

Im Geschäftskontext arbeitet ein KI-Agent innerhalb festgelegter Regeln und mit einem Menschen, der das Ergebnis verifiziert. Er ist kein autonomes Programm für strategische Entscheidungen, sondern ein System, das Abfolgen operativer Schritte automatisiert.

Landen meine Unternehmensdokumente in einem externen KI-Modell?

Das hängt von der Architektur ab. In einem gut konzipierten System bleiben die Dokumente in einer kontrollierten Umgebung und werden nicht zum Training des Modells genutzt. Das ist eine Entscheidung, die zu Beginn des Projekts getroffen werden muss, nicht nach der Einführung.

Wie lange dauert die Einführung von RAG im Unternehmen?

Von einigen Wochen bis zu einigen Monaten, abhängig von der Anzahl der Dokumente, den Sicherheitsanforderungen und davon, ob das Unternehmen eine gut organisierte Wissensbasis hat. Ein erster funktionierender Prototyp mit wenigen, klar abgegrenzten Dokumenten steht schnell; die Ausweitung auf die gesamte Organisation ist ein eigener Schritt.

Hat dein Unternehmen Wissen in Dokumenten, an das man schwer herankommt? Sprechen wir - wir zeigen dir, mit welchen Dokumenten du am besten beginnst und welchen Effekt du erreichen kannst. Wie wir einen KI-Assistenten für Unternehmenswissen und einen KI-Agenten für mehrstufige Aufgaben einführen, beschreiben wir unter Lösungen.

Verwandte Artikel in der cm-opti-Wissensdatenbank

• Was ist Künstliche Intelligenz?
• Was sind OCR und NLP? So liest KI Dokumente
• Was ist Automatisierung?
• Was ist Prozessoptimierung?
• Was ist Computer Vision?
• Was ist Systemintegration?
• Was ist Datenanalyse und BI?

In diesem Artikel erklärte Begriffe → Glossar

RAG (Retrieval-Augmented Generation), KI-Agent, Chatbot, Embedding, Vektordatenbank, LLM (Large Language Model), KI-Halluzinationen, Chunking, Reranking, Prompt, Human-in-the-Loop, ReAct (Reason + Act), Context Window, DPA (Data Processing Agreement)

Quellen und Referenzen

• Der Begriff RAG - Patrick Lewis et al., „Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks“, Meta AI / UCL / NYU, NeurIPS 2020 - arxiv.org
• Der ReAct-Ansatz - Shunyu Yao et al., „ReAct: Synergizing Reasoning and Acting in Language Models“, Princeton / Google Research, ICLR 2023 - arxiv.org
• Fallstudie - ein cm-opti-Projekt auf dem deutschen Markt (Baubranche, RAG-System auf Basis von HOAI- und VOB-Dokumenten).