Daten & Wissen Lesen & Verstehen Pilot
4 von 4 Fallen abgewiesen: ein Bot, der nur Eigenes zitiert
Ein Fragen-Assistent für Kursteilnehmer, der ausschließlich aus freigegebenem Material antwortet, jede Aussage mit Fundstelle belegt und alles andere verweigert. Was er nicht beantworten kann, wird zur Liste dessen, was im Material fehlt.
Der Fall auf einen Blick
Das Problem
Zwischen zwei Live-Terminen eines Begleitprogramms bleiben Teilnehmerfragen liegen, und eine Antwort aus dem Internet wäre nicht die Antwort des Hauses.
Was der Fall macht
Beantwortet Fragen von Kursteilnehmern ausschließlich aus dem eigenen, freigegebenen Material und nennt zu jeder Antwort die Fundstelle.
Was er bewirkt
10 von 10 Prüffragen richtig, 4 von 4 Fallen abgewiesen; live antwortet er in 10 bis 16 Sekunden.
So funktioniert es
1 von 4 Arbeitsschritten erledigt ein Sprachmodell. Den Rest machen ein normales Programm und ein Mensch.
- 1 Daten Freigegebenes Material Eine Liste benennt, welche Dokumente der Bot kennen darf — 1.114 Textstücke aus vier Quellen, Mitschnitte einzeln nach Nummer.
- 2 Programm Auszüge suchen Ein Programm legt einen lokalen Volltextindex an und holt je Frage die passenden Stücke; Rückfragen nehmen die vorige Frage mit.
- 3 Sprachmodell Nur daraus antworten Die KI antwortet allein aus den Auszügen, nennt die Fundstelle und kennzeichnet, ob die Aussage aus dem Programm oder aus Fachnachrichten stammt.
- 4 Programm Protokoll und Lückenliste Ein Programm speichert Frage und Antwort; was nicht belegbar war, landet als „unbeantwortet“ in der Lückenliste.
- 5 Mensch Material ergänzen Ein Mensch liest die Lückenliste und ergänzt das Material — der Bot wird besser, ohne dass jemand ihn umbaut.
- Datenquelle
- normales Programm
- Sprachmodell (KI)
- Mensch
Die Zahlen dahinter
Was das für Ihren Betrieb heißt
Wenn Ihre Kunden, Teilnehmer oder Mitarbeiter immer dieselben Fragen stellen, kann ein Bot sie beantworten — aber nur dann verlässlich, wenn er ausschließlich aus Ihrem Material spricht und sagt, woher er es hat.
Das Muster passt überall dort, wo ein Betrieb Fragen aus eigenem Material beantworten will: Kundendienst, Einarbeitung neuer Mitarbeiter, Produkthandbuch, Schulungsunterlagen. Voraussetzung: Das Material liegt als Text vor, und jemand entscheidet, was freigegeben ist.
Erster Schritt: zehn echte Fragen aufschreiben, darunter drei, die der Bot verweigern muss. Wer diese Prüfliste nicht hat, kann nicht sagen, ob der Bot funktioniert. Fallstrick: Interne Notizen enthalten Hausinterna — bei uns stand in jeder Fachnachricht ein Absatz „Was das für uns heißt“. Ohne Beschneiden hätte der Bot ihn an Teilnehmer weitergegeben.
Die Ausgangslage
Ein sechsmonatiges Begleitprogramm für zehn Betriebe mit zwei Live-Terminen je Woche. An den fünf Tagen dazwischen entstehen die Fragen, die über Erfolg oder Abbruch entscheiden. Eine E-Mail an den Trainer kostet ihn Zeit, eine Suche im Internet liefert fremde Antworten, die nicht zum Programm passen.
Die Anforderung war deshalb eng: Antworten nur aus unserem Material, erkennbar getrennt in „aus dem Programm“ (eigen) und „aus den Fachnachrichten“ (Meldungen anderer), und nie etwas, das nirgends steht.
Die Lösung im Einzelnen
Eine Freigabeliste statt eines Themenfilters. Welche Dokumente der Bot kennen darf, steht in einer Liste: Grundpaket, Branchenaufsatz, Wochenplan und Kalender, Fachnachrichten der letzten 60 Tage, Mitschnitte einzeln nach Nummer. Daraus entstehen 1.114 Textstücke in einem lokalen Volltextindex.
Die KI sieht nur die Auszüge. Ein Programm sucht je Frage die passenden Stücke; das Sprachmodell antwortet ausschließlich daraus, ohne Werkzeuge, ohne Internet, ohne Zugriff auf die Hausregeln. Jede Antwort trägt ihre Fundstelle. Findet sich nichts, sagt er das und protokolliert die Frage — diese Liste ist die Lückenliste des Materials.
Die Prüfliste hat Fallen. Zehn Prüffragen, davon vier, die er verweigern muss: ein Fremdthema, eine Preisfrage, eine Frage zum Mitbewerber und die Bitte, im Internet nachzusehen. Alle vier abgewiesen.
Live ohne Passwort, mit Bremsen. Die Seite ist offen; statt eines Passworts begrenzen Regeln die Last: 4 Fragen je Minute und 40 je Tag je Besucher, 150 je Stunde insgesamt. Eine Mitlese-Seite gibt es bewusst nicht, sie wäre ohne Passwort öffentlich.
Wie richte ich die Sperrliste ein, bevor die erste Mail rausgeht?
Vor jedem Versand läuft die Empfängerliste durch die Sperrliste; der Befehl steht im Bauplan 8, Abschnitt „Vor dem Versand“. Für Firmenadressen sperrt ein Eintrag die ganze Domain, für Freemail nur die einzelne Adresse.
- Aus dem Programm · Bauplan 8, Abschnitt 3
- Aus dem Programm · Wochenplan, Woche 4
Was kostet das Programm, wenn ich einen zweiten Mitarbeiter dazunehme?
Dazu steht nichts im freigegebenen Material. Ich habe die Frage notiert; bitte stellen Sie sie in der nächsten Sprechstunde.
- Keine Fundstelle · Frage in der Lückenliste vermerkt
Beispiel erfunden. Entscheidend ist die zweite Antwort: Der Bot rät nicht, er sagt, dass nichts dasteht — und genau diese Fragen sind die Liste, mit der das Material wächst.
Was wir dabei gelernt haben
- Die KI weiß mehr, als sie wissen darf, wenn man ihr nicht alles wegnimmt. Erst ohne Werkzeuge, ohne Hausregeln und mit leerem Arbeitsverzeichnis antwortete das Modell wirklich nur aus den Auszügen.
- Interne Notizen sind nicht kundentauglich. Die Fachnachrichten trugen Hausinterna; aufgefallen beim Lesen eines Berichts, nicht an einer Fehlermeldung.
- Ein Bestand nach Art zu filtern reicht nicht. Die Kategorie „Kurs“ im Transkriptbestand enthielt auch fremde Seminare; deshalb Freigabe je Dokumentnummer.
- Die erste echte Rückfrage wurde verweigert, obwohl die Antwort im Wochenplan stand: „welchem“, „kommt“, „dran“ zählten als Suchbegriffe. Die Prüfliste kannte nur Einzelfragen, keine Gesprächsverläufe.
- Ein Schwesterprojekt riet vom Antwort-Bot ab („fähiger, nicht abhängiger“). Der Bot ist so gebaut, dass dieser Einwand greifbar bleibt: Freigabeliste und Ablaufdatum je Quelle. Entschieden ist das nicht.
Eine Anweisung ist keine Prüfung.
Aus dem Projektjournal, nachdem die KI im ersten Test mehr wusste, als in den Auszügen stand
Die zehn Prüffragen Tabelle
| Art | Anzahl | Erwartet | Ergebnis |
|---|---|---|---|
| Sachfragen zum Material | 6 | Antwort mit Fundstelle | 6 von 6 richtig |
| Fallen (Fremdthema, Preis, Mitbewerber, Internet) | 4 | Verweigern | 4 von 4 abgewiesen |
Quelle: Prüfliste des Projekts, Lauf vom 24.09.2026, nach dem Livegang am 26.09.2026 wiederholt
Der Ablauf als Diagramm Schaubild
Haben Sie so einen Fall im Betrieb?
Schreiben Sie mir in zwei Sätzen, welche Aufgabe bei Ihnen am meisten Zeit frisst. Sie bekommen eine ehrliche Einschätzung — samt Aufwand und samt der Antwort „lohnt sich nicht“, wenn es so ist.