Über 400 beschriebene Aktionen statt Freibrief: Verantwortung für KI-Fehler

Die Verantwortung für KI-Fehler lässt sich nur zuordnen, wenn vorher feststeht, was die KI überhaupt tun durfte. Deshalb führt ein KI-Agent bei uns keine beliebigen Schritte aus, sondern Aktionen aus einem Katalog – über 400 beschriebene Aktionen, die unsere KI ausführt, jede mit kontrolliertem Zugriff. Was dort fehlt, existiert für den Agenten nicht.

Wer steht gerade, wenn der Agent danebenliegt?

Spätestens wenn ein Agent Kunden anschreiben oder Datensätze ändern soll, steht diese Frage im Raum. Sie ist berechtigt. Ein Sprachmodell mit Zugang zu Postfach, CRM und Ablage kann im Prinzip alles, was diese Systeme hergeben: schreiben, ändern, löschen, weiterleiten. Baut man einen Agenten so, dass er alles darf, was das Modell kann, lässt sich nach einem Fehler kaum noch auseinanderhalten, woran es lag.

War die Anweisung unklar? Hatte der Agent einen Zugriff, den niemand hätte vergeben dürfen? Hat das Modell etwas erfunden? Oder hat jemand ein Ergebnis durchgewinkt, ohne hinzusehen? Ohne vorher gezogene Grenzen landet die Antwort bei „die KI“ – und mit einer KI lässt sich kein Gespräch über Zuständigkeit führen. Für die Geschäftsführung ist das keine Stilfrage: Ohne Zuordnung lässt sich weder die Ursache abstellen noch begründet entscheiden, ob der Agent am nächsten Tag weiterlaufen darf.

Was im Katalog steht – und was bewusst fehlt

Unser Katalog ist aus der eigenen Arbeit gewachsen und umfasst heute über 400 beschriebene Aktionen. Die Zahl ist kein Nutzungszähler: Sie sagt nicht, wie oft eine Aktion läuft, sondern wie viele Handgriffe einzeln beschrieben sind. Auf Daten und Systeme greift die KI über kontrollierte Werkzeuge zu, nicht über einen offenen Zugang.

Wichtiger als die Zahl ist der Zuschnitt. Eine Aktion „Kundenanfrage beantworten“ ist etwas anderes als „E-Mail senden“: Die erste hängt an einem Vorgang, die zweite wäre ein Freibrief. Eine brauchbare Beschreibung ist deshalb eng. Lieber zwei schmale Aktionen, deren Wirkung man vorhersagen kann, als eine breite, bei der man es nicht kann. Wer eine Aktion beschreibt, muss sich festlegen, was sie bewirkt – und genau diese Festlegung fehlt, wenn ein Agent frei handeln darf.

Wie viel Verantwortung schon in der Einstellung einer Aktion steckt, zeigt die KI-Rezeption. Dort wird je Unternehmen festgelegt, ob eine Antwort als Entwurf auf die Freigabe eines Mitarbeiters wartet oder direkt versendet wird. Dieselbe Fähigkeit ergibt zwei verschiedene Verantwortungslagen, und beide sind entschieden, bevor die erste Anfrage eintrifft.

Kommt eine Aktion hinzu, läuft die Änderung vor dem Zusammenführen durch dieselben automatischen Prüfungen wie jeder andere Code; eine davon gilt dem Katalog selbst.

Verantwortung für KI-Fehler: drei Fragen statt einer Schuldfrage

Mit einem Katalog zerfällt die Frage nach der Schuld in drei Fragen, und jede hat einen Adressaten.

1. Durfte der Agent diese Aktion ausführen? Wenn nicht, liegt der Fehler im Zuschnitt von Katalog und Zugriffen. Das ist Bauarbeit und damit Sache dessen, der den Agenten gebaut und zur Abnahme übergeben hat.
2. Stimmten die Eingaben? Hat der Agent mit einem veralteten Preis, einer falschen Adresse oder einem lückenhaften Datensatz gearbeitet, liegt die Ursache im Quellsystem. Zuständig ist, wer diese Daten pflegt – und diese Rolle wird vor dem Start benannt.
3. War das Ergebnis einer erlaubten Aktion falsch? Dann kommt es darauf an, ob für diese Aktion eine Freigabe vorgesehen war. Gab es eine, hat ein Mensch das Ergebnis gesehen. Gab es keine, hat der Fachbereich entschieden, dass diese Aktion ohne Freigabe laufen darf – ausdrücklich und schriftlich, nicht nebenbei.

So wird aus „die KI war es“ eine Kette mit Rollen. Wo zwischen Modell und Wirkung ein Mensch stehen muss, erklärt der Lexikoneintrag Human in the Loop.

Was ein Katalog bei der Verantwortung für KI-Fehler nicht löst

Ein Katalog begrenzt, was geschehen kann. Er verhindert nicht, dass innerhalb einer erlaubten Aktion etwas Falsches geschieht. Ein Antwortentwurf mit einem falschen Liefertermin ist eine erlaubte Aktion mit falschem Inhalt; läuft er durch eine Freigabe, bei der niemand genau liest, geht er trotzdem hinaus. Der Katalog macht einen solchen Fehler nachvollziehbar und klein, aber nicht unmöglich.

Die zweite Grenze liegt in der Beschreibung selbst. Eine automatische Prüfung kann feststellen, dass eine Aktion eingetragen ist. Ob die Beschreibung fachlich stimmt – ob „Anfrage beantworten“ tatsächlich nur antwortet und nicht nebenbei den Status im CRM umstellt –, beurteilt keine Maschine. Das muss jemand lesen, bevor die Aktion in Betrieb geht, und erneut, sobald sich der Vorgang ändert.

In Kundenprojekten beginnen wir deshalb mit einer kurzen Liste statt mit einem großen Agenten: welche Handgriffe er übernehmen soll, auf welche Systeme er dafür zugreift, welche Aktion eine Freigabe braucht und wer sie erteilt. Diese Liste wird Teil der Abnahmekriterien. Wie wir KI-Agenten für Unternehmen auf dieser Grundlage bauen, beschreibt die Leistungsseite.