Abnahme einer KI-Funktion: woran der Übergang in den Betrieb geprüft wird

Bei einer KI-Funktion ist die Abnahme nach § 640 BGB der Moment, in dem der Besteller einen Vorgang für den Betrieb billigt – nicht das Modell, sondern das, was es im Tagesgeschäft tun darf. Geprüft wird deshalb mehr als eine Trefferquote: auch der Weg unsicherer Fälle zu einem Menschen, das Protokoll und die Kosten je Vorgang.

Was die Abnahme nach § 640 BGB festlegt

Die Billigung ist eine Pflicht des Bestellers, sobald das Werk vertragsgemäß hergestellt ist; wegen unwesentlicher Mängel darf er sie nicht verweigern. An ihr hängen Folgen, die ein Einführungsprojekt spürbar verändern: Der Werklohn wird fällig (§ 641 BGB), die Gefahr geht auf den Besteller über (§ 644 BGB), die Verjährung der Mängelansprüche beginnt (§ 634a BGB), und wer danach einen Fehler behauptet, muss ihn beweisen.

Zwei Regeln verdienen im KI-Vorhaben besondere Aufmerksamkeit. Setzt der Unternehmer eine angemessene Frist und verweigert der Besteller die Billigung darin nicht unter Angabe mindestens eines Mangels, gilt das Werk nach § 640 Absatz 2 BGB als abgenommen. Schweigen der Fachabteilung ist also keine neutrale Haltung. Und wer einen bekannten Mangel ohne Vorbehalt hinnimmt, verliert nach § 640 Absatz 3 BGB wegen dieses Mangels die Rechte auf Nacherfüllung, Selbstvornahme, Rücktritt und Minderung.

Warum ein bestandener Pilot keine Billigung ersetzt

Im Pilot wurden Beispiele ausgewählt, oft von denen, die das Vorhaben wollten. Eine Person las jede Ausgabe mit, die Anbindung an Bestandssysteme fehlte, Kosten spielten keine Rolle. Unter diesen Bedingungen zeigt ein Sprachmodell, was es kann, aber nicht, was es im Alltag tut: bei unleserlichen Scans, bei Schreiben, die zwei Vorgänge zugleich berühren, beim Andrang am Monatsende.

Wer die Vorführung als Maßstab der Übergabe nimmt, prüft deshalb das Falsche. Prüfgegenstand ist der produktive Vorgang mit allem, was ihn umgibt – und dieser Vorgang existiert erst, wenn Anbindung, Rollen und Protokoll gebaut sind. Woraus sich die Prüfpunkte ableiten, legt vorher die Leistungsbeschreibung für einen KI-Vorgang fest.

Abnahmekriterien: fünf Prüfpunkte für den Betrieb

Brauchbare Kriterien stehen vor dem Start im Angebot und führen zwei Prüfer unabhängig voneinander zum selben Urteil. Für eine KI-Funktion, die in die Sachbearbeitung geht, haben sich fünf Punkte bewährt:

1. Quote auf festgelegten Testfällen. Ein vereinbarter Satz echter Vorgänge, deren richtige Lösung die Fachabteilung vorab bestimmt hat. Gezählt wird getrennt: selbst richtig entschieden, selbst falsch entschieden, an einen Menschen weitergegeben. Die gefährliche Zahl ist die mittlere – Fehler, die das System ohne jedes Warnzeichen liefert.
2. Freigabe durch einen Menschen. Für welche Fälle das System nur vorschlägt, wer freigibt und wie diese Person erkennt, worauf der Vorschlag beruht. Geprüft wird, ob unsichere Fälle tatsächlich dort ankommen.
3. Protokoll. Zu jeder Ausgabe sind Eingabe, Modellstand, Ergebnis und Freigabe nachvollziehbar, am Prüftag an einzelnen Testfällen vorgeführt.
4. Kosten je Vorgang. Die auf den Testfällen gemessenen Aufrufkosten liegen innerhalb der vereinbarten Kostengrenze.
5. Rückfallweg. Die Funktion lässt sich abschalten, und der Vorgang geht von Hand weiter, ohne dass Daten verloren gehen.

Wie Testfälle zusammengestellt und im Betrieb später erneut gemessen werden, behandelt der Artikel KI-Evaluierung.

Wer am Prüftag was entscheidet

Rechtlich gibt die Erklärung der Besteller ab, also die Geschäftsführung oder eine bevollmächtigte Person. Fachlich urteilt jemand anderes: die Leitung des Bereichs, in dem der Vorgang künftig läuft. Ein dritter Blick gehört der IT und dem Datenschutz, die prüfen, ob Protokoll, Zugriffsrechte und Auftragsverarbeitung stimmen. Sind diese Rollen nicht vorher benannt, zieht sich der Termin, weil jede Stelle auf die andere wartet.

Bei Vorgängen, die schrittweise ausgeweitet werden, lohnt eine gestufte Billigung: zuerst ein Teil der Vorgänge im Parallelbetrieb neben der bisherigen Bearbeitung, dann der volle Umfang. Ist für jede Stufe eine eigene Vergütung bestimmt, wird sie nach § 641 BGB mit der Billigung dieser Stufe fällig.

Fehler, die eine Übergabe entwerten

• Nur die Trefferquote. Eine hohe Quote sagt wenig, wenn die übrigen Fälle ohne Kennzeichnung durchlaufen.
• Testfälle aus der Vorführung. Wer die Beispiele des Pilots erneut verwendet, misst, was das System bereits kennt.
• Kein Stand festgehalten. Fehlen Modellstand und Konfiguration im Prüfprotokoll, lässt sich später nicht unterscheiden, ob ein Fehler im gebilligten Werk lag oder nach einer Umstellung beim Anbieter entstand.
• Kosten erst im Betrieb gemessen. Dann steht die Kostengrenze auf dem Papier, und niemand weiß, ob sie hält.

Wie wir Übergaben vorbereiten

Bei uns stehen Testfälle, Zählweise, Freigaberegel, Kostengrenze und Rückfallweg im Angebot, bevor gebaut wird, und die richtigen Lösungen der Testfälle legt die Fachabteilung selbst fest. Vor dem Prüftermin laufen alle Testfälle durch das fertige System; das Ergebnis samt Modellstand geht vorab an alle, die entscheiden. In Kundenprojekten prüfen zuerst unsere KI-Werkzeuge jede Änderung, danach ein Entwickler. Wie ein Vorgang aussieht, der im Alltag besteht, zeigt ein Projekt aus dem Handel: 8 Kassen werden täglich ohne Abtippen abgestimmt, am Referenztag auf den Groschen genau. Welche Arbeit bis zu einer solchen Übergabe anfällt, beschreibt die Leistung Prozessautomatisierung mit KI.