Die KI hält Einzug und beschäftigt auch uns. Auch das krm setzt seit mehreren Jahren mit der MATRIO Methode® bei der Datenbereinigung auf semantische Technologien, welche ohne Einsatz von KI-Mechanismen nicht denkbar wären. Wir haben diese Themen ausführlich im Information Governance Leitfaden 2021 adressiert (S. 41ff.). Alle Textverweise in diesem Artikel beziehen sich auf den aktuellen Leitfaden.
Es stellt sich die Frage, welchen Einfluss KI-Technologien auf die Prüfung und Zertifizierung von Produkten und Systemen haben. Die folgenden Fragen stehen dabei im Vordergrund:
Wir verwenden hier ein fiktives, aber praxisnahes Beispiel zur Illustration:
Ein Produktanbieter bietet eine App zum Scannen von Spesenbelegen, welche z.B. als Belege einer Spesen-/Auslagenabrechung beigelegt werden sollen. Die Spesenabrechnung erfolgt automatisiert, indem die erfassten Daten direkt eingefüllt und weiterverarbeitet werden. Die Zuordnung in die korrekte Spesenkategorie erfolgt automatisch (durch KI). Das System wird als selbstlernend verkauft.
Der Gesetzgeber kennt zum Glück (zumindest in der Schweiz), keine technologischen Rahmenbedingungen, welche die Nutzung von KI verbieten würden. Anders sieht es z.B. in Deutschland aus, wo die GoBD sehr genau spezifizieren, was als zulässig erachtet wird und was nicht (vgl. zum Beispiel die extensiven Regeln der GoBD zum Belegscanning, S.197). Wir nehmen hier die schweizerische Situation als Ausgangslage. Wie erwähnt sind KI-Werkzeuge ohne Einschränkung einsetzbar, sofern die generellen Prüfprinzipien beachtet bzw. die zentralen Ordnungsmässigkeitsanforderungen eingehalten werden.
Auch hier gibt es grundsätzlich keine Einschränkungen. Wie immer muss man sich vom Begriff der „Revisionssicherheit“ verabschieden, da es diese nicht gibt, auch bei KI-gestützten Systemen nicht. Geprüft wird:
Produkte können durchaus ohne konkretes Einsatzszenario geprüft werden. Das ist ja der Normalfall bei allen Produkteprüfungen, denn die produktadäquate Nutzung darf vorausgesetzt werden. Nur bei DMS-Software hat sich offenbar der Glaube eingebürgert, das wäre nicht möglich. Die technischen Funktionalitäten, z.B. die semantische Konzepterkennung auf der Basis von Corpora (z.B. für die Erkennung von Indexbegriffen), können jederzeit unabhängig vom Anwendungsfall geprüft und bewertet werden.
Wie bei allen Systemen, die wir oder andere Prüfer auf ihre Ordnungsmässigkeit prüfen, müssen minimale Grundvoraussetzungen erfüllt sein, damit eine Prüfung durchgeführt werden kann. Dreh- und Angelpunkt ist eine ordentliche Dokumentation. Hier muss man bereits unterscheiden. Während bei SW-Produkten die Spezifikationen zentral sind, muss der Anwender dafür sorgen, dass er eine ausreichende Verfahrensdokumentation (S. 251ff.) zur Verfügung stellt. Letzteres ist keine Hexerei, doch bei KI stellt sich natürlich die Frage: Was kann der Anwender überhaupt dokumentieren, bzw. wie kann er den Prüfer unterstützen, damit der einen positiven Bericht schreibt?
Keine, der Prüfablauf entspricht dem etablierten Verfahren (S. 277ff.)
Wie erwähnt stellen sich neue Anforderungen an die Verfahrenstransparenz: Alles was wir hier bis jetzt aufgelistet haben, lässt sich unter dem Begriff „XAI“ = Explainable AI (XAI) zusammenfassen. Dabei geht es darum, automatisierte Verhaltensweisen nachvollziehbar zu machen.
Man kann die Anforderungen an XAI-Algorithmen wie folgt wiedergeben:
Die Ergebnisse müssen von einem Fachexperten nachvollzogen werden können (sog. White-Box approach).
Was heisst dies nun konkret für unser Beispiel?
Der Anwender braucht in unserem Fallbeispiel ein umfassendes, heisst mehrstufiges Schutzkonzept. Dies lässt sich am Einfachsten mit der automatisierten Rechnungsverarbeitung vergleichen (S. 307). Ein Kontrollsystem mit mehrstufigen Checks und Balances ist zwingend. Auch dies ist nicht neu, die Bedeutung von manuellen Kontrollen wird jedoch beim Einsatz von AI noch bedeutender. Die Verfahrensdokumentation bleibt das wichtigste Element zur Gewährleistung der Nachvollziehbarkeit (S. 251).
Übrigens: Gesetzlich kommt die Forderung nach XAI auch mit den Bestimmungen rund um die automatische Profilierung (Datenschutz) und automatisierten Entscheidungen. Sowohl die DS-GVO wie auch das schweizerische Datenschutzgesetz kennen entsprechende Regelungen.