Buchauszug IG 2021 (3): Prüfung und Zertifizierung von KI unterstützten Produkten und Systemen

Kontext und Fallbeispiel

Die KI hält Einzug und beschäftigt auch uns. Auch das krm setzt seit mehreren Jahren mit der MATRIO Methode® bei der Datenbereinigung auf semantische Technologien, welche ohne Einsatz von KI-Mechanismen nicht denkbar wären. Wir haben diese Themen ausführlich im Information Governance Leitfaden 2021 adressiert (S. 41ff.). Alle Textverweise in diesem Artikel beziehen sich auf den aktuellen Leitfaden.

Es stellt sich die Frage, welchen Einfluss KI-Technologien auf die Prüfung und Zertifizierung von Produkten und Systemen haben. Die folgenden Fragen stehen dabei im Vordergrund:

• Können solche Systeme überhaupt geprüft und zertifiziert werden?
• Welche Anpassungen der Prüfverfahren sind notwendig?
• Worauf muss der Produktanbieter achten?
• Worauf muss der Anwender achten?

Wir verwenden hier ein fiktives, aber praxisnahes Beispiel zur Illustration:

Ein Produktanbieter bietet eine App zum Scannen von Spesenbelegen, welche z.B. als Belege einer Spesen-/Auslagenabrechung beigelegt werden sollen.  Die Spesenabrechnung erfolgt automatisiert, indem die erfassten Daten direkt eingefüllt und weiterverarbeitet werden.  Die Zuordnung in die korrekte Spesenkategorie erfolgt automatisch (durch KI). Das System wird als selbstlernend verkauft.

Können solche Systeme rechtskonform eingesetzt werden?

Der Gesetzgeber kennt zum Glück (zumindest in der Schweiz), keine technologischen Rahmenbedingungen, welche die Nutzung von KI verbieten würden. Anders sieht es z.B. in Deutschland aus, wo die GoBD sehr genau spezifizieren, was als zulässig erachtet wird und was nicht (vgl. zum Beispiel die extensiven Regeln der GoBD zum Belegscanning, S.197). Wir nehmen hier die schweizerische Situation als Ausgangslage. Wie erwähnt sind KI-Werkzeuge ohne Einschränkung einsetzbar, sofern die generellen Prüfprinzipien beachtet bzw. die zentralen Ordnungsmässigkeitsanforderungen eingehalten werden.

Können solche Systeme geprüft, bzw. zertifiziert werden?

Auch hier gibt es grundsätzlich keine Einschränkungen. Wie immer muss man sich vom Begriff der „Revisionssicherheit“ verabschieden, da es diese nicht gibt, auch bei KI-gestützten Systemen nicht. Geprüft wird:

• Das Produkt und seine technischen Funktionen zur Gewährleistung der Ordnungsmässigkeit (S.138, 165ff.) = Produktzertifizierung, oder/und
• Dessen Einsatz in einem konkreten Anwendungsszenario =Anwendungsprüfung.

Produkte können durchaus ohne konkretes Einsatzszenario geprüft werden. Das ist ja der Normalfall bei allen Produkteprüfungen, denn die produktadäquate Nutzung darf vorausgesetzt werden. Nur bei DMS-Software hat sich offenbar der Glaube eingebürgert, das wäre nicht möglich. Die technischen Funktionalitäten, z.B. die semantische Konzepterkennung auf der Basis von Corpora (z.B. für die Erkennung von Indexbegriffen), können jederzeit unabhängig vom Anwendungsfall geprüft und bewertet werden.

Was sind die Voraussetzungen für eine erfolgreiche Prüfung?

Wie bei allen Systemen, die wir oder andere Prüfer auf ihre Ordnungsmässigkeit prüfen, müssen minimale Grundvoraussetzungen erfüllt sein, damit eine Prüfung durchgeführt werden kann. Dreh- und Angelpunkt ist eine ordentliche Dokumentation. Hier muss man bereits unterscheiden. Während bei SW-Produkten die Spezifikationen zentral sind, muss der Anwender dafür sorgen, dass er eine ausreichende Verfahrensdokumentation (S. 251ff.) zur Verfügung stellt. Letzteres ist keine Hexerei, doch bei KI stellt sich natürlich die Frage: Was kann der Anwender überhaupt dokumentieren, bzw. wie kann er den Prüfer unterstützen, damit der einen positiven Bericht schreibt?

Welche Anpassungen der Prüfverfahren sind notwendig?

Keine, der Prüfablauf entspricht dem etablierten Verfahren (S. 277ff.)

Worauf muss der Produktanbieter achten?

Wie erwähnt stellen sich neue Anforderungen an die Verfahrenstransparenz:  Alles was wir hier bis jetzt aufgelistet haben, lässt sich unter dem Begriff „XAI“ = Explainable AI (XAI) zusammenfassen. Dabei geht es darum, automatisierte Verhaltensweisen nachvollziehbar zu machen.

Man kann die Anforderungen an XAI-Algorithmen wie folgt wiedergeben:

Die Ergebnisse müssen von einem Fachexperten nachvollzogen werden können (sog. White-Box approach).

1. Transparenz: Das Modell zur Extraktion von Daten ist beschrieben und kann durch den Entwickler gesteuert und angepasst werden.
2. Interpretierbarkeit: Ein Mensch kann das Modell des Maschinellen Lernens verstehen und nachvollziehen.
3. Erklärbarkeit: Die Resultate der Anwendung auf das spezifische Anwendungsgebiet sind nachvollziehbar und haben korrekte Resultate erzeugt (unter Einbezug der Faktoren 1 und 2).

Was heisst dies nun konkret für unser Beispiel?

1. Die Datenbasis für die Extraktion der Schlüsselbegriffe ist bekannt. Sie kann angepasst werden. Die gilt auch für die automatisierte Erkennung von Schlüsselbegriffen (Korpusanalyse). Es ist steuerbar, wann und wie die Analysebasis erweitert wird, z.B. durch Beizug anderer Datenquellen oder durch Vernetzung.
2. Es ist nachvollziehbar, wie Datenfelder automatisiert ausgefüllt werden (z. B. Erkennung einer MWST-Nummer). In Kombination: Der Anbieter kann lückenlos erklären, wieso ein bestimmter Beleg zur internen Spesenkategorie zugeschlagen wird .. oder eben nicht.

Worauf muss der Anwender achten?

Der Anwender braucht in unserem Fallbeispiel ein umfassendes, heisst mehrstufiges Schutzkonzept. Dies lässt sich am Einfachsten mit der automatisierten Rechnungsverarbeitung vergleichen (S. 307). Ein Kontrollsystem mit mehrstufigen Checks und Balances ist zwingend. Auch dies ist nicht neu, die Bedeutung von manuellen Kontrollen wird jedoch beim Einsatz von AI noch bedeutender. Die Verfahrensdokumentation bleibt das wichtigste Element zur Gewährleistung der Nachvollziehbarkeit (S. 251).

Übrigens: Gesetzlich kommt die Forderung nach XAI auch mit den Bestimmungen rund um die automatische Profilierung (Datenschutz) und automatisierten Entscheidungen. Sowohl die DS-GVO wie auch das schweizerische Datenschutzgesetz kennen entsprechende Regelungen.