Zum Hauptinhalt springen

2 Posts getaggt mit "ai-governance"

Alle Tags anzeigen

Eigentum vs. Miete: Warum souveräne Infrastruktur die wahre Grundlage für die Einhaltung von Vorschriften ist

· 6 Minuten Lesezeit

Die Frage, die die Vorschriften in unterschiedlichen Worten stellen​

Lesen Sie die Vorgaben der NIS2, der DSGVO, des EU-KI-Gesetzes sowie den Stapel an Versicherungsfragebögen mit neuen Augen - eine Frage taucht in jedem Artikel und jeder Klausel immer wieder auf: Wer kontrolliert das Ganze - und kann man das beweisen?

Es geht nicht darum, ob Ihr Anbieter freundlich ist, und auch nicht darum, ob alle Anforderungen des Rahmenwerks erfüllt wurden. Es geht um Kontrolle und Nachweisbarkeit: Welche Organisation hat Ihre Konfiguration festgelegt? Welche Partei verfügt über die entsprechenden Aufzeichnungen, falls ein Vorfall eintritt? Und: Bleibt Ihre Fähigkeit, Aufsichtsbehörden Auskunft zu geben, auch nach einer Vertragskündigung erhalten?

Convenience-Vendoren wurden niemals dafür entwickelt, diese Frage zu beantworten - sie wurden vielmehr dafür konzipiert, die Frage überhaupt irrelevant zu machen. Das sind gegensätzliche Designansätze; die Rechnung verrät letztendlich, welchen Ansatz Sie erworben haben.

Was der Erwerb eines Retainers eigentlich beinhaltet​

Die Nutzung von IT-Dienstleistungen auf Mietbasis ist keine Einzelentscheidung, sondern ein Paket - und die Details dieses Pakets sind von struktureller Bedeutung:

Ihre Konfigurationsentscheidungen werden zu deren Standardeinstellungen. Gemietete Plattformen verfolgen festgelegte Konzepte; diese Konzepte werden auf Basis der wirtschaftlichen Bedürfnisse des Anbieters, nicht auf Basis Ihres individuellen Risikoprofils, bepreist. Gelegentlich können Sie innerhalb des vom Anbieter zugelassenen Rahmens - also des sogenannten Change Controls - nach dessen Preisen Änderungen vornehmen.

Ihre Beweiskette hat einen Verantwortlichen. Protokolle, Retainer, Exportformate sowie der Zugriff auf Ermittlungsdaten unterliegen sämtlich den Bedingungen dieses Verantwortlichen. In einem kritischen Moment - etwa um 3 Uhr morgens, während die Aufsichtsbehörde wartet - benötigt man Daten, die man zwar findet, aber nicht in der erforderlichen Form erhalten kann, da der Retainer nur für bestimmte Planstufen gilt. Die Aussage „Bitte wenden Sie sich an Ihren Account-Manager“ stellt keineswegs eine funktionierende Vorfallreaktionsfähigkeit dar.

Ihre Geschäftskontinuität ist ein Posten in der Gewinn- und Verlustrechnung eines anderen Unternehmens. Anbieterwechsel, Übernahmen, Verdopplung der Preise oder die Einstellung von Dienstleistungen in bestimmten Regionen - nichts davon erfordert Ihre Zustimmung. Jedes Migrationsprojekt, bei dem ich in den letzten Jahren beteiligt war, begann mit dem Satz: „Wir haben einen Brief von unserem Anbieter erhalten.“

Ihre KI mietet die „Black Box“ zweimal. Einmal für die Infrastruktur, einmal für das Modell. Was ausgeführt wurde, wo, mit welchen Daten und unter welchen Protokollierungsbedingungen - all dies wird von Parteien vermittelt, deren Compliance-Status Sie in einem PDF nachlesen, aber im Labor nicht überprüfen können. Die Anforderungen der EU-KI-Verordnung an Transparenz und Aufzeichnungen werden nicht geringer, nur weil ein Zwischenhändler die Zugangsschlüssel verwaltet; sie werden sogar strenger, da diese Schlüssel einer Verantwortungskette unterliegen, an der Sie keinen Einfluss haben.

Das ist keineswegs eine Verschwörung - es handelt sich dabei um ein Produkt, das genau so funktioniert, wie es vorgesehen ist. Bequemlichkeit bedeutet, nicht nachdenken zu müssen; der Preis dafür ist jedoch, keine Antworten geben zu können. Die Einhaltung von Vorgaben ist die Kunst, solche Antworten zu finden.

Welche Kosten das Eigentum tatsächlich verursacht​

Ein ehrliches Fazit - schließlich ist ein einseitiger Beitrag eher Werbung als Analyse.

Die Kosten für eigene Fachkenntnisse oder deren Einstellung. Hardware versagt auf bestimmte Weise, das Patchen erfordert einen festen Zeitplan, und die Person, die Ihre IT-Infrastruktur versteht, muss irgendwo beschäftigt sein - entweder als Retainer oder im Rahmen eines Mandats. Gemietete Plattformen verbergen diese Kosten, doch sie beseitigen sie nicht: Die Ingenieure des Anbieters beantworten weiterhin die Fragen, die Ihr Team nicht mehr beantworten kann. Wenn Ihr Team dazu nicht mehr in der Lage ist, mieten Sie im Grunde ebenfalls Kompetenz - zu dem Preis, den der Anbieter festlegt.

Die Last der Entscheidungen bezüglich Besitzkosten. Jede Ebene stellt eine Entscheidung dar: Hardware, Hypervisor, Netzwerk, Modell, Speicher, Backup. Der Mieter musste sich um diese Entscheidungen nicht kümmern; der Eigentümer stellt fest, dass sie lediglich aufgeschoben, aber nicht aufgehoben wurden.

Ein schlecht verwaltetes Eigenheim ist schlimmer als eine Miete. Hardware, die ohne vorherigen Schnellcheck erworben wird, verleiht keine Souveränität - sie stellt lediglich ein Hobby dar, das zudem DSGVO- und NIS2-Risiken birgt. Souveränität ohne gültiges Qualifizierungsgutachten bedeutet lediglich unüberwachte Hardware. Dies ist von Bedeutung, da es sich dabei um den Fehlermechanismus bei einer übertriebenen Korrektur handelt.

Wo die Grenze tatsächlich verläuft​

Die ehrliche Antwort lautet nicht „Besitzen Sie alles“. Vielmehr lautet sie: Besitzen Sie die Schichten, in denen Kontrolle, Nachweise und Kontinuität die Grundlage Ihrer Verpflichtungen bilden; mieten Sie dort, wo das nicht der Fall ist.

In der Praxis ist die Liste eigener Anforderungen bei einem mittelgroßen Unternehmen, das regulierten Vorgaben unterliegt oder einer Prüfung unterzogen wird, in der Regel kurz und konkret:

  • Die Systeme, die die regulierten Daten sowie die Aufzeichnungen speichern, sowie der gesamte Aufzeichnungsprozess.
  • Die KI-Infrastruktur, bei der die Daten sensibel genug sind, um von Bedeutung zu sein: die Modellgewichte, die Laufzeitumgebung sowie das Protokollieren. Die lokale Inferenzausführung auf eigenem Hardware-Equipment - und zwar auf herkömmlichen Maschinen - ist mittlerweile so zuverlässig, dass diese Option nicht länger zu den zukünftigen Optionen zählt, sondern bereits heute umgesetzt werden kann. Ich führe dies selbst durch; der entscheidende Unterschied besteht dabei nicht in der Leistungsgleichwertigkeit, sondern darin, dass bei Nachfragen der AuditorInnen, welche Software mit welchen Daten auf welcher Hardware ausgeführt wurde, die Antwort aus meinen eigenen Aufzeichnungen stammt - und nicht aus einem Ticket im Portal des Anbieters.
  • Die Backup- und Wiederherstellungsprozeduren wurden durch Übungen überprüft; schließlich ist ein Backup, das man noch nie wiederhergestellt hat, lediglich eine Hoffnung - und eine Hoffnung, die bei einem Dritten liegt, ist eine Hoffnung, die man nicht mehr loswerden kann.

Und auch die Preisliste bleibt ehrlich: Standarddienstleistungen ohne jegliche Beweiskraft, öffentlich zugängliche Informationen sowie langweilige Angebote, bei denen der Standardvorschlag des Anbieters tatsächlich besser ist als Ihre eigene Wahl. Preise, bei denen Sie nicht extra zahlen müssen, um eine Antwort zu erhalten.

Der Souveränitätsabschlag, den niemand in die Preiskalkulation einbezieht​

Es gibt eine Zeile im zugehörigen Protokoll, die niemals in eine Vergleichstabelle gelangt: Der Tag, an dem die gemietete Infrastruktur Ihre Anforderungen nicht mehr erfüllt - an diesem Tag hört der Einsatz des eigenen Systems auf, teuer zu sein, und wird zur einzigen verfügbaren Option. Die Aufsichtsbehörde fragt nach. Die Versicherung fragt nach. Der Verwahrer fragt nach. Die Antwort des Vermieters ist ein Support-Ticket mit einer Reaktionszeit von 48 Stunden sowie einer Retention-Richtlinie, die Sie erstmals lesen - und zwar zu spät. Die Antwort des Eigentümers hingegen ist ein Protokoll, ein Dokument, ein unterzeichneter Testbericht - etwas, das bereits vorhanden ist.

Compliance-Budgets werden in der Regel so kalkuliert, dass sie die Kosten für erhaltene Antworten decken. Die entscheidende Frage ist: Wie viel haben Sie in den letzten fünf Jahren pro Antwort gezahlt - und von wem wären diese Antworten in diesem Quartal gekommen, wenn die entsprechenden Mandate ausgesetzt worden wären?

Ich führe mein eigenes Labor, weil die Governance-Anforderungen in meinem Berufsfeld erst dann Sinn ergeben, wenn sie tatsächlich umgesetzt werden. Der Blogbeitrag ist dabei nicht das eigentliche Produkt - das Produkt sind vielmehr der Auslöser, der Anwendungsbereich, die Kontrollmechanismen sowie der Abschlussprozess. Falls Ihre gemietete IT-Infrastruktur anfängt, Fragen zu stellen, auf die Sie keine Antworten wissen, dann ist das der Auslöser für Handlungen.


Der Umfang der Leistungen sowie der Festpreis werden innerhalb von 48 Stunden nach dem ersten Gespräch festgelegt. Beschreiben Sie Ihre Situation.

Der Leiter der IT im CRO-Team: Was regulierte Systeme über das AI-Governance lehren

· 6 Minuten Lesezeit

Eine Methode, die diese Aufgabe bereits seit dreißig Jahren erledigt​

Schon lange bevor „KI-Governance“ auf der Agenda der Vorstände stand, gab es einen Bereich, in dem dasselbe Problem bereits gelöst, dokumentiert, geprüft und zu einer festen Vorgehensweise weiterentwickelt worden war. Dieser Bereich hieß computergestützte Systemvalidierung. In Pharma- und Medizinproduktunternehmen ist dies die Disziplin, die die Frage zufriedenstellend beantwortet - sowohl für die FDA als auch für die EMA: Wie weiß man, dass ein Computersystem tatsächlich das tut, wofür es konzipiert wurde - und wie lässt sich das beweisen, nachdem die Entwickler das Unternehmen verlassen haben?

Die Antwort in Kürze: Man darf weder den Angaben noch dem Selbstvertrauen des Entwicklers trauen. Die Qualifizierung erfolgt in mehreren Stufen.

Installation: Ist das System gemäß den Vorgaben installiert und konfiguriert? Es geht dabei nicht darum, ob es läuft, sondern ob es in der tatsächlichen Einsatzumgebung so konfiguriert ist, wie in der Dokumentation beschrieben.

Durchführung. Überprüft man im Rahmen eines Schnellchecks, ob jede Funktion gemäß ihrer Spezifikation einwandfrei arbeitet - und zwar einzeln? Nachvollziehbar ist dabei, dass jede Anforderung einem Test zugeordnet ist, jeder Test ein Ergebnis liefert, und jedes Ergebnis mit einer Unterschrift sowie einem Datum versehen ist.

Leistung. Hält das Gesamtsystem unter echter Last und unter realen Bedingungen stand? Nicht in einer Demo - sondern an einem typischen, problematischen Tag.

Und um all diese Ebenen herum gilt die Regel, die sicherstellt, dass das System bei Audits besteht: Die Dokumentation ist das System selbst. Wenn etwas nicht dokumentiert ist, hat es nicht stattgefunden. Falls die Dokumentation nachträglich verfasst und mit einem früheren Datum versehen wird, handelt es sich dabei um einen Betrugsfall - und nicht um eine Prozessverbesserung. Die Datenintegrität ist kein „Feature“; sie bildet vielmehr die Grundvoraussetzung.

Warum die regulierte Welt so gewachsen ist​

Ich verbrachte mehr als zehn Jahre in dieser Welt - auf der verantwortungsvollen Seite: als IT-Leiter, der die Unterlagen unterschreibt, und nicht als Berater, der Ratschläge gibt. Die strengen Prüfungen gemäß FDA- und EMA-Standards waren die „Normalität“, nicht das Projekt selbst. Wenn man lange genug in dieser „Normalität“ lebt, verändert sich die Sichtweise auf jedes Computersystem - überall auf der Welt.

Man hört auf zu fragen: „Ist es gut?“ Stattdessen fragt man: Gut gemäß welcher Anforderung, getestet anhand welcher Belege, dokumentiert wo - und in fünf Jahren von wem lesbar?

Man lernt, dass die gefährlichen Systeme niemals die offensichtlich fehlerhaften sind - es sind vielmehr die Systeme, an die alle glauben. Glaube ist jedoch kein Qualifizierungsprotokoll.

Man lernt den teuersten Satz im Unternehmens-IT-Bereich: „Es funktioniert auf meinem Rechner.“ In der regulierten Welt gibt es dafür die Bezeichnung „nicht überprüft“. Alles andere lässt sich problemlos bearbeiten.

Das Migrationsproblem, das niemand eingeplant hatte​

Der Grund, warum dieses Produkt weit über die Pharmaindustrie hinaus wertvoll ist: Fast jedes Unternehmen hat die Probleme geerbt, gegen die die Validierung computergestützter Systeme ursprünglich entwickelt wurde - ohne dabei die entsprechenden Verfahren zu übernehmen.

Übersetzen Sie diesen Text ins Deutsche für eine hochwertige Beratungswebsite. Achten Sie darauf, die Fachbegriffe sowie Markennamen und gesetzliche Bezeichnungen exakt beizubehalten. Bevorzugen Sie natürliche, muttersprachliche Ausdrücke statt einer wörtlichen Übersetzung. Der Tonfall soll sachlich, selbstbewusst und professionell sein.

Im Grunde genommen ähnelt die heutige Einführung von KI der Situation eines regulierten Unternehmens, das im Jahr 1995 noch nicht validierte Systeme einführte. Das Budget wurde bereits genehmigt, bevor ein geeignetes Prüfverfahren existierte. Anbieter präsentieren in ihren Präsentationen selbstbewusste Aussagen. Zudem kommt es zu heimlichen Implementierungen außerhalb des offiziellen Kontrollbereichs. Von Aufsichtsbehörden, Versicherungen sowie Großkunden erhält das Unternehmen Prüfaufträge - doch es vermag auf keine dieser Anforderungen angemessen zu reagieren. Die äußeren Umstände haben sich geändert; das eigentliche Problem bleibt jedoch dasselbe.

Der Unterschied liegt darin, was Unternehmen dagegen unternehmen. Das Pharmaunternehmen vor dreißig Jahren hatte klare Richtlinien: Qualifizierungsstufen, Nachverfolgbarkeitsmatrizen, Änderungskontrolle sowie die ALCOA-Regeln zur Datenintegrität. Das typische Unternehmen von heute verfügt hingegen lediglich über eine Chat-Richtlinie sowie ein Pilotkomitee.

Die übertragbaren Bestandteile sind nicht die Papiere. Für den Betrieb eines mittelgroßen Unternehmens benötigen Sie keine GAMP-Formulare. Was Sie brauchen, ist der „Rahmen“ - also die Grundstruktur.

  1. Anforderungen, die vor der Auswahl des Systems in Begriffen formuliert werden, die für das Unternehmen verständlich sind.
  2. Qualifizierungsebenen: Die Installation erfolgte gemäß Spezifikation; jede Funktion wurde getestet und das gesamte System einer Lastprüfung unterzogen.
  3. Nachverfolgbarkeit: Jede Anforderung muss bis hin zu einem Test, dem Testergebnis, der Unterschrift sowie dem Datum nachvollziehbar sein.
  4. Änderungskontrolle: Das System, das gestern die Prüfung bestanden hat, gilt heute nur dann als vertrauenswürdig, wenn die Unterschiede zwischen dem gestrigen und heutigen Zustand bekannt sind.
  5. Das Protokoll wird sorgfältig geführt - schließlich ist es am Tag, an dem es in Frage gestellt wird, das Einzige, was überhaupt existiert hat.

Setzen Sie dieses „Skelett“ in Ihre KI-Struktur ein - dann wird das EU-KI-Gesetz kein unüberwindbares Hindernis mehr sein, sondern lediglich eine Checkliste, erstellt von Personen, die genau jene Fragen stellen werden, auf die Sie bereits geantwortet haben. Ebenso verhält es sich, wenn Sie es in den Kontext von NIS2 einbinden. Vorschriften dieser Art basieren alle auf denselben Prinzipien: Nachweis erbringen, dokumentieren und sicherstellen, dass alles ordnungsgemäß funktioniert.

Der skeptische Blickwinkel - ehrlich gesagt​

Zwei Einwände verdienen ehrliche Antworten - schließlich soll dieser Beitrag keineswegs dazu dienen, jedes Unternehmen in eine Pharmafabrik zu verwandeln.

„Das ist für uns übertrieben.“ Die vollständige Zeremonie ist es; der „Skelett-Aufbau“ jedoch nicht. Jedes Unternehmen verfügt über ein System, in dem ein unentdeckter Ausfall die Karriere, den Kunden oder die Presseberichterstattung gefährden kann. Genau dieses System benötigt den „Skelett-Aufbau“. Nicht mehr und nicht weniger. Auch die Triage gehört zu dieser Methode; regulierte Unternehmen werden nach ihrer Kritisitätsklasse bewertet - nicht nach ihrem Enthusiasmus.

"Wir können kein Validierungsteam einstellen." Das ist zwar richtig, doch der eigentliche Punkt ist, dass diese Methode existiert, öffentlich zugänglich ist, unter den strengsten Prüfungen weltweit bewährt wurde und im Rahmen eines Mandats angewandt werden kann, sobald ein Auslöser vorliegt. Sie benötigen dazu kein eigenes Team - lediglich die nötige Disziplin zu dem entscheidenden Zeitpunkt, geleistet von jemandem, der bereits früher die Verantwortung getragen hat.

Das ist meine Aufgabe: Ich betrachte die schwierigsten Szenarien aus der regulierten Welt als „Linse“, durch die man die Systeme analysieren kann, die Ihr Vorstand derzeit ohne ein solches Qualifizierungsgutachten genehmigt. Das „CRO“ im Namen ist kein bloßer Zusatz - es ist die Quelle sowohl der Methode als auch der Erfahrungen, die ich dabei gesammelt habe; beides begleitet mich stets.


Falls Ihre KI-Infrastruktur, Ihre Sicherheitsmaßnahmen oder der Übergabeprozess keine nachweisbare Grundlage aufweisen, ist das ein Warnsignal. Beschreiben Sie Ihre Situation; Sie erhalten rasch eine Rückmeldung, ob dies ein Mandat für unser Büro darstellt.