Pohled vedoucího IT na úrovni CRO: Co nám regulované systémy říkají o řízení umělé inteligence
Metoda, která tuto práci vykonává již třicet let
Dlouho předtím, než se „řízení umělé inteligence“ stalo bodem na agendě správní rady, existovala oblast, kde se stejný problém již vyřešil, zaplatilo se za něj, provedla se auditní kontrola a postupy byly dále zdokonalovány. Této oblasti se říká validace počítačových systémů. Ve farmaceutických společnostech a společnostech vyrábějících zdravotnické prostředky jde o disciplínu, která uspokojivě odpovídá na jednu otázku ze strany FDA a EMA: jak víte, že daný počítačový systém dělá to, co má dělat, a jak to dokážete prokázat poté, co lidé, kteří ho vytvořili, odejdou domů?
Stručně řečeno: nikdy nevěříte tvrzení ani sebedůvěře tvůrce. Kvalifikaci provádíte postupně, v několika vrstvách.
Instalace. Je systém nainstalován a nakonfigurován podle specifikací? Nejde o to, zda běží - jde o to, zda je nakonfigurován tak, jak je popsáno, v prostředí, kde bude skutečně používán.
Provoz. Plní každá funkce to, co je uvedeno v její specifikaci, a to v rámci testování, jedna po druhé? Je zajištěna sledovatelnost: každý požadavek má svůj test, každý test má výsledek, každý výsledek má podpis a datum.
Výkonnost. Vydrží celý systém skutečné zatížení a reálné podmínky? Nejde o demonstrační verzi - jde o ten nejhorší možný scénář.
A kolem všech těch vrstev platí pravidlo, díky kterému celý systém obstojí při auditech: záznam je samotný systém. Pokud něco není zdokumentováno, tak se to nestalo. Pokud byla dokumentace sepsána až dodatečně a s retroaktivním datem, jedná se o podvod, nikoli o zlepšení procesů. Integrita dat není žádnou „vlastností“ systému - je to jeho základní podmínka.
Proč regulovaný sektor takto vzrostl
Strávil jsem více než deset let v tomto prostředí, na straně odpovědných osob - jako vedoucí IT, který podepisuje dokumenty, nikoli jako konzultant, který radí. Důkladná kontrola podle standardů FDA a EMA byla samozřejmostí, ne výjimkou. A když v takovém prostředí žijete dostatečně dlouho, změní se váš pohled na každý počítačový systém, ať už kdekoli.
Přestanete se ptát: „Je to dobré?“ Začnete se ptát: dobré podle jakého požadavku, otestované na základě jakých důkazů, zaznamenané kde a kdo to bude za pět let schopen přečíst?
Zjistíte, že nebezpečné systémy nejsou vždy ty, které jsou na první pohled poškozené. Jsou to systémy, kterým všichni věří. Víra však není součástí kvalifikačního procesu.
Naučíte se tu tu nejdražší větu v podnikové IT sféře: „Na mém počítači to funguje.“ V regulovaném prostředí pro to existuje ekvivalent: neověřeno. Se vším ostatním můžete pracovat.
Problém s migrací, který nikdo neplánoval
Jde o to, co činí tento produkt cenným i mimo farmaceutický sektor: téměř každá společnost zdědila problémy, kterým měla předcházet validace počítačových systémů, ale nezdědila přitom samotnou metodu jejich řešení.
Přeložte tento text do češtiny pro prémiové poradenské webové stránky. Zachovejte přesnou terminologii - značky a odborné termíny zůstávají nezměněny. Upřednostňujte přirozené, rodilé vyjádření před doslovným překladem z angličtiny. Tón by měl být strohý, sebevědomý a odpovídající vysoké odbornosti.
V současnosti vypadá zavádění umělé inteligence v praxi naprosto stejně jako v roce 1995, kdy regulované společnosti začínaly používat neověřené systémy. Rozpočet byl schválen ještě předtím, než vznikl ověřovací model. Dodavatelé v prezentacích vyslovují sebevědomá tvrzení. Systémy se nasazují tajně, často přímo u koncových uživatelů. Zároveň přichází tlak na audit ze strany regulátorů, pojišťoven a korporátních klientů - všechny tyto požadavky organizace nedokáže splnit. Změnily se pouze „kufry“; problém s jejich rozbalováním však zůstává stejný.
Rozdíl je v tom, co s tím firmy dělají. Farmaceutická společnost před třiceti lety měla jasnou doktrínu: vrstvy kvalifikace, matice sledovatelnosti, kontrolu změn a pravidla ALCOA pro integritu dat. Typická dnešní společnost má... politiku pro komunikaci v chatu a pilotní výbor.
Přenositelné části nejsou jen papírování. K řízení středně velkého podniku nepotřebujete formuláře GAMP. Potřebujete jeho „kostru“:
- Požadavky formulované před výběrem systému, v termínech, které odpovídají potřebám podniku.
- Kvalifikační vrstvy: nainstalovány podle specifikací, každá funkce otestována, celý systém podroben zátěžovému testu.
- Sledovatelnost: každý požadavek, test, výsledek, podpis i datum.
- Řízení změn: systém, který včera prošel kontrolou, je dnes důvěryhodný pouze tehdy, pokud je znám rozdíl mezi jeho stavem včera a dnes.
- Záznam, který se uchovává, jako by na něm záleželo - protože v den, kdy bude zpochybněn, bude to jediná věc, která kdy existovala.
Umístěte tento „skeleton“ do své architektury AI a Nařízení EU o umělé inteligenci přestane být nepřekonatelnou překážkou - stane se pouhým seznamem požadavků, které vypracovali lidé, kteří se chystají položit otázky, na které už znáte odpovědi. Stejně je to i v případě NIS2. Předpisy z této skupiny mají stejnou strukturu: je třeba to dokázat, zaznamenat a zajistit, aby vše fungovalo.
Skeptikův roh - upřímně
Dva námitky si zaslouží upřímné odpovědi, protože tento příspěvek není prodejní propagací s cílem přeměnit každou firmu na farmaceutický závod.
„To je pro nás přehnané.“ Celý ceremoniál je zbytečný. Samotná struktura systému však nikoliv. Každá organizace má systém, v němž neověřená chyba stojí kariéru, zákazníka nebo pozornost médií. Právě tento systém si zaslouží tu strukturu. Ne všechno je však nutné. Součástí metody je také triáž; regulované společnosti se kvalifikují podle třídy kritičnosti, nikoliv podle nadšení.
„Nemůžeme si najmout validační tým.“ Je to správně, ale nejde o podstatu věci. Podstatou je, že tento postup existuje, je veřejně známý, prokázal svou účinnost i před nejpřísnějšími auditory na světě a lze jej využít v rámci mandátu, jakmile nastane spouštěcí podmínka. Nepotřebujete celé oddělení - potřebujete pouze disciplínu v daný okamžik, od někoho, kdo již dříve podepsal odpovídající dokumenty.
To je to, co dělám: nejtěžší „místnost“ v regulovaném světě, kterou používám jako „čočku“ k analýze systémů, jež vaše správní rada právě schvaluje - aniž by k tomu měla vhodný nástroj. Označení CRO v názvu není jen ozdoba; právě odtud pochází tato metoda i všechny „jizvy“ spojené s jejím používáním - a obojí se dále přenáší.
Pokud váš systém umělé inteligence, vaše bezpečnostní opatření nebo proces předání odpovědnosti postrádají jakoukoli ověřovací strukturu, jedná se o varovný signál. Popište svou situaci a rychle se dozvíte, zda pro tuto kancelář platí mandát k jednání.
