Přeskočit na hlavní obsah

2 články s tagem "ai-governance"

Zobrazit všechny tagy

Vlastněná vs. pronajatá infrastruktura: Proč je suverénní infrastruktura skutečným základem dodržování předpisů

· 6 minut čtení

Otázka, kterou předpisy neustále kladou různými slovy​

Kdo danou věc kontroluje a můžete to dokázat? Přečtěte si NIS2, GDPR, nařízení EU o umělé inteligenci a celou hromadu pojišťovacích dotazníků s novým pohledem - tato otázka se vyskytuje v každém článku i paragrafu.

Nejde o otázky typu „je váš dodavatel spolehlivý“ nebo „vyplnili jste všechny požadované položky v rámci frameworku“. Jde o kontrolu a důkazy. Která organizace rozhodla o vaší konfiguraci? Kdo vede záznamy v případě incidentu? Zůstane vaše schopnost reagovat na požadavky regulátorů i po ukončení smlouvy?

Pohodlnostní nástroje nebyly nikdy vytvořeny proto, aby na tu otázku odpověděly. Byly vytvořeny proto, aby ta otázka vůbec nevznikla. Jedná se o protichůdné přístupy a faktura nakonec ukáže, který z nich jste si pořídili.

Co vlastně pronájem přenáší​

Pronájem IT není jedno rozhodnutí, je to soubor služeb a detaily tohoto souboru jsou strukturální povahy:

Vaše konfigurační rozhodnutí se stanou jejich výchozími nastaveními. Pronajaté platformy mají svá předem daná nastavení. Tyto předvolby jsou určeny s ohledem na ekonomiku provozu u dodavatele, nikoli na vaše rizikové profily. Někdy je možné provést úpravy v rámci povolených možností a za ceny stanovené dodavatelem. V regulovaném auditu se pro „povolený soubor možností“ používá termín: cizí kontrola změn.

Váš retainer má kontrolu nad vašimi daty. Protokoly, retainer, formáty exportu a přístup k vyšetřování - to vše podléhá podmínkám stanoveným tímto retainer. V kritickém okamžiku, ve 3 hodiny ráno, kdy je regulátor v čekací fázi, potřebujete data, která však nemůžete získat v požadované podobě, protože retainer byl součástí konkrétního plánu. Věta „Prosím, kontaktujte svého manažera účtu“ rozhodně nepředstavuje schopnost reagovat na incidenty.

Vaše kontinuita je položkou v rozvaze někoho jiného. Převod dodavatele, akvizice, zdvojnásobení ceny či zrušení podpory v daném regionu - nic z toho nevyžaduje váš souhlas. Každý migrační projekt, ke kterému jsem v posledních letech byl přizván, začínal větou „Dostali jsme dopis od našeho poskytovatele.“

Vaše AI konkrétně pronajímá „černou skříňku“ dvakrát. Jednou pro infrastrukturu a jednou pro model. Co se spustilo, kde, s jakými daty a za jakých podmínek logování - to vše zprostředkovávají strany, jejichž dodržování předpisů můžete vyčíst z PDF dokumentu, ale nemůžete ho otestovat v laboratoři. Požadavky na transparentnost a vedení záznamů podle nařízení EU o umělé inteligenci se nezmírňují jen proto, že klíče drží zprostředkovatel. Naopak se zpřísní, protože tato „klíčová“ odpovědnost podléhá řetězci správy, který vám nepatří.

Nejedná se o žádné spiknutí - je to produkt, který funguje podle svého návrhu. Pohodlí znamená, že nemusíme přemýšlet, a cenou za to je neschopnost odpovědět. Dodržování předpisů je uměním odpovídat.

Jaké jsou skutečné náklady na vlastnictví​

Upřímný a vyvážený popis situace - jednostranný příspěvek je totiž spíše reklama než analýza.

Vlastnění odborných znalostí v oblasti nákladů či jejich najmutí. Hardwarové komponenty selhávají určitým způsobem, opravy vyžadují pevné termíny a osoba, která rozumí vašemu systému, musí někde existovat - buď na něčí výplatní listině, nebo v rámci mandátu. Platformy pronajaté od dodavatelů tuto skutečnou cenu skrývají, což však neznamená, že vůbec neexistuje: inženýři dodavatele odpovídají na otázky, na které už váš tým nedokáže odpovědět. Pokud váš tým nedokáže odpovědět, pronajímáte si také odborné kompetence, a to za cenu, kterou stanoví dodavatel.

Únava z rozhodování ohledně nákladů - každá vrstva představuje samostatnou volbu: hardware, hypervisor, síť, model, úložiště, zálohy. Nájemce tyto volby vynechal; vlastník však zjistí, že toto vynechání bylo pouze odloženo, nikoli zrušeno.

Vlastnit špatně je horší než pronajímat. Hardware zakoupený bez retaineru pro ověření není suverénním řešením - je to spíše koníček s rizikem porušení předpisů. Suverenita bez odpovídajícího kvalifikačního posudku znamená pouze nekontrolovaný hardware. To je důležité, protože právě tak vznikají selhání v důsledku přehnaných opatření.

Kde ta hranice vlastně je​

Upřímná odpověď nezní „vlastněte všechno“. Zní takto: Vlastněte ty vrstvy, v nichž kontrola, důkazy a kontinuita tvoří základ vašich povinností; tam, kde tomu tak není, je využijte jako retainer.

V praxi u středně velké organizace podléhající regulaci nebo auditu bývá vlastní seznam krátký a konkrétní:

  • Systémy, které uchovávají regulovaná data a záznamy, a samotný proces zpracování záznamů.
  • Vrstva umělé inteligence, kde jsou data natolik citlivá, že na nich záleží: váhy modelu, prostředí pro jeho běh a protokolování. Lokální inferenční výpočty na vlastním hardwaru jsou dnes na běžných strojích natolik efektivní, že tato možnost již nepatří do kategorie „někdy v budoucnu“, ale je k dispozici hned dnes. Sám to provozuji a rozdíl, na kterém skutečně záleží, není v rovnocennosti výkonu, nýbrž v tom, že když se auditory zeptají, co se na jakém systému a s jakými daty spustilo, odpověď pochází z mých vlastních záznamů, nikoli z ticketu v portálu dodavatele.
  • Řetězec zálohování a obnovy dat, ověřený cvičeními - protože záloha, kterou jste neobnovili, je jen naděje, a naděje uložená u třetí strany je naděje, kterou nemůžete zrušit.

A seznam placených služeb zůstává také poctivý: běžné služby bez jakékoli důkazní hodnoty, veřejně dostupné informace, nudné věci, u kterých je výchozí nastavení dodavatele skutečně lepší než to vaše. Platíte jen tam, kde vám to nepřijde drahé - a kde vám to vůbec nepomůže najít odpověď.

Sleva za suverenitu, kterou nikdo nevyčísluje​

Na vlastnickém účetním systému existuje jeden záznam, který se nikdy neobjeví ve srovnávacích tabulkách: den, kdy pronajatý systém nezvládne vaši požadovanou operaci - v tu chvíli přestává být vlastnictví drahým řešením a stává se jedinou možností. Regulátor se ptá. Pojišťovna se ptá. Správce majetku se ptá. Odpověď pronajímatele je žádost o podporu s 48hodinovou lhůtou řešení a pravidly uchovávání dat, která si poprvé přečtete - a už je pozdě. Odpověď vlastníka je log, záznam, podepsaný test - něco, co tam už od začátku je.

Rozpočty na dodržování předpisů se obvykle sestavují tak, aby pokryly náklady na získání potřebných odpovědí. Klíčovou otázkou je, kolik jste v posledních pěti letech zaplatili za jednotlivé odpovědi a odkud by tyto odpovědi v tomto čtvrtletí přišly, kdyby byly předplatné pozastaveny.

Vedu si vlastní laboratoř, protože požadavky na řízení v mém oboru je nutné skutečně dodržovat, aby měly nějaký smysl. Ta pozice není produktem - produktem jsou spínače, rozsah funkcí, brány a mechanismy pro ukončení procesů. Pokud vám váš pronajatý systém začne klást otázky, na které neumíte odpovědět, je to právě ten spouštěč.


Rozsah služeb a pevná cena budou dohodnuty do 48 hodin od první konverzace. Popište prosím svou situaci.

Pohled vedoucího IT na úrovni CRO: Co nám regulované systémy říkají o řízení umělé inteligence

· 5 minut čtení

Metoda, která tuto práci vykonává již třicet let​

Dlouho předtím, než se „řízení umělé inteligence“ stalo bodem na agendě správní rady, existovala oblast, kde se stejný problém již vyřešil, zaplatilo se za něj, provedla se auditní kontrola a postupy byly dále zdokonalovány. Této oblasti se říká validace počítačových systémů. Ve farmaceutických společnostech a společnostech vyrábějících zdravotnické prostředky jde o disciplínu, která uspokojivě odpovídá na jednu otázku ze strany FDA a EMA: jak víte, že daný počítačový systém dělá to, co má dělat, a jak to dokážete prokázat poté, co lidé, kteří ho vytvořili, odejdou domů?

Stručně řečeno: nikdy nevěříte tvrzení ani sebedůvěře tvůrce. Kvalifikaci provádíte postupně, v několika vrstvách.

Instalace. Je systém nainstalován a nakonfigurován podle specifikací? Nejde o to, zda běží - jde o to, zda je nakonfigurován tak, jak je popsáno, v prostředí, kde bude skutečně používán.

Provoz. Plní každá funkce to, co je uvedeno v její specifikaci, a to v rámci testování, jedna po druhé? Je zajištěna sledovatelnost: každý požadavek má svůj test, každý test má výsledek, každý výsledek má podpis a datum.

Výkonnost. Vydrží celý systém skutečné zatížení a reálné podmínky? Nejde o demonstrační verzi - jde o ten nejhorší možný scénář.

A kolem všech těch vrstev platí pravidlo, díky kterému celý systém obstojí při auditech: záznam je samotný systém. Pokud něco není zdokumentováno, tak se to nestalo. Pokud byla dokumentace sepsána až dodatečně a s retroaktivním datem, jedná se o podvod, nikoli o zlepšení procesů. Integrita dat není žádnou „vlastností“ systému - je to jeho základní podmínka.

Proč regulovaný sektor takto vzrostl​

Strávil jsem více než deset let v tomto prostředí, na straně odpovědných osob - jako vedoucí IT, který podepisuje dokumenty, nikoli jako konzultant, který radí. Důkladná kontrola podle standardů FDA a EMA byla samozřejmostí, ne výjimkou. A když v takovém prostředí žijete dostatečně dlouho, změní se váš pohled na každý počítačový systém, ať už kdekoli.

Přestanete se ptát: „Je to dobré?“ Začnete se ptát: dobré podle jakého požadavku, otestované na základě jakých důkazů, zaznamenané kde a kdo to bude za pět let schopen přečíst?

Zjistíte, že nebezpečné systémy nejsou vždy ty, které jsou na první pohled poškozené. Jsou to systémy, kterým všichni věří. Víra však není součástí kvalifikačního procesu.

Naučíte se tu tu nejdražší větu v podnikové IT sféře: „Na mém počítači to funguje.“ V regulovaném prostředí pro to existuje ekvivalent: neověřeno. Se vším ostatním můžete pracovat.

Problém s migrací, který nikdo neplánoval​

Jde o to, co činí tento produkt cenným i mimo farmaceutický sektor: téměř každá společnost zdědila problémy, kterým měla předcházet validace počítačových systémů, ale nezdědila přitom samotnou metodu jejich řešení.

Přeložte tento text do češtiny pro prémiové poradenské webové stránky. Zachovejte přesnou terminologii - značky a odborné termíny zůstávají nezměněny. Upřednostňujte přirozené, rodilé vyjádření před doslovným překladem z angličtiny. Tón by měl být strohý, sebevědomý a odpovídající vysoké odbornosti.

V současnosti vypadá zavádění umělé inteligence v praxi naprosto stejně jako v roce 1995, kdy regulované společnosti začínaly používat neověřené systémy. Rozpočet byl schválen ještě předtím, než vznikl ověřovací model. Dodavatelé v prezentacích vyslovují sebevědomá tvrzení. Systémy se nasazují tajně, často přímo u koncových uživatelů. Zároveň přichází tlak na audit ze strany regulátorů, pojišťoven a korporátních klientů - všechny tyto požadavky organizace nedokáže splnit. Změnily se pouze „kufry“; problém s jejich rozbalováním však zůstává stejný.

Rozdíl je v tom, co s tím firmy dělají. Farmaceutická společnost před třiceti lety měla jasnou doktrínu: vrstvy kvalifikace, matice sledovatelnosti, kontrolu změn a pravidla ALCOA pro integritu dat. Typická dnešní společnost má... politiku pro komunikaci v chatu a pilotní výbor.

Přenositelné části nejsou jen papírování. K řízení středně velkého podniku nepotřebujete formuláře GAMP. Potřebujete jeho „kostru“:

  1. Požadavky formulované před výběrem systému, v termínech, které odpovídají potřebám podniku.
  2. Kvalifikační vrstvy: nainstalovány podle specifikací, každá funkce otestována, celý systém podroben zátěžovému testu.
  3. Sledovatelnost: každý požadavek, test, výsledek, podpis i datum.
  4. Řízení změn: systém, který včera prošel kontrolou, je dnes důvěryhodný pouze tehdy, pokud je znám rozdíl mezi jeho stavem včera a dnes.
  5. Záznam, který se uchovává, jako by na něm záleželo - protože v den, kdy bude zpochybněn, bude to jediná věc, která kdy existovala.

Umístěte tento „skeleton“ do své architektury AI a Nařízení EU o umělé inteligenci přestane být nepřekonatelnou překážkou - stane se pouhým seznamem požadavků, které vypracovali lidé, kteří se chystají položit otázky, na které už znáte odpovědi. Stejně je to i v případě NIS2. Předpisy z této skupiny mají stejnou strukturu: je třeba to dokázat, zaznamenat a zajistit, aby vše fungovalo.

Skeptikův roh - upřímně​

Dva námitky si zaslouží upřímné odpovědi, protože tento příspěvek není prodejní propagací s cílem přeměnit každou firmu na farmaceutický závod.

„To je pro nás přehnané.“ Celý ceremoniál je zbytečný. Samotná struktura systému však nikoliv. Každá organizace má systém, v němž neověřená chyba stojí kariéru, zákazníka nebo pozornost médií. Právě tento systém si zaslouží tu strukturu. Ne všechno je však nutné. Součástí metody je také triáž; regulované společnosti se kvalifikují podle třídy kritičnosti, nikoliv podle nadšení.

„Nemůžeme si najmout validační tým.“ Je to správně, ale nejde o podstatu věci. Podstatou je, že tento postup existuje, je veřejně známý, prokázal svou účinnost i před nejpřísnějšími auditory na světě a lze jej využít v rámci mandátu, jakmile nastane spouštěcí podmínka. Nepotřebujete celé oddělení - potřebujete pouze disciplínu v daný okamžik, od někoho, kdo již dříve podepsal odpovídající dokumenty.

To je to, co dělám: nejtěžší „místnost“ v regulovaném světě, kterou používám jako „čočku“ k analýze systémů, jež vaše správní rada právě schvaluje - aniž by k tomu měla vhodný nástroj. Označení CRO v názvu není jen ozdoba; právě odtud pochází tato metoda i všechny „jizvy“ spojené s jejím používáním - a obojí se dále přenáší.


Pokud váš systém umělé inteligence, vaše bezpečnostní opatření nebo proces předání odpovědnosti postrádají jakoukoli ověřovací strukturu, jedná se o varovný signál. Popište svou situaci a rychle se dozvíte, zda pro tuto kancelář platí mandát k jednání.