Marcel Kolaja: Zákon o umělé inteligenci z pohledu CULTu

Marcel Kolaja, zpravodaj pro stanovisko k zákonu o umělé inteligenci ve Výboru pro kulturu a vzdělávání (CULT), v polovině února představím návrh pro jeho úpravu. Návrh se soustředí na několik důležitých oblastí umělé inteligence (AI) – její samotnou definici a strukturu zákona, požadavky na transparenci, risk jejího využití ve školství, požadavky a regulace využití v podobných potenciálně nebezpečných oblastech, skloubení se základními právy občanů a zákaz určitých praktik.

Prodiskutujme několik nejvíce problematických částí.

Praktiky ohrožující základní občanská práva musí být zakázány, bez výjimek

Cílem regulace je vytvořit právní rámec, který brání diskriminaci, zakazuje praktiky ohrožující základní občanská práva nebo bezpečnost či zdraví. V její nynější podobě regulace zakazuje množství praktik, které skutečně musí být zakázány. Konkrétně AI systémy určené pro manipulaci lidského chování a prediktivní AI systémy zneužívající zranitelností. To je správně, má to však háček: výjimky.

Tyto zákazy neplatí pro EU vlády a orgány veřejné správy, pokud jsou zavedeny pro ochranu veřejné bezpečnosti a jsou v souladu se zákony EU. Vlády by nadále mohly například monitorovat pohyb svých občanů, jejich soukromou komunikaci, aktivitu na sociálních sítích a všechny další záznamy a stopy, které zanechají v digitálním světě. Takové záznamy se ale dají velmi jednoduše využít pro plošné sledování obyvatelstva, zejména rozpoznávání obličejů v zemích s ohroženou nezávislostí soudní moci.

Maďarská vláda například pronásledovala novináře v zájmu takzvané „státní bezpečnosti“ za to, že v době pandemie zpochybňovali činnost vlády. Dokonce i čínský systém sociálního kreditu byl založen z důvodu zajištění „bezpečnosti“. Proto je naprosto nezbytné vytvořit precedens, který zabrání vládám využívat AI systémy k porušování základních občanských práv, zejména v případech zemí, kde demokracie upadá.

Tyto obavy opakovaně zazněly v otevřeném dopise, který minulý měsíc podepsalo 116 europoslanců, v němž vyzvali Evropskou Komisi, aby se zabývala riziky představenými nebezpečnými AI systémy, které mohou být použity pro ohrožení základních občanských práv. Stejný požadavek navíc vznesli i občané během veřejné konzultace.

Vysoce rizikové systémy by měly být posouzeny třetí stranou

Návrh obsahuje definici tzv. vysoce rizikových systémů umělé inteligence. Příkladem je nizozemský systém dohledu nad sociálními dávkami, jehož cílem bylo předpovídat pravděpodobnost, že jednotlivec poruší pracovní právo nebo se dopustí daňového podvodu. Z důvodu prokazatelného porušování základních občanských práv byl tento systém však zrušen.

Co třeba HR programy se schopností filtrovat žádosti o zaměstnání, bankovní systémy vyhodnocující naši bonitu (tj. schopnost splácet dluhy), nebo prediktivní policejní algoritmy s již zabudovanou diskriminací? Všechny tyto systémy spadají pod kategorii vysoce rizikových. Pokud jde o školství, můžeme si vzpomenout především na e-proctoring systémy, které se v době současné pandemie využívají pro online zkoušky. Stručně řečeno, tyto nástroje mohou mít značný dopad na lidské životy.

Podle návrhu by řada z nich měla podléhat pouhému sebehodnocení, tj. vlastnímu posouzení rizik. To je znepokojivé, protože takové posouzení nemusí být dostatečné a mělo by být prováděno nezávislou třetí stranou.

V případě vlastního posouzení shody s předpisy by za něj byl zodpovědný samotný poskytovatel systému. Podle návrhu navíc není třeba, aby takové posouzení schvaloval příslušný orgán. Nejenže ho poskytovatelé provedou sami, ale také vyhodnotí, zda jejich vysoce riziková umělá inteligence splňuje požadavky nového nařízení. Sami ji prohlásí za schválenou.

Otevřenost systému pomáhá předcházet chybám

Běžní uživatelé i akademici, každý by měl mít právo pochopit základní logiku AI systémů, kterým podléhá. Podle návrhu je třeba zveřejňovat pouze netechnickou dokumentaci, což považuji za nedostatečné. Návrh zavádí ochranu všech stran v oblasti obchodně důvěrných informací, obchodních tajemství a takzvaného duševního vlastnictví, pokud není zveřejnění těchto informací ve veřejném zájmu.

Tato úroveň důvěrnosti však není slučitelná s požadavkem umožnit každému, kdo má zájem ho studovat, přístup k informacím o funkci systému. Společnosti by měly být vybízeny nejen k tomu, aby uvolňovaly zdrojový kód a naučná data pod svobodnou a otevřenou licencí, ale aby svoje systémy vytvářely transparentně hned od začátku. Nejenže to umožní lepší náhled do jejich funkce, ale může to také vyřešit řadů problémů, se kterými se momentálně potýkáme.

Závěrem lze říci, že nestačí zveřejňovat pouze netechnickou dokumentaci. Abychom ověřili systém, musíme znát jeho zdrojový kód a způsob provozu. Musíme také mít na paměti, že umělá inteligence se neustále učí a data k tomu využívaná se vyvíjejí. Proto je nezbytné dát vládním orgánům i občanským společnostem je možnost kdykoli kontrolovat.

Jak toho můžeme docílit? Řešení spočívá v použití svobodného a otevřeného softwaru.

Co dál?

Musíme nastavit jasná pravidla, která nebude snadné obejít. Musíme se vyvarovat mezer, které by se daly zneužít.

V současné době pracuji na návrhu legislativního stanoviska, které bude ve výboru CULT přeloženo polovinou února. Budu se snažit vyplnit všechny mezery, které jsem našel a rozpoznal – zejména ty, které mohou ovlivnit systém vzdělávání. Zůstaňte na příjmu!