Systémy se podle nových pravidel nebudou dopouštět diskriminace lidí či narušování základních lidských práv, slibuje si od nových pravidel europoslanec a kvestor Evropského parlamentu Marcel Kolaja.

Nová pravidla člení využití umělé inteligence do čtyř kategorií podle úrovně rizika. Na základě zařazení následně stanovuje povinnosti spojené s jejich provozováním či jejich užití zcela zakazuje. “Naprostá většina forem využití umělé inteligence není nijak problematická. Existují ale technologie, pro které potřebujeme jasná pravidla, například systémy na rozpoznávání obličejů,” vysvětluje pirátský europoslanec Kolaja.

Proto postoj Evropského parlamentu zahrnuje podmínku prosazovanou Kolajou a jeho politickou skupinou, podle které by směly orgány činné v trestním řízení využívat programy na analyzování nahrávek z bezpečnostních kamer pouze zpětně, a to na základě soudního příkazu. Jinak je užití technologie na záznamy pořízené na veřejnosti zakázaná.

“Zabránit vládám šmírovat své občany považuji za naprosto klíčové. Pokud by bylo možné tyto programy využívat zcela bez kontroly a v reálném čase, otevřely by se příležitosti například pro postihování účasti na demonstracích, jako to dnes vidíme v některých autoritativních režimech,” popisuje Kolaja.

Podobně se Kolaja staví i k technologiím na rozpoznávání emocí či k systémům sociálního kreditu, které označuje za zcela nepřijatelné. “Jde o program známý především z Číny. Ten rozpoznává jednotlivé občany a uděluje jim pozitivní či negativní body na základě jejich chování. To je něco, co se v demokratické společnosti absolutně nesmí objevovat, do pozice Evropského parlamentu jsme proto prosadili rozšíření zákazu takového využití umělé inteligence i na soukromé společnosti. Zákaz tak bude platit jak pro vlády, tak například pro pojišťovny a další firmy,” říká Kolaja.

Kolaja prosadil i zařazení tzv. e-proctoringu na seznam vysoce rizikových technologií umělé inteligence. “Jde o nástroj, pomocí něhož mohou školy kontrolovat, že studenti nepodvádějí při skládání zkoušek on-line. V praxi program vyhodnocuje výstupy z kamery a mikrofonu na zařízení, které student používá. Pokud zaznamená třeba opisování ze sešitu, používání mobilu nebo konverzaci s někým dalším, vyhodnotí to jako podvod. Problém je, že takový program se může mýlit. Špatně vyhodnotí třeba pohyby studenta se zdravotním postižením, u studenta s tmavou barvou pleti zase může dojít k závěru, že v ruce drží třeba mobilní telefon. Diskriminovat může program i lidi z chudších poměrů, když třeba hluk vycházející ze sdílené místnosti nebo chodby na studentských kolejích vyhodnotí jako konverzaci,” dodává Kolaja. Díky zařazení mezi programy s vysokou úrovní rizika se tak mimo jiné i na tuto technologii mají vztahovat opatření týkající se třeba transparentnosti vstupních dat nebo dohledu člověka nad systémem.

Pozici výborů pro vnitřní trh (IMCO) a pro pro občanské svobody, spravedlnost a vnitřní věci (LIBE) ještě musí europoslanci stvrdit na plénu. Následně začne vyjednávání s Evropskou komisí a zástupci národních vlád v rámci takzvaného trialogu. Půjde o první legislativu svého druhu na světě.