Evropský parlament dne 13. března 2024 schválil nařízení o umělé inteligenci (dále jen „Nařízení“). Jedná se přitom o světově první právní akt, který má ambice komplexně regulovat umělou inteligenci (dále jen „AI“). Formální schválení konečného textu nařízení Radou se očekává do konce dubna, načež bude nařízení zveřejněno v úředním věstníku. Převážná část nařízení nabude účinnosti 24 měsíců po zveřejnění. Připomínáme též, že nařízení je přímo účinné, což znamená, že osobám na území ČR budou plynout práva a povinnosti přímo z něj, a to bez ohledu na vnitrostátní legislativu.

Nařízení harmonizuje pravidla pro uvádění AI na unijní trh, uvádění AI do provozu a její použití. Významná část Nařízení je věnována též systémům, jejichž praktiky Evropská Unie (dále jen „EU“) považuje za natolik škodlivé, že v rámci Nařízení výslovně zakazuje jejich uvedení na trh, uvedení do provozu či používání. 

V tomto článku vám přiblížíme, na jaké osoby se bude zákaz vztahovat, a jaké AI systémy budou v EU zakázány. Těšit se můžete i na další publikace o AI Nařízení, v nichž se budeme věnovat povoleným AI systémům a podmínkám pro jejich uvádění na trh, provoz a použití v EU v závislosti na jejich rizikovosti.

Odpovědné osoby

Osoby, které v souladu s Nařízením odpovídají za dodržování zákazu uvádění na trh, uvádění do provozu či použití AI provozujících nebezpečné praktiky, jsou zejména: 

• osoby, které poskytují, nasazují nebo importují a distribuují umělou inteligenci v EU;
• autorizovaní zástupci poskytovatelů umělé inteligence neusazených v EU;
• osoby umísťující na trh umělou inteligenci společně se svým výrobkem.

Nasazením je míněno jakékoliv užívání systému AI s výjimkou užívání pro čistě soukromou, neprofesionální potřebu. Jinými slovy, běžný uživatel internetu – spotřebitel – nebude odpovědnou osobou ve smyslu Nařízení, a to i kdyby za použití AI generoval a šířil nebezpečný obsah, např. poplašné zprávy či jinak zavádějící informace. Nelze ovšem vyloučit trestní či občanskoprávní odpovědnost takových osob.

Oproti tomu osoby, které užijí AI v rámci své obchodní činnosti, např. ke komunikaci se spotřebitelem či generování obsahu, budou odpovídat za dodržování zákazu nebezpečných funkcí AI, a to bez ohledu na to, zda mají přístup ke zdrojovému kódu daného systému – a tedy reálnou schopnost ovlivnit fungování užívaného systému.

Výjimky

Z působnosti Nařízení – včetně ustanovení o zakázaných praktikách –  jsou výslovně vyjmuty:

• systémy určené výlučně pro vojenské či obranné účely a účely národní bezpečnosti;
• systémy určené výlučně pro účely vědeckého výzkumu a vývoje;
• užívání AI v rámci mezinárodní spolupráce, justiční spolupráce nebo spolupráce v oblasti vymáhání práce s třetími zeměmi či mezinárodními organizacemi, za předpokladu, že tato třetí země nebo mezinárodní organizace poskytuje přiměřené záruky ochrany základních práv a svobod jednotlivců;
• aktivity výzkumu, testování a rozvoje AI před jejich umístěním na trh nebo uvedením do provozu, s výhradou testování v podmínkách skutečného světa.

Zakázané praktiky

Nařízení obecně zakazuje takové funkce AI, které člověka manipulují k jeho újmě nebo k újmě jiných osob, nebo které představují nepřijatelný zásah do soukromé sféry člověka.

Manipulativní AI

Zakázané jsou funkce AI, které používají podprahové techniky mimo vědomí osoby nebo záměrně manipulativní nebo klamavé techniky s cílem nebo účinkem podstatně narušit chování osoby nebo skupiny osob.

Za podstatné narušení chování osob se považuje výrazné zhoršení schopnosti osoby činit informovaná rozhodnutí, v důsledku čehož osoba učiní rozhodnutí, které by jinak neučinila, v důsledku čehož utrpí značnou újmu buď tato ovlivněná osoba, nebo jiná osoba či skupina osob.

Do této kategorie by mohly v praxi spadat zejména:

• systémy vytvářející podprahovou či jinak manipulativní reklamu;
• systémy generující falešné zprávy;
• systémy generující zprávy podněcující nenávist k určitým osobám či skupinám osob.

Zneužívající AI

Zákaz se vztahuje také na funkce AI, které zneužívají slabostí osob nebo skupiny osob z důvodu věku, zdravotního postižení nebo zvláštní sociální či ekonomické situace, je-li cílem nebo účinkem tohoto zneužití podstatné narušení chování této osoby nebo skupiny osob způsobem, které jim způsobuje nebo může způsobit značnou újmu.

Do této kategorie budou spadat zejména systémy generující obsah navádějící snadno ovlivnitelné osoby k chování, které je pro ně škodlivé, např. ke konzumaci návykových látek či gamblerství. Do této kategorie by spadalo i generování obsahu s cílem nebo účinkem vymámit ze snadno ovlivnitelné osoby neoprávněné peněžité či nepeněžité protiplnění.

Profilující AI

Nařízení zakazuje systémy AI sloužící k

• evaluaci a klasifikaci fyzických osob na základě jejich známých či předpokládaných osobních charakteristik za účelem tzv. sociálního profilování;
• předvídající pravděpodobnost spáchání trestného činu pouze na základě osobních charakteristik dané osoby;
• kategorizaci osob na základě jejich biometrických údajů za účelem odvození citlivých údajů o těchto osobách.

V souladu s Nařízením by tak v EU nesměl být zaveden systém obdobný tomu, který již několik let funguje v Číně a který na základě průběžného hodnocení socioekonomického chování lidí umožňuje ukládat postihy, disciplinární opatření a omezení nemající přímou souvislost se sledovaným chováním.

Sledující AI

Zákaz se dále vztahuje na systémy

• biometrické identifikace osob v reálném čase s výjimkou identifikace za přísně vymezeným účelem v rámci boje s obzvláště závažnými zločiny a jejich prevence (např. obchodování s lidmi, teroristické útoky, násilná trestná činnost včetně sexuálního násilí);
• vytvářející nebo rozšiřující databáze rozpoznávání obličejů prostřednictvím získávání snímků obličejů z internetu nebo z kamerových záznamů.

Postihy

Porušení výše uvedených zákazů je spojeno s přísnými finančními postihy. Odpovědné osobě může být uložena pokuta ve výši do 35 000 000 EUR nebo, jestliže je pachatelem společnost, do 7 % celkového světového ročního obratu za předchozí účetní období, podle toho, která částka je vyšší. Nařízení dále výslovně připouští souběh pokuty s jakýmikoliv dalšími postihy dle vnitrostátního práva.