Právo a umělá inteligence v samosprávě: Co znamená nový evropský právní rámec pro města a obce?

Ing. Jan Mareš, MPA, LL.M.

Evropská unie v červnu 2024 přijala zcela zásadní právní předpis, kterým je Akt o umělé inteligenci (tzv. AI Act), jehož cílem je systematicky regulovat vývoj, implementaci a provozování systémů umělé inteligence (AI) napříč členskými státy. Tento krok přichází v době, kdy se umělá inteligence stává nejen technologickým fenoménem, ale i běžným nástrojem v rukou veřejné správy. Obce a města již dnes testují a mnohdy již využívají možnosti jejího využití, ať už při řízení dopravy, zpracování podnětů občanů, optimalizaci rozpočtu, nebo třeba při komunikaci s veřejností. AI však není jen technologickou výzvou, ale rovněž předmětem komplexního právního režimu, jehož neznalost může mít citelné dopady.

Akt o umělé inteligenci je nařízením přímo použitelného práva EU, a tedy právně závazný i bez nutnosti transpozice do českého právního řádu. Jeho ustanovení budou postupně nabývat účinnosti mezi lety 2025 až 2027. Již od února 2025 však vstoupila v účinnost obecná pravidla, včetně zákazu některých typů využití AI, které jsou označeny jako nepřípustné, například sociální skórování občanů nebo sledování emocí ve školách a na pracovištích. Od srpna 2026 pak budou účinné i rozsáhlé povinnosti pro tzv. vysoce rizikové systémy. Tyto povinnosti se netýkají jen velkých technologických korporací, ale týkají se i subjektů veřejné správy, které dané systémy zavádějí a provozují. Typickým příkladem je využití AI v pracovněprávním řízení (například při náboru zaměstnanců), v přístupu k veřejným službám či při rozhodování o sociální podpoře.

Z pohledu samosprávného úředníka nebo starosty je klíčové pochopení, že odpovědnost za soulad s AI Actem nenese pouze vývojář nebo dodavatel nástroje, ale rovněž tzv. „zavádějící subjekt“, tedy obec nebo úřad, který systém využívá v praxi. Tato odpovědnost zahrnuje nejen zavedení řízení rizik a technické dokumentace systému, ale také lidský dohled, transparentní komunikaci s občany a zabezpečení souladu se všemi dalšími právními předpisy.

Jedním z nejcitlivějších aspektů je zpracování osobních údajů. Umělá inteligence je zpravidla postavena na datech, z nichž mnohá spadají pod ochranu podle obecného nařízení o ochraně osobních údajů (GDPR). Je důležité si uvědomit, že i logování aktivit v systému může představovat zpracování osobních údajů. Pokud je AI systém využíván pro rozhodnutí, která mají právní účinky pro konkrétní osobu, například při přidělování dávek nebo schvalování přístupů ke službám, pak musí být splněny podmínky čl. 22 GDPR. To znamená nejen zákonný důvod pro zpracování, ale i možnost člověka do procesu zasáhnout, vyjádřit svůj názor a rozhodnutí napadnout.

Další regulace, které nelze opomíjet, se týkají kybernetické bezpečnosti. Nová směrnice NIS2, jejíž implementační zákon byl na konci července podepsán prezidentem a v nejbližších dnech vyjde ve Sbírce zákonů. Zákon o kybernetické bezpečnosti významně rozšíří počet organizací veřejného sektoru, které budou povinny plnit požadavky v oblasti kybernetické ochrany. Pokud obec provozuje informační systém s prvky AI a tento systém je součástí kritického nebo významného procesu, například evidence obyvatel, bezpečnostní monitoring, řízení dopravy či krizové řízení, bude nutné zavést technická a organizační opatření k jeho ochraně, včetně řízení přístupů, zálohování nebo zajištění provozní odolnosti. A právě systémy využívající umělou inteligenci, vzhledem ke své povaze, přinášejí nové hrozby, nečekané výstupy, závislost na dodavateli, netransparentní rozhodovací logiku nebo nedostatečné možnosti korekce.

Zapomínat nelze ani na oblast ochrany spotřebitele. Pokud obce nebo jimi zřízené příspěvkové organizace využívají AI například při komunikaci s občany, zpracování jejich dotazů či připomínek, je nezbytné zajistit, aby systém nejednal vůči občanům klamavě, diskriminačně nebo jinak neeticky. Veřejná správa má zde vyšší laťku důvěryhodnosti, než soukromý sektor. Nepravdivý nebo nepřesný výstup systému AI, jakkoli vzniklý neúmyslně, může mít za následek porušení práv občana a vést k právním důsledkům.

Příklad z praxe: obec zvažuje implementaci nástroje pro zpracování dotazů občanů ve stylu „chatbota“. Pokud tento nástroj využívá generativní AI a je provozován externě, například jako služba v cloudu, musí obec zjistit, zda poskytovatel přistupuje k osobním údajům, zda má právo data dále analyzovat a zda je ukládá v souladu s GDPR. Současně je vhodné provést předběžné testování výstupů, zajistit možnost lidského dohledu a transparentně informovat uživatele, že komunikují se systémem, nikoli s živým pracovníkem.

Je nutné dodat, že Akt o umělé inteligenci není zdaleka jediným právním předpisem, který je v tomto kontextu relevantní. Regulace se liší podle sektoru, ve finančních službách, zdravotnictví, dopravě či elektronických komunikacích se využití AI podřizuje ještě dalším požadavkům. Tím se celý právní rámec stává pro samosprávu složitější, ale o to důležitější je mít včas k dispozici potřebné informace a poradenství.

Využití umělé inteligence není právně zakázané, naopak, evropská legislativa jej podporuje. Ale činí tak odpovědně, s důrazem na lidská práva, ochranu soukromí a bezpečnost. Pro samosprávy to znamená nejen technologickou transformaci, ale i změnu způsobu uvažování o odpovědnosti, řízení rizik a komunikaci s občany. Pokud má být AI nástrojem k efektivnímu a dostupnému veřejnému řízení, pak musí být zároveň nástrojem spravedlivým, transparentním a kontrolovatelným.

Doporučením na závěr je nečekat až na okamžik plné účinnosti Aktu o umělé inteligenci. Každá obec, která se připravuje na zavádění AI, by měla již nyní začít vyhodnocovat právní dopady, zmapovat využívané systémy, analyzovat smluvní vztahy s dodavateli a připravit se na kontrolu souladu nejen s evropským nařízením, ale i s domácími zákony v oblasti osobních údajů, kyberbezpečnosti a ochrany spotřebitele. Vývoj technologií nelze zastavit, ale právo nám dává rámec, jak jej řídit bezpečně, předvídatelně a ve prospěch všech.