V únoru 2024 svolal zaměstnanec hongkongské pobočky britské inženýrské firmy Arup videohovor se svým finančním ředitelem a několika dalšími kolegy, aby probrali důvěrnou finanční transakci. Všichni na hovoru vypadali a mluvili přesně jako lidé, které znal. Během hovoru odeslal patnáct plateb v celkové hodnotě zhruba 25 milionů dolarů. Jenže na hovoru nebyl žádný skutečný kolega. Všechny postavy byly deepfake, vygenerované ze veřejně dostupných videí a fotek skutečných zaměstnanců firmy.

Případ patří k dosud největším doloženým podvodům s využitím AI a dobře shrnuje, proč se bezpečnost, soukromí a etika kolem umělé inteligence staly vlastním tématem, ne jen poznámkou pod čarou u jinak nadšených textů o nových nástrojích. Tenhle přehled probírá hlavní rizika: co se děje s daty, která do AI nástrojů vkládáte, jak fungují deepfake podvody, jak se řeší autorská práva k datům, na kterých se modely trénují, a co dnes v praxi znamená evropská regulace. Detailnějším tématům, třeba jak konkrétně ověřovat fakta z AI odpovědí, se věnují samostatné navazující články.

Co se stane s daty, která do AI vložíte

Když napíšete dotaz do ChatGPT, Claude nebo Gemini, text putuje na server dané firmy ke zpracování. Co se s ním děje dál, záleží na konkrétních podmínkách používání a na tom, jestli používáte bezplatnou veřejnou verzi, nebo placenou firemní variantu s jinými zárukami.

Italský úřad pro ochranu osobních údajů (Garante) v březnu 2023 dočasně zakázal ChatGPT na italském území kvůli podezření na porušení evropského nařízení GDPR, konkrétně kvůli způsobu, jakým OpenAI zpracovávala osobní údaje uživatelů a jak ověřovala věk. OpenAI během několika týdnů upravila některé postupy a služba se v Itálii znovu zpřístupnila. Byl to první veřejně známý případ, kdy evropský regulátor takhle razantně zasáhl proti velkému AI chatbotu, a ukázal, že GDPR se na AI nástroje vztahuje stejně jako na jakoukoliv jinou službu pracující s osobními údaji.

Podobně citlivé je téma rozpoznávání obličejů. Americká firma Clearview AI si vybudovala databázi miliard fotografií nastahaných ze sociálních sítí a dalších veřejných zdrojů, bez souhlasu lidí na fotkách, a prodávala přístup k vyhledávání podle obličeje policejním složkám i soukromým firmám. Úřady na ochranu osobních údajů v několika evropských zemích, mimo jiné v Itálii, Francii, Řecku a Velké Británii, firmě mezi lety 2021 a 2022 uložily pokuty a nařídily smazání dat evropských občanů.

GDPR navíc dává uživatelům konkrétní práva, o kterých se v souvislosti s AI moc nemluví: právo zjistit, jaká data o vás firma zpracovává, a právo požádat o jejich smazání. OpenAI i Google v reakci na požadavky evropských uživatelů přidaly do nastavení účtu přepínač, kterým jde vyloučit vlastní konverzace z dalšího trénování modelu. Tahle možnost obvykle není zapnutá automaticky, uživatel si ji musí sám najít a aktivovat v nastavení soukromí, konkrétní název a umístění se u jednotlivých služeb liší a mění se s aktualizacemi rozhraní.

Praktický důsledek pro běžného uživatele: než do AI nástroje vložíte cokoliv citlivého, rodné číslo, zdravotní záznam, obsah smlouvy nebo firemní tajemství, ověřte si, jestli jde o firemní verzi s jasně danými podmínkami zpracování, nebo o veřejný nástroj, kde je situace míň jistá.

Deepfake: obrázek a hlas, kterým nejde věřit poslepu

Deepfake označuje video, fotografii nebo zvuk, které vypadají jako skutečný záznam konkrétního člověka, ale ve skutečnosti je vygenerovala AI. Případ z Hongkongu ukazuje nejzávažnější formu zneužití, cílený podvod proti konkrétní firmě.

Deepfake se objevují i v politickém kontextu. V březnu 2022, krátce po ruské invazi na Ukrajinu, se na sociálních sítích objevilo video, na kterém ukrajinský prezident Volodymyr Zelenskyj údajně vyzývá vojáky ke kapitulaci. Video bylo poměrně hrubě vyrobené a platformy i ukrajinská vláda ho rychle označily za podvrh, přesto stačilo krátce kolovat, než ho stačili vyvrátit. Ukázalo to, jak rychle se deepfake dokáže rozšířit dřív, než ho někdo stačí ověřit.

Rozpoznat kvalitní deepfake pouhým okem je čím dál těžší. Pomáhá všímat si nepřirozeného mrkání, špatně sedících stínů, okrajů obličeje, které se při pohybu hlavy mírně rozostří, nebo hlasu, kterému chybí přirozené přestávky na nádech. Žádný z těchto příznaků ale není spolehlivý stoprocentně, hlavně u krátkých úryvků. Nejbezpečnější návyk je u neočekávané nebo podezřelé žádosti, hlavně finanční, ověřit identitu druhým, nezávislým kanálem, třeba zpětným telefonátem na známé číslo, ne jen odpovědí ve stejném videohovoru nebo chatu.

Falešný hlas na telefonu, ne jen video

Deepfake nemusí být video. Klonování hlasu umí napodobit i telefonát, což se používá u takzvaného „scamu vnuka”: podvodník si z pár vteřin veřejně dostupného videa vytvoří kopii hlasu příbuzného a zavolá starším rodinným příslušníkům s tím, že jejich blízký je v nouzi a potřebuje rychle poslat peníze. Obrana je podobná jako u firemního podvodu z Hongkongu: při podezřelém volání zavolejte zpátky na známé číslo, ne to, ze kterého volali, a zeptejte se na něco, co by cizí člověk nevěděl.

Čí je vlastně text a obrázek, na kterém se model učil

Velké jazykové i obrazové modely se trénují na obrovském množství textu a obrázků stažených z internetu, často včetně děl chráněných autorským právem, aniž by autoři dali výslovný souhlas. Otázka, jestli je to legální, se v době psaní tohoto textu teprve řeší u soudů a výsledek pravděpodobně ovlivní, jak budou modely trénované v příštích letech.

New York Times podal v prosinci 2023 žalobu na OpenAI a Microsoft s tím, že modely GPT byly trénované na miliónech novinových článků deníku bez licence, a že model v některých případech dokázal reprodukovat téměř doslovné pasáže z jejich textů. Podobný spor vede fotobanka Getty Images se společností Stability AI kvůli generátoru obrázků Stable Diffusion, natrénovanému mimo jiné na fotkách z její databáze, včetně viditelných vodoznaků Getty, které se občas objevily i ve vygenerovaných obrázcích.

Pro běžného uživatele z toho plyne praktické poučení: obsah vygenerovaný AI nemá automaticky vyřešená autorská práva, a to platí oběma směry. Použití cizího chráněného díla k trénování je sporné, a stejně tak není jisté, komu patří autorská práva k výstupu, který AI vygeneruje, hlavně pokud ho chcete použít komerčně. U důležitého komerčního použití se vyplatí ověřit aktuální licenční podmínky konkrétního nástroje.

Etika: kde končí pomoc a začíná manipulace

Vedle právních otázek existuje širší etická rovina, která se těžko vejde do paragrafů. AI chatboti dokážou být přesvědčiví a empatičtí způsobem, který u zranitelných uživatelů, dětí, osamělých lidí nebo lidí v krizi, může vést k nezdravé závislosti na rozhovoru se strojem místo hledání pomoci u člověka. Firmy jako OpenAI nebo Character.AI na tenhle problém reagovaly dodatečnými bezpečnostními opatřeními a upozorněními poté, co se objevily zprávy o škodlivém dopadu na některé mladistvé uživatele.

Zneužití k tvorbě škodlivého obsahu je další oblast, kterou firmy řeší různě přísně. Generátory obrázků a chatboti mají zabudované filtry proti tvorbě násilného, sexuálního nebo jinak škodlivého obsahu, hlavně pokud by zobrazoval konkrétní skutečné osoby bez souhlasu. Tyhle filtry se dají různě obcházet a firmy je průběžně zpřísňují, jakmile na obcházení přijdou, jde ale o nikdy nekončící souboj mezi tvůrci ochran a lidmi, kteří je zkoušejí obejít.

Zaujatost (bias) je další téma: model se učí ze skutečných dat, a pokud tréninková data obsahují historické předsudky, třeba v tom, jaké životopisy firmy dřív preferovaly při náboru, model může tenhle vzorec nevědomky opakovat. Odpovědné firmy se snaží tuhle zaujatost testovat a omezovat, úplně ji odstranit se ale zatím nikomu spolehlivě nepovedlo.

Co dnes řeší AI Act a GDPR

Evropská unie na rizika AI reaguje dvěma hlavními právními nástroji. GDPR, platné od roku 2018, se týká ochrany osobních údajů obecně a vztahuje se i na to, jak AI nástroje s osobními daty nakládají, jak dlouho je uchovávají a jestli mají uživatelé právo na jejich smazání.

Nařízení AI Act, které EU přijala v roce 2024, jde dál a řeší přímo umělou inteligenci jako takovou. Rozděluje AI systémy podle míry rizika, od nepřijatelného rizika, které je rovnou zakázané, přes vysoké riziko s přísnými požadavky na dohled, až po nízké riziko s minimálními povinnostmi. Mezi povinnosti, které se budou postupně zavádět, patří i zřetelné označení obsahu vytvořeného nebo upraveného umělou inteligencí, tedy přímá reakce na problém deepfake z úvodu článku.

Přesné termíny, kdy která povinnost začne platit, a jak se budou týkat konkrétních firem a produktů, se v čase upřesňují a liší podle kategorie rizika. Kdo potřebuje přesnou informaci pro konkrétní firemní použití, měl by se obrátit na aktuální oficiální texty nebo právníka specializovaného na tuhle oblast, ne na obecný přehled, jako je tenhle článek.

Kam se obrátit, když něco selže

V Česku dohlíží na dodržování GDPR Úřad pro ochranu osobních údajů, na kterého se obrátíte, pokud máte podezření, že firma s vašimi osobními daty naložila v rozporu s pravidly, AI nástroj nevyjímaje. U podezření na podvod s využitím deepfake nebo klonovaného hlasu jde primárně o trestní čin, tedy věc pro policii, ne pro úřad na ochranu dat.

Na evropské úrovni dohled nad AI Act postupně přebírají specializované národní orgány a nově zřízený Evropský úřad pro umělou inteligenci. Systém se teprve rozbíhá a přesné kompetence jednotlivých institucí se v čase upřesňují, což je další důvod, proč se v konkrétním sporném případě vyplatí poradit s právníkem, ne spoléhat na to, co se dočtete v obecném přehledu.

Na co si dát pozor

Než AI nástroji svěříte citlivá data, ověřte si, jestli jde o firemní verzi s jasnými podmínkami zpracování dat, ne o bezplatnou veřejnou verzi. U zaměstnavatele se vyplatí zjistit, jestli firma má vlastní politiku pro používání AI nástrojů, než něco vložíte sami na vlastní triko.

U neočekávané nebo naléhavé žádosti, hlavně finanční, spojené s videohovorem, telefonátem nebo zprávou, ověřte identitu druhým kanálem. Případ z Hongkongu fungoval právě proto, že oběť neměla důvod pochybovat, protože viděla a slyšela zdánlivě známé kolegy.

Obsah vygenerovaný AI, ať jde o text, obrázek nebo hudbu, nepovažujte automaticky za volně použitelný. U komerčního využití si ověřte licenční podmínky konkrétního nástroje.

U dětí a zranitelných uživatelů věnujte pozornost tomu, jak dlouho a jakým způsobem s AI chatboty komunikují. Nástroj, který působí jako trpělivý a chápavý společník, není náhrada za odbornou pomoc nebo lidský vztah, i když se tak občas tváří.

Shrnutí

Bezpečnost, soukromí a etika u AI nejsou okrajové téma pro specialisty. Dotýkají se firemního zaměstnance, který do chatbotu vloží interní dokument, stejně jako rodiče, jehož dítě si s chatbotem povídá po škole. Riziko není v tom, že by AI byla ze své podstaty nebezpečná, riziko je v tom, jak snadno se dá zneužít, když si toho uživatel nevšimne včas.

Základní obezřetnost, ověřit identitu, nevkládat citlivá data bez rozmyslu, nebrat vygenerovaný obsah jako automaticky volný k použití, pokryje většinu běžných situací. Na specifičtější otázky, jak přesně ověřovat fakta z AI odpovědí nebo jak funguje konkrétní hrozba, se soustředí další články v této rubrice.