Proč je nutné chránit umělou inteligenci před lidmi?

Umělá inteligence (AI) nás nechce ovládnout a není
nebezpečná pro lidi. Je to spíš naopak: lidé jsou nebezpeční pro AI. O ochraně
umělé inteligence před manipulací ze strany lidí na festivalu Future Port
Prague hovořil Martin Řehák, CEO & zakladatel společnosti Bulletproof AI.

Autonomní automobil, tedy vůz, který se řídí sám, je velmi bezpečný. Problém nastává tehdy, když se ho člověk pokusí oklamat. Samořiditelné auto například ví, že nesmí přejet plnou bílou čáru. Stačí pak kolem zaparkovaného auta barvou nastříkat bílý kruh a auto neodjede. Což je ještě poměrně neškodný žert. Badatelům firmy Tencent se povedlo Teslu navést mimo jízdní pruh pomocí tří správně umístěných bílých teček na silnici. A může být ještě hůře: pokud se na značku STOP nalepí na vhodně zvolená místa pár samolepek, počítač samořiditelného automobilu značku vyhodnotí jako „nejvyšší povolená rychlost“, a auto tudíž nezastaví. Možné následky si dokážete představit.

Jak oklamat umělou inteligenci?

Umělá inteligence se na základě dat učí a zdokonaluje se. Stále se mohou vynořovat nepředpokládaná vstupní data a na základě nich nepředpokládaná rozhodnutí a důsledky. Například při rozpoznávání obrázků AI dává přednost detailu před celkovým obrázkem a také povrchové struktuře (textuře) před tvarem. Na prvním obrázku níže je jasná kočka, jenže se ukázalo, že AI ji s velkou pravděpodobností rozpozná jako slona, protože to je přece sloní kůže. Na druhém obrázku uvidí AI hodiny a na třetím lahve, i když to je spíš auto a medvěd. Umělá inteligence je nesmírně efektivní, ale ještě pořád jí uniká celek a kontext. Alex Stamos, bývalý šéf bezpečnosti Facebooku, jednou výstižně prohlásil, že umělá inteligence je jako armáda pětiletých dětí.

Když společnost Amazon testovala automatizovaný systém pro výběr nových pracovníků na základě zaslaných životopisů, v roce 2015 zjistila, že pro technické pozice systém z nějakého důvodu nemá rád ženy. Amazon změnil parametry tak, aby systém nebral v úvahu, zda kandidát je žena, nebo muž… a stejně ženy byly soustavně znevýhodňovány. Příčinou mohla být data, ze kterých se systém učil – životopisy zaměstnanců v uplynulých deseti letech. Vzhledem k tomu, že na technických pozicích byla silná převaha mužů, umělá inteligence příslušné rozložení dat v procesu učení jen zopakovala. Každopádně Amazon projekt automatického výběru kandidátů ukončil.

Umělá inteligence hlídá umělou inteligenci

Zatímco se část neodborné veřejnosti může děsit, že umělá inteligence jako ve filmu Terminátor jednou zaútočí na lidi, profesionálům dělají starosti jiné věci – v případě softwaru samořiditelného auta to jsou odlesky slunce v kameře, plechovka pohozená na chodníku, chodci v neobvyklém oblečení… a také lidi záměrně útočící na algoritmus.

„Velká část rozhodnutí umělé inteligence, ačkoliv je bezpečná v průměrném případě, se neumí účinně bránit cílené manipulaci. To je přesně ten problém, který řešíme v Bulletproof AI. Věnujeme se ochraně algoritmů před někým, kdo jim obrazně řečeno namaluje ony tečky, aby rozhodnutí algoritmů nějak zvrátil,“ říká Martin Řehák. A dodává: „Myslíme si, že to vždy půjde do nějaké míry oblbnout, ale chceme, aby v daných situacích bylo těžší zmást AI než člověka. A aby následky případného zmatení nebyly katastrofální. Aby byl k dispozici systém, který bude hlavní systém sledovat, a když si ten nebude jistý rozhodnutím, kontrolní systém převezme kontrolu.“ Bulletproof AI se tak zabývá tím, jak umělá inteligence může chránit umělou inteligenci před útoky a klamáním.

Jak takové klamání vypadá? Nejčastější to je tzv. evasion, kdy se vytvoří klamavá vstupní data. Člověku připadají normální, ale model strojového učení je vyhodnotí chybně. V praxi to vypadá tak, že se například v obrázku změní některé pixely, v důsledku čehož systém nerozpozná obrázek správně. Další možností je pomocí zadávání vstupních dat a na základě jejich výsledků zjišťovat, jak algoritmus AI funguje, a tak později dosáhnout výsledků, jaké útočník chce. Velmi rozšířené je tzv. poisoning, tedy doslova „trávení“, kdy útočník, například v rámci běžného obchodního styku, dodává do modelu falešná tréninková data a tím ovlivňuje výsledek. Vzhledem k tomu, že umělá inteligence se široce využívá i ve finančnictví, může útok na AI znamenat značné nelegální zisky (a na druhé straně bolestivé ztráty). Jak říká Martin Řehák: „Nikdy nevěřte lidem – jsou horší než umělá inteligence. A svou umělou inteligenci si chraňte.“