Temný “problém” v srdci umělé inteligence?
Vývoj na poli jednoho způsobu současné umělé inteligenci vyvolává v některých lidech obavy. Důvodem k obavám je neprůhlednost postupu, jakým umělá inteligence dochází ke konkrétnímu výsledku. Chybějící transparentnost a zpětná vazba u systémů využivajících deep learning může být znepokojivá zvláště tam, kde by takové systémy měly činit důležité finanční, diagnostické, ale třeba i vojenské rozhodnutí.
Jak deep learning vlastně funguje? Opravdu zjednodušeně lze říci, že program není složen ze striktně imperativních pokynů (posuň se nahoru, pak doleva), ale místo toho má volnost “vygenerovat” svůj vlastní “algoritmus” zakládající se na vzorových datech a kýženém výsledku. V konečném důsledku tento program v podstatě učí sám sebe s pomocí vzorových dat tak, aby dosáhl výsledků co nejbližších zadání.
S takovým přístupem přichází “problém”, který dříve buď neexistoval, nebo nebyl do takové míry aktuální a potenciálně nebezpečný. Hlavní údajné nebezpečí spočívá v netransparentnosti faktorů, které tyto programy používají pro své rozhodování, a tedy neprůhlednosti celého rozhodování. My vidíme jen výsledky těchto systémů, jenže přesně nevíme, jak se k nim vlastně dospělo.
Příkladů použití deep learningu je mnoho, v článku na MIT Technology Review se zmiňuje například samořídící auto společnosti Nvidia. Toto auto je ovládáno systémem, který se naučil řídit auto sledováním lidských řidičů. S pomocí senzorů napojených přímo na ovládací prvky auta dokáže nahradit člověka. Dále se často používá k popisování obsahu obrázků (Facebook), rozpoznávání hlasu (Siri), či jazykovému překládání (Google). Tam to ale nekončí. Začíná se uvažovat (a někde se tak už i děje) o využití této techniky v investičním a bankovním sektoru, diagnostice nemocí a celkově medicíně, ale třeba i v armádě. V takových odvětvích, kde by mohlo jít i o životně důležitá rozhodnutí, se možný “problém” zdá nejvíc nabíledni.
Kdyby totiž nějaký systém udělal něco nepředvídaného, tak bychom pravděpodobně nedokázali přesně zjistit, proč se to stalo. Kvůli tomu, že tyto systémy nejsou jednoduše průhledné ani pro jejich tvůrce, může být skoro nereálné izolovat přesný důvod jednotlivé akce. Tím pádem bychom svěřovali důležitá rozhodnutí v podstatě černým skříňkám, které něco dělají lépe než my, ale nevíme jak. A “problémem” je přesně to, že se jednoduše nemůžeme zeptat, proč se systém rozhodl tak, jak se rozhodl.
Nejde to kvůli principu, na kterém jsou tyto systémy postaveny. Chování takových systémů je totiž (laicky řečeno) zabudované v umělých neuronových sítích. Sítě jsou složené z tisíců simulovaných neuronů. Ty jsou rozprostřeny do spousty propojených vrstev. Když poté taková síť dostane nějaké vstupní data, přecházejí přes jednotlivé vrstvy, které na daných datech provádí nějakou svoji akci, až k výsledku. Díky zpětnému propojení sousedících vrstev se tato síť učí s každým dalším zpracovaným vstupem.
Takový proces umožňuje rozpoznávat “patterny” na různých úrovních abstrakce (tedy v různých vrstvách). V článku je zmiňovaný příklad rozpoznávání psů: nižší vrstvy rozeznají obrysy nebo barvy, o něco vyšší vrstvy rozpoznají složitější struktury jako srst nebo oči, a až ta úplně nejvyšší vrstva rozpozná všechny tyto části jako celého psa.
Možnost nacházet “patterny” na různých úrovních je velkou výhodou. Příkladem může být projekt Deep Patient, který byl natrénován pomocí dat 700,000 pacientů. Když byl následně použit na záznamy nových pacientů, ukázal se jako velice přesný v předpovídání nemocí. Dokonce dokázal překvapivě dobře předpovídat psychické nemoci jako schizofrenii. To obvykle nebývá vůbec jednoduché, ale tomuto systému se to dařilo zázračně dobře.
Může to být ale i nevýhoda. Když Google v roce 2015 upravil svůj algoritmus na rozpoznávání obrázků, aby místo rozpoznávání obsahu naopak obrázky generoval, tak kromě groteskní galerie získal nějakou představu o tom, jak rozdílné je vnímání lidské od toho naučeného pomocí deep learningu. Když měl tento program zvaný Deep Dream vygenerovat obrázky činky, výsledkem byly obrázky činek, ale i s lidskou rukou, protože program usoudil, že lidská ruka je nedílnou součástí činky. Bez kontextu se tedy může stát, že takový algoritmus chybně zamění třeba i nějaký obrazový artefakt za něco úplně jiného. Existují také experimenty, které se soustředily na zneužívání vyhledávání nízkoúrovňových patternů, čímž se jim podařilo programy napálit k rozpoznání něčeho, co tam ve skutečnosti nebylo.
Když jsme se vydali cestou inspirovanou biologií, kdy se umělá inteligence učí pozorováním a zkoušením s pomocí umělých neuronových sítí, ztratili jsme možnost kontroly toho procesu, kterým se dochází k jednotlivému výstupu. Jelikož vlastně ani pořádně nerozumíme fungování lidského mozku a jeho neuronových sítí, nemůžeme ani pořádně porozumět funkci každého jednoho neuronu v těchto simulovaných sítích.
V reakci na tyto starosti se objevilo několik projektů snažící se vytvořit mechanismy, které by měly učinit tento proces rozhodování alespoň o něco více zpětně srozumitelný pro člověka. V praxi to může vypadat například tak, že by systém rozpoznávající nějaké chování v textu zvýrazňoval slova, ve kterých našel nějaký „pattern“. V případě obrázků by mohl zobrazovat krátký set několika příkladů, které odpovídají danému kritériu, nebo dokonce označit inkriminované části obrázku. Přesně takový mezikrok a schopnost zpětného vysvětlení by mohla být pro vztah umělé inteligence a člověka vitalní, protože by do něj mohla vnést důvěru a jakousi zodpovědnost.
Na druhou stranu, nedostatek těchto mechanismů je daný už samotným formátem – předkládaná vysvětlení budou vždy nutně zjednodušená, a tak je možné, že budou nějaké zásadní informace ztraceny po cestě. Nutno také podotknout, že i člověk při vysvětlování podává dosti nekompletní informace, protože roli hrají ne úplně dobře popsatelné faktory jako třeba intuice. To stejné se teoreticky může dít u těchto systémů.
Na tom se zakládá jiný pohled na věc, který to nevnímá vůbec jako “problém”. Hlavním argumentem je v podstatě to, že příroda a evoluce již dlouhou dobu vytváří věci, kterým nemusí nutně rozumět, aby fungovaly. Ani my prozatím nejsme schopní pomocí současné logiky kompletně popsat fungování našeho mozku. Buď nepoužíváme ty správné prostředky, a nebo se to vysvětlit stávajícími prostředky (nebo vůbec) ani úplně nedá. Tím pádem je nesmyslné používat stejnou logiku, jakou používáme na deterministické systémy (předvídatelné programy), i na systémy pracující s deep learningem a neuronovými sítěmi.
Nakonec se to nejspíše dá shrnout na v jádru filozofický problém – chceme budovat stále silnější umělou inteligenci i za cenu, že jí nedokážeme zpětně plně rozebrat a porozumět? V podstatě je to rozdíl holistického a redukcionistického přístupu. Holisté uznávají, že nedokážeme chápat vše, co se děje uvnitř těchto sítí – a nevidí v tom problém. Redukcionisté to naopak považují za problém a chtějí nutně plně rozumět vnitřnímu fungování. To ale nejspíše nebude úplně možné, dokud plně neporozumíme fungování neuronových sítí v mozku.
Současným řešením může být uznání místa jak holistickému, tak redukcionistickému přístupu. Pak můžeme výsledky podobných systémů brát holisticky jako nejlepší zkušený odhad, na který poté můžeme zkoušet zpětně aplikovat naše osvědčené redukcionistické metody. To odpovídá procesu, kdy tyto systémy budou používány, ale nebudou mít přímé rozhodovací pravomoci – tedy na konci bude vždy nějaký člověk, který posoudí doporučení a rozhodne. Tímto způsobem bude existovat mechanismus kontroly kvality. A když se něco nepovede, tak se ze svých chyb systém dokáže poučit rychleji a lépe, než člověk.
I v takovém případě je ale jakýkoli vhled do rozhodovacích procesů těchto systémů žádaný a potenciálně velmi zajímavý. Většina současných systémů je budována jako expertní nástroj sloužící pro specifický účel. V tom případě to dává lidským supervizorům další exaktní data, podle kterých se dá zkoumat nebo hodnotit výsledek. Na otázku „Proč jsou data takové, jaké jsou?“ odpověď ale asi nedostaneme. Je to ale opravdu problém?
Přečtěte si na: https://www.technologyreview.com/s/604087/the-dark-secret-at-the-heart-of-ai/
