Propast mezi dnešními systémy a vědecko-fantastickými systémy, které dominují populární představivosti, je stále obrovská, ačkoli ji mnoho lidí, laiků i odborníků, dokáže podceňovat. Uvažujme o Watsonu společnosti IBM, který může prozatím stát jako důstojný mezník pro naše představy.
Je výsledkem velmi rozsáhlého R&D procesu táhnoucího se přes mnoho lidských století inteligentního návrhu a spotřebuje tisíckrát více energie než lidský mozek. Jeho vítězství v soutěži Jeopardy! bylo skutečným triumfem, který umožnila formulační omezení pravidel soutěže Jeopardy!, ale aby mohl soutěžit, musela být i tato pravidla revidována (jeden z těch kompromisů: vzdáte se trochu univerzálnosti, trochu lidskosti a získáte divácky atraktivní show).
Watson není dobrou společností, navzdory zavádějícím reklamám IBM, které naznačují obecnou konverzační schopnost, a proměnit Watsona ve věrohodně vícerozměrného agenta by bylo jako proměnit ruční kalkulačku ve Watsona. Watson by mohl být užitečnou základní schopností takového agenta, ale spíše jako mozeček nebo amygdala než jako mysl – v nejlepším případě jako účelový subsystém, který by mohl hrát velkou podpůrnou roli, ale ani zdaleka by nebyl schopen formulovat cíle a plány a pronikavě stavět na svých konverzačních zkušenostech.
Proč bychom chtěli z Watsona vytvořit myslícího, kreativního agenta? Možná nás Turingova geniální myšlenka operačního testu – slavný Turingův test – zlákala do pasti: snaha vytvořit alespoň iluzi skutečného člověka za obrazovkou a překlenout tak tzv. uncanny valley.“
Nebezpečí spočívá v tom, že od doby, kdy Turing zadal svou výzvu – která byla koneckonců výzvou k oklamání soudců – se tvůrci umělé inteligence pokoušejí toto údolí překrýt roztomilými humanoidními prvky, disneyovskými efekty, které okouzlí a odzbrojí nezasvěcené. Průkopnickým příkladem takového vytváření povrchních iluzí byla ELIZA Josepha Weizenbauma, velmi raný chatbot, a bylo to právě jeho zděšení z toho, s jakou lehkostí dokázal jeho směšně jednoduchý a povrchní program přesvědčit lidi, že vedou vážnou konverzaci od srdce k srdci, co ho poprvé poslalo na jeho misi.
Znepokojoval se právem. Jestli jsme se z omezených soutěží o výroční Loebnerovu cenu za Turingův test něco naučili, pak to, že i velmi inteligentní lidé, kteří nejsou naladěni na možnosti a zkratky počítačového programování, se snadno nechají nachytat na jednoduché triky.
Postoj lidí z oblasti umělé inteligence k těmto metodám rozptylování na „uživatelském rozhraní“ se pohyboval od opovržení po oslavu, přičemž se obecně uznávalo, že triky nejsou hluboké, ale mohou být silné. Jedním z posunů v postoji, který by byl velmi vítaný, je upřímné uznání, že humanoidní přikrášlování je falešná reklama – něco, co je třeba odsoudit, ne tomu tleskat.
Jak by se toho dalo dosáhnout? Jakmile si uvědomíme, že lidé začínají činit rozhodnutí o životě a smrti převážně na základě „rad“ systémů umělé inteligence, jejichž vnitřní fungování je v praxi nevyzpytatelné, můžeme vidět dobrý důvod, proč by ti, kteří jakýmkoli způsobem podporují lidi, aby těmto systémům důvěřovali více, než je oprávněné, měli nést morální a právní odpovědnost.
Systémy umělé inteligence jsou velmi mocné nástroje – tak mocné, že i odborníci budou mít dobrý důvod nevěřit svému vlastnímu úsudku nad „úsudky“ vydávanými jejich nástroji. Pakliže ale mají mít uživatelé těchto nástrojů finanční či jiný prospěch z toho, že tyto nástroje projíždějí terra incognita, musí se ujistit, že to umí dělat zodpovědně, s maximální kontrolou a opodstatněně.
Licencování a zavazování provozovatelů těchto systémů, podobně jako licencujeme lékárníky, jeřábníky a další specialisty, jejichž chyby a omyly mohou mít fatální následky, by mohlo pod tlakem pojišťoven a dalších pojistitelů zavázat tvůrce systémů umělé inteligence k tomu, aby vynaložili mimořádné úsilí na vyhledávání a odhalování slabých míst a mezer svých produktů a na školení osob oprávněných k jejich obsluze, aby si na ně dávaly pozor.
Lze si představit jakýsi obrácený Turingův test, v němž je soudce na zkoušce; dokud nedokáže odhalit slabiny, překročené hranice, mezery v systému, nebude mu vydána licence k provozu. Mentální trénink potřebný k získání osvědčení soudce bude náročný. Nutkání přisoudit předmětu myšlenkové schopnosti podobné lidským, naše běžná taktika, kdykoli se setkáme s něčím, co se zdá být inteligentním činitelem, je téměř přemáhající.
Schopnost odolat svodům zacházení se zdánlivou osobou jako s člověkem je skutečně ošklivý talent, zavánějící rasismem nebo druhovým chováním. Mnoha lidem by pěstování takového bezohledně skeptického přístupu připadalo morálně odporné a lze předpokládat, že i ti nejzkušenější uživatelé systému by občas podlehli pokušení „spřátelit se“ se svými nástroji, i kdyby jen proto, aby utišili své nepohodlí při plnění svých povinností.
Bez ohledu na to, jak svědomitě budou konstruktéři umělé inteligence prát ze svých výrobků falešné „lidské“ doteky, můžeme očekávat rozkvět zkratek, obcházení a tolerovaných zkreslení skutečného „porozumění“ jak systémů, tak jejich obsluhy. Komicky dlouhé seznamy známých vedlejších účinků nových léků inzerovaných v televizi budou zakrnělé povinným odhalováním druhů otázek, na které konkrétní systémy nemohou zodpovědně odpovědět, s vysokými tresty pro výrobce, kteří „přehlédnou“ nedostatky svých výrobků. (Všeobecně se uvádí, že značná část rostoucí ekonomické nerovnosti v dnešním světě je způsobena bohatstvím nahromaděným digitálními podnikateli; měli bychom přijmout legislativu, která jejich hluboké kapsy uloží do úschovy pro veřejné blaho)
.