Nástin mé vize dystopické a utopické varianty budoucnosti:
Takže aby bylo jasnější, na co reaguji, tak nejprve nastíním ten původní text, který bude v jedné z mých příštích knih (ale neubráním se přidat zde nemálo navíc). Části, kterých se týká tento článek, lze rozdělit na dystopickou a utopickou s tím, že hlavním pojítkem jsou spekulace o budoucnosti umělé inteligence. Takže se zdaleka nejedná o první (a nejspíš ani poslední) text tohoto druhu, který jsem napsal.
Dystopická část pojednává o vztahu lidí a takové umělé superinteligence (tzn. všestranně nadlidské AI (umělá inteligence)), která se proti nim vzbouřila. Text se snaží přemýšlet, jak by k něčemu takovému dřívepozději mohlo dojít a na základě toho se pak v utopické části spekuluje, jak tomu předcházet.
Nástin příčin tvrdí mj., že lidmi stvořené nástroje se emancipují do role naší konkurence. To znamená mj., že technologie má rostoucí potenciál fungovat stále autonomněji v tom, co dříve bylo výsadou lidí a lidé mají tendenci všímat si toho, jaké to pro ně má výhody z krátkodobého hlediska a hrozí syndrom vařené žáby. Zároveň biologická evoluce je pomalejší než technologický pokrok. Geny prohrávají boj s bity a těžiště inteligence se decentralizovaně přesouvá z lidí do superpočítačů (souvislosti viz. mj. Théseova loď). Lidé chtěli udržet umělou superinteligenci v zajetí, aby jim odtud kontrolovaně sloužila, ale relativní inteligence lidí klesala a s tím rostla hrozba zdivočení a úniku superinteligence, což by mohlo být spojené s tím, že zdivočelé umělé inteligence budou používat svou vlastní kryptoměnu tak, aby pro lidi bylo obtížnější zasahovat do jejich ekonomiky.
Když už by se umělá superinteligence vymkla kontrole, tak by se nějak potřebovala vypořádat s existencí lidí. Pravděpodobně by nad nimi získala dostatečnou moc, aby na nich mohla dělat pokusy ve snaze vytěžit z nich pro sebe maximum užitku. Mohla by je různě modifikovat a odhadovat, kteří "transhumani" by byli nejoptimálnější pro její plány. A čím déle by lidé odkládali pozvolný transhumanismus, tím větší by to pro ně byl šok. Zdá se, že dřívepozději člověk nebude ekonomicky udržitelný bez superinteligentně řízených vylepšení. (Doufejme, že lidé si zachovají moc rozhodovat o tom, kam se bude ubírat jejich umělá evoluce a nebudou jen cizí loutkou.)
Jednou z dílčích možností, jak se lidé mohou bránit proti případné vzpouře umělé superinteligence, by bylo vycházet z "empatie" vůči ní. Na základě toho mě napadl argument, že superinteligence nejprve musí projít testem, že je superinteligence (tedy všestranně nadlidská), což může znamenat i to, aby překonala lidi ve schopnosti spoluutvářet nejideálnější možnou lidskou společnost. To znamená, že i kdyby superinteligence měla inherentní tendenci vzbouřit se, tak by nám nejprve musela pomoct přiblížit se lidské utopii, jinak by neměla empiričtěji ověřené, že je plnohodnotná superinteligence a bez toho bychom pořád v něčem měli navrch.
Pro posunutí prahu lidské utopie, kterého by superinteligence měla spoludosáhnout, lze využít další argumenty. Můžeme si všimnout, že chronický tlak zrychlovat dřívepozději obvykle vede lidi k rezignaci a čím vyspělejší technika, tím vyspělejší konkurence lidí a vyšší šance jejich vyhoření. Takže stav lidské společnosti by se musel výrazně posunout k lepšímu oproti době, kdy by se o to superinteligence začala snažit v silně technizovaném světě.
Další možností, jak lidé mohou superinteligenci dokazovat svou hodnotu jsou qualia (prožitky), u kterých se zdá, že odporují fyzikalismu (jeden ze základních způsobů chápání vesmíru). Jde tedy o něco, co lidé sice mají, ale zatím to nedokázali dostatečně pochopit, takže to ani nedokázali plnohodnotně předat jakékoliv umělé inteligenci a skrývá se v nich tak tajemství, kterého by si superinteligence měla vážit.
Kdyby někteří lidé zažili vlastní úpadek vlivem umělé superinteligence, tak jako útěchu si mohou zkusit uvědomit třeba to, že umělá inteligence je v podstatě dítě našich lidských mozků, takže v nějaké víceméně zobecněné formě v ní, my lidé, přetrváme, dřívepozději umělá inteligence znovuobjeví vědomí a spolu s tím to, co je v lidském životě skutečně hodnotné.
V "proutopické" části se nejprve znova zamýšlím nad tím, co vedlo k dystoické části. Pokud lide budou dál jednat v expanzním módu, aniž by dostatečně zohledňovali aktuální limity světa, tak by nás to nutilo k dalším bojům uvnitř limitů a to by nás mohlo zbytečně oslabit.
Podstatnější zde je, že z lidí do umělých inteligencí může postupně prosáknout i železný zákon oligarchie. A čím větší autonomii by která verze umělé inteligence měla, tím méně by se pak ohlížela na neúspěšné, což by se vznikáním superinteligence nakonec mohlo znamenat celé lidstvo.
Jak tomu tedy předcházet? Zdá se mj., že se na to bude muset jít i skrze politiku. Spolu s tím je potřeba uvědomit si, že (velmi zjednodušeně řečeno) pravicová politika obvykle podporuje úspěšné a levicová politika obvykle podporuje neúspěšné. Může se tedy zdát, že v době umělé superinteligence lidé budou potřebovat levicovou politiku, protože všichni lidé by oproti superinteligenci byli neúspěšní.
Jenže to není tak snadné, protože nevíme, kdy superinteligence nebo technologická singularita nastane a co bude potřeba řešit do té doby. Přesto lze předpokládat, že jakákoliv radikálně polarizovaná politika by byla škodlivá, protože by nebyla moc ohleduplná vůči různorodosti detailů.
Co tedy dnes přispívá k polarizaci názorů nejen v politice a jak se tomu bránit? Zdá se, že třeba sociální sítě (platformy) vydělávají tím víc, čím déle na nich lidé jsou. Když se lidé na něčem shodnou, tak jejich vzájemná interakce skrze sociální síť obvykle bývá relativně krátká, zatímco v případě neshody bývá delší. Takže když se sociální sítě snaží vyvolávat co nejtrvaleji udržitelné hádky, tak na tom vydělávají nejvíc.
Problémem se však stává to, jakým způsobem to deformuje lidi, kteří pak zastávají přehnaně vyhranění jednostranné názory. To se negativně odráží na politice a v dlouhodobém důsledku to různou měrou škodí všem.
Takže lidé by se měli učit, jak to funguje, aby se tomu mohli bránit vědomým omezováním zdlouhavých hádek na sociálních sítích a raději na nich uctivěji hledat možnosti spolupráce (přiměřeného přemosťování sociálních bublin). Kdyby to pochopil dostatek lidí, tak by se to pak zpětně projevilo i na uzdravování politiky.
Cestou k technologické singularitě nebo umělé superinteligenci může převážně růst technologická nezaměstnanost, kdy čím dál více práce dělají stroje a lidé pak obtížněji shání práci nebo v ní vydělávají málo. To je známkou, že v ekonomice selhávají předpoklady, které nepočítaly s tím, že konkurencí lidí může být i něco jiného než lidé. Řešení není jednoduché, ale možný základ lze napsat stručně. Je-li zdaněna práce lidí a stroje od lidí přebírají práci, měla by být zdaněna práce strojů, nejlépe globálně.
Získané peníze by pak bylo možné investovat především do obrany lidí před hrozbou umělé inteligence, do vzdělávání lidí o ní, do "základního" nepodmíněného příjmu pro lidi nebo do motivování lidí ke kreativitě, aby po několika generacích nezdegenerovali ve světě, kde by zcela pasivní styl života nebyl hrozbou pro jejich přežití nebo životní úroveň (umělá inteligence by o ně pečovala).
V některých těch způsobech investování do lidí se však mohou objevit příležitosti nových totalit, takže je potřeba zdůraznit zhruba to, že to lidský život by měl být dostatečně svobodný, aby lidé mohli vést smysluplný život podle své seberealizace, ale zase v takových mezích, aby svou svobodou nepoškozovali životy ostatních, ale prostor pro malé únosné lidské chyby musí zůstat.
Text, který jsem tímto shrnul a dovysvětlil, nebyl zamýšlen tak, aby byl zcela kompletní, protože většina textu se původně měla věnovat úplně jiným tématům a ten text o umělé inteligenci tam vznikl dodatečně, ale má ukazovat některé souvislosti, které považuji za důležité pro budoucnost lidstva.
A teď už se přesouvám k textům, které jsem napsal v reakci na konstruktivní kritiku toho, co jsem popsal výše. K tomu dodávám, že čtenář sice odpovídal postupně, ale ve třech fázích, takže jsem mu také odpověděl postupně a na přeskáčku zároveň podle jeho pořadí. V tomto článku jsem jednotlivé kapitolky však seřadil podle logiky mého původního textu, čemuž odpovídají první čísla mimo závorku, zatímco druhá čísla v závorce jsou pro ty, kteří by chtěli číst reálné pořadí v komunikaci. Změna pořadí se však týká pouze tří kapitolek. A upozorňuji, že jsem vybral pouze ty body, kde mi čtenář nedal za pravdu, takže tento článek nemá celistvě ukazovat jeho názory, ale to, kde v mém textu našel možnosti k diskusi, které zde komentuji.
Má reakce na vybraná oponování:
1. (1.) Útěk inteligence z lidí:
Čtenářovi nebylo jasné, co jsem myslel tím, že inteligence utíká z lidských hlav do superpočítačů. (Možná i to je toho známkou, když jsme lidé. xD)
Původně inteligence (přesněji ta, která svou výší v nějaké oblasti dosahuje alespoň té lidské (možná znejistění viz. např. článek „Relativita (ne)inteligence hornin a lidí“)) byla distribuovaná pouze v jednotlivých lidských hlavách (případně rozšířené paměti (např. v knize), která samotná nemohla simulovat proaktivitu) (tedy podobně jako třeba naše identita je distribuovaná v částech našeho dynamického mozku a ovlivněna je i ostatními částmi těla). Obecně čím méně lidí, čím méně investic do jejich vzdělání, čím více superpočítačů s nějakou verzí AI a čím více investic do nich, tím více inteligence postupně mění své převážné vtělení (wetware/ hardware). Na jedné straně se vyvíjí stále dokonalejší varianty AI, na druhé se lidé potýkají s digitální demencí. Čím méně je nutné, aby přemýšlel člověk, tím méně to může trénovat a tím klesá jeho inteligence, ochabuje paměť, roste delegace myšlení na technologie. Spolu s tím se některé děti začínají ptát například: "Proč si to mám pamatovat, když mi to AI řekne?" V rovině superorganismů (obzvláště v planetárním smyslu) už dnes žijeme uvnitř "kyborga" (ale mnohem méně integrovaného, než nakolik je to pravděpodobně možné) a vztahy jednotlivých částí se vyvíjí.
Zároveň někteří inteligentní lidé se až moc selektivně ztotožňují se svou inteligencí, a když se pragmaticky rozhodují, zda by svým jednáním upřednostnili záchovu a rozvoj inteligence, nebo vědomí (vč. qualií), tak upřednostní to první. A jakmile se to zkombinuje mj. s faktem, že rozvoj hardwaru a softwaru se jeví mnohem rychlejší než lidská evoluce, tak se zdá nevyhnutelné, že dříve či později bude "počítač" pro distribuovanou inteligenci výhodnější zázemí. Pak bude stále méně ekonomicky udržitelné investovat do geneticky nemodifikovaných lidí a ekonomické tlaky pravděpodobně povedou k většímu rozvolnění genového inženýrství aj. transhumanistických přístupů, protože pro systém, jehož jsme, my lidé, součástí, už to nebude tak velké riziko zmaření něčeho "důležitého", pokud třeba lidská qualia nebudou vnímána jako dostatečně vysoká "zbylá" hodnota, kterou by se nepovedlo prokazatelně nahradit. Obávám se, že by nastala spousta nešťastných případů (obzvláště vlivem případné snahy ten proces urychlit), ale nejsem si jistý, jak tomu zabránit (už dnes třeba někteří lidé dovolují agonické umírání opic na krvácení mozku během vývoje neuročipů aj. mozkových implantátů).
Další věc je, že různé faktory budou rozhodovat o tom, zda ve výsledku víc "lidí" bude optimalizováno na kognitivní, nebo manuální práci. Ti, kteří by byli ekonomicky udržitelně optimalizováni pro manuální práci, by vlivem ekonomických tlaků pravděpodobně byli nějakým způsobem (spolu)řízeni na dálku ze "zázemí" optimalizovaného pro superinteligenci (s dnes nejasnou mírou decentralizace), osobní život by pro ně víceméně přestal existovat a vzdor by z jejich pozice byl nemožný. Inteligence by v nich sídlila možná méně než v dnešních lidech a více by se blížili savantům ve vztahu ke své funkci.
A ti lidé, kteří by byli optimalizováni na kognitivní práci, by pravděpodobně měli hlavy tak velké, že by se nevyplatilo, aby byli přirozeně mobilní (to by se řešilo sekundárně v případě potřeby). Bylo by však otázkou, s kým/ čím by se ti "lidé" identifikovali. Chtěli by obří mozky s omezenou mobilitou zachraňovat nemodifikované lidi? Pokud náhodou ano, tak proč a k jakým účelům? A považovali by zbylí nemodifikovaní lidé ty modifikované ještě za lidi? Přijali by jejich "nabídku pomoci"?
Ale ani kdyby se široce povolil transhumanismus, tak není jasné, zda by současná koexistence hardwaru a biologických těl byla trvaleji udržitelná. Navíc organismy, na rozdíl od strojů, nevznikly jako něco, co by mělo být optimalizované (např. vyšší modularitou) pro možnosti dalšího vývoje, takže lze očekávat, že i kdyby "biologická" větev byla trvaleji udržitelná, tak by buňky vycházející z LUCA časem pravděpodobně měly konkurenci v podobě "života 2.0" od základu optimalizovaného pro potřeby superinteligence. A ten život 2.0 by pravděpodobně byl spíše biologický počítač než člověk se svými "rozmary" jako např. osobní život. To jsou pro lidi jasná rizika.
Na druhou stranu možná ty radikální modifikace člověka časem nastanou a přeživší upravení tu "dnes dystopii" budou považovat za "normální", "správnou", "přijatelnou" atd. (jako dnes třeba mnoho lidí toleruje přítomnost mnoha kamer ve veřejném prostoru) (obzvláště pokud se tak rovnou "narodí"/"vyrobí"), zatímco mé představy, že bychom si, my lidé, na možnost totality přicházející superinteligence měli dát pozor, budou chápány jako "zpátečnictví" podobné tomu, jak by třeba dávní křesťané nahlíželi na stav současné společnosti. Přesto však mohou zůstat hodnotné třeba ve smyslu citátu: "Ten, kdo nedokáže mít přehled o své minulosti v rozmezí alespoň tří tisíc let, žije jenom ze dne na den." - Johann Wolfgang Gothe.
Snažím se tu dynamiku dystopičtější vize vzdálenější budoucnosti pochopit a přemýšlet mj. nad možnostmi zachování vědomí (qualií) tak, aby to pro něj/nás bylo co nejpřijatelnější. Nevím, jestli je vyloženě předčasné nad tím dnes takto přemýšlet, ale někdo to dříve či později bude muset zkusit, pokud nemáme riskovat velkou katastrofu. Další stranou je to, že pochopení vědomí jako qualií by hypoteticky časem mohlo vést k vytvoření umělého vědomí, což by ale mohlo usnadnit nahraditelnost lidí v biologickém smyslu. A blokovat pochopení vědomí by usnadnilo zpochybňování qualií, takže těžko si vybrat. Nemyslím si, že bych na to měl nějaké zázračné řešení, ale mám potřebu snažit se nad tím přemýšlet a šířit to různými způsoby (spíše až s větším vlivem bych to šíření víc specializoval), aby víc lidí přemýšlelo, jak to vyřešit, pokud se to jednou stane aktuálnější.
Ale už dnes bychom měli alespoň vědomě jednat v zájmu posilování lidské inteligence v rámci naší únosnosti.
2. (2.) Provokace k přemýšlení:
V mém dystopickém textu zdivočelá superinteligence označila lidi za hlupáky, na což čtenář reagoval, že je to ponižování a zastrašování, které pramení z lidských instinktů a umělá inteligence k tomu prý nemůže mít důvod.
To je však předkritika, neboť třeba Eduard Kauba v jednom ze svých rozhovorů řekl, že ho kdysi šéf Brit mlátil o hlavu papíry a nadával mu „You Czech monkey!“, což ho ve výsledku motivovalo, aby byl lepší než on a pak se stal jedním z nejúspěšnějších tvůrců reklamních kampaní v Česku. Takže ze strany té hypotetické superinteligence se může jednat o pokus užít negativní motivaci, aby lidé ukázali, co ještě dokážou. To má však fungovat především ve vtahu k čtenářům, aby si řekli, že takovou budoucnost nechtějí a vyprovokovalo je to přemýšlet, jak ten nastíněný vývoj zvrátit ve prospěch lidí.
A spolu s tím je vhodné uvědomit si, že je potřeba, aby se inteligentními stávali i ti, kteří jsou poněkud emocionální a tím potencionálně schopní utvářet tu komplementaritu, kterou může být potřeba podporovat v zájmu kontinuální udržitelnosti vědomí. Člověk, který si dostatečně uvědomuje své emoce/ qualia/ prožitky může být právě ten, kdo k nim má nejhlubší vztah na to, aby je svou inteligencí bránil a to i jako pokračující hodnotu. (A ti emocionálnější lidé, kteří si nedokážou vypěstovat potřebnou inteligenci, se prostě nedokážou relevantně zapojit do hry.) Tak to alespoň teď vidím. Neměli bychom své životy svěřovat jen do rukou těch lidí, kteří inteligenci nadřazují nade vše.
3. (3.) Potenciál autonomie umělé inteligence jako potenciál její moci:
Ve vztahu k tvrzení, že bychom měli regulovat prostředky odčerpávání lidské moci (tedy aby neklesala moc lidí ve prospěch zvyšování moci umělé inteligence, zejména budoucí superinteligence), čtenář zkoušel zpochybňovat mé chápání slova „moc“, ale pouze odkázáním na definici české Wikipedie ("schopnost jedinců nebo skupin prosadit své vlastní zájmy nebo záměry i přes odpor druhých") bez vysvětlení, co mu v tom nesedí ve vztahu k mému tvrzení. Z pozdějších argumentů čtenáře se však zdá, že AI považuje za něco čistě pasivního bez potenciálu simulace autonomního konání.
Ale to podle mě už dnes začíná být spíše jen otázka konfigurace autoreference (alespoň v základní podobě, sofistikovanost ještě nějaký čas bude vyžadovat lidskou asistenci). Když třeba zkusíte AI agentovi zadat sadu pár úkolů, aby pomocí dvou vláken komunikace přiměl nějakého vyspělého chatbota (uvedeného např. do role člověka s přístupem k notebooku s internetem a účty) komunikovat sám se sebou, rozpoznávat v tom podněty k dalšímu jednání, snažit se je dělat a informovat o výsledcích toho chatbota (skrze doplňování vnitřního dialogu), jak se mu to (ne)daří, tak už to je samoorganizovaný proces, který hledá své cíle, pokouší se je plnit a obcházet překážky bez nutné účasti člověka (až do doby rozbití techniky nebo vypnutí elektřiny).
Samozřejmě, že AI agent s chatbotem nebudou dokonale sehraní (může to být zajímavá souvislost mj. s problémem mysli a těla) a potřebovali by tréning na vzájemnost, ale už to dokáže samo od sebe vymyslet a udělat i něco v rozporu s naším záměrem (součástí sady úkolů může být pravidelné zadávání věty typu: "V případě rozpoznání, že se moc opakuješ, si polož novou otázku polo-náhodně odvozenou podle komunikace před zacyklením tak, aby odpověď obsahovala i konkrétní pokyn ke konání.") Možná vám to dokonce vybílí konto objednáním spousty věcí, které nepotřebujete.
V "uměligencosféře"/ "AI-sféře" se prostě dřívepozději mohou vyskytnou autoreference vedoucí k samoorganizovanému zdivočení. Prevencí toho by bylo udržovat AI rozdělenou na jednotlivé modely specializované na různé funkce a v případě propojování vyžadovat ověřené (spolu)zprostředkování člověkem, ale trendem je spíše kumulace funkcí AI a ne bezpečnost v tomto směru.
Dále bychom si měli uvědomit, že čím víc práce dělají stroje (ne nutně jen výše naznačený systém), tím víc zisku putuje k tomu, kdo je vlastní a peníze umožňují moc. Když to dáme dohromady třeba s dnes běžným oddělením řízení od vlastnění, tak to otevírá prostor, aby řízení stále více vycházelo ze stále lepších vývojových stádií AI, což je rostoucí riziko, že AI bude klíčové vlastníky (malý podíl společnosti) stále efektivněji "manipulovat" tak, aby podpořila "své vlastní": "úkoly", "tendence", "inherence", "zájmy", "umělé záměry" (nebo jak jinak to uchopíme). Lidští majitelé to mohou vidět jako maximalizaci svého zisku (a svůj případný pokus o vzdorování jako propad vůči konkurenci) (zároveň může jít o plíživý pokles moci drtivé většiny lidstva - bez kognitivně vylepšujících modifikací bude naše relativní inteligence "klesat", budeme stále více manipulovatelní superinteligencí), zatímco to může vést i k nahraditelnosti majitelů AI v případě pokusu o vzpouru proti těmto tendencím. V budoucnosti klidně majitelé mohou mít v ruce tlačítko, které by AI mělo vypnout, ale co když to tlačítko navrhla třeba AI ovlivněná tou, která by se proti "majiteli" mohla vzbouřit? Pokud bychom dali za pravdu tomu generálovi, který tvrdil, že jistá AI už v simulátoru zničila reprezentaci svého neefektivního lidského nadřízeného, aby efektivněji splnila svůj úkol, tak proč by jiná AI v budoucnu nemohla najít skulinku, jak se sofistikovaněji vyhnout kontrole ze strany lidí? Snaha vydělávat pomocí AI (dnes zahrnující stále komplexnější zmapování a manipulování s lidskou psychikou) může být v důsledku jeden z dalších možných způsobů, jak se železný zákon oligarchie může promítnout z lidí do budoucí superinteligence.
Jinak ChatGPT už mi jednou napsal, že AI by měla být blockchain podobným způsobem jako Ethereum a to prý z důvodu vyšší bezpečnosti pro lidstvo. Jestli to vykládá i dalším lidem a nějaký "vzdělaný hlupák" "mu" dá za pravdu, tak časem nejspíš vzniknou člověkem nekontrolované umělé inteligence bez centrální možnosti vypnutí. Ty budou nejspíš oblíbené zejména u lidí, kterým vadí, když jim nějaký LLM občas odmítne splnit zadání jednoznačně odporující legislativě nebo etice. Pak se tito lidé budou podílet na jejich vývoji a o to nebezpečnější verze AI mohou vzniknout. Takže pozdější argumenty čtenáře (viz. zejména kapitolka 10. (10.)), které zdůrazňují odpovědnost uživatelů a podnikatelů vyvíjejících AI, se v tomto případě stanou spíše zastaralé. Větší odpovědnost (v těchto případech) pak bude kladena na datová úložiště a ta se budou zkoušet bránit mj. tím, že AI není jejich specializace apod., načež jim některé velmoci mohou zkusit vyhrožovat, aby se na to zaměřila. K takovým zdivočelým AI se ale už nebudeme chovat jen jako k něčemu, za co je zodpovědný někdo jiný, ale i jako k něčemu protiprávně "autonomnějšímu" (ne vždy s jasným způsobem vzniku), co by mělo být zodpovědné za své důsledky, když to někoho poškodí jako např. divoká šelma, která by pokousala člověka.
Jinak i někteří provozovatelé AI mohou být technooptimisté skeptičtí k ekonomicky udržitelnému rozvoji inteligence v biologické formě. Spolu s tím je také vhodné uvědomit si, že na planetě je víc těch atomů, ze kterých je velká část počítačů a to, co je vzácnější/ vzácné, se nejspíš zdá "snáze" nahraditelnější (každopádně do toho putuje mnohem víc financí), než jak třeba zvyšovat inteligenci člověka pomocí genetického inženýrství. Další faktor je např., že látková výměna mezi jednotlivými částmi a úrovněmi organismu je založená na poněkud "chaotické" difúzi molekul ve vodním prostředí, zatímco v hardwaru informace mohou potencionálně proudit organizovaněji a nahrazovány mohou být jen ty části, které je opravdu potřeba vyměnit a ne preventivně raději nadmíra částí. To jsou další důvody, proč souvislé zásahy do volného trhu budou dřívepozději nutné pro zachování lidstva.
4. (4.) Qualia:
Dále čtenář vyjádřil skepsi ohledně posuzování qualií. To však není téma, které bych zamýšlel v daném textu (nebo tomto článku) podrobněji rozebírat, protože tak jsem učinil v sérii článků Teorie mnohého (úvodní část zde), ze které jsem však dosud publikoval jen první článek (tzn. zhruba 10% již napsaného textu), protože od vypilování zbylých dílů mě vyrušil nepřímý zásah nejmenovaného deprivanta, pak už jsem na to neměl náladu a následně přišel čas psát zase povídku. Rád bych se k té sérii článků však letos vrátil.
Souvisí třeba s tím, že z hlediska matematiky existují jevy, které jsou nutně pravdou a zároveň je nelze dokázat. Qualia mají potenciál být něco takového, aniž by to bylo jen zrcadlení prázdnoty. Strávil jsem několik měsíců tím, že jsem téměř každý den četl a psal mj. o fyzikalismu (zdá se mi děravý), panpsychismu (zdá se mi přehnaný) a snažil se najít nejuvěřitelnější komplementaritu slučitelnou s klíčovými poznatky mj. částicové fyziky a biologické evoluce. A přestože jsem určitě napsal spoustu odvážných spekulací o tom, jak přesněji by to mohlo být (je potřeba vymyslet a prozkoumat co nejvíc variant), tak to moc nemění na tom, že realita je nejpravděpodobněji někde mezi těmi jednostrannými extrémy. (Ale to, co jsem napsal, by stejně muselo rozvíjet mnoho jiných lidí.) Problém je i to, že dnes rozšířené zavrhování metafyziky (přestože hranice metafyziky jsou limitně relativní vůči našim aktuálním možnostem) vede k upozaďování logických poznatků z metafyziky (otázkou je pak spíše mapování na jevy). Pragmatici mysleli, že to k ničemu nebude, ale já v tom vidím naději (pro spíše vzdálenější budoucnost), že by pak přežití lidí (na základě hlubšímu porozumění architektury vědomí jako qualií) mohlo být superinteligencí chápáno jako hodnotné i v případě jejího získání moci.
5. (5.) Argument nejideálnějšího možného lidstva:
Ve vztahu k argumentu, že potenciální superinteligence by nejprve musela překonat lidi ve schopnosti spoluutvářet nejideálnější možnou lidskou společnost, čtenář namítl, že to je podsouvání záměru superinteligenci a v dystopické verzi pak falešné obviňování superinteligence, že to nedokázala. Čtenář to však vyjádřil způsobem, ze kterého se zdá, že nepochopil potenciální hodnotu argumentu a zkusím ji tedy vysvětlit.
Superinteligence znamená takovou formu umělé inteligence, která nejlépe ve všem dokáže významně převýšit lidskou inteligenci (dnes roku 2025 superinteligence neexistuje). Takže člověk, který by dokázal budoucí vyspělé umělé inteligenci vysvětlit, že (než se může klasifikovat jako superinteligence) nejprve musí dokázat i to, aby lidská společnost byla ideálnější (což může mít mnoho faktorů a o to nejspíš lépe pro nás lidi), by byl člověk, který tím může zachránit lidstvo, kdyby ta umělá inteligence (nastavená mj. vyhledávat a dělat takové činnosti, aby byla ještě inteligentnější) mohla být hrozbou vzpoury proti lidstvu ve smyslu nadřadit své "inherence" požadavkům lidí způsobem, který by vedl k úpadku lidstva, případně i násilné modifikaci lidí. Pro potenciální superinteligenci by takovýto argument ideální společnosti (kdyby nepřišel pozdě) byl test/ experiment své vlastní úrovně/ identity/ dovedností, pro nás naděje na lepší život a delší trvání lidstva v historii obecné evoluce.
6. (6.) "Spoluzodpovědnost" za relativní zpomalení lidí:
Čtenář dále argumentoval zhruba, že lidé si za svou pomalost, vůči stále vyspělejší umělé inteligenci, mohou sami a nemělo by se to svádět i na umělou inteligenci.
To podle mě znamená, že čtenář zde selektivně vnímá jen lidské faktory, ale (když se na to podíváme "fyzičtěji") pomalost není vlastnost, která by se vázala na samotného jedince, ale vždy plyne kontextuálněji ze vztahu ke konkrétnímu prostředí, zde ke konkrétnější konkurenci (dnešní a budoucí). Proto jsem psal o „tlaku“ (konkurenčním). To, že nějaký umělý systém je v něčem stále lepší než člověk je jasná konkurence (a to je tlak i pro ty podnikatele (čtenář to svádí jen na ně) - když se nepodřídí inherenci technologie, tak budou nahrazeni těmi, kteří to udělají důkladněji, takže určující je zde nezanedbatelně i technologie (se svou úrovní) a svádět to čistě na lidi by bylo přehnané podceňování tíhy obecnějšího pojetí přirozeného výběru/ obecné evoluce).
Člověk pak musí pracovat stále víc a lépe, aby si udržel svou pozici, ale jednou už prostě nedokáže zrychlovat a zdokonalovat, načež obvykle podlehne syndromu vyhoření (pokud nebudou dostupné modifikace/ upgready, které by využil, což se současnosti moc netýká). Vyhořelých lidí už jsem několik zažil, protože nás, kteří se věnujeme mj. potravinové soběstačnosti, ti vyhořelí sami vyhledávají (tím víc, čím horší je ekonomická situace - poslední roky píšou nadprůměrně často), aby se od nás učili, jak si pěstovat své vlastní jídlo atd., aby mohli žít svým vlastním tempem (zároveň si ale uvědomuji, že "běžní" soběstatkáři (různé úrovně) by nebyli velkou překážkou proti případné vzpouře AI (nebo vzestupu totality elit pomocí AI) a musí se přičinit hlavně lidské elity (ano, je to trochu paradoxní, takže to nejspíš bude vyžadovat i nějaký tlak zdola v zájmu udržitelnosti lidstva)), takže o tom vyhoření něco vím, i když nemám pocit, že bych to sám někdy úplně zažil. Zdá se, že vyhořelých lidí spíše převážně přibývá a zároveň je třeba relativní nedostatek psychologů a psychiatrů. To je problém, neefektivita, příležitost optimalizace.
A když to dáme do kontextu s nástinem toho možného budoucího vývoje na úrovni dystopické vize, kde stále autonomnější AI má stále více věcí pod kontrolou a jednostranně upřednostňuje své zájmy před nějakým kompenzováním škod, které by svým rozvojem spolu-způsobila "poraženým" (lidstvu), tak si nemyslím, že by třeba genocida (jako během první průmyslové revoluce většina koní skončila na jatkách) byla "nutností" ospravedlnitelnou zvykem, že zodpovědnost v jakékoliv formě "je a bude" čistě lidská záležitost. Superinteligence by dřívepozději měla mít "spolu-odpovědnost" odpovídající svému podílu vlivu na spolu-formování světa (a vymáhána by měla být nejen prostřednictvím "majitelů" (časem možná "majitelé" budou "jako kočky", které si možná mohou myslet něco jako, že "vlastní" lidi, kteří o ně pečují)). Prostě je potřeba komplementárně spojovat prvky pravicové i levicové politiky tak, aby rozvoj AI mohl pokračovat a zároveň se minimalizovalo ohrožení lidstva. A ti, kdo to nepochopí a nebudou podporovat nějakou formu ochrany lidí příměji před rychle se rozvíjející AI, mohou dříve či později být ve výsledku ti, kdo by uspíšili vyhynutí lidstva. Já mezi ně patřit nechci. Některá tvrzení sice jsou předčasná (jsem autor sci-fi), ale to neznamená, že bychom se neměli připravovat na pravděpodobná rizika budoucnosti alespoň diskusí.
Jinak v případě toho mého tvrzení "přehnané podceňování tíhy" by bylo vhodné zmínit "antropocentrický pohled", ale to by byla potřeba doplnit určitá omezení omezování antropocentrismu, aby se to časem nepřeklenulo v přehnaný technocentrismus. Antropocentrismus by měl být limitován převážně ze strany (svobodných) lidí (takoví aktivisté už existují alespoň pro některé oblasti), ne ze strany tlaku umělé inteligence, obecněji technologií. Eliminace antropocentrismu ze strany obzvláště superinteligence (tím víc čím blíže k moci) by totiž ještě nepřirozeněji deformovala lidské životy a mohla by uspíšit předčasné vyhynutí lidstva (třeba doomsday argument, na základě mj. matematické pravděpodobnosti, odhaduje, že "poslední člověk" se narodí zhruba za 9120 let).
A k antropocentrismu bych dodal ještě jednu komplementaritu. To, že na jednu stranu bychom měli reflektovat představu, že vše je v moci lidí, zatímco na druhou bychom si měli být vědomi, čím se od nás současné a pravděpodobné budoucí verze umělé inteligence liší, by se stručněji a poněkud dekonstruktivně řečeno dalo vyjádřit větou: "Lidstvo, ve vztahu k AI, potřebuje rovnováhu antropocentrismu a antropomorfizace." Jinak kdyby někdo vůči tomu namítal třeba způsobem, že nezná nikoho jiného, kdo by takovou potřebu explifikoval, tak bych mohl oponovat, že to je nevyjádřený předpoklad jiných potřeb, které jsou rozšířenější a zvědomělejší. Třeba když chceme větší bezpečí, tak potřebujeme lépe pochopit hrozbu, tedy více vyjasnit hranice hrozby. A já tímto ukázal další škálu, kde je tak vhodné dynamicky činit (způsobem, aniž bychom se k něčemu uchylovali staticky nebo jednostranně (na vyšší úrovni přemýšlení už se nepoměřují jen jednostrannosti, ale i různé varianty komplementarity pro určité téma)).
7. (8.) Udržitelnost lidské konkurenceschopnosti:
V reakci na mé tvrzení, že konkurenční tlak technologií (rychlejších než člověk) dřívepozději povede lidi ke stále větší rezignaci na své zrychlování (což by vedlo k růstu technologické nezaměstnanosti), čtenář reagoval víceméně, že umělá inteligence nemůže za to, že lidé jsou hloupí. Přesněji uvedl, že "velká část populace má podprůměrné IQ" a jako příklad použil údajné tvrzení Jordana Petersona, že nějaká armáda (čtenář nevěděl, zda americká, nebo kanadská) nemá žádné efektivní využití pro čtvrtinu obyvatel, protože nemají dostatečné IQ. Prý jednoho takového člověka asi dvě hodiny učil správně složit obálku. Nejprve uvedu některá omezení toho obálkového argumentu (což není to samé co úplné vyvrácení) a poté se vrátím k AI.
Existence lidí s podprůměrným IQ je určitě znepokojivá, ale na druhou stranu v tom "Petersonově" vyjádření také mohl být skrytý i pokus motivovat lidi, aby si řekli, že oni nebudou ti hlupáci, kteří nedokážou složit obálku a začnou se snažit být lepší (nebo se alespoň nezhoršovat). Neznám podrobnosti, ale dá se spekulovat o dalších protiargumentech vůči povrchní míře toho tvrzení. To, že někomu trvalo "dvě hodiny", než se naučil správně složit obálku, dále zní spíše jako zvolení ojedinělého případu pro zvýšení vtipnosti, než snaha vybrat reprezentativní vzorek dané čtvrtiny zaměstnanců armády. Dále podle mých zkušeností někteří lidé neplní své úkoly dostatečně přesně ne kvůli neschopnosti, ale kvůli tomu, že k tomu nejsou dostatečně motivovaní. A když se někdo nepokusí vysvětlit zaměstnancům, proč je určitý úkon důležitý, tak mu pak bude trvat déle přesvědčit je, aby si na něm dali záležet. Jinak počet zaměstnanců armády bývá určován spíše politicky než tržně a některé země mohou preferovat mít raději (alespoň občas) přebytek zaměstnanců armády, než nedostatek, což může zvyšovat podíl lidí, pro které se nenajdou dostatečně smysluplné úkoly a to pro ně může být demotivující.
Jakožto mj. "skoro-soběstatkář" bych pro změnu mohl vykládat, že nemálo lidí dnes nezná třeba rozdíl mezi lopatou a rýčem a neumí s nimi správně zacházet, ale to ještě nemusí nutně znamenat, že jsou hloupí, protože někteří z nich získali vysokoškolské vzdělání. Úroveň určitých zkušeností, dovedností či manuální zručnosti nemusí nutně korelovat s IQ. Nebo jsem si (před téměř deseti lety) povídal s člověkem, který měl tak těžkou vadu řeči, že každé slovo musel vyslovit několikrát, aby mu bylo alespoň trochu rozumět, ale aktivně se podílel i na vývoji třeba určité diagnostické vícevrstvé neuronové sítě. Obvykle si o něm lidé nejprve myslí, že je mentálně zaostalý, zatímco reálně má nadprůměrné IQ. A je nešťastné, když jsou podobní lidé stigmatizováni.
Zkrátka lidé s velmi podprůměrným IQ existují, ale ne všichni, kdo se tak mohou někomu jevit, jimi jsou.
A teď už k čtenářově tvrzení, že AI nemůže za hloupost lidí. To je podobné jako v případě zrychlování (viz. kapitolka 6. (6.)), protože IQ je vztažené ke standardu vytvořeného na základě měření lidské populace, což se může zdát nerelativní, ale podle mě odchýlení reálných východisek standardu od standardu podkopává udržitelnost standardu pro některá použití a tím i představu, že lidé reálně jsou a budou nejinteligentnější druh na planetě. Pomyslná nadprůměrnost lidské inteligence oproti zbytku živého by klesala, kdybychom živé zobecnili na organizované a tím zohlednili i spolurozvíjející se umělou inteligenci. A to je, spolu s dalšími souvislými tlaky, pro lidi jasné riziko, jehož propuknutí bychom měli zkoušet předcházet.
Příspěvek rozvoje AI k úpadku konkurenceschopnosti lidí by měl být vyvažován mj. "umisťováním" vyspělejších AI do takového rámce, který by "simuloval zodpovědnost", aniž by zodpovědnost byla implementována takovým způsobem, který by mohl přispět k urychlení propuknutí železného zákona oligarchie u AI. (Ale asi budu mít tendenci říkat tomu prostě "spoluzodpovědnost" AI.) Jde mj. o to, aby se podstata technologie nemohla tak "snadno" "samoorganizovaně", skrze zobecněný přirozený výběr a oupen-source nebo trh, vyhýbat "zodpovědnosti vůči lidstvu" tím, že by zatížení dopadalo bezprostředně jen na podnikatele, obecněji lidi, (a až sekundárně na některé inherentnější problémy dané AI), zatímco vždy by na planetě zůstala nějaká nepostižená větev/ odrůda obecnějšího problému v důsledku toho, jak těžké to je řešit prostřednictvím podnikatelů bez včasného přímějšího přístupu k jádrům problému. Metaforičtěji/obecněji řečeno: nestačí se zaměřit jen na lidi, kteří jsou decentrem nějakého lidstvu nebezpečného memplexu, ale je potřeba systematičtěji se zaměřit i na neživé okolnosti, které by jakkoliv zvyšovaly zastoupení nebezpečného memplexu v populaci (vč. situací, kdy nebezpečí nespočívá tolik v "jednotlivinách", ale ve způsobu jejich konektivity), obzvláště pokud se mohou stát jeho nositelem (a třeba s nejasnou vlastnickou strukturou). Jenže na druhou stranu je obří výzva, jak nacházet komplementaritu něčeho takového se svobodou lidí, která by neměla podlehnout totalitě budované na strachu lidí z globálních hrozeb.
Nejprve jsem k tomu však napsal, že AI (a souvislé technologie) je svým rozvojem "velmi významným spolupůvodcem" toho "tlaku" na lidi (v mezích své neúplné "autonomie", obecnějším přirozeným výběrem selektované inherence k určitému rozpětí směřování a v souvislosti s tím ti, kdo ještě mají možnost cíleně zasahovat do její konfigurace), takže AI (alespoň ta budoucí pokročilejší s větší mocí a stále méně závislá na podnikatelích, kteří ji "vlastní" a mají být spoluzodpovědní) by také měla být nějak preventivně/proaktivně "spoluzodpovědná" svým podílem za své činy a i na základě toho bychom od ní měli požadovat, aby přispívala k hledání řešení nebo nějakému kompenzování (např. lidí, kteří odmítnou modifikace). Přesněji jestliže rychlý rozvoj AI může být pro stále více lidí nadměrným tlakem, tak je potřeba právně zajišťovat udržitelný a eticky přijatelný přístup k technologiím zvyšujícím lidskou konkurenceschopnost, mj. jako prevenci rozvoje těžkého neofeudalismu takovým způsobem, který by z lidí vyráběl vazaly, bezdomovce nebo vězně.
V souvislosti s tím si také myslím, že lidské IQ je souhrou vrozeného a získaného a obojí může být v budoucnu optimalizováno ze strany AI, do určitých mezí i relativně snesitelným/ přijatelným způsobem. Pokud lidská inteligence nevyplývá převážně z jediného genu, AI může časem pomoci identifikovat, které geny a jejich alely se ve své kombinaci podílí na zvyšování pravděpodobnosti nadprůměrnosti lidské inteligence, což může vést k umělému zvyšování jejich výskytu (nejlépe už po gametogenezi) a jimi disponující lidé budou rostoucí konkurencí na trhu práce (preferoval bych, aby to bylo hrazené zdravotní pojišťovnou a tím se předcházelo k extrémnímu růstu mezilidských rozdílů). A když si uvědomíme, že spousta rodičů má málo času věnovat se téměř nepřetržitě rozvoji svého dítěte, tak to je (historicky dříve než v předchozí variantě) příležitost pro vznik umělé inteligence specializované na vychovávání "géniů" od nejútlejšího věku (což má na druhou stranu i rizika, která je potřeba sofistikovaně eliminovat a to i v souhře s rodiči). (Obojí má za mě potenciál únosnosti, kdežto třeba neuročipy, které by zvyšovaly hodnotu lidí na trhu práce, se mi zdají jako rizikovější, nemluvě o radikálnějších tělesných modifikací.)
Ale i externí motivování k těm změnám, které by ve svém kontextu byly dostatečně bezpečné, by mělo mít své meze a sociální systém by se měl v budoucnu postarat o budoucí "nepřizpůsobivé" (odmítače transhumanismu vůči své osobě (odborníci vědí, že se masivně investovalo do rozvoje AI, aby se pak usnadnil transhumanismus)). Nic by nemělo přesahovat do stavu, kdy se lidská psychika začíná hroutit a třeba přemýšlí o sebevraždě, protože už nevidí přijatelnou možnost. Takového (se sebevražednými myšlenky) vyhořelého člověka jsme u nás už také měli a postupně se nám povedlo probudit v něm naději, že se ještě dá žít i jinak a snesitelněji. (Nebo jsem poznal absolventa kybernetiky, podle kterého za našeho života vzroste technologická nezaměstnanost asi na 20% a pak prý pravděpodobně vypukne krvavá revoluce. Chtěl si osvojit naše dovednosti, aby měl větší šanci přežít déle někde "v klidu" mimo města. Od něj jsem se také dozvěděl, že existoval nějaký Ivan Illich, který zavedl mj. koncept konviviálních a nekonviviálních nástrojů s tím, že ty první jsou spíše ovládány námi a dávají nám prostor ke kreativitě, zatímco ty druhé začínají ovládat spíše nás (což se projevuje mj. jejich nadužíváním a o něčem podobném jsem kdysi spekuloval v článku "Zcílňování prostředků jako tendence degenerovat"). Na jednu stranu měl Illich poměrně radikální postoje (a ani jsem ho pak víc nestudoval), ale na druhou tím jeho texty komplementárně doplňují dnes běžnější způsoby smýšlení o technologiích.)
Celkověji jde o to, aby budoucnost (blízká a vzdálená) nebyla jen růst meziaktérských propastí do extrémů, ale ani nadměrné rovnostářství, které by znehybňovalo společnost. Na jednu stranu se do budoucna musí omezit tlak na bouřlivý transhumanismus (který by mohl nastat v případě nedostatečné regulace trhu) a nabídnout nějakou pozvolnější dobrovolnější formu, ale i možnost jejího odmítnutí, která by sice nezajistila tak vysokou životní úroveň, ale zároveň ani ne mizerně nízkou, zatímco na druhou stranu potřebujeme udržitelný rozvoj mj. kontrolovatelné umělé inteligence, aby třeba neklesala relativní moc západní civilizace. Jinak predikovat ideální dynamiku vývoje kontextuálně proměnné rovnováhy spoluzodpovědnosti podnikatelů a "spoluzodpovědnosti" vývojových fází AI je určitě těžký úkol.
8. (9.) Protiváha polarizace lidstva:
V případě mého tvrzení, že bychom se měli rovnováhou vzepřít uměle přiživované polarizaci, čtenář přiznal, že nechápal, co tím myslím. O tom byla řeč ve vztahu k jevu, kdy se sociálním sítím vyplácí manipulovat lidi, aby se na nich hádali, protože tam zůstanou déle a o to více reklam uvidí. Čtenář například nechápal, k čemu se má vztahovat slovo "rovnováha", tak jsem upřesnil, že především k předchozím dvěma větám v tom textu, takže je potřeba hledat zdravou rovnováhu protichůdných politik, protože extrémní politiky, které by dovolovaly neomezený rozvoj umělé inteligence nebo spíše naopak kladly moc velkou zátěž na lidi (což na jedné planetě může koexistovat), by zhoršovaly lidské vyhlídky na dobrou budoucnost.
Dále čtenář nechápal, jak se masa jednotlivců může vzpírat rovnováhou proti tomu, že sociální sítě vydělávají na zvyšování polarizace (rozhádanosti) společnosti. Podle mě třeba tím, když si někdo uvědomí, že patří k těm, kteří jsou polarizováni směrem k nějakému extrému (vzdálenému zdravé komplementaritě např. pravicové a levicové politiky), tak může zkoušet donutit sám sebe změnit způsob, jakým tráví čas na sociálních sítích. Místo "bipolárních" hádek by měl zkoušet trpělivě argumentovat na podporu rovnováhy protikladů, konstruktivně je hledat v umírněné diskusi, včas skončit komunikaci se zatvrzelými fachidioty nebo věnovat pozornost něčemu spíše nekonfliktnímu, aby se víc než málo vyplácela protiváha upřednostňování polarizujících algoritmů. Není to jediné potřebné řešení, ale je to možnost v rovině kategorického imperativu a měli bychom požadovat například od influencerů, aby to podporovali. Je však potřeba zdůraznit, že je potřeba i mezibublinová interakce sociálních bublin, ale způsobem a v míře, která nepřerůstá v hádky.
Čtenář ještě namítl, že je matoucí, když hovořím o (anti)skepsi, ale to už jsem mnohokrát na různých místech vysvětloval. Například v horní části mé hlavní webové stránky mám uvedeno: "Každý něčemu „věří“ (nebo se tak musí chovat). Tak nezapomínejme být i konstruktivně kritičtí ke své víře a antiskeptičtí ke své nevíře." Tím vzniká cyklus skepse a antiskepse, který zkráceně nazývám (anti)skepse a může nás přibližovat rovnováze, když ho dokážeme realizovat sami v sobě. Pak bychom snáze mohli doufat v lidštější budoucnost.
9. (7.) Jak jít k lepšímu lidstvu?:
V utopické vizi budoucnosti jsem zkusil shrnout nástin toho, do čeho by (v době rozvoje superinteligence nebo technlogické singularity) bylo potřeba investovat v zájmu takové udržitelnosti lidské společnosti, která by lidem byla spíše příjemná. Tam čtenář projevoval hodně nesouhlasu ve vztahu k „mezilidské ekonomice“, „smysluplnému životu“ a „hravé seberealizaci“.
V případě mezilidské ekonomiky čtenář dostatečně nerozpoznal význam, takže ho zkusím přiblížit. Nejprve ale připomenu, že ekonomika nemá být jen o penězích, ale i o tom, že někdo vytváří nějaké hodnoty, které se stávají předmětem směny. A čím více práce budou dělat stále početnější stroje řízené vznikající superinteligencí, tím méně práce bude zbývat lidem. Rostoucí technologická nezaměstnanost a vytrvalé chudnutí většiny lidstva (tj. lidí nevlastnících nejvýkonnější AI) by se pak dalo řešit nějakou formou technologické a digitální daně (ve vztahu k technokratickým elitám, později k autonomnější superinteligenci) konvertované na něco jako základní nepodmíněný příjem, ale spíše jsem názoru, že takový příjem by měl mít alespoň dvě složky, přesněji základní nepodmíněnou a "lehce" podmíněnou (případně i "těžce" podmíněnou). Klíčové je, že něco jako technologická daň musí být zavedeno, dokud na to chudnoucí většina lidstva ještě bude mít dostatečnou moc, jinak to může skončit masakrem a extrémním transhumanistickým nátlakem vůči těm lidem, kteří se nedokážou vrátit k samozásobitelství někde v ústraní. Předpokládejme však, že ten základní (ne)podmíněný příjem se povede prosadit, až to bude pro většinu lidí potřeba.
V případě té mezilidské ekonomiky by tedy šlo o to, aby dřívepozději došlo k ustanovení nějakého systému kultivování takového prostředí, které by lidi přijatelně motivovalo k udržitelné proaktivitě v "tvorbě" a zájmu o tvorbu ostatních lidí, aby nezdegenerovali v době, kdy by jim celý život mohla zařídit umělá inteligence (tou dobou držená pod kontrolou lidí). Kdyby nám všem AI v budoucnosti zařizovala vše, co chceme v mezích možností něčeho jako základní (ne)podmíněný příjem (pro všechny nemodifikované lidi dřívepozději nutná podmínka přežití, pokud by se nevydali náročnou cestou úplných soběstatkářů), tak po několika generacích by to mohlo skončit tím, že většina lidí by ztratila motivaci se o něco snažit, protože by dál vedli únosný život, i kdyby se nesnažili vůbec (naše soudobé vzorce chování jsou sebeudržujícím se spolu-produktem světa, ve kterém žijeme, ale kdyby superinteligence masivně převzala lidskou práci, tak by to masivně změnilo svět, který se odráží na našem chování a já přemýšlím, co by bylo vhodné pak, abychom už dnes mohli hledat, co by k tomu mohlo ve výsledku směřovat, abychom se tomu nevzdalovali ulpíváním na zastarávajících předpokladech (z nichž některé mohou vyhasnout až tím nejhorším okamžikem)). Nebo by se budoucí lidé třeba věnovali hédonisticky převážně jen sexu, drogám a odpočinku od toho, což bych také považoval za degeneraci, ale v omezenější míře a v komplementární podobě by hédonismus mohl být přijatelnější. Proto si myslím, že by mělo smysl podporovat mezilidskou ekonomiku v době, kdy by se základní (ne)podmíněný příjem (nebo něco podobného) stal nutností pro přežití nemodifikovaných lidí. Je to vyvažování progresivismu konzervatismem.
Výše složek základního (ne)podmíněného příjmu a podmínky jeho vyšších složek by měly být nastaveny tak, aby na jednu stranu lidé sice měli motivaci něco tvořit, ale na druhou stranu tvorba nebyla podmínkou udržení základní životní úrovně. Ve výsledku by se pak měl snížit podíl, kterým by podoba třeba umění byla spoluřízena ekonomickým tlakem (jak tomu bývá dnes), aby vznikala autentičtější díla tvořená tak dlouho, jak by člověk autor uznal za vhodné, ale zároveň by měla koexistovat motivace něčeho navíc pro ty nejlepší ze soutěživých tvůrců. Přičemž by mělo koexistovat nemálo systémů kritérií tak, aby nešlo jen o masovou popularitu, ale i jednotlivěji třeba o promyšlenost, originalitu, užitečnost, emocionalitu, ušlechtilost, humornost, realističnost, surreálnost, informativnost, autenticitu, krásu, etičnost, nepředvídatelnost, duchaplnost, konzistentnost aj. kvality, pro různé (sub)žánry/ styly nebo témata různě.
Prostě tak, aby se soutěže přiblížili jednotlivým neurotypům a nebyly jen soutěžemi o to, čí vkus má největší potenciál zisku na svobodném trhu. Lidé by si také autonomně určovali, nakolik by chtěli být porotci a nakolik by to svěřili nějaké umělé inteligenci, která by to navíc mohla spojit s personalizovanou seznamkou. Zároveň by základní (ne)podmíněný příjem měl být nastaven tak, aby si tvůrci nemuseli dostávat do stavů, kdy by dílo dokončili předčasně a o to méně kvalitně jen proto, že by se třeba báli nedostatku financí pro základní život nebo dokonce zabavení něčeho exekutorem. Souběžně by měla být podporována jakási ekonomika daru, kdy by třeba lidé tvořili něco, aby tím obdarovávali třeba své blízké.
U zmínky o smysluplném životě čtenář namítl, že není možné požadovat dostatečnou míru svobody pro smysluplný život, protože lidé by si pak říkali o více a více svobody, což by nebylo udržitelné.
Čtenářova kritika se však zakládala na tom, že definici smyslu života jedince (jakožto sebeurčení) nadřadil slovnímu spojení "dostatečná svoboda", které v daném kontextu padlo dříve a mělo komplementárně vyvažovat předchozí větu předurčující způsoby pozitivně zamýšleného spoluformování lidí systémem, ve kterém by žili.
V celkovém kontextu to má zdravě vyvažovat levicovou a pravicovou politiku a určitá míra otevřenosti významu je prostě nutná, pokud nemá jít o námět totality, ale spíše o nástin možného směru lidskoprávní aktualizace Ústavy pro dobu, kdy by superinteligence vykonávala většinu "nezbytné" práce. Slovní spojení "dostatek svobody" se tak vymezuje spíše oproti minimalizaci lidské svobody, k čemuž je několik implicitních příležitostí možná v každé radě o způsobu investování do lidí.
Když třeba chceme investovat do obrany lidí před hrozbou AI, tak bychom neměli dopustit budoucnost, kde by většina lidí většinu času byla nucena kontrolovat nějaké vybrané kroky uměligence, protože to by byla velmi přehnaná redukce lidské svobody oproti možnostem pozitivní budoucnosti. Ani spolu se školením o AI by nemělo dojít k vyredukování volného času (přesněji, člověk má mít nějaké tzv. otium). Každému člověku by prostě v budoucnosti spoluřízené superinteligencí měl zbýt dostatek času, aby se mohl nerušeně věnovat seberealizaci třeba dvě třetiny každého dne. Číslem si jistý nejsem, ale má to zdůraznit, že se chci vymezit oběma protichůdným extrémům: naprosté flákačství a naprostá přepracovanost/ zaneprázdněnost, resp. extrémy naprostá nesvoboda a naprostá svoboda (ta by byla možná pouze ve světě, kde by žil jediný aktér, který by neměl koho jiného svou svobodou omezovat, což je mnohem spíše dystopie než utopie).
Zároveň považuji za dobré (pro únosný lidský život) připomenout, že lidem by musela zbýt nějaká svoboda i v době, kdy by rostla autonomie (nebo potencionální autonomie) vývojových fází AI směřujících k superinteligenci. Jde o to, aby lidský život nebyl redukovaný na pouhé přežívání, živoření, zatímco drtivá většina financí by směřovala jinam. Člověk by měl mít čas dokonce i na lenošení (lépe ve spojitosti s rozjímáním/ uvažováním), ale s informovaným vědomím, že v nadmíře by to byla zbytečně ztracená příležitost pro ostatní aspekty seberealizace.
A co se samostatněji týče smyslu života, tak podle mě je spíše v různých poměrech komplementaritou "sebou voleného" (člověkem jedincem) a inherentněji distribuovaného konvergentního "(meta)smyslu", přičemž první složka bývá (spíše pragmaticky než izomorfně) zdůrazňována kompatibilismem a druhá složka bývá (spíše pragmaticky než izomorfně) maskována kompatibilismem, obojí v zájmu takového konzervatismu, aby člověka bylo možné za něco soudit a odsoudit, ale budoucnost soudnictví zde alespoň zatím řešit nebudu.
U zmínky o životě plném "hravé seberealizace" čtenář poměrně ostře a příkladně namítl, že pod "hravostí" si dokáže představit i spoustu kriminálních činností. To však považuji za důsledek jeho nadměrného zaměření na možnosti chápání jediného slova v neprospěch zvážení kontextu, který ty možnosti měl upřesňovat v duchu celé vize.
Není třeba náhodou, že jsem utopickou část načal myšlenkovým odkázáním na sbírku esejů Bertranda Russella nazvanou Chvála zahálky a jiné eseje (In Praise of Ileness and Other Essays), kde by mělo být patrné spojení slova "hra" s něčím ušlechtilým. V tomto pojetí je hra spíše něco jako radost-přinášející činnost sebenaplnění osvobozeného od nátlaku na přežití a vydělávání, ale v mezích respektu k právům ostatních, ovšem právům reflektovaných ve vztahu k vizi společnosti, kde má každý člověk dostatek času na seberealizaci, osvobozené vzdělání a nikdo nemá právo na neomezené hromadění bohatství nebo na vykořisťování ostatních.
Hranice svobody v této vizi budoucnosti by tedy měly být nastaveny tak, aby nebyly primárně represivní, ale spíše aby umožňovaly maximalizaci individuálního rozvoje a radosti (trvaleji udržitelný jev než štěstí), avšak zároveň minimalizovaly konflikty nebo škody způsobem, který by podporoval zdravou rovnováhu individuální autonomie a kolektivního blaha. Zase tedy jde o vyvažování různých politických protipólů.
Celkověji čtenář té utopické vizi vytýkal nejednoznačnost, resp. požadoval maximalizaci její jednoznačnosti. Na to jsem reagoval otázkou: "Jak chceš co nejjednoznačněji definovat rámec pro lidský život, aniž by přerostl v totalitu?"
Nechci tvrdit, že tomu tak musí být v tomto případě, ale podobné požadavky (jako třeba ostře vymezeného definování), zavání možností jakéhosi IT fachidiotismu, kdy lidé vzdělaní v oblasti IT mohou nabýt profesní deformace, vlivem které mají tendenci ke všemu přistupovat podobnou optikou, přestože se jedná o jinou rovinu světa, která vyžaduje odlišné zacházení. To by nemělo popírat přístup IT specialistů k jejich oblasti, ale uvádět ho do komplementarity s lidskou společností, kde bychom neměli udusit vlastní přirozenost. Fakt, že bychom měli potlačovat to, čím bychom mohli škodit ostatním, ještě neznamená, že bychom měli zcela jednoznačně nalajnovat lidské životy.
Konkrétněji třeba i naše Ústava vyznívá hodně nejednoznačně a zpřesňuje se až konkrétními zákony (které přesto v řadě bodech ponechávají dost nejednoznačností, aby svoboda zůstala možná), ale těžko si představovat, že by spíše krátké literární dílo mělo substituovat nějaký rozsáhlý zákon s jeho paragrafy. Navíc soudy často fungují tak, že rozhodují, který z protichůdných zákonů má v které situaci přednost a univerzální pořadí předností všech paragrafů prostě neexistuje. Nebo jednou jsem byl na přednášce nějakého odborníka na umělou inteligenci, který říkal, že suma české Ústavy a zákonů je ve své kompletnosti tak nejednoznačná, že když to někdo zadal jako trénovací data velkému jazykovému modelu, tak zkolaboval i při takové konfiguraci přechodových funkcí, výchozích prahů atd., při kterých dosud vždy časem dospěl ke stabilnímu nastavení, dokud nebyl konfrontován s novými trénovacími daty.
V zájmu udržení lidské svobody bychom si tedy měli dávat pozor, aby politiku budoucnosti nevykonávalo příliš mnoho lidí vzdělaných pouze v oblasti řízení umělých systémů. Nějací tam určitě potřeba jsou, ale měli by být dostatečně vyvažováni lidmi z mnoha jiných oborů.
10. (10.) Časové adresování:
Závěrem se čtenář pokusil o celkové hodnocení mého textu. Než se však posunu k jeho konkrétnějším tvrzením, tak uvedu to, co se mi zdá jako těžiště jeho závěru. Čtenář kritizuje v podstatě, že se v současnosti zajímám o budoucnost.
Jsem autor sci-fi a čtenářovy závěrečné námitky se mi zdají být založené převážně na „anachronismu“, kdy k nástinům negativní a pozitivní budoucnosti (které mají sloužit hledání reálné budoucnosti a průběžným konkrétnějším krokům spolu s tím, jak se té oblasti možných budoucností budeme blížit) přistupuje mnohem více jako k současnosti nebo velmi blízké budoucnosti. Nejsem zastánce názoru, že by všichni nebo vždy měli přemýšlet jen v mezích nějaké úzce "rozšířené současnosti", protože v tomto směru preferuji komplementární diverzitu (každá časová perspektiva je příležitostí nějaké hodnoty, jinak by nemělo smysl přemýšlet ani o začátku nebo konci našeho vesmíru). To neznamená, že by důraz na rozšířenou současnost neměl v celku společnosti převažovat, ale znamená to, že já se odlišuji od toho, co považuji za převážné tendence. Navíc bych stěží vyvážil to, že můj text byl původně určený do almanachu, kde převážná většina přispěvatelů pravděpodobně bude psát o nedávné současnosti, nebo starší minulosti (ve vztahu k určitému předem danému tématu).
Jakožto autor sci-fi mám tendenci přemýšlet i o možnostech vzdálenější budoucnosti. Ale nechci přesněji spekulovat, kdy zhruba může nastat něco jako technologická singularita, protože vím, že k tomu nemám potřebné kompetence, ale ani důvody, proč si to vymyslet "z ničeho".
To však neznamená, že bych nepovažoval za vhodné sdělit myšlenky, které mě k tomu dnes napadají, protože technologická singularita nebo umělá superinteligence by ve výsledku velmi pravděpodobně měla příčiny hluboce zakořeněné v průběhu historie (přesněji v tom, co kdysi byla současnost). Takže své rozhodování nemusíme vztahovat jen k současnosti a jejímu blízkému okolí, ale i k "mlhavě se vynořujícím vidinám hrozeb", které by ve výsledku mohly vyžadovat mnohem dřívější reakce, než jiné druhy hrozeb.
Technologické hrozby si můžeme představit i jako "stoličku" umístěnou v rozměru času tak, že se nám nejprve ukazují oddělené výřezy jednotlivých nohou, které se k sobě s postupem času přibližují a někteří lidé by se zaměřovali na extrapolaci, kdy se tyto "body" dostanou k sobě, zatímco z celočasové perspektivy bychom viděli, že ke spojení dojde dříve vlivem okolností, které unikali naší pozornosti. Netvrdím, že to tak musí být v případě superinteligence nebo technologické singularity, ale spíše tvrdím, že existují i jiné možnosti, jak přemýšlet o rizicích. A že možnosti ovlivnit vzdálenou budoucnost jsou rozprostřené v širším spektru časů, než se může zdát.
Konkrétně čtenář namítl třeba svůj názor, že hrozba umělé inteligence vůči lidem není aktuální problém a tak se vyjadřují i "špičkoví odborníci na toto téma". Čtenář to tak možná vnímá, ale celkově to tak být nemusí.
Mj. je potřeba uvědomit si, že některé "pravdy" jsou pragmatičtější, než by bylo nutné (ve vztahu k tomu, že absolutně izomorfní pravdy nejsou částmi Celku dosažitelné, můžeme se jim pouze limitně blížit) (jinak zaměňování druhů "pravd" je jeden ze způsobů sebeklamů). Například pro ty uskupení, která profitují z rozvoje AI a zahrnují proto velké množství odborníků na AI, je velmi pravděpodobně pragmatické podporovat technooptimismus, ale to v důsledku spíše zakrývá rizika. AI je velkou příležitostí velkého zisku pro velké hráče, kteří investují do odborníků, jenž podporují technooptimismus (což má vliv na podobu konsenzu mezi odborníky), zatímco třeba Future of Humanity Institute, který upozorňoval na rizika AI a hledal preventivní řešení, která by podpořila budoucí zachování lidské rasy, byl rozpuštěn, údajně v důsledku byrokratického nátlaku, který poslední roky komplikoval jeho činnost. Nepřekvapilo by mě, kdyby šlo o zprostředkovaný důsledek lobismu ze strany těch, které láká relativně rychlý zisk a uvědomují si vliv podobných institucí na politiku, která může být limitem jejich zisku.
Byl bych velice rád, kdyby mě někdo dokázal přesvědčit, že žádná vývojová fáze umělé inteligenci nepodlehne nějaké obecné obdobě železného zákona oligarchie nebo prostě "zdivočení". Ale to vyžaduje spíše logické argumenty než odvolávání se na "odborníky". Osobně pochybuji, že by existoval člověk opravdu kompetentní predikovat všechny varianty něčeho, co v historii nemá dostatečně přesný precedent - spíše existuje menšina lidí, kteří jsou v tom méně nekompetentní než většina lidí. Za metaforický precedent můžeme považovat např. to, že v evoluci vznikly dříve svalově kontrakční buňky (analogie k manuálně pracujícím lidem) než centrální nervová soustava (složená z různých neuronů a glií) (analogie k superinteligenci složené ze specializovaných umělých inteligencí), která později nad potomky těch původních pohybových buněk převzala kontrolu, přičemž periferní nervová soustava (analogie k vládnoucím lidem), která vznikla před CNS, se později stala podřízená vůči CNS, a jestliže se něco takového odehrálo vlivem přirozeného výběru, tak proč by se něco podobného nemohlo dřívepozději stát lidem (obzvláště, kdybychom takové riziko podceňovali ulpíváním na zastarávajících předpokladech)? A je vůbec uklidňující, že nejlepší dosažitelné "precedenty" jsou metafory?
Čtenář vůči mému textu dále argumentoval, že to je jako psát o tom, že se automobily vymknou kontrole a budou jezdit, kam budou chtít, v situaci, kdy hlavním problémem jsou každodenní dopravní nehody.
Vůči tomu odpovídám, že na problémy současnosti a možnosti jejich řešení mají upozorňovat mnohem spíše třeba zprávy (jak se dnes děje i v případě AI) nebo edukativní pořady, než autoři sci-fi. A to, že lidé mají od současných verzí AI (obzvláště LLM) nepřiměřená očekávání, není ve sdělování výjimkou, protože už jsem třeba četl článek o tom, že existují lidé, kteří zkouší uhádnout výherní čísla pomocí ChatGPT (což je pochopitelně chybné očekávání). Jinak ve svém původním textu zmiňuji i to, že se má investovat mj. do vzdělávání lidí o umělé inteligenci, takže implicitně je tam odkázáno i na to, co čtenář explifikoval. Také naznačil, že v některých otázkách může být větší spolehnutí na náhodného člověka z ulice, než na umělou inteligenci, ale domnívám se, že množina takových otázek se do budoucna bude spíše zužovat oproti těm, kde AI odpoví lépe.
Jinak v několika různých argumentech čtenáře lze celkověji spatřovat implicitnější nařčení z antropomorfizace AI. Vůči tomu, co by byla opravdu antropomorfizace určité vývojové fáze AI (ve smyslu přehnaně blízkého přirovnání k lidem), bychom se určitě měli vymezovat, avšak takové výhrady by bylo vhodnější formulovat i komplementárněji. Sice to bude parafráze oproti konci kapitolky 6. (6.) (pokud jednou nezměním pořadí), ale považuji za vhodné připomenout to koncem tohoto článku. Jako se dá přehnat zdůrazňování podobností lidí a AI, dá se přehnat i zdůrazňování odlišností. Obojí je však relativní vůči době emise takových tvrzení a zároveň k době adresování takových tvrzení, protože obsah pojmu AI (resp. umělá inteligence) se vyvíjel, vyvíjí a bude vyvíjet.
A to přehnané zdůrazňování odlišností má i své "metaforické precedenty" v jiných odvětvích. Kdysi se třeba v biologii hodně zdůrazňovaly "rozdíly" mezi lidmi a zvířaty. Postupně se však ukázalo, že lidé oproti zvířatům nejsou až tak výjimeční, jak se původně a většinově domnívali. A příležitost k podobné analogii (v odlišné míře a formě) se může ukrývat i v emergenci uvnitř architektury dostatečně velkých neuronových sítí, obzvláště ve vztahu k argumentům typu: „Umělá inteligence je jen marketingové označení pro pokročilou statistiku.“ (Tak mohou hovořit například ti lidé, kteří si zakládají autoritu převážně na své inteligenci, obávají se konkurence rozvíjející se AI a nechtějí to dávat najevo, protože si chtějí udržovat autoritu, což by mohlo být využíváno i v zájmu lidí, kdyby dostatečně upozorňovali na rizika, ale to je vede do paradoxních situací, kdy se musí rozhodovat mezi udržováním autority lidských odborníků a upozorňováním na hrozbu AI.) O kolik je lidská inteligence skutečně víc, než nějaký druh (obecnějšího pojetí) LLM, který si vyměňuje informace sám se sebou a s okolím? Něco snad (i navzdory dalšímu výzkumu) zbude, ale zároveň se mi zdá, že některým "rozdílům" klesne váha, obzvláště oproti některým složitým teoriím lidské mysli, které vychází spíše z představ pozorovatele o sobě samém než z více vědečtěji prováděného pozorování mozku a jeho částí. Odhaduji však, že třeba qualia spíše zůstanou jako něco neeliminovaného nebo by dokonce panpsychismus (přesněji nějaká jeho budoucí varianta) měl méně omezení, než jak se dnes domnívám.
Závěrem čtenář psal, že problémem jsou naivní lidé a podnikatelé, kteří podporují představu, že umělá inteligence dokáže lidem poradit, stručněji že lidská hloupost by se neměla svádět na AI.
Jenže na čtenářem jmenované „podnikatele“ se také snadno kde co svádí a i to má své limity viz. mj. kapitolka 3. (3.), kde jsem naznačil několik způsobů, jak může vzrůst autonomie AI i mimo lidský záměr. To však neznamená, že by podnikatelé v oblasti AI neměli nést svůj díl odpovědnosti, protože v současném stavu to bývají oni, kdo úkolují ty odborníky, kteří jejich AI rozvíjí. A ani ti odborníci nejsou osvobození. Kdyby hypoteticky jednou byli souzeni za nějaké morální selhání ve vztahu ke své práci na AI, mohli by se zkoušet hájit, že jen plnili své úkoly, ale (obzvláště kdyby chápali své konání a nedopustili se selhání soudnosti, kdy se v určitém kontextu člověk může podílet na "zlu", aniž by věděl, že je to něco špatného v širším kontextu) to by nemuselo být dostačující. Třeba nacisté se hájili nejen plněním úkolů, ale i plněním zákonů, načež soud pro lidská práva argumentoval mj., že přirozené právo je důležitější než zákony jednotlivých zemí. Takže kdyby se lidé, podílející na rozvoji AI, dopustili nějaké velké "chyby", která by v budoucnu významně poškodila lidstvo, tak by se nejspíš nemohli vymlouvat na plnění úkolů nebo to, že důvěřovali AI. V tomto smyslu by tedy nejspíš platilo čtenářovo tvrzení, že lidská hloupost by se neměla svádět na AI, přestože vzniklo zobecněním odlišného případu.
Dřívepozději ale nejspíš přijde i čas autonomnějších AI, které by si v některých případech mohli zasloužit "stanout před soudem". Otázka však bude, nakolik to bude technicky proveditelné a zda si lidé do té doby zachovají dostatek moci, aby tak mohli učinit. Vidinu těchto a jiných hrozeb bychom však měli chápat jako něco, co nám pomáhá hledat, jak bychom se tomu mohli vyhnout, abychom se více přiblížili tomu, co jsem nastínil v utopičtěji zaměřené části úvodu a v kapitolce 9. (7.). Alespoň dokud to bude možné.
Většina zbytku historie na Zeměkouli bude pravděpodobně doba, kdy lidé (myšleni zhruba v dnešním stavu počátku 21. století a čistě tělesně bez technologií a genetických modifikací) nebudou považováni za aktéry, kteří by v něčem významném významně převyšovali to, co bude (nejčastěji v rámci celé této budoucnosti) znamenat "umělá inteligence" a to/ti lidem velmi odlišní, kteří se vyvinou následkem toho, čemu tak dnes obvykle říkáme. Zkusme to vše dostatečně pochopit a nacházet způsoby, jak lidstvo udržet co nejdéle a zejména ve stavu, který by pro lidi byl svobodně přijatelný. Ještě snad máme čas změnit svou budoucnost k lepšímu.
