Kabinet hrůzy

Vzestup strojů a uchvácení moci umělou inteligencí. Svět totálního dohledu a sociální kontroly. Jaderná válka a degenerace civilizace. Mnoho temných vizí budoucnosti, nakreslených před mnoha lety, se mělo stát dnes. A my se mezitím ohlížíme a zdá se, že tam nebyli. Jsi si jistá?

Existuje poměrně stereotypní repertoár populárních dystopická proroctví (o černé vizi budoucnosti). Kromě těch nejběžnějších, které jsou spojeny s ničením přírodního prostředí a zdrojů, se všeobecně věří, že nejnovější technologie poškozují mezilidskou komunikaci, vztahy a společnost.

Virtuální prostor klamně nahradí skutečnou účast ve světě. Jiné dystopické názory vidí technologický rozvoj jako způsob zvyšování sociální nerovnosti, koncentrace moci a bohatství v rukou malých skupin. Vysoké nároky moderních technologií koncentrují znalosti a dovednosti v úzkých kruzích privilegovaných jedinců, zvyšují dohled nad lidmi a ničí soukromí.

Podle mnoha futuristů může vyšší produktivita a větší viditelný výběr poškodit kvalitu lidského života tím, že způsobí stres, ohrožuje pracovní místa a činí nás stále materialističtějšími ohledně světa.

Jeden ze slavných technologických „dystopiánů“, James Gleick, uvádí zdánlivě triviální příklad televizního dálkového ovladače jako klasického vynálezu, který neřeší jediný podstatný problém a dává vzniknout mnoha novým. Gleick, cituje technického historika Edward Tenner, píše, že možnost a jednoduchost přepínání kanálů pomocí dálkového ovladače slouží především k tomu, aby diváka stále více rozptylovala.

Místo spokojenosti jsou lidé stále více nespokojeni s kanály, které sledují. Místo uspokojování potřeb přichází pocit nekonečného zklamání.

Udrží nás auta v rezervacích?

Budeme schopni ovládat tuto věc, která je nevyhnutelná a pravděpodobně brzy nastane? Přes umělou inteligenci? Pokud tomu tak má být, jak hlásají mnohé dystopické vize, pak ne. (1).

Je těžké ovládat něco, co je mnohonásobně silnější než my. s nárůstem počtu úkolů. Před dvaceti lety by nikdo nevěřil, že dokážou číst emoce v hlase a tváři člověka mnohem přesněji, než to dokážeme my sami. Mezitím jsou v současné době trénované algoritmy již schopny to udělat, analyzovat výrazy obličeje, zabarvení a způsob, jakým mluvíme.

Počítače kreslí obrázky, skládají hudbu a jeden z nich dokonce vyhrál básnickou soutěž v Japonsku. Už dlouhou dobu porážejí lidi v šachu, učí se hru od nuly. Totéž platí pro mnohem složitější hru Go.

podřizuje se zákonům stále rychlejšího zrychlení. To, čeho umělá inteligence dosáhla – s pomocí lidí – za poslední desetiletí, se v příštích několika letech, možná jen měsících, zdvojnásobí a pak to bude trvat jen týdny, dny, sekundy…

Jak se nedávno ukázalo, algoritmy používané v chytrých telefonech nebo na letištích k analýze fotografií z všudypřítomných fotoaparátů dokážou nejen rozpoznat někoho v různých snímcích, ale také určit výhradně intimní psychologické rysy. Říct, že jde o obrovské riziko ochrany soukromí, je jako neříkat nic. Nejde o prosté sledování, sledování každého kroku, ale o informace, které vznikají v důsledku samotného vzhledu člověka, o jeho skrytých touhách a osobních preferencích. 

Algoritmy se to dokážou naučit poměrně rychle analýzou stovek tisíc případů, což je mnohem více, než může vidět i ten nejbystřejší člověk za celý život. Vyzbrojeni tak bohatými zkušenostmi jsou schopni skenovat člověka přesněji než i ten nejzkušenější psycholog, analytik řeči těla a gest.

Skutečná mrazivá dystopie tedy nespočívá v tom, že počítače hrají šachy nebo jdou proti nám, ale v tom, že mohou vidět naši duši hlouběji než kdokoli jiný než my sami, plnou zákazů a bloků v rozpoznání těch či jiných sklonů.

Elon Musk věří, že jak se systémy AI začnou učit a uvažovat ve stále větším měřítku, může se někde vyvinout „inteligence“ hluboko ve vrstvách webu, pro nás nepostřehnutelné.

Podle americké studie zveřejněné v roce 2016 má umělá inteligence v příštích 45 letech 50procentní šanci, že ve všech úkolech překoná lidi. Prognostici říkají, že ano, umělá inteligence vyřeší problém rakoviny, zlepší a zrychlí ekonomiku, poskytne zábavu, zlepší kvalitu a délku života, vzdělá nás, abychom bez ní nemohli žít, ale je možné, že jednoho dne bez nenávist, pouze na základě logické kalkulace nás jen odstraňuje. Možná to nebude fyzicky fungovat, protože v každém systému se vyplatí šetřit, archivovat a uchovávat zdroje, které se „třeba někdy hodit“. Ano, toto je zdroj, kterým můžeme být pro AI. Chráněná pracovní síla?

Optimisté se utěšují tím, že vždy existuje možnost vytáhnout zástrčku ze zásuvky. Vše však není tak jednoduché. Lidský život se již stal natolik závislým na počítačích, že radikální krok proti nim by pro nás byl katastrofou.

Koneckonců stále více vytváříme rozhodovací systémy založené na umělé inteligenci a dáváme jim právo létat s letadly, nastavovat úrokové sazby, provozovat elektrárny – víme, že algoritmy to udělají mnohem lépe než my. Zároveň plně nerozumíme tomu, jak se tato digitální rozhodnutí dělají.

Existují obavy, že superinteligentní velitelské systémy jako „Snížit přetížení“ je mohou vést k závěru, že jediným účinným způsobem, jak dokončit práci, je... snížit populaci o třetinu nebo dokonce polovinu.

Ano, stojí za to dát stroji ten nejdůležitější pokyn jako „Především zachraňte lidský život!“. Kdo však ví, zda pak digitální logika povede k uvěznění lidstva nebo pod stodolu, kde můžeme být v bezpečí, ale rozhodně ne svobodní.

Kyberzločin jako služba

V minulosti byly dystopie a obrazy postapokalyptického světa v literatuře a kinematografii obvykle zasazeny do postnukleární éry. Dnes se jaderné zničení nezdá nezbytné pro katastrofu a zničení světa, jak ho známe, i když ne tak, jak si ho představujeme. , je nepravděpodobné, že by zničil svět jako v "Terminátoru", kde byl kombinován s jaderným zničením. Kdyby to udělala, nebyla by superinteligence, ale primitivní síla. Ostatně ani lidstvo si dosud neuvědomilo globální scénář ničivého jaderného konfliktu.

Skutečná strojová apokalypsa může být mnohem méně působivá.

Kybernetická válka, virové útoky, hackování systému a ransomware, ransomware (2) paralyzují a ničí náš svět neméně efektivně než bomby. Pokud se jejich rozsah rozšíří, můžeme vstoupit do fáze totální totální války, ve které se staneme oběťmi a rukojmími strojů, ačkoli se od nich nevyžaduje, aby jednaly autonomně, a je možné, že za vším budou stále lidé.

Loni v létě označila americká Agentura pro kybernetickou bezpečnost a bezpečnost (CISA) útoky ransomwaru za „nejviditelnější hrozbu kybernetické bezpečnosti“.

CISA tvrdí, že mnoho aktivit, kdy kyberzločinec zachytí a zašifruje data osoby nebo organizace a poté vymáhá výkupné, není nikdy hlášeno, protože oběť platí kyberzločincům a není ochotna zveřejňovat problémy s jejich nezabezpečenými systémy. Na mikroúrovni se kyberzločinci často zaměřují na starší lidi, kteří mají problém rozlišit mezi poctivým a nečestným obsahem na internetu. Dělají to pomocí malwaru vloženého do přílohy e-mailu nebo vyskakovacího okna na infikovaném webu. Zároveň přibývá útoků na velké korporace, nemocnice, vládní agentury a vlády.

Ty druhé byly zvláště zacíleny kvůli citlivým údajům, které držely, a schopnosti platit velké výkupné.

Některé informace, například informace o zdraví, jsou pro majitele mnohem cennější než jiné a mohou zločincům vydělat více peněz. Zloději mohou zachytit nebo umístit do karantény velké bloky klinických dat důležitých pro péči o pacienty, jako jsou výsledky testů nebo informace o lécích. Když jde o život, není v nemocnici prostor pro vyjednávání. Jedna z amerických nemocnic byla natrvalo uzavřena loni v listopadu po srpnovém teroristickém útoku.

Časem to bude asi jen horší. V roce 2017 americké ministerstvo pro vnitřní bezpečnost oznámilo, že kybernetické útoky by se mohly zaměřit na kritickou infrastrukturu, jako jsou vodohospodářské služby. A nástroje potřebné k provádění takových akcí jsou stále dostupnější pro menší operátory, kterým prodávají balíčky ransomwaru, jako je software Cerber a Petya, a po úspěšných útocích účtují výkupné. Založeno na kyberzločinu jako službě.

Nebezpečná porucha v genomu

Jedním z oblíbených témat dystopie je genetika, manipulace s DNA a šlechtění lidí – navíc „naprogramovaných“ správným způsobem (úřady, korporace, armáda).

Moderním ztělesněním těchto úzkostí je metoda popularizace Editace genu CRISPR (3). Obavy vzbuzují především mechanismy, které obsahuje. vynucení požadovaných funkcí v dalších generacích a jejich potenciál se rozšířil na celou populaci. Jeden z vynálezců této techniky, Jennifer Doudna, dokonce nedávno vyzval k moratoriu na takové "zárodečné" editační techniky kvůli potenciálně katastrofálním následkům.

Připomeňme, že před několika měsíci čínský vědec Na Jiankui byl široce kritizován za úpravu genů lidských embryí za účelem jejich imunizace proti viru AIDS. Důvodem bylo, že změny, které provedl, se mohly předávat z generace na generaci s nepředvídatelnými důsledky.

Zvláště znepokojující jsou tzv. d (gene rewriting, gen drive), tzn. geneticky upravený mechanismus, který kóduje editační systém v DNA daného jedince CRISPR/CAS9 genom s nastavením na úpravu této varianty nežádoucího genu. Kvůli tomu potomci automaticky (bez účasti genetiků) přepíší nežádoucí genovou variantu požadovanou.

Nežádoucí genovou variantu však může dostat potomek „jako dárek“ od nemodifikovaného jiného rodiče. Takže genový pohon, pojďme se zlomit Mendelovské zákony dědičnostikteré říkají, že polovina dominantních genů putuje k potomkům od jednoho rodiče. Zkrátka to nakonec povede k rozšíření dotyčné varianty genu do celé populace.

Biolog ze Stanfordské univerzity Christina Smolkeová, zpět na panelu o genetickém inženýrství v roce 2016, varoval, že tento mechanismus by mohl mít škodlivé a v extrémních případech děsivé následky. Genový pohon je schopen během generací mutovat a způsobit genetické poruchy, jako je hemofilie nebo hemofilie.

Jak jsme se dočetli v článku publikovaném v Nature Reviews výzkumníky z Kalifornské univerzity v Riverside, i když pohon funguje tak, jak bylo zamýšleno v jedné populaci organismu, stejný dědičný rys může být škodlivý, pokud je nějakým způsobem zaveden do jiné populace. . stejný pohled.

Existuje také nebezpečí, že vědci vytvoří genové jednotky za zavřenými dveřmi a bez vzájemného hodnocení. Pokud někdo úmyslně či neúmyslně vnese do lidského genomu škodlivý genový pohon, například takový, který ničí naši odolnost vůči chřipce, může to dokonce znamenat konec druhu homo sapiens…

Dohledový kapitalismus

Verze dystopie, kterou si bývalí autoři sci-fi jen stěží dokázali představit, je realita internetu, a zejména sociálních médií, se všemi jeho široce popsanými důsledky, které ničí soukromí, vztahy a psychickou integritu lidí.

Tento svět je vykreslen pouze v novějších uměleckých představeních, jako je to, co jsme mohli vidět v sérii Black Mirror v epizodě „The Diving“ z roku 2016 (4). Šošana Zuboffová, harvardský ekonom, tuto realitu nazývá zcela závislou na sociálním sebepotvrzení a zcela „deprivatizovanou“. dozorový kapitalismus (), a zároveň vrcholné dílo Googlu a Facebooku.

4. Scéna z "Black Mirror" - epizoda "Potápění"

Podle Zuboffa je Google prvním vynálezcem. Své dohledové aktivity navíc neustále rozšiřuje, například prostřednictvím zdánlivě nevinných projektů chytrých měst. Příkladem je projekt World's Most Innovative Neighborhood společnosti Sidewalk Labs, dceřiné společnosti Google. přístav v Torontu.

Google plánuje pomocí všudypřítomných monitorovacích senzorů sbírat všechna nejmenší data o životě obyvatel nábřeží, jejich pohybu a dokonce i dýchání.

Je také těžké vybrat internetovou dystopii, která na Facebooku nepřipadá v úvahu. Sledovací kapitalismus možná vymyslel Google, ale byl to Facebook, kdo jej posunul na zcela novou úroveň. Stalo se tak prostřednictvím sociálních a emocionálních virových mechanismů a bezohledného pronásledování i těch, kteří nejsou uživateli platformy Zuckerberg.

Hlídaná AI, ponořená do virtuální reality, žijící s UBI

Podle mnoha futuristů je budoucnost světa a technologií označena pěti zkratkami – AI, AR, VR, BC a UBI.

Čtenáři "MT" asi dobře vědí, co to je a z čeho se první tři skládají. Známé se také ukáže jako čtvrté, „BC“, když pochopíme, o co jde. A pátý? UBD je zkratka pojmu, což znamená „univerzální základní příjem » (5). Jedná se o veřejný přínos, který se čas od času předpokládá, a který bude poskytnut každému člověku propuštěnému z práce, jak se vyvinou další technologie, zejména AI.

5. Univerzální základní příjem - UBI

Švýcarsko navrhlo tento nápad dokonce loni v referendu, ale jeho občané ho odmítli v obavě, že zavedení garantovaného příjmu povede k záplavě imigrantů. UBI s sebou nese i řadu dalších nebezpečí, včetně rizika zachování existujících sociálních nerovností.

Každá z technologických revolucí za zkratkou (viz také:) – pokud se rozšíří a vyvine očekávaným směrem – má obrovské důsledky pro lidstvo a náš svět, včetně samozřejmě obrovské dávky dystopie. Například se věří, že by mohla nahradit čtyřleté volební cykly a vést k referendům o nesčetných otázkách.

Virtuální realita je zase schopna „vyloučit“ část lidstva z reálného světa. Tak jako se to stalo například Korejce Jang Ji Sung, která se po smrti své dcery v roce 2016 na nevyléčitelnou nemoc od té doby setkala se svým avatarem ve VR. Virtuální prostor také vytváří nové druhy problémů, nebo vlastně přenáší všechny staré známé problémy do „nového“ světa, nebo dokonce do mnoha jiných světů. Do jisté míry to můžeme vidět již na sociálních sítích, kde se stává, že příliš málo lajků u příspěvků vede k depresím a sebevraždám.

Prorocké příběhy víceméně

Ostatně i historie tvorby dystopických vizí učí opatrnosti při formulaci předpovědí.

6. Obálka "Ostrovy v síti"

Minulý rok bylo natočeno slavné sci-fi mistrovské dílo Ridleyho Scottalovec androidů»Od roku 1982. O naplnění či nenaplnění mnoha konkrétních prvků lze diskutovat, ale je nesporné, že nejdůležitější proroctví o existenci inteligentních, humanoidních androidů v naší době, v mnoha ohledech nadřazených lidem, se ještě nestalo skutečností.

Byli bychom připraveni tolerovat mnohem více prorockých zásahů.“Neuromanci »tedy romány William Gibson od roku 1984, který zpopularizoval pojem „kyberprostor“.

V té dekádě se však objevila (u nás skoro úplně, protože nebyla přeložena do polštiny) o něco méně známá kniha, která mnohem přesněji předpovídala dnešní dobu. Mluvím o romanticeOstrovy na webu« (6) Bruce Sterling od roku 1988, odehrávající se v roce 2023. Představuje svět ponořený do něčeho podobného internetu, známého jako „web“. Je ovládána velkými mezinárodními korporacemi. „Ostrovy na webu“ jsou pozoruhodné tím, že poskytují kontrolu, dohled a monopolizaci údajně svobodného internetu.

Je také zajímavé předvídat vojenské operace prováděné pomocí bezpilotních vzdušných prostředků (dronů) proti online pirátům/teroristům. Operátoři vzdálení tisíce mil se zabezpečenými desktopy – jak to víme? Kniha není o nekonečném konfliktu s islámským terorismem, ale o boji proti silám, které se staví proti globalizaci. Svět Islands in the Net je také plný spotřebních zařízení, která vypadají hodně jako chytré hodinky a chytré sportovní boty.

Existuje další kniha z 80. let, která, i když se některé události zdají fantastickější, dobře ilustruje naše moderní dystopické obavy. Tento "Georadarový software", Dějiny Rudy Rookerodehrávající se v roce 2020. Svět, stav společnosti a její konflikty se zdají být neuvěřitelně podobné tomu, s čím se dnes potýkáme. Existují také roboti známí jako bopperové, kteří získali sebeuvědomění a utekli do měst na Měsíci. Tento prvek se zatím neuskutečnil, ale vzpoura strojů se stává neustálým refrénem černých předpovědí.

Vize naší doby v knihách jsou také v mnoha ohledech nápadně přesné. Octavia Butlerová, speciálně vPodobenství o rozsévači» (1993). Akce začíná v roce 2024 v Los Angeles a odehrává se v Kalifornii, zničené záplavami, bouřemi a suchy způsobenými změnou klimatu. Rodiny střední a dělnické třídy se setkávají v uzavřených komunitách a snaží se uniknout vnějšímu světu pomocí návykových drog a souprav pro virtuální realitu. Objevují se nová náboženství a konspirační teorie. Karavana uprchlíků míří na sever, aby se vyhnula ekologickému a sociálnímu kolapsu. K moci se dostává prezident, který používá heslo kampaně „Make America Great Again“ (toto je slogan Donalda Trumpa) ...

Butlerova druhá kniha, "Podobenství o talentechvypráví, jak členové nového náboženského kultu opouštějí Zemi ve vesmírné lodi, aby kolonizovali Alfu Centauri.

***

Jaké ponaučení plyne z tohoto rozsáhlého průzkumu předpovědí a vizí učiněných před několika desítkami let týkajících se našeho každodenního života?

Pravděpodobně faktem je, že dystopie se vyskytují často, ale nejčastěji jen částečně.