Artificiell intelligens är en 1900-talsfantasi som borde sticka tillbaks till 1950-talet där den hör hemma, tillsammans med tvåbenta plåtrobotar, strålpistoler och flygande tefat. Ge mig lite häpnadsväckande ny framtid istället för Ray Kurzweils snart trettio år gamla odödlighetsfantasier. Ge mig hundra tusen nya framtider! »Framåt« är nämligen inte en rät linje utefter vilken vi bara kan röra oss i en enda riktning, lika låsta som en plastgubbe i ett bordshockeyspel. Från den punkt där vi befinner oss nu kan vi gå framåt i 360 grader. Var och en av dessa riktningar är »framåt«, in i framtider som vi ännu inte har börjat föreställa oss. Eller rättare sagt: »framåt« är en expanderande sfär. Den framtid som påstås vara den enda möjliga är en minimal sektor av alla de framtider som väntar på att vi ska våga utforska dem.
Transhumanismen är motsatsen till allt detta. Den är en ideologi som vill uppfostra oss till att tro att framtiden redan är avgjord, att robotar och AI på något vis är ödesbestämda. Vi kommer att bli tvungna att leva med dem, vare sig vi gillar det eller inte, så det enda vi kan göra är att vara duktiga och anpassa oss till dem, redan innan de har blivit verklighet. Ju fortare vi anpassar oss, desto duktigare är vi, får vi veta. Vi ska indoktrineras till lydiga små konsumenter som accepterar den framtid av algoritmer och artificiell intelligens som våra självutnämnda herrar planerar åt oss.
Det finns, kort sagt, inga alternativ. Har vi inte hört det förut? Jo, det har vi, så nyligen att vi borde komma ihåg vad argumentet »inga alternativ« är värt. Den gången gällde det internet. Nätet skulle krossa alla eliter och ge oss en decentraliserad värld, sades det. Några alternativ fanns inte. Alla som störde den obligatoriska entusiasmen avfärdades med argumentet »ni är bara rädda för framtiden!« I skydd av denna kuliss av bullshit pågick ett Klondike där det verkliga internet tog form. När den känsliga uppbyggnadsfasen var över föll kulissen och idag kan alla se vad vi har fått: ett centraliserat internet, dominerat av ett litet antal monopolföretag. Vi fick en infrastruktur för massövervakning som både statliga och kommersiella aktörer använder sig av. Men om vi låter bli att vara »rädda för framtiden« går det säkert bättre nästa gång!
Transhumanisterna föreställer sig att vi med teknikens hjälp ska utvidga vår intelligens och förlänga våra liv, helst i det oändliga. Att vi inte längre skulle vara mänskliga om vi levde i evighet ser de inte som en relevant invändning: de vill att vi ska utvecklas bortom människan. Tätt förknippad med detta är föreställningen om the singularity: en big bang av artificiell intelligens som förmodas inträffa om datorernas beräkningskapacitet fortsätter att öka exponentiellt.
Föreställningen om överlägset intelligenta maskiner har varit med oss minst lika länge som det har funnits datorer, alltså mer än ett halvt sekel. 1951 ansåg Alan Turing att datorerna sannolikt skulle överträffa människan i framtiden: »therefore we should have to expect the machines to take control.«[1] I novellen »The Last Question«, som Isaac Asimov skrev 1956, förenas samtliga mänskliga medvetanden med en oändligt mäktig kosmisk superdator.[2] Asimov ägnar sammanlagt två meningar åt att beskriva detta, vilket antyder att idén redan var välkänd för science fiction-publiken.
Vad som sker efter singulariteten ligger utanför all mänsklig föreställningsförmåga. Standardscenariot är att människan förenas med de överlägset intelligenta maskinerna, alternativt att maskinerna utrotar oss och uppfyller universum på egen hand. Vilket av dessa två scenarier som blir verklighet är möjligen oviktigt i transhumanisternas ögon: de har bestämt sig för att hålla på den vinnande sidan hur det än går.
I själva verket vet ingen om framtiden kommer att innehålla computronium[3] eller stenyxor, eller om det enda livet på den här planeten kommer att utgöras av bakterier, men vi uppmanas att investera våra känslor och förhoppningar i en framtid som redan är färdigtänkt åt oss. Det är nödvändigt att sabotera denna ständiga uppfostran, så att vi förstår att framtiden fortfarande är öppen, oavgjord och okänd.
Ray Kurzweil har länge varit en ledande företrädare för dessa idéer. Han ger en bra sammanfattning av vad det handlar om i sin bok The Singularity is Near.[4] Kurzweil beskriver hur teknologin kommer att göra oss oändligt mäktiga. Våra medvetanden ska laddas upp till en bättre teknologisk plattform än människokroppen, därefter kommer det inte att finnas några begränsningar för vår intelligens eller vår livslängd: »then our minds won’t have to stay so small.« Inte heller för den makt som teknologin ger oss: vi kommer att kunna bygga vad vi vill med samtliga atomer i universum lika lätt som om de var pixlar i Minecraft. Vi kan välja vilket slags kropp vi för tillfället vill ikläda oss, eller flytta om stjärnbilderna så att de bättre passar vårt humör för kvällen. Det är fascinerande att följa med när han sträcker ut sin vision så långt han kan, men vad ska vi använda vår allsmäktighet och våra eviga liv till? På den punkten är Kurzweil lite vag. Bland annat föreslår han att man skulle kunna modifiera sin kropp så att man kan äta hur mycket man vill utan att bli fet.[5]
Visa mig en enda av människans sociala och ekonomiska orättvisor som beror på bristande intelligens.
Vad Kurzweil erbjuder är en pojkaktig allsmäktighetsfantasi i stil med att önska sig mer muskler eller att dagdrömma om supersnabba bilar. Mer är bättre – en bil med en miljard hästkrafter är bättre än en bil med 500 hästar. Faktum är att man kunde byta ut ordet »intelligens« mot »muskler« eller »hästkrafter« i The Singularity is Near utan att boken skulle förändras – den skulle inte bli ett dugg dummare än den redan är. För min del tror jag att vi borde minska våra ambitioner en aning: om vi någonsin uppnår evigt liv är det bara att hoppas att TV fortfarande existerar i framtiden.
Låter det simpelt? Det är ännu simplare. Demis Hassabis, ledare för DeepMind, ett brittiskt AI-företag som köpts upp av Google, beskriver vad han tycker att vi borde göra: »Step one, solve intelligence. Step two, use it to solve everything else.« Med »allt annat« menar han saker som klimatkrisen, sjukdomar och fattigdom: »If we can crack what intelligence is, then we can use it to help us solve all these other problems.« Så var det fixat! Smart, liksom. Visa mig en enda av människans sociala och ekonomiska orättvisor som beror på bristande intelligens.
Transhumanismen måste vara det förra århundradets fattigaste utopi. Dess cocktail av bioteknik och datorer är inget annat än vårt vanliga teknokommersiella konsumtionssamhälle accelererat till ljushastighet. Som kompensation för allt vi är missnöjda med ska vi trampa ännu hårdare på gaspedalen. Din förbättrade intelligens och din utökade livslängd blir konsumtionsvaror bland andra; du kommer att bli lika nöjd med dem som med allt annat du har köpt. Det är märkligt att någon fortfarande – 2017 – kan hålla fast vid tron att samhällets inneboende problem kommer att lösas av sig själva om vi bara höjer tempot lite till.
När José Cordeiro från den kaliforniska tankesmedjan Singularity University[6] besökte Stockholm för ett väckelsemöte förra sommaren var det avslöjande att han inte kunde besvara publikens frågor på något annat sätt än genom att tala om kvantitet. Hans föredrag var fullt av triumferande utrop, som lät allt mer hjälplösa. Exponentiell ökning! Moores lag! Mer intelligens! Evigt liv! Föreställ er någon som besvarar varje fråga på detta sätt, vare sig den är kritisk eller förhoppningsfull, så hör ni snart själva hur ihåligt det låter. Cordeiro har så lite att erbjuda att han måste rusa mot oändligheten för att fly från fattigdomen i sina egna visioner.
Om Silicon Valley kan sägas ha en ideologi och en gemensam framtidsvision är det artificiell intelligens.
Kurzweil kunde möjligen avfärdas som en excentriker fram till 2012, när han anställdes av Google. Han är nu »director of engineering«, handplockad för att leda ett team som ska utveckla artificiell intelligens, vilket innebär att han har fått seriösa ekonomiska resurser att leka med. Om Silicon Valley kan sägas ha en ideologi och en gemensam framtidsvision är det artificiell intelligens. Bland dem som tror på – och önskar sig – AI finns Googles grundare Larry Page och Sergey Brin, Facebooks Mark Zuckerberg och PayPals medgrundare Peter Thiel. Google satsar hårt på att utveckla AI och vill integrera AI-teknologi i alla sina verksamheter, från hälsovård till reklam och självkörande bilar.
IT-miljardärerna i Kalifornien verkar inte vara särskilt bra på att drömma stort. Det enda de kan föreställa sig att använda sin teknologi till är att försöka förverkliga de idéer om tänkande maskiner och teknologiskt förbättrade människokroppar som ett par generationers science fictionförfattare redan har tröskat igenom – och i många fall förhållit sig minst sagt skeptiska till. I de här kretsarna talar man om att »solve death« som man löser ett ingenjörsmässigt problem. Ett av Googles sidoprojekt heter Calico, ett forskningsföretag vars mål är att bromsa åldrandet. Andra storslagna uppgifter verkar inte engagera det här gänget lika mycket, trots deras optimistiska tro på att allt har tekniska lösningar. Jag har inte hört någon av dem tala med samma entusiasm om att »lösa« globala orättvisor som krig, förtryck eller fattigdom, eller om att ersätta olja med en bättre energikälla, vilket borde vara nummer ett av de tekniska problem som den här planeten står inför.
*
Med jämna mellanrum återupptäcks transhumanismen av en tidningsredaktion. Någon kontinuitet, där det som sägs bygger vidare på det som har sagts tidigare förekommer inte, åtminstone inte i svensk kulturdebatt. Transhumanismen introduceras alltid som en främmande fågel; diskussionen startar från scratch varje gång innan den dör ut.
Ett undantag är Vagant, som var tidigt ute med att uppmärksamma de transhumanistiska idéerna. Nummer 1/2009 ägnades åt Peter Sloterdijk, som med sitt föredrag »Regeln für den Menschenpark«[7] satte »den filosofiske tenkningen i direkte berøring med aktuelle fordringer innen bioteknologien«, som Steen Nepper Larsen och Sigurd Tenningen skrev i sin introduktion. Nummer 1/2012 innehöll ett temablock med elva artiklar om transhumanismen – det första temanumret från en norsk redaktion om detta ämne. Jag uppskattade särskilt att Thomas Lundbo läste Michel Houellebecq ur ett transhumanistiskt perspektiv: »Houellebecq er lite lest som science fiction-forfatter, selv om han ofte oppgir forfattere som Aldous Huxley og H. P. Lovecraft blant sine viktigste inspirasjonskilder.«[8] Bioteknologiska framtidsscenarier har varit en röd tråd i Houellebecqs författarskap, visade Lundbo – en oväntad och berättigad läsning av en författare som lite för ofta har avfärdats som en ytlig provokatör.
Sedan dess har transhumanism tagits upp ett flertal gånger i Vagant. I »Livet under null« besöker Hallvard Haug nedfrysningsfirman Cryonics UK och tränar på att frysa ner kroppar för eventuell framtida återupplivning.[9] I artikeln »Mennesket: problem eller løsning?« tar Audun Lindholm och Bår Stenvik upp de täta banden mellan transhumanister och libertarianer.[10] De citerar Francis Fukuyama: »Jeg tror desværre, at mange af de, der ønsker genetisk modifikation af mennesker, enten regner det for uproblematisk eller også bare vil overlade det til markedet at bestemme hvad der er et bedre menneske.« Det kan låta obehagligt, men är kopplingen mellan transhumanister och bioetiska filosofer så mycket trevligare? Bioetikerna vill, skriver Lindholm och Stenvik, »endre menneskets biologi for å gjøre oss mer miljøvennlige, siden det har vist seg vanskelig å få befolkningen til å forandre sin – for økobalansen – skadelige atferd«.
Av de norska publikationer som Vagant-redaktionen förser mig med inför den här artikeln gör Morgenbladet det bästa jobbet. Deras temanummer om transhumanismen, nr. 4/2017, är grundligt, självständigt och läsvärt även för den som har stött på idéerna tidigare. Askild Matre Aasarød har gjort en mailintervju med Vernor Vinge, om hur han ser på den tekniska utvecklingen 24 år efter att han myntade uttrycket the singularity.[11] Sigve Indregard beskriver den osynliga teknologi vi redan är invävda i så att den blir materiell och påtaglig på nytt. »Ørsmå krystaller« i mobiltelefonen känner av ditt löptempo, därefter kommunicerar mobilen via Stavanger och Frankfurt med en server i London, som skickar tillbaka musik som passar löpningen.[12] Hur bisarrt är inte det?
I Minervas temanummer (4/2015) tar Eirik Newth upp teknologikritiken från början av 1800-talet fram till idag, när sexrobotar (som givetvis även kan tillverkas i form av barn) och algoritmer som kan göra halva arbetskraften överflödig snart kommer att ställa oss inför nya moraliska och sociala problem.[13] Han inleder med den välkända invändningen att »skepsis til teknologiske nyvinninger er gammelt som industrialderen selv«, men när teknologin blir mäktigare, anser han att kritiken har allt mer fog för sig. Jag skulle önska att han gick längre i den riktningen: det rör sig inte längre om samma typ av teknologi som i början av industrialismen, och därför kan inte heller teknologikritiken avfärdas med att folk alltid har gnällt på det som är nytt. Nyttan med maskinålderns uppfinningar, som vaccinet, tryckpressen och ångmaskinen är uppenbar, men sedan dess har vi kommit in i ett nytt teknologiskt skede där tekniken har slutat underlätta vårt liv fysiskt och istället gjort människan mentalt underlägsen. En algoritm som tänker »bättre« än människan skänker inte samma sorts befrielse som, låt säga, en tvättmaskin, även om den säljs in som samma typ av framsteg. 1800-talets teknologi befriade människan från fysiskt slit, 1900-talets gav henne något att göra på fritiden och 2000-talets ser ut att vilja ta ifrån henne meningen med både arbete och fritid. Vi är på väg att skaffa oss en teknologi vars verkliga uppgift är att göra människan meningslös.
Och vad är egentligen ett framsteg? Enligt författaren Lasse Berg[14] är väskan en av människans viktigaste uppfinningar. Ursprungligen bestod den kanske av ett djurskinn slängt över axeln: fördelen är att du kan bära med dig saker samtidigt som du har händerna fria. En väska är sannolikt ett större tekniskt framsteg än ett program som besegrar oss i Jeopardy och förstör nöjet med frågesporten.
I april 2016 föreslog Ole Martin Moen, filosof vid Universitetet i Oslo, att kvinnor ska få betalt för att låta sig insemineras med säd från män med hög IQ.[15] Förslaget presenterades för en bredare läsekrets av Jon Kåre Time i Morgenbladet, i en artikel med rubriken »En avskyelig idé«.[16] Följande vecka kommenterade Lena Lindgren: »Sædforslaget er en form for eugenikk, men den ideologiske sfæren det springer ut fra heter transhumanisme, som Moen er talsmann for.«[17] Protesterna mot Moens förslag har inneburit att transhumanisternas människosyn har tagits upp till debatt i Norge det senaste året; någon motsvarande uppgörelse med transhumanismen har mig veterligt inte förekommit i svenska dagstidningar.
«Transhumanismen vil ikke kurere sykdom eller forbedre enkeltmenneskets svakheter – den vil noe helt nytt, den vil kaste mennesket opp til å være artens ingeniør,« skriver Lena Lindgren. Hon är bekymrad över diskrepansen mellan de resurser de kaliforniska jätteföretagen satsar på transhumanistisk forskning och de traditionella humanisternas svaga motargument: »i møte med denne voldsomme effektiviteten blir etikkens grunninstinkt – undring og ydmykhet – til noe merkelig defensivt og svømmende.« Sedan dess har kritiken av transhumanismens människosyn fortsatt; se till exempel Ivar Staurseth i Minerva[18] och Dag Hareide i Morgenbladet.[19] I likhet med Lindgren fokuserar Hareide på transhumanismens »religiøse trekk«. »Disse grandiose visjonene har samtidig sitt utgangspunkt i frykt for sårbarhet. Frykt for sårbarhet er allmennmenneskelig, men hva skjer når den utvikler seg til forakt for svakhet,« undrar han.
Våren 2017 flammade diskussionen upp på nytt när Aksel Braanen Sterri, doktorand vid Moens projekt »What should not be bought and sold?«, i en intervju i tidskriften Minerva förklarade att han var positiv till abort av foster med Downs syndrom och medfödda psykiska sjukdomar.[20] »I løpet av noen tiår tror jeg at vi ikke vil stusse over slik sortering,« sade han. Han ansåg också att norrmän, men inte indier, är mogna för rätten att abortera barn med ett annat kön än föräldrarna önskar sig.
Debatten rasade i Minerva och Klassekampen, medan Morgenbladet svarade med en sexsidig artikel där Jon Kåre Time granskade den utilitaristiska människosynen bakom Moens och Sterris eugeniska idéer.[21] »I begynnelsen var Singer,« skrev Time. Enligt honom är den australiensiske filosofen Peter Singer urmodellen för akademiker som kommer fram till kontroversiella ståndpunkter genom att tillämpa strikt logik och utilitaristiska värderingar. Time diskuterade etik med Singer samt med Julian Savulescu och Francesca Minerva, två filosofer vars ståndpunkter också har väckt uppseende. Minerva behövde polisskydd efter att hon föreslagit att det vore rätt att abortera barn även efter födelsen.
Den nuvarande teknologiska nivån är tydligen så outhärdlig för Kurzweil et al att det enda som duger är att utveckla en teknologi som ska göra oss lika mäktiga som gudar.
Nils August Andresen, tidskriften Minervas redaktör, satte fingret på en intressant punkt i sitt debattinlägg: »Jeg går med en følelse av at et eller annet argument mangler for at Sterri skal få et godt svar på en av sine hovedutfordringer: Nemlig hans stadige søken etter å gjøre mennesket bedre. Denne impulsen har fått et filosofisk utslag i den såkalte ›transhumanismen.‹«[22] Andresen citerade Einar Duenger Bøhn, professor i filosofi vid Universitetet i Agder, som april 2017 försvarade transhumanismen med följande argument på sajten Forskning.no: »Hvis vi kan forbedre mennesket, så bør vi forbedre mennesket, men vi kan forbedre mennesket, så derfor bør vi forbedre mennesket.«
Här, om inte förr, hade jag önskat att Platon skulle blanda sig i diskussionen. Transhumanisternas föreställning om vad som är »bättre« är den svaga punkt han genast hade identifierat. Där hade han satt in sitt angrepp. I Times artikel argumenterar Singer och de övriga mycket skarpsinnigt för sina kontroversiella ståndpunkter, men deras skarpsinne upphör vid ordet »bättre«. Vad som är bättre är enkelt för dem. Singer: »Jeg starter med premisser jeg ikke kan betvile. For eksempel at mindre lidelse er bedre enn mer lidelse, alt annet likt.«
Det hade varit storartad underhållning att se Platon leka tjugo frågor med en transhumanist. Bättre, säger du? Vad menar du med bättre? Bättre för vilket syfte? Begrepp som »bättre« eller »mer effektivt« existerar enbart i relation till ett syfte. Något är bättre än något annat i förhållande till det mål man vill uppnå. Karaktäristiskt för Platon är att han alltid borrar hela vägen fram till det yttersta syftet med de idéer han undersöker. Den fråga han underförstått söker ett svar på är om ett samhälle som byggs utifrån dessa idéer kommer att bli människovärdigt eller människoförnedrande.
«Jeg er veldig, veldig åpen for at jeg kanskje tar feil. Men hvorfor diskuterer vi det ikke«, sade Moen när eugenikdebatten pågick.[23] Faktum är att vi har diskuterat det, gång efter gång. De eugeniska idéerna är ett lik som vägrar stanna i jorden. Moen borde känna till att han befinner sig i berömt sällskap: bland andra har Nobelpristagaren Francis Crick varit inne på liknande tankegångar. På 1950-talet var det Hermann Joseph Muller, även han Nobelpristagare i medicin, som – utan att presentera några belägg – oroade sig för att de minst intelligenta och minst hänsynsfulla människorna skaffade flest barn. I likhet med Moen förespråkade Muller konstgjorda befruktningar med utvald sperma från högintelligenta män. Den svenske tumörbiologen Georg Klein, som deltog i samma konferens som Muller, svarade med en elegant vederläggning.
I sin bok Ateisten och den heliga staden[24] skriver Klein:
Mot mötets slut begär Muller återigen ordet. Han vill ge oss en bild av de unga män som frivilligt kommer att avstå från att bli far till det första barnet inom sitt äktenskap. De är de mest varmhjärtade varelser som tänker på hela människosläktets intressen snarare än på sitt lilla han-ego. De har insett att individens biologiska överlevnad i deras barn är en illusion eftersom generna späds ut mycket snabbt och varje spår av personlig identitet försvinner efter några få generationer. De är de verkliga altruisterna som har en vidsynt framtidsvision, de är vårt enda hopp.
Ingen vågar konfrontera den berömde Muller. Klein får till sist nog:
Jag begär ordet. Jag framhåller, att de egenskaper som Muller tillskriver de män som frivilligt avstår från att alstra sina barn, verkligen är beundransvärda, som Muller själv säger. Det är just dessa egenskaper som måste befrämjas. Lösningen är därför uppenbar: Vi måste välja deras sperma i första hand, före alla andras!
*
Den bästa kritiska granskningen av transhumanismen som jag har läst på länge är Meghan O’Gieblyns artikel »Ghost in the Cloud« i den amerikanska kulturtidskriften n+1.[25] Med sin bakgrund i en sektliknande kristen miljö har hon utmärkta förutsättningar att jämföra den vision om odödlighet och perfektion, som det ena gänget erbjuder, med det andra gängets perfektion och odödlighet. »It is perhaps not coincidental that an ideology that grew out of Christian eschatology would come to inherit its philosophical problems«, kommenterar hon.
Ordet »transhumanism« är inte nytt, skriver O’Gieblyn. Det användes på 1950-talet av biologen Julian Huxley (bror till Aldous Huxley), som föreslog att mänskligheten skulle göra sig själv fulländad genom ett teknologiskt hypersprång. »Such a broad philosophy«, skrev han, »might perhaps be called, not Humanism, because that has certain unsatisfactory connotations, but Transhumanism.« Det tidigaste belägg hon hittar finns i en brittisk översättning av Dantes Paradiset från 1814. När poeten stiger upp till den perfekta himmelska sfären förvandlas hans kropp: »Words cannot tell of that transhuman change.«
O’Gieblyn har upptäckt en idéhistorisk sidoström som man sällan hör talas om: transhumanismens föregångare. Den jesuitiske filosofen Pierre Teilhard de Chardin föreställde sig redan 1949 att alla maskiner i framtiden skulle länkas ihop i ett globalt nätverk, som skulle smälta ihop med människornas medvetande. Detta skulle leda till en intelligensexplosion som han kallade »point oméga«. Människan skulle överskrida tidens och rummets begränsningar och förenas med det gudomliga.
När jag läser O’Gieblyn förstår jag plötsligt vad det är som är så fel här. Kurzweil och hans efterföljare har aldrig stött på en utopi förut! De har inget immunförsvar. Transhumanismen är deras första utopi – och de blir upp över öronen förälskade. Om de inte var så historielösa, om de åtminstone var intresserade av sin egen teknikhistoria skulle de inte låta sig svepas med så okritiskt.
De senaste två hundra åren har tekniska genombrott – verkliga eller bara skisserade i fantasin – gång på gång sålts in med samma förhoppningar. »Tankar kommer att spridas över världen med ljusets hastighet, omedelbart tänkta, omedelbart skrivna, omedelbart förstådda. De kommer att täcka jordklotet från den ena polen till den andra – plötsliga, ögonblickliga, brinnande av lyskraft från den själ från vilken de bröt fram.« Låter det som en överhettad hyllning till internet från åren runt millennieskiftet? Orden skrevs 1831 av poeten och politikern Alphonse de Lamartine och gällde den tidens revolutionerande nya kommunikationsteknologi – dagstidningen. Böcker är föråldrade, ansåg Lamartine: »Den enda bok som är möjlig från och med idag är en tidning.«[26]
Tror man att teknologin kan lösa existentiella problem kommer man att bli besviken på den gång efter gång utan att förstå varför.
Därefter har samma sorts hyllning skrivits om telegrafen, radion och filmen. Telegrafins ögonblickliga kommunikationer skulle undanröja missförstånd och minska risken för krig, trodde en fransk utrikesminister på 1860-talet. Mark Zuckerberg påstod nyligen samma sak om internet. Konflikterna i Mellanöstern beror på »the lack of connectedness and lack of communication«, förklarade han.[27] Samma förhoppning har till och med knutits till elnätet. »A perfect network of electric filaments« kommer att ge oss en framtid av social harmoni, ansåg en brittisk författare 1852.[28] Förhoppningarna står stilla, de teknologier som förhoppningarna knyts till byts ut.
Den teknologi vi har står vi inte ut med: den gör oss bara frustrerade, stressade och förbannade.[29] Nästa generations teknologi, som just ligger inom räckhåll för fantasin, kommer däremot att vara av ett helt annat slag: den kommer att skänka befrielse. Gör tankeexperimentet att du berättar om vår tids teknologi för människor från 1917. De skulle tycka att vi redan befann oss i det perfekta teknologiska paradiset. Sedan kan du göra om experimentet och berätta om den teknologiska nivån 1917 för människor som levde 1817 – telefoner! flygplan! biografer! – och de skulle tycka samma sak om den vardag man inte var nöjd med 1917.
Att den utlovade befrielsen aldrig kommer borde få oss att inse att det är något skumt på gång. Det finns en slutsats vi borde dra. Inte att teknologin är ond, men att vårt förhållande till teknologin inte är särskilt moget. Vår relation till teknologin liknar mest av allt en spelberoendes relation till en enarmad bandit: maskinen tvingar mig att sitta på den här sunkiga puben och mata den med mina surt förvärvade pengar, men nästa gång jag drar i spaken kommer den att ge mig allt jag önskar!
Den tekniska utvecklingen är något annat än vad den påstås vara. Den tar oss inte »framåt«. Den permanentar ett evigt nu där vi inte står ut, där vi är tvungna att hoppas på nästa stora grej, nästa ryck i den enarmade banditen. Den nuvarande teknologiska nivån är tydligen så outhärdlig för Kurzweil et al att det enda som duger är att utveckla en teknologi som ska göra oss lika mäktiga som gudar.
För att ta oss ur det dilemmat behöver vi förstå vår relation till teknologin – den är ett verktyg, varken mer eller mindre. Tror man att teknologin kan lösa existentiella problem kommer man att bli besviken på den gång efter gång utan att förstå varför. Vi missförstår till och med vår relation till teknologin så djupt att vi istället blir besvikna på oss själva. Blir vi inte lyckliga av de presenter som den teknologiska utvecklingen ger oss, ska vi läras upp tills vi slutar kräva något som teknologin inte kan leverera. Det finns just nu en hel miljardindustri som uppfostrar oss att älska AI – den kallas populärkultur.
Populärkulturen är fortfarande så omogen att den inte kan berätta något annat än hjältehistorier: den kan inte förhålla sig till makt och styrka på något annat sätt än genom att glorifiera dem. Är maskinerna »starkare« än människan har de också automatiskt rätt. Sedan flera årtionden tillbaka är maskinen den viktigaste personen i populärkulturens berättelser. Prova själv att läsa de senaste årens filmer och TV-serier mothårs på detta sätt: Her, Äkta människor, Westworld och många fler.
Banala djupsinnigheter av typen »kan maskiner också ha känslor?« syftar till att lära oss att överföra mänskliga känslor på maskiner långt innan de har utvecklat något känsloliv. Vi ska präglas på maskinen som en nykläckt ankunge präglas på en gummiboll. Oavsett om maskinerna förlorar på slutet, oavsett om AI visar sig leda till en dystopi, är det verkliga budskapet i filmerna alltid ett annat: du ska lära dig att rikta din inlevelseförmåga mot maskinen, inte mot andra människor och inte mot dig själv. Det är som när Oliver Stone ville göra biobesökarna kritiska till Wall Street och istället fick dem att beundra Gordon Gekko. Så kan det gå om man inte har koll på sina verktyg.
*
»Worth reading Superintelligence by Bostrom. We need to be super careful with AI. Potentially more dangerous than nukes.«
Elon Musk
Bland de AI-troende finns också ett försiktigare gäng. Där hittar man den svenske filosofen Nick Bostrom. Han leder Future of Humanity Institute i Oxford, ett institut för avancerad, långsiktig framtidsplanering.[30] I sin bok Superintelligence[31] skriver han: »a plausible default outcome of the creation of machine superintelligence is existential catastrophe.« Det vill säga en katastrof för människor. En AI kan sätta upp egna mål för sin verksamhet, mål där mänskligheten inte ingår, eller tolka våra instruktioner på ett sätt som innebär ett hot mot människans existens. Även om vi ger den en harmlös uppgift, som att producera gem eller beräkna decimaler av pi, skriver Bostrom, kan den välja att lösa uppgiften genom att omvandla atomerna i all materia inom räckhåll till gem, eller till kretsar för att kunna beräkna maximalt antal decimaler, och då blir människan snart ett hinder som måste undanröjas. »Before the prospect of an intelligence explosion,« varnar Bostrom, »we humans are like small children playing with a bomb. Such is the mismatch between the power of our plaything and the immaturity of our conduct.«
Bostroms bok har blivit en bestseller, rekommenderad av Bill Gates, som även han är orolig för vad AI kan leda till. Den gjorde stort intryck på Teslas grundare Elon Musk, som twittrade: »Worth reading Superintelligence by Bostrom. We need to be super careful with AI. Potentially more dangerous than nukes.«[32] Musk har donerat 10 miljoner dollar till Future of Humanity Institute för ett forskningsprojekt om hur vi ska utveckla säker AI för mänsklighetens bästa.
Bostrom ägnar större delen av Superintelligence åt något som hade kunnat sägas kortare: köper man premissen att överlägset intelligenta, medvetna system över huvud taget är möjliga, inser man att vi inte kommer att kunna styra dem. I det föredrag[33] där Vernor Vinge lanserade uttrycket the singularity beskrev han singulariteten som »an exponential runaway beyond any hope of control«. Att fråga sig om vi kan kontrollera AI är som att fråga om ett barn kan kontrollera sina föräldrar, skriver Bostrom. Han borde ha drivit metaforen längre, dit den själv är på väg: vi vill inte ha kontroll, vi vill ha föräldrar.
Hela poängen med AI är att förlora kontrollen. Det är det som ger idén dess dragningskraft. Vi vill ha en oändligt mäktig instans som vi kan underkasta oss. När teknologin har börjat befria oss från en mängd naturliga begränsningar vill vi lustigt nog använda den mest avancerade teknologi vi kan föreställa oss för att återskapa en situation där människan är nummer två. Vi vill återvända till en trygg underkastelse under en oändligt överlägsen förälder. En människa som har ett så starkt – om än omedvetet – behov av att underkasta sig en mäktigare, överlägsen herre är inte mogen att utveckla framtida teknologi.
Deep Blue som slog Kasparov i schack och AlphaGo som besegrade Lee Sedol i go var inte mer medvetna än en brödrost.
Ett scenario som Bostrom inte tar upp är att vi skulle kunna få en riktigt obehaglig framtid även om det aldrig uppstår några artificiellt intelligenta maskiner. Datorer har besegrat människan i schack (1997), Jeopardy (2010) och brädspelet go (2016). Detta antas bevisa att tänkande maskiner snart är på väg. Men vad det verkligen säger är att maskiner inte behöver tänka eller vara medvetna för att vara överlägsna oss. Vi kan mycket väl få en teknologi som gör oss maktlösa och beroende utan att den är ett dugg intelligent. Deep Blue som slog Kasparov i schack och AlphaGo som besegrade Lee Sedol i go var inte mer medvetna än en brödrost. Googles översättningstjänst har inget behov av att förstå språk; för att leverera hyfsat användbara översättningar behövs ingen AI, det räcker med statistik.
Filosofen Daniel Dennett har utvecklat denna tankegång. Han bekymrar sig inte för singulariteten. Han är orolig för det ointelligenta internet of things som vi utvecklar i praktiken, medan vi har blicken fäst på det avlägsna (och kanske ouppnåeliga) målet AI. »After centuries of hard-won understanding of nature that now permits us, for the first time in history, to control many aspects of our destinies, we are on the verge of abdicating this control to artificial agents that can’t think, prematurely putting civilization on autopilot«, skriver han.[34]
»The real danger«, avslutar han, »is not machines that are more intelligent than we are usurping our role as captains of our destinies. The real danger is basically clueless machines being ceded authority far beyond their competence.« I vissa amerikanska delstater finns det redan algoritmer som har inflytande över domstolarnas beslut – de beräknar risken för att någon blir återfallsförbrytare, vilket vägs in i domen.[35]
Konsekvenserna av att en viss teknik tas i bruk i stor skala blir för övrigt sällan vad konstruktörerna föreställer sig så länge tekniken bara existerar i deras medvetande, eller i några få exemplar i labbet. De som utvecklade e-post förutsåg inte spam (idag är mer än hälften av all mailtrafik spam[36]). Thomas Midgley, som på 1930-talet gav oss kylskåp fulla av freon – ett utmärkt kylmedel, tyckte man, eftersom det varken var brandfarligt eller giftigt för människor – kunde inte förutse ozonhålet.
Och än så länge kan man ibland, om man gräver lite för djupt, hitta en underbetald människa som upprätthåller illusionen om den avancerade teknologin. I Morgenbladets transhumanismnummer skriver Askild Matre Aasarød:
Allerede i dag jobber hundre tusenvis av mennesker dag og natt med å gjøre banale samlebåndsoppgaver for å holde internett i gang, uten tydelige arbeidsgivere, kontrakter eller forståelse for hva de jobber med. De gjør enkel billedredigering for sosiale medier, trener opp nettalgoritmer og sorterer informasjon i databaser. Amazon-sjef Jeff Bezos har kalt disse arbeiderne ›kunstig kunstig intelligens‹. Har man et dystert syn på singulariteten, er dette en smakebit på fremtiden vi alle går mot.[37]
De senaste årtiondena har vi fått maskiner som kan komponera klassisk musik, som skriver skönlitteratur, som kan identifiera innehållet i ett fotografi med samma precision som människor, som kan härma en psykoterapeut och lura oss att chatta med dem. Snart har vi maskiner som kan ställa diagnoser med större träffsäkerhet än mänskliga läkare. Varför får vi allt detta? Inte för att det ligger i maskinernas natur att utvecklas i denna riktning, utan för att några av oss desperat vill att de ska utvecklas just i den riktningen.
Ska vi undvika den framtid som Bostrom, Musk och andra oroar sig för – eller den framtid som Dennett varnar för – behöver vi förstå de emotionella drivkrafterna hos dem som längtar efter transhumanismen och som gör allt de kan för att dess idéer ska gå i uppfyllelse.
Transhumanismen innehåller en dubbel lockelse: gränslös makt och gränslös underkastelse.
Arbetet med att utveckla överlägset tänkande maskiner kräver rationellt tänkande, men det är inte rationellt i sig; det är starkt emotionellt färgat. Transhumanismen innehåller en dubbel lockelse: gränslös makt och gränslös underkastelse. För människan är dragningen till underkastelse minst lika stark som dragningen till allsmäktighetsfantasier. Allsmäktighet och underkastelse är de båda magnetpolerna på vår inre karta. Så länge dessa båda dragningskrafter verkar i det fördolda är vi som en person i en kanot som är omedveten om att det är havsströmmarna, inte han själv, som bestämmer vart han egentligen är på väg.
Rodney Brooks, tidigare chef för MIT:s laboratorium för artificiell intelligens, har beskrivit vilket stort intryck filmen 2001 (1968) gjorde på honom: »The central character, the computer called HAL 9000, had inspired me as a teenager in Adelaide, South Australia, to dedicate my life to building intelligent machines. I still cannot watch it without my heart quickening and tears coming to my eyes often.«[38] Just där borde han ha stannat upp och frågat sig vad de där tårarna innehåller. De är en signal värd att lyssna till, men vad vill de säga honom? Betyder de att han ska bygga en maskin som liknar den han såg i filmen? Brooks verkar inte ha förstått att om intelligenta maskiner en dag blir verklighet kommer han att reagera på dem på ett helt annat sätt än han reagerade när han såg 2001. När en fullbordad, medveten maskin väl står där kommer den inte att förlösa det som fick tårarna att bryta fram hos honom. Den blir bara ännu ett stycke verklighet att anpassa sig till. Kanske kommer han att bli sorgsen igen av ett annat skäl: för att maskinen var vackrast som fantasi.
Vad kan vi vänta oss om AI blir verklighet? »I think political systems will use it to terrorize people«, sade Geoffrey Hinton på en konferens om maskininlärning som Royal Society höll i maj 2015. Hinton är en världsledande forskare inom området neurala nätverk; han arbetar nu åt Google. Nick Bostrom, som också deltog i konferensen, frågade honom varför han i så fall jobbar med att utveckla AI. »I could give you the usual arguments«, svarade Hinton.[39] »But the truth is that the prospect of discovery is too sweet.« Ett uppriktigt svar, tror jag. Vad som händer efter att kroppens signalsystem har utsöndrat den kortvariga belöning som följer på den sortens triumfer, det struntar han i. Sedan är det upp till resten av världen att anpassa sig till den teknologi som gav Hinton eller någon annan en kick. När den tekniska utvecklingen snubblar framåt på det sättet, från den ena kicken till nästa, försätter vi oss själva i kriser som bara kan lösas med ännu mer teknologi, intalar vi oss.
Det gäller att genomskåda det mönster som blir synligt här, ett mönster som har upprepats genom hela den moderna teknikens historia. Någon jobbar som en bäver för att förverkliga en eller annan sorts teknologi, och så fort teknologin existerar betraktas den som ett faktum, som om den hade fallit ner färdig från himlen, och alla protester avfärdas föraktfullt: du kan inte protestera mot verkligheten. Det intensiva, viljedrivna arbetet med att skapa denna verklighet glöms bort i samma ögonblick som teknologin existerar, och vi ska helst inte titta för mycket in i labben medan utvecklingsarbetet pågår: då saboterar vi överraskningsmomentet, teknologins jungfrufödsel. Vi kämpar så hårt med att i förväg försätta oss i en situation där vi i efterhand kan låtsas att det aldrig hade kunnat gå annorlunda. Den sortens självbedrägerier kräver en viss intelligens, som kunde vara värd ett bättre ändamål.
Jag kan inte tänka mig ett mer raffinerat helvete än att vara instängd i en bubbla där ingenting existerar som inte är ett uttryck för min egen vilja.
Därför måste utvecklingsarbetet förbli – inte osynligt, för vi ska samtidigt beundra dem som håller på att förbereda nya storslagna presenter åt oss, men skyddat, genom en slarvig och lagom suddig blick. Vi måste blunda med ena ögat medan det pågår. Om man blir medveten om dessa två mentala lägen – den avsiktliga blindheten under utvecklingsarbetet, som snabbt skiftar över till inställningen att varje färdig produkt liksom har uppstått genom en naturlag – har man hittat något viktigt. I växlingen mellan dem finns den hemliga spricka där den som vill bryta upp vårt omogna förhållande till teknologin kan sätta in sin kofot.
Och hur står det till med Ray Kurzweils bakomliggande drivkrafter? Han vill leva i evighet och hoppas dessutom kunna återuppliva sin döde far i form av en digital simulering.[40] Brev, foton och annat minnesmaterial ska matas in i en maskin där faderns medvetande ska återuppstå. Vid vilken ålder? Sådan han var i dödsögonblicket, eller ska han konserveras som han var vid någon viss tidpunkt mitt i livet? Kommer han att förbli sig lik om han fortsätter att påverkas av nya erfarenheter – och kan han betraktas som levande om de nya intryck han utsätts för inte förändrar honom? Så långt har Kurzweil inte tänkt, vilket antyder att det är något annat som upptar hans tankar. Han är så upptagen med att önska sig en ersättning för de förluster han lider av att han inte funderar över de faktiska konsekvenserna av sina önskningar.
Kurzweil föreställer sig att maskinernas liv kommer att bli mer perfekt än kärleken mellan två människor någonsin kan vara. »Two machines – or one million machines – can join together and then become separate again«, skriver han. »Multiple machines can do both at the same time: become one and separate simultaneously. Humans call this falling in love, but our biological ability to do this is fleeting and unreliable.«[41] Det han verkligen behöver är kanske inte fler högteknologiska leksaker utan ett par år på terapisoffan. Eller ännu hellre en dos skönlitteratur. Litteratur, humaniora och konst lär oss att ouppfyllda önskningar – människans besvikelse över att inte vara så allsmäktig att hon kan förverkliga allt som hon kan konstruera i fantasin; alternativt hennes besvikelse över att vara ensam i universum, utan den tillhörighet och bekräftelse som en allsmäktig herres konstanta uppmärksamhet skulle ge henne – inte är något farligt. Den sortens besvikelser är inga problem som kan eller ska lösas; de är en del av människans grundvillkor.
Vad är det vi får om vi blir så mäktiga som Kurzweil önskar sig? Jag kan tala om vad vi får: den ultimata filterbubblan. Jag kan inte tänka mig ett mer raffinerat helvete än att vara instängd i en bubbla där ingenting existerar som inte är ett uttryck för min egen vilja. Jag är inte säker på att jag kan förklara varför det skulle vara så fruktansvärt. Jag är däremot rätt säker på att jag inte borde behöva förklara det för någon som är äldre än tio år. Med filosofer är det förstås en annan sak.
Den fulländade makten kan mycket väl visa sig sammanfalla med den totala maktlösheten: ett tillstånd där varje tanke och viljeyttring blir meningslös.
«Tenk om man kunne unngå fysiske og mentale lidelser«, säger Ole Martin Moen.[42] »Vår sivilisasjon er en kamp mot lidelse. Likevel klarer vi ikke å se for oss hvor uendelig vakker en framtid uten lidelse vil være.« Han tillägger:
Tenk på de enorme godene som kan komme. Vi kan få fantastiske liv. Mennesker har alltid søkt ungdomskilden. Selv i Johannes åpenbaring står det: «Døden skal ikke være mer, heller ikke skrik, sorg eller smerte.» Det burde ikke være så radikalt at vi kan fremme disse godene gjennom teknologi.
En människa som för alltid var fri från smärta – hur skulle det kännas att vara en sådan varelse? Det är begripligt att människor önskar sig en tillvaro där vi är så mäktiga att vi kan befria oss själva från smärta, brist och besvikelser. Människor har alltid drömt om det. Det är meningsfullt och åtråvärt i det läge där vi befinner oss nu, men vad kommer att vara meningsfullt och åtråvärt om vi uppnår odödlighet, smärtfrihet och allsmäktighet? Jag misstänker att det som skulle hända kommer att påminna om vad Nietzsche skrev om guds död: om ni avskaffar himlen ska ni inte tro att jorden kommer att förbli likadan.
Avskaffar vi varje begränsning för vår vilja och våra önskningar ska vi inte tro att viljan och önskningarna kommer att förbli opåverkade. Vi kommer inte att förbli sådana vi är nu, med samma begär och önskningar, men oändligt lyckliga eftersom tekniken undanröjer varje besvikelse. Transhumanisterna bryr sig så mycket om vår vilja – varje gång vi vill något borde vi få exakt vad vi vill – men vår vilja är bara meningsfull i förhållande till en värld där allt inte är ordnat som vi vill. Den fulländade makten kan mycket väl visa sig sammanfalla med den totala maktlösheten: ett tillstånd där varje tanke och viljeyttring blir meningslös.
Fosterdiagnostiken kan ge oss en fingervisning om det hörn vi är på väg att måla in oss i. Avslöjar tekniken att ditt foster har Downs syndrom ställs du inför ett val: ska du låta barnet leva? Svarar du ja kan teknologin ge barnet ett längre liv än du hade haft om du hade fötts med Downs på 1800-talet. Har du ökat eller minskat lidandet i världen om du förlänger livet på ett barn med Downs syndrom? Är det överhuvudtaget möjligt för en människa att besvara den frågan?
Vad du än väljer blir det som du bestämmer, men kanske var du friare när du inte var tvungen att sitta till doms över ofödda barn.
Fosterdiagnostiken har gjort dig mäktigare, du har fått mer kunskap och fler valmöjligheter, men upplever du att din frihet har växt eller krympt? Du kan förstås tacka nej till diagnostiken, men även det är ett val av ett slag du inte var tvungen att fatta tidigare. Vad du än väljer blir det som du bestämmer, men kanske var du friare när du inte var tvungen att sitta till doms över ofödda barn. Bortom en viss gräns börjar makt förvandlas till klaustrofobi. Total makt är som att vara instängd i sagan om kung Midas: allt du rör vid förvandlas till dig själv. Om vi fortsätter att utveckla tekniken i samma riktning som nu kommer vi sannolikt uppleva att den inte befriar oss, istället ställer den oss inför allt fler omöjliga moraliska avgöranden. Vill man göra människan lycklig skulle det förmodligen vara mer ekonomiskt att lobotomera oss till belåtna grönsaker istället för att utveckla all den teknik som transhumanisterna drömmer om.
*
Medan jag smiter från arbetet med den här artikeln lyssnar jag på ett föredrag av psykologen Mihály Csíkszentmihályi. Han berättar om flow, det lustfyllt koncentrerade mentala tillstånd som han har gett namn åt. I hur stor utsträckning han har rätt kan jag inte avgöra, men efter hans föredrag framstår så mycket av den teknologi vi drömmer om att utveckla som fullständigt bisarr, eftersom den bygger på föreställningen om arbetet som något ont, och att varje maskin som underlättar vår tillvaro – det vill säga berövar oss en arbetsuppgift – är ett framsteg. Sundar Pichai, Googles vd, har sagt: »if I go and pick up my kids, it would be good for my car to be aware that my kids have entered the car and change the music to something that’s appropriate for them.«[43] Här någonstans börjar föreställningarna om vad för slags arbete som tekniken ska befria oss från bli absurda.
Csíkszentmihályi menar tvärtom att människan är skapad för aktivitet – krävande arbetsuppgifter stimulerar oss. Hur skulle ett samhälle och en teknologi byggd på hans insikter kunna se ut?
Stephen Hawking, den människa på den här planeten som förmodligen har störst erfarenhet av att leva sammansmält med avancerad teknologi, hör till dem som varnar för AI. »The development of full artificial intelligence could spell the end of the human race«, tror han.[44] Bill Joy, som grundade Sun Microsystems, hade vid millennieskiftet blivit allt mer skrämd av den framtid som han tyckte att utvecklingen inom datateknik, genteknik och nanoteknologi pekade mot. »The only realistic alternative I see is relinquishment: to limit development of the technologies that are too dangerous, by limiting our pursuit of certain kinds of knowledge«, skrev han i sitt manifest »Why the Future Doesn’t Need Us«, publicerat år 2000 och fortfarande högst läsvärt.[45]
Borde vi förbjuda forskning om AI? Nej. Man kan aldrig hindra människor från att utforska något genom att förbjuda det. Vill man få människor att sluta ägna sig åt något måste man få dem att tappa intresset för det, genom att erbj uda något som framstår som ännu mer lockande. Transhumanismen är för närvarande den enda vision som siktar mot framtiden, djärvt och ohämmat, i en tid när allt annat handlar om bitterhet, pessimism och populistisk nostalgi riktad mot ett inbillat förflutet. Dess makt bygger på att det saknas alternativ.
Vad vi framförallt behöver är ett par nya framtidsvisioner som får oss att resa oss ur passiviteten.
I Superintelligence skriver Bostrom en hel del om »recursive self-improvement« (självlärande system som stegvis förbättrar sig själva). Förhoppningarna på självlärande system är stora. Lustigt nog verkar vi samtidigt ha övergett alla förhoppningar på »recursive self-improvement« hos människor. Under 1800-talet och en bit in på 1900-talet var självförbättring ett ideal att sträva efter; det var naturligt att kräva av sig själv att man skulle utveckla sina kunskaper, sin skicklighet och sitt omdöme.[46] Idag har vi ersatt allt sådant med maffiabegreppet »stolthet«. Jag ska vara »stolt« över att jag är exakt som jag är, alla invändningar avfärdas som orättvis kritik, förolämpningar eller bristande »respekt«. Förlorar vi förtroendet för vår egen förmåga att utvecklas är det inte förvånande om några av oss börjar hoppas på maskiner.
Vi behöver en utopi som har en starkare emotionell dragningskraft än de torftiga lockelser som transhumanismen erbjuder. Den borde få konkurrens från många andra framtidsvisioner – humanistiska, konstnärliga, etiska – eller varför inte namnlösa, ännu oföreställda. Så länge valet står mellan transhumanism och ingenting kommer transhumanismen att vinna. Vad vi framförallt behöver är ett par nya framtidsvisioner som får oss att resa oss ur passiviteten. Framtiden är inte ödesbestämd och det var inte bättre förr.
Hur skulle dessa andra utopier kunna se ut? Att utveckla dem – det är den utmaning man står inför om man tycker att transhumanismen är en dålig idé.
Les også:
Audun Lindholm og Bår Stenvik: Mennesket: problem eller løsning?
[1] Citerat efter Raffi Khatchadourian, »The Doomsday Invention«, The New Yorker, 23 november 2015.
[2] Novellen publicerades första gången i tidskriften Science Fiction Quarterly, november 1956. Den kan läsas här: https://astronomy.org/moravian/C00-Last%20Question.pdf.
[3] Computronium är ett fiktivt material där materien har pressats till den största möjliga beräkningskapacitet som fysikens lagar tillåter. Begreppet används, med lite olika betydelse, av flera science fiction-författare, samt av Nick Bostrom i boken Superintelligence, Oxford University Press, 2014. i Hannu Rajaniemis romaner finns en superdator av computronium, stor som en planet.
[4] Ray Kurzweil, The Singularity is Near, Viking Penguin, 2005.
[5] I’m not making this up: The Singularity is Near, sid 303.
[6] Singularity University grundades 2008; till de företag som sponsrar tankes medjan hör Google. Cordeiro besökte stockholm 9 juni 2016.
[7] Peter Sloterdijk, Regler for menneskeparken. Et svar på Heideggers «Brev om humanismen», Lord Jim Publishing, 2016. Översättning från tyskan Sigurd Tenningen. Originalet, Regeln für den Menschenpark, publicerades av Suhrkamp 1999. Föredraget hölls ursprungligen i Basel den 15 juni 1997.
[8] Thomas Lundbo, »Individ og eksemplar«, Vagant 1/2012.
[9] Hallvard Haug, »Livet under null«, Vagant 2/2016.
[10] Audun Lindholm och Bår Stenvik, »Mennesket: problem eller løsning?«, Vagant.no, 14 maj 2012.
[11] Askild Matre Aasarød, »Maskiner i nirvana«, Morgenbladet, 27 januari 2017.
[12] Sigve Indregard, »Kan vi ikke bare skru dem av?«, Morgenbladet, 27 januari 2017.
[13] Eirik Newth, »Frykten for menneskeerstatningen«, Minerva 4/2015.
[14] Resejournalist och författare, känd för sina böcker om människans ursprung: Gryning över Kalahari (2005), Skymningssång i Kalahari (2011) och Ut ur Kalahari (2014), samtliga utgivna av Ordfront.
[15] Ole Martin Moen, »Bright New World«, Cambridge Quarterly of Healthcare Ethics, vol. 25 nr. 2, april 2016.
[16] Jon Kåre Time, »En avskyelig idé«, Morgenbladet, 22 april 2016.
[17] Lena Lindgren, »Kjøpe IQ? Ja, la oss regne på det«, Morgenbladet, 29 april 2016.
[18] Ivar Staurseth, »Transhumanismens ulykkelige biprodukt«, Minerva, 18 maj 2017.
[19] Dag Hareide, »En teknologisk himmel«, Morgenbladet, 3 februari 2017.
[20] Øystein Sivertsen Sørvig, »Jeg var abortmotstander i et år«, Minerva, 2 april 2017. Braanen Sterri om aborter av barn med fel kön: »I india blir ekstremt mange jentebarn sortert bort. Det er skadelig for samfunnet, og da bør man begrense muligheten til det. Imidlertid tror jeg ikke at vi vil få så ekstreme utslag i Norge. Da ser jeg ikke hvorfor vi skal begrense sortering på kjønn her, og det har jeg skrevet om.«
[21] Jon Kåre Time, »I logikkens vold«, Morgenbladet, 26 maj 2017.
[22] Nils August Andresen, »Bedre mennesker?«, Vårt Land, 26 april 2017.
[23] Jon Kåre Time, »En avskyelig idé«, Morgenbladet 22 april 2016.
[24] Georg Klein, Ateisten och den heliga staden, Bonniers, 1987.
[25] Megan O’Gieblyn, »Ghost in the Cloud« n+1 nr. 28, våren 2017.
[26] Citerat efter Nicholas Carr, Utopia is Creepy, W. W. Norton & Company, 2016, sid. 79. Min översättning.
[27] Evgeny Morozov, To Save Everything, Click Here, Public Affairs, 2013, sid 292.
[28] Michel Angelo Garvey, The Silent Revolution, or the Future Effects of Steam and Electricity Upon the Condition of Mankind, William and Frederick G. Cash, 1852.
[29] Jonas Söderströms bok Jävla skitsystem! (Karneval Förlag, 2015) är full av underbara skräckexempel på datasystem som stjäl tid och försvårar folks arbete.
[30] Se Bernhard Ellefsen: »Posthumanisme er eksistensialisme«, Vagant 1/2012 och Audun Lindholm och Bår Stenvik: »Mennesket: problem eller løsning?«, Vagant.no 14 maj, 2012.
[31] Nick Bostrom, Superintelligence, Oxford University Press, 2014.
[32] Elon Musk, Twitter, 3 augusti 2014.
[33] »The coming technological singularity: How to survive in the post-human era.« Föredraget ingår i nasa-rapporten Vision21: Interdisciplinary Science and Engineering in the Era of Cyberspace (1993). Rapporten kan läsas här: https://ntrs.nasa.gov/archive/nasa/casi.ntrs.nasa.gov/19940022855.pdf.
[34] Daniel Dennett, »The singularity – an urban legend?« Edge, odaterat. Kan läsas här: https://www.edge.org/response-detail/26035.
[35] Jason Tashea, »Courts are using AI to sentence criminals. That must stop now«, Wired, 17 april 2017.
[36] I december 2016 var 61,33 % av all e-post spam, enligt statista.com.
[37] Askild Matre Aasarød, »Maskiner i Nirvana«, Morgenbladet nr. 4, 2017.
[38] Rodney A. Brooks, Flesh and Machines. How Robots Will Change Us, Pantheon, 2002.
[39] Raffi Khatcha-Dourian, »The Doomsday Invention«, The New Yorker, 23 november 2015.
[40] Se till exempel Tad Friend, »Silicon Valley’s Quest to Live Forever«, The New Yorker, 3 april 2017.
[41] The Singularity is Near, sid 26.
[42] Ingrid Grønli Åm, »Ser mot framtidsmennesket«, Klassekampen, 11 maj 2017.
[43] Nicholas Carr, Utopia is Creepy, sid 181.
[44] Rory Cellan-Jones: «Stephen Hawking warns artificial intelligence could end mankind», BBC, 2 december 2014. kan läsas här: http://www.bbc.com/news/technology-30290540.
[45] Bill Joy, »Why the future doesn’t need us«, Wired, april 2000.
[46] Arbetarklassens idealism, folkbildning och självdisciplin beskrivs utförligt i Ronny Ambjörnssons Den skötsamme arbetaren, Carlsson Bokförlag, fjärde omarbetade upplagan, 2017.
