Självklart finns det saker att invända mot min text om transhumanism och artificiell intelligens (»1900-talets fattigaste utopi«, Vagant 3/2017). Pinsamt mycket, misstänker jag. Ni som har läst den – märkte ni vad som saknades?
Där förekommer till exempel inte ett enda kinesiskt namn. När framtidens historiker ser tillbaka på vår tid (låt oss hoppas att kvalificerad historieskrivning fortsätter att existera i framtiden) kanske namn som Ray Kurzweil och Nick Bostrom inte spelar någon särskilt viktig roll. Det är inte säkert att det är Kalifornien som kommer att bestämma i vilken riktning AI ska utvecklas. Kina satsar stort på AI för både militära och civila syften, med målet att bli världsledande 2030.[1]
I artikeln »Inside China’s Vast New Experiment in Social Ranking« beskriver Mara Hvistendahl vad som redan är verklighet i Kina: ett system som smälter samman kreditupplysningar, nätbetalningar, sociala nätverk och mycket mer.[2] Varje medborgare som är ansluten tilldelas en social status i form av en poängsiffra som man själv kan avläsa i en app i sin mobiltelefon. Har du betalningsanmärkningar, ägnar dig åt onyttig konsumtion, spelar för mycket dataspel eller gör något annat som algoritmerna betraktar med misstänksamhet sjunker poängen. Om dina vänner har för låg status drar det ner din egen poäng. När din status har blivit för låg kan du få nej om du vill ta ett banklån eller boka en resa. Du kan inte ens hyra en cykel utan att först krävas på en rejäl depositionsavgift, medan högstatuspersoner glider genom säkerhetskontrollens VIP-kö.[3] Från 2020 blir systemet obligatoriskt.[4] Så lätt och så logiskt blir ett worst case-scenario verklighet.
Kina satsar stort på AI för både militära och civila syften, med målet att bli världsledande 2030.
Regionen Xinjiang i nordvästra Kina har blivit ett försökslaboratorium för högteknologisk övervakning, skriver Josh Chin och Clément Bürge i Wall Street Journal.[5] Där gör regimen sitt bästa för att kväva den uighuriska folkgruppens protester med hjälp av ansiktsigenkännande övervakningskameror på gatan, på bensinstationerna och vid vägspärrar mellan städerna. Betraktas du som suspekt blir du ombedd att läsa in en text som lagras i polisens röstigenkänningssystem för mobiltelefoner. Idag Xinjiang, i morgon resten av Kina. I övermorgon du. Alla de som för fem eller tio år sedan förklarade att internet skulle få alla diktaturer att rasa samman som korthus, skulle de vilja vara så vänliga att ställa sig upp?
Det är detta vi kan behöva oroa oss för, snarare än Kurzweils visioner. De sofistikerade resonemang om hur vi ska handskas med överlägsna medvetna maskiner som Nick Bostrom ägnar sig åt i Superintelligence[6] kan mycket väl vara ett blindspår – liksom min egen artikel.
Vilka frågor ställer vi om transhumanism?
När jag skrev »1900-talets fattigaste utopi« visste jag mycket väl hur en essä om transhumanism och AI ska skrivas för att man ska framstå som en kunnig och omdömesgill skribent. Referera samma tekniska framsteg och förhoppningar som har refererats varv efter varv sedan 1990-talet, och avsluta med några storögda frågor av typen: »Kan maskiner ha känslor?« Eller: »Kommer robotarna att bestämma allt?« Frågorna är inte avsedda att besvaras. Deras funktion är enbart dekorativ. De ska visa att skribenten än så länge inte är en robot. De ska få det att se ut som om skribenten anlägger ett lagom kritiskt perspektiv, medan de i praktiken gör motsatsen: de etablerar transhumanismens problemformuleringsprivilegium. Deras syfte är att övertyga läsaren om att några alternativ inte existerar.
Jag ville ställa några andra frågor. Bland annat undrade jag varför transhumanism och AI är så emotionellt lockande. Varför lägger mängder av människor ner sina bästa ansträngningar för att förverkliga de här idéerna? Den som vill ha en annan sorts framtid måste inse att människor inte kommer att släppa transhumanismen förrän de har hittat något som lockar dem ännu starkare. Förbud eller moraliserande kommer inte att förändra något. Och om någon undrar över titeln: jag tog inte fel på århundrade. Artificiell intelligens är en gammal 1900-talsidé. Det borde vara på tiden att vi blickade framåt istället.
Innan jag övergår till att bemöta Truls Unholts artikel »Når menneske og maskin smelter sammen« (Vagant 4/2017) har Vagants läsare rätt att veta att Unholt och jag har träffats och diskuterat transhumanism och AI ett flertal gånger. Han var den förste som fick läsa min artikel innan jag skickade den till Vagants redaktion förra sommaren (då var han inte lika negativ). När man möter honom över ett par öl är han en kunnig, stimulerande och envis diskussionspartner. Jag har sett fram mot hans svar med lika mycket förväntan som oro – det går inte att förneka att det finns något lustfyllt i att bli strimlad av någon som vet mer och har tänkt längre. Det visade sig att jag oroade mig i onödan.
I min artikel lyckas Unholt inte hitta något annat än de klichéer och stelbenta dikotomier som finns i hans eget huvud. Av hans rapport från Singularity University-seminariet i New York, som jag hoppats så mycket på, fick jag bara lära mig att Kurzweil såg trött ut och att Unholt gick och tog en kopp kaffe. Jag hoppas att kaffet var till belåtenhet.
Individ, struktur och ansvar
Allt jag har försökt säga är att människan har ett ansvar för den värld hon skapar. Jag förstår inte varför den tanken är så svår för Unholt. Det är en aning frustrerande att få tanken på mänsklighetens samlade ansvar förenklad till »den altfor kjente, og til kjedsommelighet gjentatte, demoniseringen av enkeltindivider«. Eller att bli beskylld för att jag inbillar mig att »rådsnare helter« ska rädda världen. Om jag trodde det skulle jag inte ha besvärat Vagants läsare. Då hade jag gjort en Hollywoodfilm. Vissa individer har mer ansvar än andra eftersom de också har mer makt. Googles VD Larry Page har större ansvar för utvecklingen än en genomsnittlig anställd på Foxconn.
Unholt skriver: »At undertrykkelse vanligvis virker gjennom strukturelle mekanismer og at enkeltindividers eventuelle onde hensikter som regel har lite med saken å gjøre, bør være kjent for alle som har lest Michel Foucault. Men denne innsikten finner Lindgren det opportunt å ignorere.«
Jag tror inte att de visionärer och företagsledare som driver utvecklingen är onda. Däremot tror jag att de inte på mycket länge har frågat sig själva vad de verkligen vill. De kanske skulle behöva ta en paus och läsa lite Foucault. Och det där med att strukturerna är viktigare än individerna borde Unholt inte förklara för mig, utan för Tristan Harris, tidigare designetiker på Google. »What we don’t talk about is how the handful of people working at a handful of technology companies through their choices will steer what a billion people are thinking today«, sade Harris i ett uppmärksammat TED Talk.[7] »And because this is profitable, it’s only going to get worse.« Trots det tror Harris att det är möjligt att ta ansvar för utvecklingen. Han vill se »radical changes to technology and to our society«.
För den skull köper jag inte fortsättningen av hans föredrag. Harris skisserar en ny sorts sociala nätverk som ska locka oss att bjuda in ett antal vänner på middag istället för system som hetsar oss att sitta ensamma och skriva upprörda kommentarer på Facebook eller Twitter. Det låter som samma sorts subtila styrning som han nyss kritiserade så vältaligt.
Unholts artikel är mer än bara ett debattsvar på min text; den förtjänar att läsas av alla som är intresserade av ämnet. När han utvecklar sina egna resonemang om AI och transhumanism är han mycket väl påläst – mer än jag själv. Han hänvisar bland annat till Donna Haraway, Kevin Kelly och Teilhard de Chardin, samt Adorno och Horkheimer. Men av denna läsning drar han inte någon mer spännande slutsats än att allt i stort sett är okej som det är. De stora pojkar som leker med vår framtid ska få fortsätta leka. »Hvorfor er tanken på at det finnes gründere og venturekapitalister som ønsker å gjøre verden til et bedre sted så umulig for Lindgren«, undrar han. På den punkten kan Unholt vara lugn. Jag önskar de stackars venturekapitalisterna allt gott. Däremot tycker jag inte att vi ska vara naiva när de presenterar sina storslagna planer för oss. Det är jag inte ensam om. Se till exempel Evgeny Morozovs kritik av den kaliforniska vi-har-lösningen-på-allt-ideologin i boken To Save Everything, Click Here (2013).[8]
Förstå drivkrafterna bakom tekniken
Styrkan i Unholts artikel är hans förståelse för storskaliga ekonomiska och sociala processer. Att jag ändå vill invända beror på att han får ekonomin att framstå som en oberoende naturkraft som människan bara har att acceptera.
Han förklarar att vi drivs »fremover av en usynlig og ubønnhørlig dialektikk, som utvikler seg fra materielle forhold over tid og som styrer verden mot en stadig mer omfattende instrumentell fornuft, der sivilisasjoner, nasjoner og individer enten må tilpasse seg eller forsvinne ut av historien.« Och att »kreativitet og innovasjon handler om noe så prosaisk som innsikt i nødvendigheten, om å forstå dagen og fremtiden i lys av historien.« Det är formuleringar som jag tror förtjänar en översättning. Inte från norska till svenska, men från dolda och outtalade värderingar till ett öppet uttryckt budskap som är åtkomligt för en kritisk diskussion. Det som Unholt kallar »å forstå dagen og fremtiden« handlar inte om att förstå någonting alls. Det handlar bara om att försöka urskilja vad jag bör satsa på för att bli en vinnare. Det innebär att följa med strömmen utan att förstå att man själv är med och formar strömmen genom sina egna val, reaktioner och handlingar.
Några alternativ ska vi inte våga föreställa oss: »I virkeligheten finnes det kun én mulighet og det er den som blir virkeliggjort.« Har man den uppfattningen är allt man kan hoppas på att bli en av vinnarna, en av dem som före alla andra fattar hur man ska rida ovanpå det som resten av världen måste anpassa sig till, innan man blir nedtrampad av någon som förstår »dagen og fremtiden« ännu bättre, det vill säga en ny vinnare av samma sort. Kan man inte själv bli en vinnare gäller det att fort som fan identifiera vem den senaste vinnaren är, så att man kan peka på honom och förklara: Nu måste vi alla anpassa oss till vad han gör. Att det finns gott om skribenter som vill spela den rollen har de senaste tjugo årens svensk IT-debatt visat oss.
Unholt skriver med viss oro att algoritmer har börjat få inflytande över amerikanska domstolsbeslut. Varför han just i det ögonblicket inte litar på kapitalismen förstår jag inte. Man kunde ju tänka sig följande scenario. Någon startar ett företag för att sälja denna typ av programvara. Domstolarna vägrar köpa den. Företaget går i konkurs; marknaden har sagt nej till en dålig idé. Eftersom detta inte är vad som har skett är vi tillbaka i den frågo som intresserar mig: varför människor vill utveckla och betala för en teknologi som förnedrar dem. Vi måste förstå drivkrafterna bakom tekniken, de emotionella likaväl som de historiska och ekonomiska.
Vill man inte förstå vad som sker är det risk att man istället börjar mystifiera. Unholt vill »argumentere for at teknologisk utvikling på nært hold kan se ut som et tre som forgreiner seg i mange retninger, men på litt avstand viser seg å være en pil som søker sitt mål. Et slikt perspektiv innebærer at teleologien igjen bringes inn i historieforståelsen.« Teleologi är alltså okej, så länge det inte är människan som är historiens subjekt. Och vart vill teknologin komma, enligt Unholt? »Hvorvidt dette målet er menneskelig mulig å begripe eller ikke, er en annen sak.« Ach so. Denna andra sak ska vi tydligen helst inte tala om, och inte försöka förstå. Vi ska bara antyda att den finns där, lagom vördnadsfullt, som en gudabild någonstans bakom slöjan längst inne i templet, innan vi sätter punkt och övergår till att tala om något annat. När jag läser sådant hoppas jag att någon kommer att vara fräck nog att riva ner slöjan. Vi lär inte få se något som det är värt att vara rädda för.
Teknologi och framsteg
Unholt är positivt inställd till »eksponentiell teknologiutvikling«, för med dess hjälp »vil vi kunne dekke grunnleggende menneskelige behov til en stadig økende befolkning uten ytterligere risiko for klimakollaps«. På det vill jag svara: Jaså, kollapsar klimatet? Vad kan det tänkas bero på? När ordet »klimakollaps« plötsligt står där i Unholts text framstår det som ett mysterium. Råkar klimatet kollapsa på grund av en lagbunden utveckling som människor inte alls råder över, och som vissa av oss inte alls tjänar på? Det finns som bekant »kun én mulighet og det er den som blir virkeliggjort.« Eller kan klimatkollapsen möjligen bero på att folk inför ett tidigare teknologiskt skifte, övergången till kol och olja, förklarade att den som inte klarar av »å forstå dagen og fremtiden« helt enkelt »må tilpasse seg eller forsvinne ut av historien«?
Nu ska nästa teknologiska språng rädda oss från de problem som oljeteknologin försatte oss i. Det hoppas jag med; jag är inte teknikfientlig. Men teknologin lär sannolikt göra det till priset av att vi snart hamnar i en ny kris. När vi tänker så kortsiktigt kommer vi att behöva räddas igen och igen. Som Unholt skriver kommer man en dag att upptäcka att man är »låst inne i et system det har store omkostninger å komme seg ut av, og som jeg derfor bare kan forholde meg passivt til«. Ett fyllo som på vägen hem snubblar i varenda grop i gatan inger större förtroende än en mänsklighet som fortsätter att utvecklas på det här sättet.
Kriserna beror inte på att vi jämt har otur i framtidslotteriet, de är en direkt följd av kortsiktigheten.
Kriserna beror inte på att vi jämt har otur i framtidslotteriet, de är en direkt följd av kortsiktigheten. Av att vi ständigt anpassar oss och reagerar på de omständigheter vi befinner oss i eftersom vi inte vill förstå att det inte finns någon »utveckling«: det är vi som är utvecklingen. Alternativet är att våga göra bruk av den intelligens vi redan har och staka ut några människovärdiga långsiktiga mål. Vilka framtida samhällen skulle vara önskvärda? Först när vi vet det bör vi fundera över vilken teknologi vi behöver utveckla för att nå dit.
Här skulle någon kunna invända: Säg rent ut att du vill ha mer makt åt politiker och humanister, kanske rent av en global femårsplan, vilket förutsätter en global diktatur! Så långt sträcker jag mig inte, men jag skulle vilja se en bättre maktbalans mellan ingenjörer, humanister och företagsledare. Jag vill att resten av mänskligheten ska använda sitt intellekt till något bättre än att springa ett halvt steg efter ingenjörerna och anpassa sig till den situation som råkar ha blivit ett faktum.
För tydlighets skull: även om jag tjatar om ansvar tror jag inte att det är någon lätt sak att påverka historiens utveckling. När miljontals människor interagerar med varandra i komplicerade nätverk kan de långsiktiga konsekvenserna av deras handlingar bli något som ingen av dem har föreställt sig; detta är huvudbudskapet i Norbert Elias mentalitetshistoriska tvåbandsverk Sedernas historia 1939.[9]
Teknologin som verktyg
Först när du förstår att teknologin är ett verktyg – vilket slags verktyg det är, vad det kan och inte kan göra – kan du använda den som en mogen, fullvuxen människa, skrev jag. Detta föredrar Unholt att missförstå som att jag försvarar Facebook. »Med dette postulatet går han også uforvarende de digitale økosystemenes ærend«, kommenterar han, eftersom Facebook och de andra digitala ekosystemen »foretrekker å fremstå som nøytrale verktøy- og tjenesteleverandører.«
På tal om Adornos och Horkheimers Upplysningens dialektik (1947) skriver Unholt att »den instrumentelle fornuften driver utviklingen fremover mot stadig mer teknologibaserte og avanserte samfunn«. Den instrumentella rationaliteten är just ett verktyg av det slag jag talar om, liksom de överlägset intelligenta maskiner vi hoppas bygga. Så länge vi inte förstår att rationaliteten är ett verktyg, och inte förstår vår egen relation till verktyget, kommer vi att missbruka det. Istället för att ta kontroll och använda verktyget till de uppgifter det passar för föredrar vi att uppfatta verktyget som aktör medan vi reducerar oss själva till en passiv roll. En omogen relation till verktyget betyder att vi försöker ha samma relation till verktyget som till en annan människa: en mäktigare människa vars överlägsenhet vi underkastar oss. Den sortens underläge är människan bara alltför bekväm med. Felet med att behandla sina verktyg på det sättet är att inga verktyg vill någonting – inte ens någonting ont. Att upphöja ett verktyg till en makt vi måste underkasta oss är lika klokt som att släppa ratten i en ännu inte förarlös bil. Situationer där ingen styr har sin egen dynamik; i sådana fall kan vi hamna hur snett som helst. Om det slutar med att vi hamnar i diket beror det inte på att bilen är ond, utan på att vi inte har förstått våra egna verktyg.
På en punkt närmar vi oss varandra. AI-ideologin – förhoppningen att det är möjligt att konstruera medvetna maskiner – bygger på antagandet att ett intelligent medvetande kan uppstå i vilket slags materia som helst, skriver Unholt. Den förutsätter »at mennesker, i likhet med andre levende organismer, ikke er noe annet enn en form for komplekse maskiner, der bevisstheten, den subjektive opplevelsen av å være seg selv, er uavhengig av hvilket materiale den er realisert i. Det betyr i prinsippet at bevissthet like gjerne kan oppstå i en datamaskin som i en menneskelig hjerne.« Det är en viktig punkt. Jag misstänker att det är en punkt som i framtiden kommer att framstå som en av vår tids blinda fläckar, kanske rent av som den svaga punkt som får hela AI-projektet att kollapsa och ta en annan riktning.
Ända sedan Shannon och Turing har det upprepats, som om det var en självklar sanning, att allt är information. Att allt kan brytas ner till samma sorts information, som ett slags universella pengar, och att en informationsbehandlande maskin i princip kan konstrueras av vad som helst. Kisel och kolbaserade livsformer är bara två av ett möjligen oändligt antal alternativ (för att driva med den tankegången föreslog Jaron Lanier en dator gjord av fallande regndroppar[10]). Detta är emellertid inte något vi vet, detta är det ögonblick när vi börjar sväva iväg i ideologi. Det är tänkbart att ett medvetande i en människokropp kommer att skilja sig avsevärt från ett medvetande i en maskin som aldrig har gjort de erfarenheter som formar en växande människa. För att tro det behöver man inte landa i »en gammeldags dualisme, hvor kroppen er en ting og sjelen noe annet«; man kan fortfarande utgå från att människans medvetande inte är något annat än biokemi. Föreställ dig för ett ögonblick vilket slags medvetande du skulle ha om du aldrig hade sovit, ätit, lärt dig hur världen känns genom att använda dina fingrar; om du aldrig hade sprungit, ramlat omkull och slagit dig och blivit tröstad av dina föräldrar – alternativt varit rädd för dina föräldrar. Hur artspecifikt vårt medvetande är kommer vi kanske inte att förstå förrän vi möter ett medvetande av en helt annan typ. Ett sådant medvetande kan visa sig vara mycket främmande för oss, även om det har lärt sig att kommunicera på ett mänskligt språk. »Om ett lejon kunde tala«, har Wittgenstein sagt, »skulle vi inte kunna förstå det.«
Kvaliteten på våra framtidsvisioner är skamligt låg.
När folk debatterar transhumanism och artificiell intelligens brukar en hel del beteckningar och etiketter vara populära. Några passar säkert på mig, andra gör det inte, och några är för fina för mig. Istället för att invända mot vad andra har lust att kalla mig vill jag lägga till en beteckning själv: jag är framförallt en jävligt jobbig kund.
Vad man än vill frälsa mig med kommer jag att betrakta det med misstänksamhet. Jag provar naturligtvis de produkter, förhoppningar och ideologier som erbjuds, låter mig förföras av dem, använder dem, anpassar mig efter dem, men jag tänker fortsätta klaga på dem. Är det här allt? Har ni inget bättre? Måste ni välja det där uttjatade typsnittet? Och framförallt: vad förlorar jag på köpet? Det jag riskerar att förlora brydde jag mig kanske inte om för ett ögonblick sedan, men nu gör jag det, och det framstår plötsligt som viktigare än vad jag eventuellt tjänar på affären. Jag är en jobbig kund och jag vet om det. Det är inte min plikt att vara nöjd med vad som bjuds. Inte någons.
Jag är helt ointresserad av att bli en vinnare som förstår hur man ska uppträda för att inte »forsvinne ut av historien«. Vi förtjänar alla en bättre värld än den som vinnarna hoppas på. Att vara en jobbig kund kan förresten visa sig vara en evolutionärt framgångsrik strategi. I en av Stanislaw Lems filosofiska cyberfabler var det just robotkungens misstänksamhet, gnällighet och lättja som räddade honom från ett öde värre än döden.[11] Det gjorde honom irriterande svår att lura; där finns en sensmoral så god som någon.
Framtiden är öppen
Jag avslutade min förra text med att jag skulle vilja se lite konkurrens. Det vill jag fortfarande. Alternativet till transhumanismen är inte någon annan dominant ideologi utan 360 000 andra framtidsvisioner. Kvaliteten på våra framtidsvisioner är skamligt låg. Det är ett fattigdomsbevis att vår tid inte genererar fler och djärvare visioner och förhoppningar. Transhumanismen uppstår i det ögonblick man inte kan se någon väsentlig skillnad mellan att köpa evigt liv eller en ny app till sin mobiltelefon. Det är den enda utopi ett konsumtionssamhälle klarar av att föreställa sig: jag står inte ut med min konsumtion, alltså får det inte finnas några gränser för den.
Vi lever i en tid av bakåtblickande nationalism, populism, religion och annan identitetspolitik, där transhumanismen är den enda rörelse som är optimistisk nog att blicka framåt. Det gör den rätt i, men den skulle behöva konkurrens från många andra – ännu otänkta och oformulerade – visioner. Då skulle den också komma till sin rätt, som teknokratiskt salt i soppan och som irritationsobjekt för alltför självbelåtna humanister.
Vi förtjänar alla en bättre värld än den som vinnarna hoppas på.
Varje gång någon försöker uppfostra oss att tro att framtiden är såld och förpackad i förväg (ni kommer att få robotar och AI vare sig ni gillar det eller inte, så det är bäst att ni är duktiga och anpassar er till dem innan de blivit verklighet) tänker jag insistera på att framtiden fortfarande är oavgjord. Den är öppen i långt fler riktningar än vi kan urskilja. Vårt ansvar för vad vi väljer är stort – och det minskar inte för att vi vet att det aldrig kommer att bli exakt som vi väljer, hur goda intentioner vi än har, och hur mycket vi än anstränger oss.
Några egna framtidsvisioner har jag inte att erbjuda, det erkänner jag gärna, så det är fritt fram att vara en jobbig kund även i förhållande till min text. Jag önskar bara att människan kunde lägga ner lite mer tid på att utveckla sitt eget omdöme och sin egen intelligens. De två klokaste ord som har sagts är mer än år 2 400 gamla och de gäller fortfarande: gnōthi seauton. Det betyder: vad hjälper det människan vilken teknologisk makt hon än skaffar sig, om hon inte känner sig själv, sina drivkrafter, sina behov och sina önskningar? Då är hon ännu blind, ännu ett barn, oförmögen att ta ansvar.
Les også:
Truls Unholt:
Når menneske og maskin smelter sammen. Kan historien lære oss å forstå fremtidens teknologi?
Håkan Lindgren:
1900-talets fattigaste utopi. Dags att förstöra transhumanismen!
Thomas Assheuer:
Big data-diktaturet
Audun Lindholm og Bår Stenvik:
Mennesket: problem eller løsning
[1] Louise Lucas, »China seeks dominance of global AI industry«, Financial Times, 16 oktober 2017.
[2] Mara Hvistendahl, «Inside China’s Vast New Experiment in Social Ranking«, Wired, januari 2018.
[3] Se även Thomas Assheuer, »Big data-diktaturet«, översatt från tyskan av Snorre Fjeldstad, Vagant.no 8 december 2017.
[4] Robert Foyle Hunwick, «How do you control 1.4 billion people», The New Republic, 25 april 2018.
[5] Josh Chin och Clément Bürge, »Twelve Days in Xinjiang: How China’s Surveillance State Overwhelms Daily Life«, Wall Street Journal, 19 december 2017.
[6] Nick Bostrom, Superintelligence, Oxford University Press, 2014.
[7] Tristan Harris, »How a handful of tech companies control billions of minds every day«, TED Talk april 2017. Se också: https://www.ted.com/talks/tristan_harris_the_manipulative_tricks_tech_companies_use_to_capture_your_attention
[8] Evgeny Morozov, To Save Everything, Click Here, Public Affairs, 2013.
[9] Norbert Elias, Sedernas historia, översättning från tyskan Berit Skogsberg, Atlantis, 1989. Originalet, Über den Prozeß der Zivilisation, publicerades i Basel 1939 av Haus zum Falken.
[10] Jaron Lanier, ”Mindless Thought Experiments (A Critique of Machine Intelligence)”, http://www.jaronlanier.com/aichapter.html.
[11] Cyberiaden, översättning från polskan Martin von Zweigbergk, Alba, 1979. Originalet Cyberiada utkom 1964.
