Vad vill tekniken?

Utvecklas tekniken i vårt samhälle med nödvändighet mot en given slutpunkt? Det är ingen liten fråga, och de allra flesta skulle nog säga att det inte finns någon nödvändighet i teknikens utveckling – vi styr den själva, mer eller mindre. Den tidiga internetideologin hade dock starkt deterministiska drag. Denna ideologi hävdade bland annat att Internet skulle se censur som en skada på nätverket och reparera sig självt genom att hitta vägar runt censuren. Det visade sig vara en naiv hållning, och censuren breder i dag ut sig över nätet på bred front. Vi styr tekniken, den styr inte oss.

Där slutar de flesta diskussioner om teknikdeterminism, och vi landar i en position som tycks mycket öppen: tekniken blir vad vi gör av den. Vi väljer själva vilken teknik vi använder — det är upp till oss. Är det sant? Eller finns det andra former av teknikdeterminism som är svårare att avfärda?

Låt oss undersöka några variationer på det deterministiska temat. En mycket enkel sådan version säger att det inte finns någon given slutpunkt för den tekniska utvecklingen, men att denna utveckling i sig måste fortgå — det finns inget sätt att stoppa utvecklingen helt. Om ett land väljer att inte använda mobiltelefoner kommer andra att göra det, och tekniken fortsätter att utvecklas. Att Sverige valde att inte forska om kärnkraft betydde inte att käsnkraftsforskningen och den tekniska utvecklingen på området stod helt still i världen.

Denna determinism kan vi kalla momentumdeterminism för att skilja den från slutpunktsdeterminismen. Det är skillnaden mellan att säga att det ur ett ekollon måste spira ett träd och att den som vill hålla balansen på en cykel måste fortsätta att cykla.

Momentumdeterminism är intressant eftersom den tycks sakna tydlig riktning. Det kan emellertid vara en illusion. Om vi tror att den tekniska utvecklingen med nödvändighet rör sig framåt – en sorts framstegets imperativ – så uppkommer frågan om vad som avgör vilken riktning framsteget tar. Det är förstås möjligt att gå tillbaka till vår öppna hållning: det är helt och hållet upp till oss.

Samtidigt kan det inte vara det. Om vi vill ta tekniken i en viss riktning och saknar kunskap, vetenskapliga insikter och medel för att göra det kommer vi inte att kunna hindra att tekniken ändå utvecklas i en annan riktning. Eller så är det med tekniken som med evolutionen – den utvecklas inte mot något mål vi ställer upp, utan bort ifrån begränsningar och andra selektionstryck.

Momentumdeterminismen får på detta sätt också en riktning, bort från de begränsningar som finns i det tekniska utvecklingsfältet.

När vi ställer frågan om var tekniken vill så kan svaret alltså handla om en punkt tekniken strävar mot eller ett tryck den strävar från. Den första sortens determinism ter sig osannolik, men den andra är svårare att avfärda lika enkelt.

Frågan om vad tekniken vill är mindre intressant än frågan om vad den inte vill.

Om att kontrollera ny teknik

Jennifer Doudna, En av grundarna av CRISPR-tekniken skrev i går vad som borde bli en mycket uppmärksammad artikel om hur den tekniken borde reglera, och framförallt om genredigering av människor.

Doudnas artikel ur Science

Artikeln publicerades på årsdagen efter det att en kinesisk forskare avslöjat att han använt genredigering och skapat redigerade tvillingar, något som Doudna i princip anser var ett brott mot världssamfundet:

 “His risky and medically unnecessary work stunned the world and defied prior calls by my colleagues and me, and by the U.S. National Academies of Sciences and of Medicine, for an effective moratorium on human germline editing. It was a shocking reminder of the scientific and ethical challenges raised by this powerful technology. Once the details of He’s work were revealed, it became clear that although human embryo editing is relatively easy to achieve, it is difficult to do well and with responsibility for lifelong health outcomes.”

Doudna, Jennifer “CRISPRs unwanted anniversary”, Science 15 Nov 2019: Vol. 366, Issue 6467, pp. 777 DOI: 10.1126/science.aba1751

Doudnas upprördhet är lätt att förstå – vi saknar kunskap om hur tekniken kommer att påverka oss och dessutom tycks vi inte kunna förutse hur genredigeringen fungerar, så det måste kanske till mer reglering — åtminstone anser Doudna det, och pekar på mängder av pågående aktivitet:

In this vein, the World Health Organization (WHO) is pushing government regulators to engage, lead, and act. In July, WHO issued a statement requesting that regulatory agencies in all countries disallow any human germline editing experiments in the clinic and in August, announced the first steps in establishing a registry for future such studies. These directives from a global health authority now make it difficult for anyone to claim that they did not know or were somehow operating within published guidelines. On the heels of WHO, an International Commission on the Clinical Use of Human Germline Genome Editing convened its first meeting to identify the scientific, medical, and ethical requirements to consider when assessing potential clinical applications of human germline genome editing. The U.S. National Academy of Medicine, the U.S. National Academy of Sciences, and the Royal Society of the United Kingdom lead this commission, with the participation of science and medical academies from around the world. Already this week, the commission held a follow-up meeting, reflecting the urgent nature of their mission.

Ibid.

Doudnas artikel reser emellertid en mer komplex fråga – och det är en fråga om hur väl vi kan kontrollera ny teknik när den väl är uppfunnen? Särskilt teknik som inte beror av massiva investeringar eller unika råvaror (som kärntekniken som ofta kommer upp i sammanhang som dessa)?

Platon låter i en av sina dialoger Sokrates berätta myten om Thamus och Toth – som handlar precis om detta. Enligt Sokrates hade kung Thamus en utmärkt uppfinnare i Toth som kom upp med en mängd olika uppfinningar, men en sak kunde Toth inte – han kunde inte utvärdera uppfinningarnas samhälleliga konsekvenser — det var kungens privilegium.

Toth förebringade kungen alla sina uppfinningar och efter nogsamt övervägande lät kungen besluta om egyptierna skulle få ta del av uppfinningen eller ej.

Sokrates berättar att Toth en dag uppfann skrivkonsten, och förevisade just denna för kungen som förfärad förbjöd Toth att sprida skrivkonsten eftersom den skulle förslöa folk, få dem att tro att de var visa och förstöra samhället. Sokrates berättar myten för att formulera en attack på det döda, nedskrivna ordet – men i förbigående (som så ofta i Platons dialoger) får vi en annan insikt på köpet.

Vad hände med skrivkonsten? Den inte bara spreds – den exploderade och är den vår dominerande minnesteknik. Thamus omdöme tjänade inget till, och Toth må ha varit hur ansvarsfull som helst — men när uppfinningen en gång finns så letar den sig fram. Det påminner litet om det där citatet från Jurassic Park – “life finds a way” – det gäller innovationer också.

Det exempel som oftast ges på bra kontroll av teknik och forskarsamhällets ansvar är den konferens om bioteknik som hölls i Asilomar 1975. Resultatet, menar de som tycker att den konefersen var ett gott exempel på hur vi kollektivt kan agera som kung Thamus, att vi inte fick några biokatastrofer. Samtidigt säger samma forskare att det är oklart – som bäst – om den processen fortfarande kan vara värdefull.

Och tänk efter. 1975 — inget Internet, inga datorer, dyr utrustning som krävdes för att utföra experimenten — inget av det gäller idag för de teknikområden som vi oroar oss för här. Kunskapsspridningen är ögonblicklig och med dagens datorkraft kan en mängd experiment utföras av intresserade studenter.

Det finns också de som menar att Asilomar var i stort sett meningslöst, eftersom man grovt felvärderade riskerna och överdrev dem, här ur en rapport av Katja Grace:

It is widely agreed that recombinant DNA research turned out to be fairly safe.While dangerous organisms may be created and released accidentally, this is very unlikely.Intentional hazards are a different story; however, they were also not a focus of the conference. In this sense, the predictions of danger were unsuccessful. However, note that the scientists advocating caution didn’t necessarily think that the odds of recombinant DNA turning out to be dangerous were greater than 50%. Since large low-probability catastrophes can also justify action, it is not inconsistent to argue that a research program is unlikely to be harmful, but that we should nonetheless prepare for the worst. Scientists should not be penalized for advocating caution per se. If they were fairly confident that safety measures would turn out to be unnecessary, then their predictions were fairly good. Nonetheless, they were less good than the predictions of people who considered the risk even smaller.

Grace, Katja. 2015. The Asilomar Conference: A Case Study in Risk Mitigation. Published as Technical report 2015–9. Berkeley, CA: Machine Intelligence Research Institute. Last modified July 15, 2015 (notes omitted)

Grace är annars positiv — men sammanfattar:

The conference was successful in some ways, and unsuccessful in others. It did not ultimately prevent the risk, largely because recombinant DNA did not turn out to present much risk.

Ibid

Asilomar är inget universalmedel och ingen enkel lösning på frågan om hur man kan kontrollera ny teknik. Både Asilomar – kollektiva diskussioner och samförståndsförsök – och Thamus/Toth-modellen där en auktoritet tillåter eller förbjuder teknik har de facto misslyckats. Det betyder inte att det inte är värt att försöka – och kanske är det en del av insikten här, perfekt kontroll är inte möjlig, men om världssamfundet kan samla sig kring en norm så kanske missbruk av nya tekniker kan minimeras.

Kanske.

Ett annat sätt att närma sig problemet är att fråga vad som måste gälla för att vi skulle kunna kontrollera teknik – en sorts omvänd övning. Följande ser ut att vara några sådana kriterier:

  1. Användning av tekniken måste vara öppet tillgänglig för granskning. (Så att vi vet om den används eller ej)
  2. Tillgången till tekniken eller användningen av den måste vara villkorad av tillräckligt omfattande resurser för att endast ett fåtal aktörer ska komma ifråga för den (det gör gruppen som skall kontrolleras mindre).
  3. Tekniken skall helst vara svåranvänd och kräva betydande expertis. (Gör också kontrollgruppen mindre)

Såvitt jag kan se gäller inget av dessa kriterier CRISPR. Återigen – att vi kanske inte kan garantera efterlevnad av regler är inte ett avgörande skäl att inte införa regler (brottsbalkens värde är inte beroende enbart av uppklarandeprocenten – även om det nog finns en relation där). Samtidigt: borde vi inte parallellt med Doudnas uppmaning till internationell reglering börja fundera igenom hur vi bygger en beredskap för en värld i vilken tekniken använts på sätt som visar sig innebära betydande risker?

Vi kan reglera, men vi kan också förbereda oss. Båda är nog nyttiga att utforska.

P.S. Jag är teknikoptimist – jag tror att tekniken kommer att göra oss rikare, lyckligare, friskare och bättre på många sätt över tiden – men det betyder inte att jag inte också ser risker. Framsteget är aldrig riskfritt. D.S.

Vad kommer till fots men flyr till häst?

Vad är det som kommer till fots men flyr till häst? Jo – förtroende eller tillit. Tilliten är också central i informationsekonomier, eftersom de i någon mening är platta – man kan inte gå in i butik, eller skaka hand med en person och se henne i ögonen; man måste i stället lita till ett antal olika signaler eller indikatorer som på ett eller annat sätt framgår ur det gränssnitt som vi arbetar med. 1998 skrev Thomas Soltesz och jag en liten rapport om just detta. Det perspektiv vi anlade då känns främmande för mig i dag – jag tror inte längre på tillit som “en egenskap i ett system” alls, utan har alltmer kommit att tro att tillit är ett begrepp som faller sönder i en mängd olika, komplicerade frågor. Det är också värdefullt att fundera kring vad det är som kommer först – tillit eller tvivel.

Här är jag i dag mer eller mindre övertygad om att vi väldigt ofta börjar i tillit, och det är endast när tilliten sviks eller antagandet blir uppenbart orimligt, som tvivlet sätter in. Det är en trivial version av en observation som Wittgenstein gör i, om jag minns rätt, Über Gewissheit. I en kommentar som kan läsas som en kritik av Descartes kritiserar Wittgenstein föreställningen att man alls kan börja från tvivlet som utgångspunkt, att tvivlet skulle kunna vara primärt. Tvivlet är bara möjligt, menar han, förenklat, om man först tror på något. Likaså är tilliten i någon mening mänskligt primär. Vi föds tillitsfulla och det är först när tilliten går sönder som vi undersöker grunderna för den.

Det betyder nog att den mentala modell vi hade i vår rapport är bakvänd: där utgick vi från att tilliten måste etableras och vidmakthållas. Det betyder också att när vi intresserar oss för tillit så måste vi intressera oss för två olika sorters tillit – primär och sekundär tillit. Den första sorten är den oreflekterade och automatiska tillit som inte föregås av någon analys, den andra sorten är den tillit som måste återuppbyggas efter det att den raserats. Dessa två olika sociala fenomen drivs av helt olika social logik.

Den primära tilliten innehåller ingen analys eller förutsägelse, den sekundära innehåller däremot förmodligen både sannolikhetsförutsägelser och modeller av den andra partens framtid agerande. Den ena är given, den andra förvärvad. Intressant nog tror jag också att den andra sortens tillit, den som konstruerats ur ruinerna av ett svek, är mycket svår att mäta – eftersom den som svikits en gång inte gärna vill bli ertappad med att ha blivit sviken igen.

Att mäta tillit är redan svårt: redan frågan “har du förtroende för X” får alla alarmklockor att ringa i huvudet. Varför frågar de? Vad vet de som inte jag vet? Vill jag verkligen signalera med mitt svar att jag är en sådan person som litar till fenomen som X? Och – kanske viktigare – är det riktigt att ens säga att man kan lita till fenomen som X? Ta ett några enkla exempel: politiker, näringsliv och pressen.

Alla dessa tre får mycket låga förtroendesiffror i moderna undersökningar, och en hel del tyder på att dessa sjunker över tid (vi lever i en långsam och utdragen social kapitalkrasch). Därav drar många slutsatsen att vi måste återupprätta tilliten för samhällets olika institutioner. En annan möjlig slutsats är att den brist på tillit vi uppvisar faktiskt är sunt kritiskt tänkande, och att det är att föredra att leva i ett samhälle där vi inte litar på politikerna.

Det finns förstås ytterligheter, men detta resonemang leder vidare till den intressanta frågan om hur en idealisk tillitsnivå och tillitsfördelning ser ut i samhället. Hur mycket tillit vill vi att medborgarna skall känna inför politiken, pressen, näringslivet eller polisen?

Vi kan nog enas om att 100% skulle vara nästan sjukligt, och att 0% inte är särskilt hälsosamt heller. Men vad är skillnaden mellan 33 och 66%?

Här finns en levande diskussion om socialt kapital, och hur det möjliggör handel och entreprenörskap i ett samhälle. Där förtroende sjunker för lågt hämmas ekonomin av en förtroendebrist. Var denna brytpunkt ligger – och vilka andra värden än ekonomin (som frihet och demokrati) som bör faktoreras in diskuteras mer sällan. Det finns dessutom ett annat problem med just denna uppsättning modeller, och det är att de har en ganska tunn definition av begreppet “tillit”.

Tilliten i de olika åsiktsgemenskaper som idag formats på nätet är nog väldigt hög. Bland olika polariserade bloggars läsare eller i olika forum är nog primär tillit dessutom den vanligaste formen av tillit. Det betyder inte att detta sociala kapital är till nytta för samhället i stort. Organisationen av socialt kapital i olika former av nätverk har en stor betydelse för hur värdefullt det faktiskt blir – och om vi ser ökade ekonomiska eller sociala effekter i fragment av samhället, eller i hela samhället.

Tilliten kan lika gärna vara det kitt som håller samman en farlig extremistgrupp som den väv som binder ihop samhället – och även där känns det som om vi diskuterar olika typer av tillit. Begreppets grammatik breder ut sig. Mer att utforska, men här en första skiss:

Screenshot 2019-10-26 at 10.30.06

Är vi en floppydisk från kärnvapenkrig?

I avdelningen nyheter som nog var avsedda att lugna oss, men som i själva verket är fasaväckande, rapporteras nu att den amerikanska militären bestämt sig för att inte längre köra sitt kärnvapenprogram på floppydiskar. Ur artikeln:

The Pentagon is finally abandoning its archaic nuclear launch systems that still rely on 8-inch floppy disks. According to an official, the Strategic Automated Command and Control System (SACCS) will start using a “highly-secure solid state digital storage solution” instead.

Nu är det inte så enkelt att vi kan säga att militären alltid bör ha den senaste tekniken — den kan ju vara oprövad och otestad — men man bör kanske inte heller alltid vara sist på bollen. Dessutom kan vi vara säkra på att det finns massor av system i samhället – s.k. legacysystem – som i dag är så komplexa och där dokumentation saknas, att det enda alternativet faktiskt är att hoppas att den gamla tekniken fortfarande fungerar.

Detta kan ha geopolitisk betydelse ur flera olika perspektiv. För det första kan de regioner som inte har installerade legacysystem ha en naturlig fördel när det gäller teknikutvecklingen – de kan hoppa över hela generationer teknik och bygga från grunden. Det gäller delar av Östeuropa, Asien, Afrika och kan komma att bli en fördel för dessa regioner om något decennium eller så. För det andra är komplexiteten i dessa gamla system – och de nya vi bygger ovan på dem – ett av de många skälen till att våra informationssamhällen blir allt skörare. Vi oroar oss ofta för informationsoperationer och cyberattacker, men komplex systemkollaps av “naturliga orsaker” är kanske egentligen en större risk över tid. Båda förtjänar i alla fall uppmärksamhet.

Legacysystemen är också en påminnelse om en större fråga – nämligen hur teknik åldras och vad det betyder att den blir allt äldre. De olika cykler som finns på detta område är viktiga att studera. Ser vi, exempelvis, på mobiltelefoner så hinner de aldrig bli gamla – eftersom nya kommer ut som är så mycket bättre att vi genast byter ut de gamla generationerna. Denna ersättningscykel är kortare än åldrandecykeln, och det har gällt för en hel del av den informationsteknik vi arbetar med. Det kan komma att förändras i fall den tekniska utvecklingstakten saktar ned, och vi kan mycket väl komma att få den omvända makrocykeln: saker går sönder innan det finns nya saker att köpa som är materiellt bättre.

Idag ter det sig helt otroligt – och just därför är det givande att fundera litet kring hur det skulle kunna se ut. Hur ser en värld ut där din telefon nöts ut i stället för att ersättas av en snabbare och bättre version? Historiskt har detta varit regel snarare än undantag för mänskliga verktyg – en yxa på medeltiden ersattes inte för att det kom en ny och bättre yxa, utan för att den slitits ut.

Var ligger brytpunkten för en teknik, den punkt där den nöts ut istället för att ersättas av en ny och bättre version? Ett svar på den frågan är att det handlar om investeringar i forskning och utveckling. Så länge telefontillverkare säljer så bra att de kan fortsätta att investera i forskning och utveckling så kan de förhoppningsvis hålla ersättningscykeln kortare än nötningscykeln — men investeringarna i forskning och utveckling behöver inte bli noll för att nötningscykeln ska ta över. De behöver bara sjunka så mycket att forskning och utveckling inte längre förmår hålla ersättningscykeln levande. Var ligger den punkten?

Det i sin tur beror på vilken avkastning vi får på FoU-investeringar i olika områden. Låt oss pröva en kontroversiell hypotes: att avkastningen på 100 enheter investerade i FoU 2019 ger 0.9 av vad samma investeringar gav 2009. Om det stämmer måste vi investera mer för att få samma innovation. Vad skulle detta kunna bero på? Om vi antar att innovationsrummet växer med de kombinatoriska möjligheter vi har, och att sökkostnaden i innovationsrummet ökar för att detta rum expanderar (alltså: det blir längre och längre mellan de materiella innovationer som gör skillnad, litet som det blir längre mellan galaxer i ett expanderande universum) – då ser det ut som om skiftet mellan ersättningscykel och nötningscykel kan komma snabbare än man skulle tro.

Nå, detta är nog fortfarande en outlier – en svart svan – men givet vad vi har hört om hur Moores lag kanske saktar in så kan det vara intressant att fundera kring hur en värld ser ut där teknik nöts ut istället för att ersättas. En ersättningscykel som är kortare än nötningscykeln kan ju i sig vara en säkerhetsfaktor som fungerar åt båda hållen.