Om att kontrollera ny teknik

Jennifer Doudna, En av grundarna av CRISPR-tekniken skrev i går vad som borde bli en mycket uppmärksammad artikel om hur den tekniken borde reglera, och framförallt om genredigering av människor.

Doudnas artikel ur Science

Artikeln publicerades på årsdagen efter det att en kinesisk forskare avslöjat att han använt genredigering och skapat redigerade tvillingar, något som Doudna i princip anser var ett brott mot världssamfundet:

 “His risky and medically unnecessary work stunned the world and defied prior calls by my colleagues and me, and by the U.S. National Academies of Sciences and of Medicine, for an effective moratorium on human germline editing. It was a shocking reminder of the scientific and ethical challenges raised by this powerful technology. Once the details of He’s work were revealed, it became clear that although human embryo editing is relatively easy to achieve, it is difficult to do well and with responsibility for lifelong health outcomes.”

Doudna, Jennifer “CRISPRs unwanted anniversary”, Science 15 Nov 2019: Vol. 366, Issue 6467, pp. 777 DOI: 10.1126/science.aba1751

Doudnas upprördhet är lätt att förstå – vi saknar kunskap om hur tekniken kommer att påverka oss och dessutom tycks vi inte kunna förutse hur genredigeringen fungerar, så det måste kanske till mer reglering — åtminstone anser Doudna det, och pekar på mängder av pågående aktivitet:

In this vein, the World Health Organization (WHO) is pushing government regulators to engage, lead, and act. In July, WHO issued a statement requesting that regulatory agencies in all countries disallow any human germline editing experiments in the clinic and in August, announced the first steps in establishing a registry for future such studies. These directives from a global health authority now make it difficult for anyone to claim that they did not know or were somehow operating within published guidelines. On the heels of WHO, an International Commission on the Clinical Use of Human Germline Genome Editing convened its first meeting to identify the scientific, medical, and ethical requirements to consider when assessing potential clinical applications of human germline genome editing. The U.S. National Academy of Medicine, the U.S. National Academy of Sciences, and the Royal Society of the United Kingdom lead this commission, with the participation of science and medical academies from around the world. Already this week, the commission held a follow-up meeting, reflecting the urgent nature of their mission.

Ibid.

Doudnas artikel reser emellertid en mer komplex fråga – och det är en fråga om hur väl vi kan kontrollera ny teknik när den väl är uppfunnen? Särskilt teknik som inte beror av massiva investeringar eller unika råvaror (som kärntekniken som ofta kommer upp i sammanhang som dessa)?

Platon låter i en av sina dialoger Sokrates berätta myten om Thamus och Toth – som handlar precis om detta. Enligt Sokrates hade kung Thamus en utmärkt uppfinnare i Toth som kom upp med en mängd olika uppfinningar, men en sak kunde Toth inte – han kunde inte utvärdera uppfinningarnas samhälleliga konsekvenser — det var kungens privilegium.

Toth förebringade kungen alla sina uppfinningar och efter nogsamt övervägande lät kungen besluta om egyptierna skulle få ta del av uppfinningen eller ej.

Sokrates berättar att Toth en dag uppfann skrivkonsten, och förevisade just denna för kungen som förfärad förbjöd Toth att sprida skrivkonsten eftersom den skulle förslöa folk, få dem att tro att de var visa och förstöra samhället. Sokrates berättar myten för att formulera en attack på det döda, nedskrivna ordet – men i förbigående (som så ofta i Platons dialoger) får vi en annan insikt på köpet.

Vad hände med skrivkonsten? Den inte bara spreds – den exploderade och är den vår dominerande minnesteknik. Thamus omdöme tjänade inget till, och Toth må ha varit hur ansvarsfull som helst — men när uppfinningen en gång finns så letar den sig fram. Det påminner litet om det där citatet från Jurassic Park – “life finds a way” – det gäller innovationer också.

Det exempel som oftast ges på bra kontroll av teknik och forskarsamhällets ansvar är den konferens om bioteknik som hölls i Asilomar 1975. Resultatet, menar de som tycker att den konefersen var ett gott exempel på hur vi kollektivt kan agera som kung Thamus, att vi inte fick några biokatastrofer. Samtidigt säger samma forskare att det är oklart – som bäst – om den processen fortfarande kan vara värdefull.

Och tänk efter. 1975 — inget Internet, inga datorer, dyr utrustning som krävdes för att utföra experimenten — inget av det gäller idag för de teknikområden som vi oroar oss för här. Kunskapsspridningen är ögonblicklig och med dagens datorkraft kan en mängd experiment utföras av intresserade studenter.

Det finns också de som menar att Asilomar var i stort sett meningslöst, eftersom man grovt felvärderade riskerna och överdrev dem, här ur en rapport av Katja Grace:

It is widely agreed that recombinant DNA research turned out to be fairly safe.While dangerous organisms may be created and released accidentally, this is very unlikely.Intentional hazards are a different story; however, they were also not a focus of the conference. In this sense, the predictions of danger were unsuccessful. However, note that the scientists advocating caution didn’t necessarily think that the odds of recombinant DNA turning out to be dangerous were greater than 50%. Since large low-probability catastrophes can also justify action, it is not inconsistent to argue that a research program is unlikely to be harmful, but that we should nonetheless prepare for the worst. Scientists should not be penalized for advocating caution per se. If they were fairly confident that safety measures would turn out to be unnecessary, then their predictions were fairly good. Nonetheless, they were less good than the predictions of people who considered the risk even smaller.

Grace, Katja. 2015. The Asilomar Conference: A Case Study in Risk Mitigation. Published as Technical report 2015–9. Berkeley, CA: Machine Intelligence Research Institute. Last modified July 15, 2015 (notes omitted)

Grace är annars positiv — men sammanfattar:

The conference was successful in some ways, and unsuccessful in others. It did not ultimately prevent the risk, largely because recombinant DNA did not turn out to present much risk.

Ibid

Asilomar är inget universalmedel och ingen enkel lösning på frågan om hur man kan kontrollera ny teknik. Både Asilomar – kollektiva diskussioner och samförståndsförsök – och Thamus/Toth-modellen där en auktoritet tillåter eller förbjuder teknik har de facto misslyckats. Det betyder inte att det inte är värt att försöka – och kanske är det en del av insikten här, perfekt kontroll är inte möjlig, men om världssamfundet kan samla sig kring en norm så kanske missbruk av nya tekniker kan minimeras.

Kanske.

Ett annat sätt att närma sig problemet är att fråga vad som måste gälla för att vi skulle kunna kontrollera teknik – en sorts omvänd övning. Följande ser ut att vara några sådana kriterier:

  1. Användning av tekniken måste vara öppet tillgänglig för granskning. (Så att vi vet om den används eller ej)
  2. Tillgången till tekniken eller användningen av den måste vara villkorad av tillräckligt omfattande resurser för att endast ett fåtal aktörer ska komma ifråga för den (det gör gruppen som skall kontrolleras mindre).
  3. Tekniken skall helst vara svåranvänd och kräva betydande expertis. (Gör också kontrollgruppen mindre)

Såvitt jag kan se gäller inget av dessa kriterier CRISPR. Återigen – att vi kanske inte kan garantera efterlevnad av regler är inte ett avgörande skäl att inte införa regler (brottsbalkens värde är inte beroende enbart av uppklarandeprocenten – även om det nog finns en relation där). Samtidigt: borde vi inte parallellt med Doudnas uppmaning till internationell reglering börja fundera igenom hur vi bygger en beredskap för en värld i vilken tekniken använts på sätt som visar sig innebära betydande risker?

Vi kan reglera, men vi kan också förbereda oss. Båda är nog nyttiga att utforska.

P.S. Jag är teknikoptimist – jag tror att tekniken kommer att göra oss rikare, lyckligare, friskare och bättre på många sätt över tiden – men det betyder inte att jag inte också ser risker. Framsteget är aldrig riskfritt. D.S.

Att tänka tillsammans om risk – en liten workshop för riskanalys

All organisationer gör klokt i att tänka igenom de risker de står inför – och verkligen försöka förstå hur de kan angripa dem. Det finns en mängd olika tekniker för detta, men i mitt nya jobba har jag hittat ett minimalistiskt format som jag gillar att arbeta med och som säkert kan utvecklas gemensamt, och där andra säkert har idéer och tankar om hur det kan förbättras, så jag tänkte summera formatet här om någon är intresserad och efterlysa idéer om förbättringar.

Den här workshopen tar inte mer än 3 timmar och man bör inte vara fler än 10 personer, åtminstone inte om man vill ha en ordentlig diskussion. Formatet är avskalat och enkelt – eftersom syftet är att fokusera på en första diskussion om risk ur ett strukturerat perspektiv.

När jag satte mig ned och skulle skriva ned workshopen slog det mig att det inte finns någon given notation för hur man sprider workshops eller gruppövningar – och att detta onekligen är en brist — en enkel notation gör det möjligt att konstruera och diskutera workshops på olika sätt. I det följande kommer jag att använda följande notation – och vidare fundera på hur man kan bygga ut den.

M – moderatorledd del av workshopen.
IG – individuellt arbete för hela gruppen, exvis skriva ned något på en post-it notis.
G – gemensamt arbete (som diskussion) för hela gruppen.
Post – efter workshopen
Pre – före workshopen

Dessutom kommer jag att beskriva workshopen som en serie numrerade steg, men utan tidsangivelser – eftersom jag tror att tiden kan variera med ämnet och gruppen.

  1. Pre: ett introduktionsbrev till alla deltagare som introducerar syftet med workshopen – att bättre kartlägga de olika risker som företaget står inför och förstå dem i flera dimensioner. Be alla fundera på tre-fyra risker som de kan ta med sig men inte prata med någon annan (undvik konsensus så länge det överhuvudtaget går).
  2. M: Introduktion till workshopen, översiktlig tidsplan (varierar per grupp) och gemensam introduktion av deltagarna i kort format. De frågor som brukar fungera är vad heter du, vad gör du och vad vill du ha ut av workshopen. De är triviala, men matnyttiga.
  3. M: “Det första vi skall göra är att samla in de olika risker som ni har funderat på. Framför er har ni material att skriva på och jag vill att nu tar er tid och skriver ned så många risker ni kan och sedan sätter upp dem på väggen/tavlan här.” Här kan moderatorn också – om gruppen är litet mer insatt – påminna alla om skillnaden mellan en bred riskgrupp och en individuell risk – skillnaden mellan “ekonomin” och “sjunkande kundunderlag för produktgrupp B”. En riskgrupp är bred och kan inte sannolikhetsbedömas särskilt väl, en individuell risk kan ofta prissättas till både inverkan och sannolikhet. Det är vanligt att få breda riskgrupper i workshops med deltagare som inte är inblandad i riskarbete – och det går också att arbeta med, men det bästa är om deltagarna kan formulera risker som är mer högupplösta.
  4. IG: Alla arbetar igenom sina risker och sätter upp dem på tavlan utan någon särskild ordning.
  5. M: ”Nu skall vi organisera riskerna i olika steg för att se hur de ser ut. För det första kommer vi att organisera dem i stora grupper för att se att vi har täckt alla olika typer av risker som organisationen står inför: vi kommer att grupper riskerna i politiska, ekonomiska, sociala, tekniska, rättsliga och miljömässiga”. Moderatorn skriver upp dessa områden på tavlan – helst en stor whiteboard – och sedan börjar sorteringen. (Tillval: moderatorn kan också lägga till rader med 6 12 18 36 månader och sortera riskerna efter vilken tidshorisont de existerar på. Resultatet blir vanligtvis att gruppen är närsynt och tittar på närtida risker. En mer erfaren grupp kan ha mycket utbyte av att diskutera vilka risker som ligger på 36-48 månaders sikt.) Screenshot 2019-10-30 at 11.03.24
  6. G: Moderatorn läser upp en risk och gruppen bestämmer var den bör hamna. Risker som är snarlika summeras till en risk. Steget är klart när alla risker är sorterade.
  7. M: Går igenom de olika kategorierna och ser om det finns risker listade i alla olika områden. Om det inte gör det leder moderatorn en diskussion med gruppen om varför det saknas tydliga risker inom vissa områden – är det rimligt?
  8. M: “I nästa steg ska vi bedöma riskerna i två dimensioner – vilken inverkan de skulle ha på organisationen om de realiserades och vilken sannolikhet vi bedömer att det är att riskerna realiseras. Resultat kommer att bli en enkel fyrfältare som ser ut såhär:“
  9. Screenshot 2019-10-30 at 10.59.29
  10. G: Moderatorn sorterar riskerna efter gruppens indikationer. Dokumentera med ett foto eller liknande. Uppmuntra oenighet – och lista de största oenigheterna tydligt på tavlan. Om gruppen är konsensussökande kan en person utses till “Herr/Fru Oenig”, som utmanar sorteringen.
  11. M: “De risker som vi kommer att fokusera på nu är de risker som är sannolika och dessutom har en stor inverkan på organisationen – de i övre högra hörnet. Men innan vi börjar diskutera riskerna ska vi ordna dem i två andra dimensioner: insats och utväxling. Vad jag vill att ni gör här är att ni funderar på hur mycket arbete som behövs för att möta de olika riskerna och hur stor inverkan ni kan ha, med ert arbete, på riskerna – i någon av de två tidigare dimensionerna. Kan ni göra risken mindre sannolik eller mindre skadlig? Hur mycket arbete skulle krävas? Resultat kommer att bli en fyrfältare som ser ut såhär.”Screenshot 2019-10-30 at 11.01.07
  12. G: Moderatorn sorterar riskerna efter gruppens indikationer. Dokumentera med ett foto.
  13. M: “Nu är det dags att börja skissa på en åtgärdsplan. Här är några regler: de risker som ligger i den övre vänstra kvadranten är “no brainers” – med liten insats kan ni få stor utväxling på arbetet för att reducera en större risk. Börja med dessa risker, och beskriv hur de kan åtgärdas i bägge de dimensioner vi diskuterat: sannolikhet och skadlighet. De som finns i övre högra hörnet är “heroiska” – och det kan vara värt att även ta sig an någon enskild av dessa – men med tanke på att alla organisationer har begränsade resurser bör det först ske när de “no brainers” ni identifierat är hanterade. Under alla omständigheter bör ni undvika de risker som ligger i under högra hörnet – era “Sisyfosuppgifter”: där ger enorma insatser knappt någon utväxling alls. De risker som ligger i undre vänstra hörnet är de risker som ni får betrakta som en del av er verksamhetsmiljö – ni kan inte påverka dem, utan får leva med dem.”
  14. G: uppbruten i mindre grupper. Arbeta på en risk och producera en plan för att flytta risken i en eller båda av de dimensioner som först identifierades – sannolikhet och skadlighet.Screenshot 2019-10-30 at 11.06.50
  15. G: presentera preliminära tankar kring hur risken de valt kan hanteras.
  16. M: Summera och tacka.
  17. Post: dokumentera workshopen noga, med alla olika element och grafiska diagram.
  18. Post: Sätt ett datum för uppföljning och check-in. Vid en check-in skall åtminstone följande frågor behandlas: är riskerna desamma eller har några tillkommit/fallit bort? Har någon av riskerna framgångsrikt hanterats i någon av de två dimensionerna sannolikhet / skadlighet?. (Tillval: en uppföljningsworkshop som diskuterar de riskera som har extremt låg sannolikhet men extremt hög inverkan – svarta svanar).

Fini. Ett mycket enkelt, snabbt format för en första diskussion och därefter kan man välja att gå vidare med mycket mer avancerade frågor (som att prissätta risker i olika intervall mm). Nå — detta kan utvecklas på massor av sätt, men det är en liten början. Alla åsikter välkomna!