Dit artikel is geschreven als antwoord op de column van Floor Rusman in NRC Handelsblad van 9 april 2022.
Het mogelijk uitsterven van de mens is een lastig onderwerp. Toch schreef Floor Rusman er een belangwekkende column over (“Menselijke zelfvernietiging”, NRC Handelsblad, zaterdag 9 april). Helaas plaatst de oorlog in Oekraïne en het daaraan verbonden nucleaire gevaar dit onderwerp dan ook weer hoog op de agenda.
In haar column haalt Rusman Toby Ord aan; een leidend onderzoeker op het gebied van existentiële risico’s van de Universiteit van Oxford die recent het boek The Precipice hierover schreef. Een existentieel risico definieert hij als menselijk uitsterven, een permanente ineenstorting van onze beschaving, of een dystopie waaruit we nooit meer kunnen ontsnappen. Een kernoorlog gevolgd door een nucleaire winter zou zo’n existentieel risico kunnen zijn. Maar er zijn er meer, en Ord heeft alle kansen in getallen proberen te vatten voor de komende honderd jaar. Waar komt hij op uit?
De kans op natuurlijke existentiële gevaren, zoals asteroïden en supervulkanen, is zeer klein, en bovendien goed in te schatten. Ord maakt zich hier dan ook het minst druk over. Eén trede hoger op de existentiële risico-ladder staan bekende, en inmiddels tot op zekere hoogte ‘gemanagede’ gevaren zoals kernoorlogen en extreme klimaatverandering. Dat het klimaat verandert en verder veranderen zal, is een feit. De kans dat die verandering tot het complete uitsterven van de mensheid leidt, schat Ord met één op duizend redelijk laag in. Uiteraard betekent dit niet dat we onze inspanningen op dit gebied kunnen verlagen – ook het voorkomen van leed voor een groot deel van de mensheid en vele diersoorten verdient onze volledige inzet.
Op de hoogste trede van de existentiële dreiging plaatst Ord – en met hem inmiddels vele andere onderzoekers – echter nieuwe technologieën. Met biotechnologie, bijvoorbeeld, kunnen wetenschappers relatief eenvoudig nieuwe virussen creëren. Ja, dit is nu nog voorbehouden aan een handvol experts, maar wat als biotechnologie de komende tijd goedkoper, eenvoudiger en daardoor breder beschikbaar wordt? Het risico bestaat dat iemand ergens in de komende honderd jaar een biologische bedreiging in elkaar knutselt die ons allen de kop kan kosten.
Het existentiële risico waar Ord en vakgenoten het meest bezorgd over zijn, is dat van kunstmatige intelligentie (artificial intelligence, AI) – en dan vooral algemene kunstmatige intelligentie (artificial general intelligence, AGI). Dit is AI die op alle fronten beter presteert dan wijzelf, de mens. Dat type AI wint het met gemak van de mens tijdens een spelletje Go of schaken, maar kan óók beter AGI-onderzoek uitvoeren dan menselijke onderzoekers. Algemene intelligentie op steroïden dus. En de kans is groot dat die AGI ergens in komende eeuw gecreëerd gaat worden.
Vanaf dat moment kan er een ‘positieve feedback loop’ optreden: steeds slimmere AGI zorgt voor steeds slimmere AGI als een zichzelf voedend mechanisme. En de vrees van filosoof Ord is, dat wij – mensen – dat mechanisme vanaf dat moment niet meer kunnen controleren. En Ord staat in die vrees bepaald niet alleen; ook collega-filosoof Nick Bostrom, AI wetenschappers als Stuart Russell en Peter Norvig en ondernemers als Elon Musk en Bill Gates waarschuwen voor deze ontwikkeling. Simpel gesteld zeggen zij dat er kunstmatige intelligentie in de maak is, die slimmer zal zijn dan de slimste mens.
Hoe bieden we al deze existentiële dreigingen het hoofd? Floor Rusman en Andrew Leigh wijzen op het verdedigen van de democratie als waarborg. Dat is natuurlijk belangrijk, maar gaat het existentiële risico’s oplossen? Leigh heeft een punt als hij zegt dat populisten niet de neiging hebben om lange termijn-problemen op te lossen. Maar heeft het politieke midden dan wel een plan om existentiële gevaren – misschien wel de grootste issues van de 21e eeuw – effectief te lijf te gaan? Daar valt nog een wereld te winnen. Nederlandse politieke partijen moeten zo’n plan dus hoognodig ontwikkelen.
En ook de regering heeft werk te doen. Existentiële risico’s moeten om te beginnen worden toegevoegd aan de Geïntegreerde Risicoanalyse Nationale Veiligheid. Dit is een bescheiden maatregel, maar wel een prima eerste stap, want het identificeren van risico’s is belangrijk voor voorbereiding, planning en het maken van een strategie. Ten tweede moet de regering een directeur-generaal voor existentiële risico’s aanstellen op het Ministerie van Binnenlandse Zaken en Koninkrijksrelaties. Ten derde moet er een Planbureau voor Existentiële Risico’s opgericht worden. Dit onderzoeksinstituut moet in de gaten houden hoe groot de risico’s zijn, en concrete voorstellen doen voor risicoreductie. En als laatste, en misschien wel belangrijkste, moeten regering en parlement over het uitsterven van de mens gaan praten. Wat Floor Rusman kan, moeten politici ook durven. Want ook de communicerende rol van zowel parlement als regering zal cruciaal zijn bij het uiteindelijk verminderen van existentiële bedreigingen.
De oorlog in Oekraïne maakt helaas pijnlijk duidelijk dat menselijk uitsterven een reële optie is. Het valt te hopen dat deze realisatie ons niet verlamt, maar juist inspireert om dit probleem op een rationele manier aan te gaan pakken.
Otto Barten is directeur van het Existential Risk Observatory
Kritika Maheshwari promoveert aan de Rijksuniversiteit Groningen op de ethiek van risico’s
