Unaligned AI

Toekomstige kunstmatige intelligentie (AI) met doelen die mogelijk anders zijn dan de onze

Antropogene pandemieën

Genetisch gemodificeerde pandemieën die tot uitsterven leiden

Klimaatverandering

Extreme klimaatveranderingsscenario’s die volledig uitsterven veroorzaken

Kernoorlog

Extreme kernoorlog die volledig uitsterven veroorzaakt

Natuurlijke risico’s

Natuurlijke uitstervingsrisico’s zoals supervulkanen en asteroïden

Overige risico’s

Andere uitstervingsrisico’s, zoals nanotechnologie of andere technologieën die nog moeten worden uitgevonden

 

De geschatte kans dat deze risico’s optreden in de komende honderd jaar wordt hieronder weergegeven.
 
We zien dat:
  • Deze existentiële risico’s onaanvaardbaar hoog zijn.
  • Door de mens veroorzaakte uitstervingsrisico’s, zoals niet-afgestemde AI en door de mens veroorzaakte pandemieën, veel riskanter zijn dan natuurlijke. Deze risico’s zijn in principe te voorkomen.

Wat is een existentieel risico?

Er zijn veel definities van existentieel risico, variërend van de eenvoudige definitie van ‘het risico van uitsterven van de mens’ tot de meer filosofisch technische ‘het risico van een drastisch verlies van de verwachte waarde’.

Een van de meest populaire definities wordt door filosoof Toby Ord gegeven als: Een existentieel risico is een risico dat de vernietiging van het langetermijnpotentieel van de mensheid bedreigt. Door het gebruik van deze definitie omvat Ord risico’s van uitsterven van de mens, evenals onherstelbare ineenstorting van de beschaving, of vast komen te zitten in een permanente staat van extreem lijden.

Hoewel er enige variatie tussen definities zal zijn, heeft veel van het onderzoek naar existentiële risico’s betrekking op scenario’s die voor de meeste, zo niet alle definities gelden 1. Een nauw verwant begrip is dat van een existentiële catastrofe, gedefinieerd als een bepaalde gebeurtenis die het optreden van een existentieel risico veroorzaakt (hoe dit ook is gedefinieerd).

Als gevolg van de positie van existentieel risicoonderzoek als een relatief jong onderzoeksgebied, evenals het inherente speculatieve karakter ervan, is er slechts een klein aantal kwalitatieve schattingen gemaakt van de totale hoeveelheid risico waarmee de mensheid wordt geconfronteerd. In zijn boek The Precipice: Existential Risk and the Future of Humanity schat Toby Ord, een professor aan de Universiteit van Oxford, het totale risico van een existentiële catastrofe in de komende 100 jaar op ongeveer 1 op 6 2.

 

Er is nog steeds grote onenigheid over de hoeveelheid risico waarmee we worden geconfronteerd binnen de academische gemeenschap, met schattingen variërend van minder dan 5% kans dat de mensheid zal ophouden te bestaan ​​vóór het jaar 5100 CE 3, tot een kans van 50% dat we het einde van de huidige eeuw niet zullen overleven 4. Velen zien deze onzekerheid echter als een dwingende reden op zich waarom onderzoek naar existentiële risico’s belangrijk is. Ongeacht de werkelijke waarde van het risico dat we lopen, willen we graag weten of we veilig zijn, of zo niet, hoeveel gevaar we lopen.

 

Wat kan een existentiële catastrofe veroorzaken?

AI

Een van de meer onzekere bronnen van existentieel risico is dat van niet-afgestemde kunstmatige intelligentie (AI). Maar ondanks deze onzekerheid voorspellen veel onderzoekers dat het een van de meest prominente bronnen van risico is 5.

 

Er zijn veel soorten hypothetische AI-systemen die worden beschouwd in relatie tot existentiële risico’s, waaronder: Artificial General Intelligence (AGI), een AI-systeem dat bekwaam is in alle aspecten van menselijke intelligentie; Human-Level Artificial Intelligence (HLAI), een AI die op zijn minst menselijke capaciteiten kan evenaren in alle aspecten van intelligentie; en Artificial Superintelligence (ASI), een AI-systeem dat veel meer in staat is dan mensen op alle gebieden van intelligentie 6. Dit in tegenstelling tot hedendaagse AI-systemen (soms ook wel ‘smalle AI’ genoemd) die doorgaans maar goed kunnen presteren op een enkele cognitieve taak.

 

Een van de belangrijkste problemen waarmee we worden geconfronteerd met meer geavanceerde AI-systemen is dat van het ‘afstemmingsprobleem’, dat wil zeggen, hoe kunnen we ervoor zorgen dat het waarden heeft die overeenkomen met die van ons, zodat het geen acties onderneemt met gevolgen die mensen zouden vinden ongunstig. Een ander vraagstuk is dat van het ‘controleprobleem’; ervan uitgaande dat ASI mogelijk is, hoe kunnen we garanderen dat we er de controle over kunnen houden, gezien de veel grotere intelligentie dan de onze. Het is gemakkelijk in te zien hoe het niet oplossen van een van deze twee voorbeeldproblemen een existentieel risico kan vormen.

 

Nucleair

Een van de eerste kunstmatige bronnen voor existentiële risico’s die werden overwogen, was die van een nucleaire oorlog, waarbij vooraanstaande academici, waaronder Albert Einstein, al in de jaren vijftig hun zorgen uitten 7.

Een manier waarop nucleaire strijd een existentieel risico zou kunnen vormen, is door een nucleaire winter die het gevolg is. Er wordt voorspeld dat rook veroorzaakt door grootschalige nucleaire aanvallen naar de bovenste atmosfeer zou worden getild, waar het te hoog zou zijn om te worden ‘verregend’. Deze rook zou grote delen van het aardoppervlak omcirkelen, zonlicht blokkeren en daardoor in sommige regio’s een temperatuurdaling tot -30°c veroorzaken. Dit kan de landbouwproductie drastisch verminderen en leiden tot wijdverbreide hongersnood. Veel van het bestaande onderzoek naar nucleaire winter is uitgevoerd door Alan Robock en zijn team, die een handvol rapporten hebben opgesteld waarin de mogelijkheid wordt beoordeeld door gebruik te maken van computationele klimaatmodellen. Ondanks een duidelijk gebrek aan historische voorbeelden (gelukkig!), lijkt dit scenario aannemelijk vanwege observaties van de vulkaanuitbarsting van de berg Tambora in 1815. De vulkanische materie die door deze uitbarsting wordt uitgestoten, is in verband gebracht met een temperatuurdaling van maximaal 1°c de volgende zomer, resulterend in grote voedseltekorten 8.

Hoewel de kans op een nucleair conflict momenteel laag lijkt, moet worden opgemerkt dat bijna 2.000 van de kernwapens van de VS en Rusland tot op de dag van vandaag op ‘hair-trigger’ alert blijven, voorbereid voor onmiddellijke lancering, 9. Dit laat de deur open voor rampzalige onbedoelde lanceringen van beide kanten. Er is geen tekort aan gedocumenteerde historische gevallen waarin we angstaanjagend dicht bij een nucleair conflict lijken te zijn gekomen 10.

Pandemieën

In de afgelopen 18 maanden hebben we gezien dat onze wereldwijde beschaving vatbaar is voor dodelijke pandemieën. Ondanks dat er momenteel aanwijzingen zijn dat SARS-CoV-2 een natuurlijk voorkomende ziekteverwekker is, is de omvang en snelheid van de verspreiding ervan door de menselijke bevolking zeker geholpen door kenmerken van de menselijke beschaving, zoals frequente reizen over de hele wereld en het bestaan ​​van dichtbevolkte stedelijke centra.

Mogelijke toekomstige pandemieën kunnen nog nauwer worden gekoppeld aan menselijk handelen. Er is een groeiende bezorgdheid dat het vergroten van de toegankelijkheid van de technieken van de moderne biotechnologie kwaadwillende actoren in staat zou kunnen stellen om gemanipuleerde pandemieën te ontwerpen, te synthetiseren en vrij te geven die veel dodelijker zouden kunnen zijn dan COVID.

Zelfs zonder kwaadwillende actoren, zijn er ook prominente stemmen die beweren dat de huidige bioveiligheidsnormen in onderzoeksfaciliteiten ontoereikend zijn en mogelijk kunnen bijdragen aan het per ongeluk vrijkomen van een dodelijke ziekteverwekker die werd onderzocht voor gunstige doeleinden.

Over het algemeen heeft de Covid-19-pandemie duidelijk gemaakt hoe slecht voorbereid de wereldwijde instellingen zijn om te reageren op een gebeurtenis van deze omvang, pandemie of anderszins. Er is nog veel werk aan de winkel om de kans op een nieuwe, meer dodelijke pandemie te verkleinen en om onze weerbaarheid tegen pandemieën te vergroten voor het geval er zich een zou voordoen.

Klimaatverandering

Het is al duidelijk geworden dat klimaatverandering de komende decennia een van de grootste uitdagingen zal zijn waar de mensheid voor staat. Hoewel de Overeenkomst van Parijs tot doel heeft de gemiddelde temperatuur op aarde te beperken tot minder dan 1,5°C boven het pre-industriële niveau, zouden dergelijke niveaus van opwarming de kans op catastrofale weersomstandigheden aanzienlijk vergroten. Veel van het werk dat gericht is op het beoordelen van de resultaten van opwarming boven dit niveau is zeer speculatief, maar er bestaat bezorgdheid over het risico van een op hol geslagen broeikaseffect. Dit is de theorie dat, als gevolg van een aantal mechanismen, zodra een bepaald niveau van opwarming heeft plaatsgevonden, zich een positieve feedbacklus zal vormen wanneer de resultaten van warmere mondiale temperaturen verdere opwarming veroorzaken, onafhankelijk van menselijk handelen. Als deze cyclus niet onder controle wordt gebracht, kan dit ertoe leiden dat de aarde onbewoonbaar wordt voor complexe levensvormen, waaronder de mens.

Deze mogelijkheid draagt ​​bij aan het reeds sterke argument om onze koolstofemissies te beperken om de wereldwijde gemiddelde temperaturen op een duurzaam niveau te houden.

Natuurlijke Risicos

Hoewel het grootste deel van de discussie over existentiële risico’s antropogene risico’s betreft (die voortvloeien uit of aanzienlijk worden vergroot door menselijke activiteiten), is er ook een aantal risico’s van natuurlijke bronnen.

Twee van de meest prominente natuurlijke risico’s zijn die van supervulkaanuitbarstingen en inslagen van asteroïden of kometen. Voor beide rampen, evenals voor een nucleair conflict, komt het belangrijkste existentiële gevaar voort uit een intense periode van wereldwijde klimaatafkoeling, veroorzaakt door het vrijkomen van rook en stof in de bovenste atmosfeer, waardoor veel van het zonlicht wordt geblokkeerd dat normaal gesproken op de aarde zou vallen. oppervlakte.

Het analyseren van natuurlijke risico’s vormt een minder methodologische uitdaging dan antropogene risico’s vanwege de (zij het schaarse) historische gegevens van dergelijke gebeurtenissen. Het staat vast dat de meest waarschijnlijke oorzaak voor het uitsterven van het Krijt-Paleogeen dat 66 miljoen jaar geleden plaatsvond en het uitsterven van de niet-aviaire dinosaurussen veroorzaakte, de impact was van een komeet of asteroïde met een diameter tot 15 km op de Yucatán schiereiland in het huidige Mexico. Er zijn ook aanwijzingen dat de uitbarsting van de berg Toba 74.000 jaar geleden een wereldwijde afkoeling van meerdere graden gedurende meerdere jaren veroorzaakte 11.

Volgens de huidige schattingen wordt het totale existentiële risico van natuurlijke bronnen sterk overschaduwd door dat van antropogene bronnen.

Andere & Onbekende Risicos

De bovenstaande lijst is geenszins een volledig overzicht van alle mogelijke bronnen van existentiële risico’s. Andere mogelijke bronnen zijn speculatieve toekomstige technologieën zoals nanotechnologie, dat wil zeggen engineering op atomaire of moleculaire schaal. Ontwikkelingen in nanotechnologie kunnen leiden tot nieuwe synthetische materialen met ongelooflijke fysieke eigenschappen, of zelfvoorzienende nanorobots die werken op de schaal van nanometers met het potentieel om een ​​revolutie teweeg te brengen in huidige wetenschappelijke gebieden zoals moleculaire geneeskunde.

Bovendien kunnen we onderhevig zijn aan risico’s waarvan we ons momenteel niet bewust zijn. Er kunnen hele wetenschappelijke domeinen zijn die nog moeten ontstaan, samen met hun eigen risico’s, waarvan we ons momenteel niet bewust zijn. Of als alternatief kunnen belangrijke wetenschappelijke ontdekkingen die de deur openen naar onbegrijpelijk krachtige nieuwe technologieën om de hoek liggen. Ten slotte kunnen er mogelijke, maar ongekende natuurlijke fenomenen zijn die we nog niet hebben overwogen vanwege gebrek aan bewijs.

Hoe we ons het beste kunnen voorbereiden op en reageren op dit soort risico’s waarvan we op dit moment geen kennis hebben, is een belangrijke uitdaging die we het hoofd moeten bieden.

Risicofactoren

Naast de primaire bronnen zijn er andere manieren om existentiële risico’s te conceptualiseren, onder meer door rekening te houden met risicofactoren. Risicofactoren zijn situaties, standen of gebeurtenissen die, hoewel ze op zich niet noodzakelijk een existentieel risico vormen, de kans op een ander existentieel risico kunnen vergroten. Vergelijk bijvoorbeeld de relatieve waarschijnlijkheid van een existentiële catastrofe door nucleair conflict tijdens een periode van oorlog tussen twee (of meer) nucleaire staten, en tijdens een periode van relatieve wereldvrede. Hoewel de oorlog op zichzelf waarschijnlijk geen existentieel risico vormt, kan hij de kans op grootschalige nucleaire aanvallen en de daaruit voortvloeiende nucleaire winter vergroten.

Dit voorbeeld suggereert twee mogelijke manieren om de kans op een nucleaire existentiële catastrofe te verkleinen; door het bevorderen van een verschuiving van de huidige strategie van nucleaire afschrikking naar nucleaire ontwapening om de kans op het lanceren van kernwapens te verkleinen, of door het bevorderen van wereldwijde vrede om de kans op oorlog tussen nucleaire (of niet-nucleaire) staten te verkleinen 12. De eerste van deze benaderingen richt zich op het risico zelf, terwijl de laatste zich richt op een bijdragende risicofactor.

  1. Voor een uitstekende bespreking en vergelijking van veel van de meer gebruikelijke definities, zie het artikel van Phil Torres uit 2019 ‘ Existentiële risico’s: een filosofische analyse’.
  2. Volgens zijn eigen definitie hierboven aangehaald.
  3. Gott III, J.R. (1993). Implicaties van het Copernicaanse principe voor onze toekomstperspectieven. Nature, 363, 315-319.
  4. Rees, M.J. (2003). Onze laatste eeuw. Basisboeken.
  5. Dit zijn onder meer de Oxford-professor in de filosofie Nick Bostrom, en prominente computerwetenschappers Stuart Russell en Roman Yampolskiy. Toonaangevende ondernemers zoals Bill Gates en Elon Musk hebben ook hun bezorgdheid geuit over de gevaren van kunstmatige intelligentie.
  6. Deze definities zijn niet strikt en kunnen per bron verschillen. Sommige auteurs gebruiken AGI bijvoorbeeld om te verwijzen naar wat we HLAI hebben genoemd.
  7. Zie hier voor meer informatie.
  8. Er wordt beweerd dat het resulterende ongekende weer als inspiratie diende voor Mary Shelley’s Frankenstein, geschreven in de zomer van 1816.
  9. Bron
  10. Bekijk de uitstekende online hulpbron van de Future of Life Institutes ‘Accidental Nuclear Way: a Timeline of Close Calls’ heir.
  11. De uitbarsting van de berg Tambora die hierboven wordt genoemd, is een recenter voorbeeld, hoewel deze uitbarsting minder dan een honderdste van de grootte van Toba was .
  12. One zou ook een mogelijke derde weg kunnen overwegen om de veerkracht van de mensheid tegen de gevolgen van een nucleair conflict te vergroten.