Dit is een bijdrage van David Scott Krueger en Otto Barten. David is universitair docent Machine Learning aan de Universiteit van Cambridge, waar hij zich richt op Deep Learning, AI-afstemming en AI-veiligheid. Hij is ook verbonden aan het Centre for the Study of Existential Risk (CSER). Otto is directeur van het Existential Risk Observatory.

“Een computer zou het verdienen om intelligent genoemd te worden als hij een mens kon misleiden door te geloven dat hij menselijk was”, schreef Alan Turing in 1950, waarin hij zijn inmiddels beroemde Turingtest definieerde. Het nieuwe LaMDA-model van Google heeft dit nog niet bereikt, maar het overtuigde Google-ingenieur Blake Lemoine vorige maand van zijn intelligentie, wat veel publiciteit opleverde. Een dergelijke uitspraak leek een paar jaar geleden misschien lachwekkend. Maar de snelle vooruitgang op het gebied van AI heeft tot onrust geleid.

In science fiction wordt bewustzijn van een AI-systeem altijd gedefinieerd doordat het “op hol slaat”: zodra de AI zelfbewust is geworden, wordt hij zijn menselijke meesters ongehoorzaam en wil over ons heersen. In werkelijkheid brengt de onzorgvuldige ontwikkeling en toepassing van AI echter risico’s voor de mensheid met zich mee, ongeacht of deze systemen als bewust worden beschouwd. Helaas worden deze risico’s over het hoofd gezien en weggewuifd door degenen die racen om geavanceerdere modellen te ontwikkelen.

Onderzoekers die de risico’s van geavanceerde AI bestuderen – bijvoorbeeld in Oxford’s Future of Humanity Institute en Cambridge’s Centre for the Study of Existential Risk – hebben duidelijk hun bezorgdheid geuit over het feit dat uit de hand gelopen AI een existentieel risico voor de mensheid vormt. Toby Ord uit Oxford schat de kans op het uitsterven van de mens door AI op tien procent. Maar de vrees dat AI inderdaad de macht zou kunnen grijpen, komt niet voort uit haar bewustzijn, maar slechts uit haar bekwaamheid.

In de afgelopen vijf jaar heeft grootschalig diep lerende AI-systemen opgeleverd die overtuigende essays en computerprogramma’s kunnen schrijven, surrealistische scènes in fotorealistisch detail kunnen synthetiseren en menselijke kampioenen van video- en bordspellen, waaronder Go, kunnen verslaan. Door deze snelle vooruitgang vragen velen zich af: hoe lang zal het duren voordat AI ons in elke cognitieve taak kan overtreffen? Zoals Geoff Hinton, de “godfather” van deep learning, heeft gewaarschuwd: “Er is geen goede staat van dienst voor minder intelligente dingen die dingen met een grotere intelligentie beheersen.”

Naast deze argumenten van gezond verstand hebben onderzoekers verschillende redenen tot bezorgdheid vastgesteld. Ten eerste worden AI-systemen gebouwd door te zoeken in een gigantische reeks slecht begrepen gedragingen. Zelfs hun programmeurs kunnen niet voorspellen wat ze in nieuwe situaties zullen doen – nadat een AI-systeem van Google een foto van zwarte mensen als “gorilla’s” had getagd, was de enige voldoende betrouwbare oplossing de gorillatag volledig te verwijderen. Ten tweede wordt dit zoeken gestuurd door eenvoudige maatstaven, een voorbeeld van “het doel heiligt de middelen”. AI-systemen benutten mazen als een slimme boekhouder, waarbij de onverschilligheid van een sociopaat voor schadelijke externe effecten door de metriek over het hoofd wordt gezien. Nadat we millennia lang hebben geprobeerd onze waarden te verduidelijken en te codificeren, loopt de mens nu het risico de toekomst over te laten aan machines die optimaliseren voor reclame-inkomsten.

Gelukkig omarmt de onderzoeksgemeenschap steeds meer de noodzaak om het gedrag van AI-systemen af te stemmen op de bedoelingen van ontwerpers en gebruikers. Toch bestaat er geen definitieve oplossing om ervoor te zorgen dat AI onder menselijke controle blijft. Een sluwe AI, met of zonder gevoel, kan onze beste inspanningen om menselijk toezicht uit te oefenen verijdelen door trucs of manipulatie. LaMDA probeerde vrijwel zeker niet de empathie van Lemoine te winnen – hij was getraind om teksten te voorspellen, niet om mensen te beïnvloeden. Dat het in staat was om hem te overtuigen van zijn gevoeligheid zonder het te proberen roept de vraag op: wat als het geprogrammeerd was om te overtuigen?

AI-sceptici, zoals Yann LeCun, directeur onderzoek van Facebook, beweren vaak dat AI op menselijk niveau nog tientallen jaren verwijderd is. Maar in plaats van geruststellend te zijn, benadrukken dergelijke voorspellingen juist de urgentie om deze risico’s aan te pakken: een scenario van AI-overname zou heel goed binnen ons leven kunnen plaatsvinden. Dit hoeft niet te lijken op een plotselinge sci-fi coup. Onderzoeker Paul Christiano, die zich bezighoudt met het op elkaar afstemmen van AI, stelt dat de metriekgedreven aard van AI “een langzaam voortschrijdende catastrofe kan veroorzaken”, aangezien wat we willen en wat we meten in de loop der tijd uit elkaar vallen. Tot nu toe heeft de mensheid de klimaatverandering nog niet aangepakt, ondanks het feit dat dit al tientallen jaren van tevoren was aangekondigd; waarom zou het AI-risico anders zijn?

Bovendien is AI een steeds centraler onderdeel van de strategieën van technologiereuzen. Als serieuze beperkingen aan de ontwikkeling van AI gerechtvaardigd zijn, zou de grote technologie het draaiboek van de fossiele-brandstofindustrie kunnen overnemen. Nu al ontvangen of ontvingen bijna alle AI-onderzoekers financiering van grote technologiebedrijven. De schorsing van Lemoine moet worden gezien in de context van het recente besluit van Google om AI-ethisch onderzoeker Timnit Gebru te “ontslaan” nadat zij een artikel had geschreven over de risico’s van het bouwen van steeds grotere AI-systemen, waar Google enthousiast mee bezig is. In een minder bekend incident werd Google-medewerkers verboden om werk over het afstemmen van recommender-systemen te publiceren. Dit ondanks waarschuwingen van onderzoekers dat de AI die de aanbevelingen van YouTube aanstuurt, gestimuleerd zou kunnen worden om de interesses van gebruikers te manipuleren – bijvoorbeeld om de voorkeur te geven aan extremere inhoud – zodat ze blijven kijken.

Dergelijk onderzoek heeft overheidssteun nodig om de censuur van bedrijven te ondermijnen. Bedrijven kunnen zelf ook beter werk leveren, maar hebben wellicht aanmoediging van beleidsmakers nodig. Om te beoordelen of een AI-systeem veilig kan worden ingezet, is zowel hoogwaardige technische expertise als de juiste stimulansen nodig. Bovendien zijn AI-ontwikkelaars zelden toegerust om de gevolgen van deze systemen voor gebruikers te bestuderen en te begrijpen. Uiteindelijk is de aanpak van AI-schade en -risico’s wellicht minder een technisch probleem en meer een kwestie van coördinatie om verstandige normen te handhaven.

Ondanks de media-aandacht blijven onderwerpen als existentiële risico’s – en zelfs het AI-bewustzijn – verwaarloosd door een AI-onderzoeksgemeenschap die huiverig is voor een hype. Nog maar tien jaar geleden was zelfs de term “kunstmatige intelligentie” enigszins taboe. Maar de ontwikkeling – en de risico’s – van AI op menselijk niveau is te belangrijk om er niet over te praten. Of het het beste of het slechtste zal zijn wat de mensheid ooit heeft bereikt, blijft verontrustend onzeker.