Op 12 april 2024 was er in Pakhuis de Zwijger een avond over nieuwe AI-ontwikkelingen, georganiseerd door Existential Risk Observatory. Otto Barten (directeur van ERO) gaf voor een uitverkochte grote zaal een korte inleiding over existentiële risico’s, in het bijzonder die van artificiële intelligentie van menselijk niveau (AGI).
Door grote taalmodellen als ChatGPT en Bing Chat lijkt een toekomst met AGI ineens dichterbij te komen. Is dat werkelijk zo? En wat gebeurt er als AI elke cognitieve taak net zo goed kan uitvoeren als wij? Prof. Stuart Russell (UC Berkeley) probeerde deze vragen in zijn lezing te beantwoorden. Hieronder enkele hoogtepunten eruit.
Russell begon met het benoemen van de potentiële positieve kanten van AI, zoals een toename van het bbp, een betere, meer geïndividualiseerde gezondheidszorg, gepersonaliseerd onderwijs voor ieder kind, een versnelde vooruitgang van de wetenschap en nog veel meer. Hierna stelde hij de vraag: ‘Waar staan we nu?’
Door de ontwikkeling van LLM’s (large language models) geloven sommige mensen dat er al AI van menselijk niveau is, maar Russell denkt niet dat dat waar is. De LLM’s zijn misschien wel een puzzelstukje van AGI, maar we weten nog niet wat de vorm van de puzzel is, of hoe dit stukje erin past, of wat de andere stukjes zijn. De LLM’s begrijpen de wereld om zich heen niet. Ze kunnen niet op meerdere abstracte niveaus plannen maken, zoals mensen. Toch zou er in de toekomst wel AGI kunnen ontstaan die hier minder problemen mee heeft. De stukken die nu nog missen zouden ook heel snel klaar kunnen zijn. We zien op dit moment door de snelle ontwikkeling van LLM’s al vonken van wat AGI zou kunnen zijn. En waar vonken zijn, kan ineens vuur ontstaan.
Russell citeerde Alan Turing die tijdens een lezing in 1951 zei: ‘Het lijkt waarschijnlijk dat als de machine-denkmethode eenmaal op gang is gekomen, het niet lang meer zal duren voordat het onze zwakke vermogens zal overtreffen. Op een bepaald moment moeten we dus verwachten dat de machines de controle overnemen.’
Het zou dus kunnen, alsdus Russell, dat terwijl je AI beter en beter maakt, de dingen verder juist slechter worden. Russell denkt dat het verkeerd zal kunnen gaan door een fenomeen dat ‘misalignment’ wordt genoemd. Als er niet volledig correct beschreven is wat een mens in de toekomst van AI wil, dan creëer je een mismatch, een verkeerde afstemming tussen hoe wij willen dat de toekomst eruitziet en de doelstelling die de machines hebben.
Een voorbeeld waarbij we het al verkeerd hebben zien gaan, zijn de algoritmes van sociale media. De algoritmes die bepalen wat miljoenen mensen iedere dag zien en lezen, hebben het doel zoveel mogelijk clickbait te genereren, wat een ander doel is dan de gebruiker heeft. Deze algoritmes kunnen socialemediagebruikers geleidelijk aan veranderen: mensen worden een meer extreme versie van zichzelf. Samenlevingen polariseren hierdoor. De algoritmes van sociale media zijn relatief eenvoudig, als er ‘betere’ algoritmes zouden worden gebruikt die mensen nog beter kunnen manipuleren, dan zouden de gevolgen van het socialemediagebruik veel ernstiger zijn dan nu. ‘We hebben dus machines nodig die een gunstig effect op de mensheid hebben, en geen machines die alleen maar intelligent zijn.
Wat gaan we die machines laten doen?
1. De machines worden grondwettelijk verplicht om in het belang van u te handelen.
2. De machines zijn expliciet onzeker over wat die menselijke belangen zijn. Ze weten dat ze niet weten wat het doel is.
Deze twee principes samen zouden een oplossing bieden voor het controleprobleem van AI. De wiskundige versie hiervan wordt assistance game genoemd.’
Terug naar de LLM’s, de vonken van AGI die vuur kunnen veroorzaken. We hebben geen ervaring met entiteiten die elk boek hebben ‘gelezen’ dat de mens heeft geschreven. Of een LLM flexibel genoeg is om effectief buiten zijn trainingsgegevens te treden, weten we op dit moment nog niet. Iets wat we wél weten over machine learning is dat doorgaans de beste oplossingen die door machine learning-algoritmes zijn ontdekt, in en door het model zelf zijn gevonden, zonder menselijke interventie. Het is dus niet zo dat een AI-systeem leert wat de doelen van de mensen zijn, het vormt zelf interne doelen. ‘Ik heb Sébastien Bubeck van Microsoft gevraagd of de LLM’s interne doelen hebben en het antwoord was: ‘We hebben geen idee.’ Daar zouden we ons zorgen over moeten maken,’ aldus Russell.
En áls AI een doel zou hebben, dan weten we niet of dat het ‘goede’ doel is en of de weg waarlangs dat doel wordt bereikt, gunstig voor de mensheid uitpakt. Als we als mens de klimaatverandering willen beperken, weten we dat we dat niet moeten door alle zuurstof uit de lucht te halen, maar AI heeft geen begrip van de wereld om zich heen en zou zelfstandig tot een dergelijk doel kunnen komen.
Omdat niemand weet of LLM’s doelen hebben, weten we ook niet of ze die zullen nastreven. De LLM’s worden nu gebruikt zonder dat er basiscriteria voor de veiligheid van de mensheid zijn opgesteld. Vandaar de open brief om de ontwikkeling van krachtigere LLM’s dan GPT-4 voor een half jaar te pauzeren. ‘Dit strookt volledig met de overeenkomsten die alle regeringen van de ontwikkelde westerse economieën al eerder hebben ondertekend. Er zou niets op een computer moeten draaien waarvan het niet zeker is dat het veilig is.’
Later, tijdens de vragen, kwam ter sprake dat we wel voorbeelden hebben gezien van de enorme schade die atoomwapens aan kunnen richten, maar niet van AI, waardoor de risico’s door veel mensen worden onderschat.
De tweede helft van de avond discussieerden Mark Brakel (FLI), Lammert van Raan (PvdD) Queeny Rajkowski (VVD) en anderen verder over AGI. Maarten Gehem (Argumentenfabriek) modereerde.
