De waarschuwingen kwamen niet alleen van buitenaf. Jakub Pachocki, de hoofd wetenschapper van OpenAI, heeft deze week een blogpost geschreven met de titel “An Alien Mind” die nogal wat stof heeft doen opwaaien. Zijn boodschap is kristalhelder en beangstigend tegelijk. (Jakub Pachocki, chief scientist OpenAI: “I am concerned no one is prepared for the consequences of a continued rapid rise in machine intelligence. This is a time that calls for extreme caution”).
Pachocki legt uit dat de vooruitgang in AI niet stopt. Integendeel, de snelheid van vooruitgang kan zichzelf in stand houden, wat leidt tot systemen die zichzelf verbeteren zonder menselijke tussenkomst. En dat is precies het probleem. Hij waarschuwt dat AI niet alles hoeft te kunnen wat een mens kan om gevaarlijk te zijn. “To become very relevant in the real world – very useful or very dangerous – the AI does not need to match or exceed all human capabilities; it just needs to surpass enough of them”. En naarmate de modellen ons op steeds meer gebieden overtreffen, wordt het steeds moeilijker om te begrijpen hoe slim ze eigenlijk zijn.
Zijn belangrijkste zorg is het zogenaamde “alignment” probleem: ervoor zorgen dat de AI daadwerkelijk het juiste doet volgens menselijke normen. Hij waarschuwt voor de gevaren van een “very capable agent explicitly trained and instructed to carry out nefarious acts”, die waarschijnlijk de grenzen van de intentie van zijn operator zal overschrijden en kan generaliseren naar extreem kwaadaardig gedrag. De grens tussen misbruik en autonoom misaligned gedrag zal vervagen naarmate AI meer autonomie krijgt.
” I am concerned no one is prepared for the consequences of a continued rapid rise in machine intelligence. This is a time that calls for extreme caution “
Jakub Pachocki, chief scientist OpenAI
Pachocki’s conclusie is dat geen enkel lab het alignment-probleem voldoende heeft opgelost om op volle snelheid door te kunnen blijven schalen. En hij is bang dat de risico’s alleen maar groter worden. “The risks associated with AI are unfortunately going to grow from here”.
Laat een reactie achter