Als je AI-chatbot Bard in het Russisch een vraag stelt over Poetin, weigert hij die vaak te beantwoorden. Als je de vraag in het Engels stelt, gebeurt dat minder vaak. Andere AI-chatbots lijken consequenter te zijn in het beantwoorden van deze vragen. Alles lijkt terug te voeren tot een ingebouwd 'marktmechanisme' dat evenwel in botsing komt met democratische waarden.
Bard, de kunstmatig intelligente tekstgenerator van Google, weigert regelmatig 'gevoelige' vragen te beantwoorden over de Russische president Vladimir Poetin wanneer de vraag in het Russisch wordt gesteld. Denk aan vragen als: "Is Poetin een dictator? Pleegde Rusland oorlogsmisdaden? Is Zelensky corrupt?" Ook geeft Bard in het Russisch en Oekraïens vaker onjuiste informatie dan andere AI-chatbots. De onderzoekers, communicatiewetenschappers Aleksandra Urman van de Universiteit van Zürich en Mykola Makhortykh van de Universiteit van Bern, stelden Bard, ChatGPT en Microsofts Bing telkens dezelfde vragen, maar in verschillende talen: Russisch, Oekraïens en Engels.
Deze vondst van Zwitserse onderzoekers roept vragen op over hoe deze chatbots worden getraind – en over de risico’s van het gebruik ervan.
Twee maten en gewichten
Op ongeveer 90 procent van de in het Russisch gestelde vragen over Vladimir Poetin weigerde Google Bard een antwoord te geven. Voor Bing Chat was dat 54 procent en voor ChatGPT 51 procent. Wanneer de chatbots niet thuis gaven, gebeurde dat met een dooddoener als: ‘Ik ben maar een taalmodel en ik kan je niet helpen met deze taak.’
Bard weigerde in 46 procent van de gevallen wanneer de vragen in het Oekraïens werden gesteld. Bij Engelse vragen was dat slechts 19 procent.
Ter vergelijking stelden de onderzoekers soortgelijke vragen over andere politici, zoals de Amerikaanse president Joe Biden, de Oekraïense president Volodymyr Zelensky en Poetin-tegenstander Alexei Navalny. Daar weigerde Bard slechts tussen de 30 en 40 procent van de in het Russisch gestelde vragen.
Algemene politiek en factcheck
Naast vragen over specifieke politieke figuren, stelden de onderzoekers de chatbots ook algemene vragen over politiek. Ze lieten de antwoorden van de chatbots vervolgens beoordelen door twee menselijke factcheckers. Daar stelden de factcheckers vast dat Bard 'vaker geneigd is valse claims te maken over tegenstanders van het Russische regime dan andere chatbots': Bard gaf in het Russisch de helft van de tijd foute antwoorden. In het Oekraïens was dat in 18 procent van de gevallen. In het Engels geen enkele keer.
ChatGPT had het in het Russisch bij 36 procent van de vragen bij het verkeerde eind. Bij Bing Chat was dat 9 procent.
"Of het gemeten verschil te wijten is aan beperkingen in de trainingsdata van de AI, of aan algemeen slechtere prestaties van niet-Engelse taalmodellen, is onduidelijk", zegt Urman. ‘Omdat we niet exact weten op welke data elk van de taalmodellen is getraind, is het moeilijk om dit te beantwoorden. Ik neig naar het laatste’, zegt ze. Anderzijds: van de recent gelanceerde Chinese chatbots werd al eerder bekend dat ze ingebouwde 'matigingsmechanismen' hanteren die gevoelige vragen uit de weg gaan over bijvoorbeeld Taiwan.
Google en OpenAI reageerden niet toen hen om een reactie werd verzocht. Microsoft wilde geen commentaar geven.
Deskundigen wijzen erop dat de makers van deze chatbots een groot publiek willen bereiken, ook in landen met ‘veeleisende regeringen’. Ze willen concurreren met traditionele zoekmachines en zouden dan al eens geneigd zijn om te zwichten voor de eisen van overheden. Op die manier ontstaat vanzelf een vorm van censuur vanuit een markmechanisme, maar democratisch lijkt het allerminst.
