Een chatbot die alle mogelijke vragen kan beantwoorden; sinds de lancering afgelopen november is ChatGPT een hit. Dit type AI heeft grote gevolgen voor de wetenschap, zo stellen onderzoekers in Nature.
De gevolgen van ChatGPT en andere Large Language Models (LLM’s) voor wetenschappelijk onderzoek zijn groot. ChatGPT kan niet alleen worden gebruikt om papers te schrijven, maar bijvoorbeeld ook om onderzoekshiaten op te sporen, programma's te schrijven, bestaande teksten te herzien en zoekopdrachten uit te voeren. Hoe moeten wetenschappers omgaan met deze, mogelijk ontwrichtende, nieuwe technologie? Hierop probeert Claudi Bockting, hoogleraar Klinische psychologie in de Psychiatrie en codirecteur van het Centre for Urban Mental Health van de UvA, met een interdisciplinair onderzoeksteam een antwoord te formuleren in een Nature-publicatie. Ze schreef het artikel samen met Evi-Anne van Dis, postdoc bij de afdeling Psychiatrie van Amsterdam UMC, Jelle Zuidema en Robert van Rooij van het Institute for Logic, Language and Computation (ILLC) van de UvA, en Johan Bollen van Indiana University. “Met elkaar kwamen we al snel tot de conclusie dat het geen optie is om de technologie proberen te verbieden. Op korte termijn zal ChatGPT overal gebruikt worden en mogelijk zelfs geïntegreerd zijn in tekstverwerkingsprogramma’s”, aldus prof. Bockting.
Misleidende output
De onderzoekers verwachten dat het gebruik van ChatGPT op verschillende manieren een bedreiging kan zijn voor de wetenschappelijke praktijk. Met name de nauwkeurigheid van de chatbot, of beter gezegd het gebrek daaraan, is een punt van zorg. De onderzoekers legden ChatGPT tal van vragen en taken voor, waar bepaald niet altijd het gewenste resultaat uit voortkwam. “ChatGPT antwoordde soms met onjuiste of misleidende teksten, bijvoorbeeld op de vraag hoeveel patiënten met een depressie na behandeling terugvallen. ChatGPT antwoordde dat behandeling over het algemeen langdurig is, wat min of meer betekent dat terugval weinig voorkomt. Uit wetenschappelijk onderzoek weten we echter dat terugval kan oplopen tot 51% in het eerste jaar na de behandeling”, aldus Van Dis.
In hun bijdrage formuleren de onderzoekers vijf aandachtspunten voor de wetenschap bij het gebruik van ChatGTP en andere LLM’s:
- Houd vast aan menselijke checks op de output van LLM’s;
- Stel binnen de wetenschappelijke gemeenschap met elkaar accountability-regels op, gericht op transparantie, integriteit en eerlijkheid;
- Investeer in betrouwbare en transparante Large Language Models, in handen van onafhankelijke non-profitorganisaties;
- Omarm de voordelen van artificiële intelligentie. Als LLM’s betrouwbaarder en transparanter worden, kunnen ze ook vele mogelijkheden bieden voor de wetenschap; bijvoorbeeld om de almaar toenemende werkdruk te verminderen. Daarbij moet echter wel een afweging worden gemaakt tussen de voordelen van AI en het verlies van autonomie;
- Verruim het debat. De auteurs raden onderzoeksgroepen aan om ChatGPT intern te bespreken. Daarnaast moet de wetenschappelijke gemeenschap ChatGPT bespreken met relevante partijen, van uitgevers tot ethici, het liefst in de vorm van een internationale top.
“We roepen op tot een wereldwijd debat dat we (blijvend) moeten voeren over de vraag hoe AI-technologie een positieve game-changer voor de wetenschap kan worden. Uiteindelijk moet dit leiden tot de ontwikkeling van concrete en praktische richtlijnen voor onderzoekers”, zo besluit professor Bockting.
