Een rechter in Colombia veroorzaakte ophef door bij de chatbot ChatGPT te rade te gaan bij het beoordelen van een zaak over de medische kosten van een autistische jongen. Intussen zou ChatGPT ook nipt gefaald  in een Amerikaans examen geneeskunde.

Voor rechter Juan Manuel Padilla in de stad Cartagena was de vraag of de verzekering alle kosten van de medische behandeling van de autistische jongen moest dekken. Wat dacht ChatGPT erover met zijn kunstmatige intelligentie (AI)?  Padilla oordeelde alvast in het voordeel van de jongen en schreef in zijn vonnis dat hij ChatGPT had geconsulteerd. Een toch wat riskante stap, oordeelde ook OpenAI dat de chatbot lanceerde. "Beperkingen zijn dat Chat GPT alleen data tot en met 2021 gebruikt en sowieso regelmatig onjuiste of misleidende informatie in zijn antwoorden geeft, waarschuwt OpenAI zelf.

"Een vraag stellen aan een chatbot betekent niet dat we als rechters ophouden met zelf nadenken", verdedigde Padilla zich. Wel zouden door deze technologie volgens hem rechtszaken sneller afgehandeld kunnen worden.

Medisch examen: bijna geslaagd

De chatbot blijft intussen wel de gemoederen beroeren. Nog in de VS scoorde Chat GPT volgens een gisteren  gepubliceerde studie dicht bij de score die nodig is om te slagen voor een zwaar Amerikaans medisch examen.

Voor de studie, gepubliceerd in het tijdschrift PLOS Digital Health, testten onderzoekers van het bedrijf AnsibleHealth de prestaties van de software op een examen voor geneeskundestudenten in de Verenigde Staten. Daarin ze worden getest op een waaier van gebieden (wetenschappelijke kennis, klinisch redeneren, bio-ethiek, enzovoort). ChatGPT werd getest op 350 van de 376 vragen die deel uitmaakten van het examen van juni 2022.

Drie soorten vragen kwamen aan bod: open vragen, multiple choice zonder rationale en multiple choice met rationale (met de vraag om de keuze uit leggen).

Twee examinatoren gaven punten en een derde beoordeelde de onderlinge verschillen. De methode oogstte wel wat kritiek, maar feit is dat de software correct scoorde tussen 52,4% en 75%. Gewoonlijk is de score die nodig is om te slagen voor het examen 60%. 

Eind januari bleek uit een ander onderzoek dat ChatGPT de examens van een Amerikaanse rechtenuniversiteit kon halen -- zij het door als laatste in de klas te eindigen.