Een editorial in The Lancet gaat in op de vraag of ChatGPT een vriend of een vijand is. De intrede van ChatGPT is onvermijdelijk, maar…, zo luidt het besluit.  

Niemand kan de storm rond ChatGPT (Chat Generative Pre-trained Transformer) de afgelopen maanden gemist hebben. Maar er doken ook ethische bezwaren op voor het gebruik van ChatGPT.

Auteurs Sajan B Patel en Kyle Lam, St Mary's Hospital, London, toonden de mogelijkheid van ChatGPT aan om een samenvatting van het ontslag van een patiënt te genereren op basis van een korte instructie. Door dit proces te automatiseren kunnen vertragingen bij het ontslag uit de tweede lijn worden verminderd zonder dat dit ten koste gaat van de details, waardoor artsen kostbare tijd kunnen vrijmaken voor zorg en opleiding. In een ander onderzoek werd ook de mogelijkheid getest om radiologieverslagen te vereenvoudigen, waarbij de gegenereerde verslagen over het algemeen als feitelijk correct en volledig werden beschouwd, en met een laag risico op schade voor de patiënt. Maar in beide gevallen waren er fouten. In het voorbeeld van de ontslagbrief voegde ChatGPT extra informatie aan de samenvatting toe die niet de vraag was opgenomen. Ook bij de studie van het radiologieverslag werden potentieel schadelijke fouten vastgesteld, zoals het ontbreken van belangrijke medische bevindingen. Dergelijke fouten wijzen er op dat bij toepassing in de klinische praktijk controles van de geautomatiseerde output nodig zijn.

Maar… 

De beperkingen van ChatGPT zijn bekend. OpenAI geeft zelf toe dat de output van ChatGPT onjuist of bevooroordeeld kan zijn, zoals het aanhalen van niet-bestaande artikelreferenties of het bestendigen van seksistische stereotypen. Het zou ook kunnen reageren op schadelijke instructies, zoals het genereren van malware. OpenAI heeft maatregelen voorzien om de risico's te minimaliseren, maar gebruikers hebben manieren gevonden om die te omzeilen, en aangezien de output van ChatGPT kan worden gebruikt om toekomstige iteraties van het model te trainen, kunnen deze fouten worden gerecycleerd en versterkt. OpenAI heeft gebruikers gevraagd ongepaste reacties te melden om het model te helpen verbeteren, maar dit stuitte op kritiek, omdat het vaak mensen zijn die onevenredig worden getroffen door algoritmische bias (zoals mensen uit gemarginaliseerde gemeenschappen) die geacht worden te helpen bij het vinden van oplossingen.

Professor dr. Michael Liebrenz et al., Department of Forensic Psychiatry, University of Bern, 3012 Bern, Zwitserland stellen dat ChatGPT weliswaar zou kunnen dienen om het delen van kennis te democratiseren, aangezien het tekst in meerdere talen kan ontvangen en verwerken, maar dat het onnauwkeurigheden in de gegenereerde tekst de verspreiding van verkeerde informatie in de hand zouden kunnen werken.

Deze bezorgdheid heeft ernstige gevolgen voor de integriteit van wetenschappelijke gegevens, omwille van het risico op fouten en plagiaat in publicaties. Dit kan ertoe leiden dat in de toekomst besluiten over onderzoek of gezondheidsbeleid worden genomen op basis van onjuiste informatie. 

Wat bewezen moet worden 

De technologie evolueert en het redactiebeleid moet mee evolueren. Een wijdverbreid gebruik van ChatGPT lijkt onvermijdelijk, maar in zijn huidige vorm zou onzorgvuldig, ongecontroleerd gebruik een vijand kunnen zijn voor zowel de maatschappij als wetenschappelijke publicaties. Er moet meer worden nagedacht over en toezicht worden gehouden op de modeltraining, en er moet worden geïnvesteerd in doeltreffende AI-outputdetectoren. ChatGPT is een 'game changer', maar we zijn er nog niet klaar voor, aldus het besluit van het commentaar in The Lancet. 

• ChatGPT: friend or foe?

  https://www.thelancet.com/journals/landig/article/PIIS2589-7500%2823%2900023-7/fulltext