OpenAI zet een nieuwe stap voorwaarts op het gebied van artificiële intelligentie met de lancering van GPT-4o (“o” voor “omni”). Dit innovatieve model is ontworpen voor natuurlijke en veel soepelere interactie tussen mensen en computers, waarbij een combinatie van inputs - tekst, audio, beeld en video - wordt geaccepteerd en outputs in tekst, audio en beeld worden gegenereerd.

Volgens het persbericht van OpenAI kan GPT-4o gemiddeld in slechts 232 milliseconden reageren op audio-inputs, een snelheid die vergelijkbaar is met de menselijke reactietijd in een gesprek. Deze prestaties zijn des te opmerkelijker omdat ze gepaard gaan met aanzienlijke verbeteringen voor niet-Engelse teksten en een verhoogde efficiëntie.

Vóór GPT-4o betekende het gebruik van spraakmodus met ChatGPT veel hogere latenties met eerdere modellen. Het drie-stappen-proces van het transcriberen van audio naar tekst, het genereren van een tekstreactie en vervolgens het omzetten van die reactie in audio resulteerde in een aanzienlijk verlies van informatie, zoals toon, audiocontext of emotie. GPT-4o is daarentegen op een geïntegreerde manier getraind om alle soorten invoer en uitvoer te verwerken, wat een enorm potentieel biedt voor toekomstige toepassingen.

Op het gebied van prestaties haalt GPT-4o het GPT-4 Turbo-niveau voor tekst, redeneren en programmeren, terwijl het nieuwe normen stelt voor meertalige, audio- en visuele mogelijkheden. De integratie van veiligheid was een prioriteit bij de ontwikkeling van GPT-4o, met filtertechnieken voor trainingsgegevens en aanpassingen na de training om het gedrag van het model te verfijnen. Maar daar houdt deze nieuwe ChatGPT niet op, want hij is ook in staat om de emoties op het gezicht van een mens te lezen, met behulp van de camera van de smartphone, en hem te begeleiden bij ademhalingsoefeningen of hem te helpen bij het oplossen van een probleem.

De externe audit van GPT-4o, waarbij meer dan 70 experts op verschillende gebieden betrokken waren, heeft ook geholpen bij het identificeren en verminderen van de risico's die gepaard gaan met de nieuwe geïntegreerde modaliteiten. Deze expertise heeft bijgedragen aan de ontwikkeling van verbeterde beveiligingsinterventies, die essentieel zijn voor veilige interacties met het model.

GPT-4o is sinds 13 mei beschikbaar in ChatGPT voor betalende abonnees en zal de komende weken voor iedereen gratis toegankelijk zijn. Ontwikkelaars hebben via de API ook toegang tot GPT-4o als tekst- en visiemodel. Deze versie is sneller, goedkoper en biedt hogere snelheidslimieten dan GPT-4 Turbo. Audio- en videomogelijkheden zullen geleidelijk worden geïntroduceerd, te beginnen met een kleine groep vertrouwde partners.