Hoe is ChatGPT begonnen?

De geschiedenis van ChatGTP

ChatGPT is een taakspecifiek taalmodel dat deel uitmaakt van de klasse van de generatieve pre-trained transformers (GPT). Het is met name ontwikkeld om zich te richten op conversatiegebruik en is voornamelijk gebouwd op een verbeterde versie van het GPT-3-model van OpenAI, bekend als “GPT-3.5″​. Het fijnafstelling proces maakte gebruik van zowel begeleid leren als versterkingsleren in een proces dat bekend staat als “reinforcement learning from human feedback” (RLHF)​.

OpenAI

OpenAI heeft ook een veiligheidssysteem gebouwd om schadelijke inhoud (zoals seksueel misbruik, geweld, racisme, seksisme) te bestrijden. Hiervoor werd gebruik gemaakt van uitbestede werknemers in Kenia, die minder dan 2 dollar per uur verdienden, om schadelijke inhoud te labelen. Deze labels werden vervolgens gebruikt om een model te trainen om dergelijke inhoud in de toekomst te detecteren

De rol van Nvidia bij ChatGTP

ChatGPT werd in eerste instantie aangedreven door een Microsoft Azure supercomputer-infrastructuur, aangedreven door Nvidia GPU’s, die speciaal voor OpenAI werd gebouwd en naar verluidt “honderden miljoenen dollars” kostte. Na het succes van ChatGPT heeft Microsoft de OpenAI-infrastructuur in 2023 aanzienlijk geüpgraded.

De oprichting

OpenAI werd opgericht in 2015 door Ilya Sutskever, Greg Brockman, Trevor Blackwell, Vicki Cheung, Andrej Karpathy, Durk Kingma, Jessica Livingston, John Schulman, Pamela Vagata en Wojciech Zaremba, met Sam Altman en Elon Musk als de initiële bestuursleden. De sleutelfiguren zijn op dit moment Greg Brockman (voorzitter & president), Sam Altman (CEO), Ilya Sutskever (CSO) en Mira Murati (CTO)