In mei 2020 introduceerde OpenAI GPT-3 als een derde generatie taalvoorspellingsmodel. Het model is de opvolger van GPT-2 en was oorspronkelijk in beta-testfase vanaf juli 2020. GPT-3 is een uitbreiding en opgeschaalde versie van de GPT-2 modelarchitectuur.
Bovenstaande grafiek die laat zien hoe GPT-3 alle modellen domineert en aanzienlijke winst boekt op bijna elke afzonderlijke NLP taak. Het is gebaseerd op voortraining met grote gegevenssets, gevolgd door fijnafstemming voor specifieke taken.
Huidige AI systemen hebben hun beperkingen bij het schakelen tussen verschillende talen. GPT-3 maakt dit juist heel flexibel en kan met minder problemen tussen verschillende taalsoorten schakelen zonder verlies van efficiëntie of kracht!
GPT-3 Gebruikt deep learning om tekst te generen wat vrijwel niet meer van mens te onderscheiden is.
GPT-3 is de derde generatie in de lijn van taalvoorspellings ai. De volledige versie van GPT-3 heeft een capaciteit van 175 miljard machine-learning parameters, waarmee het krachtiger is dan zijn voorganger, GPT-2.
Dit nieuwe systeem voor taalrepresentatie maakt deel uit van een trend in NLP systemen om vooraf getrainde representaties voor natuurlijke talen te gebruiken.
Het verschil tussen GPT-3 en GPT-2
Een van de belangrijkste verschillen tussen GPT-2 en GPT-3 is de grootte van het model.
De omvang van GPT-3 bedraagt 175 miljard parameters, dat is 116x meer dan de 1.5 miljard van GPT-2.
Een ander verschil is de verbetering van de prestaties op verschillende benchmark taken, dankzij het voorgetrainde taalrepresentatiesysteem.
Hoe krijg je toegang tot het gebruik van GPT-3
De toegang tot GPT-3 wordt gegeven in de vorm van een API Waarvoor je je kan aanmelden.
Vanwege de grootschaligheid van het model besloot de openAI gemeenschap niet het hele model met 175 miljard parameters vrij te geven.
In tegenstelling tot de huidige AI systemen, die voor één gebruikscase ontworpen zijn, is GPT-3 ontworpen om taak-agnostisch te zijn en biedt het een algemeen bruikbare “tekst in, tekst uit” interface, die de gebruikers de flexibiliteit biedt om het vrijwel voor elke taaltaak uit te proberen.
Hoe werkt de API
De API is zo opgezet dat als je hem de gepaste tekst geeft, hij die in de backend op de OpenAI servers verwerkt en de ingevulde tekst teruggeeft die probeert overeen te komen met het patroon dat je hem gaf. De OpenAI API verbindt de toepassing die je heb, met de servers van OpenAI die het GPT-3 model hosten, om de invoer te uploaden en de uitvoer te laten downloaden.