Wat is GPT-2
GPT-2 is een ongestuurd Deep Learning transformator-gebaseerd taalmodel dat OpenAI in februari 2019 maakte met als enig doel het voorspellen van het volgende woord (de volgende woorden) in een zin.
ongestuurd leren is een vorm van machinaal leren waarbij het algoritme geen vooraf toegekende labels of scores voor de trainingsgegevens krijgt
GPT-2 is een acroniem voor “Generative Pretrained Transformer 2”. Het model is open source, en wordt getraind op meer dan 1,5 miljard parameters om de volgende tekstvolgorde voor een gegeven zin te genereren.
Dankzij de verscheidenheid van de bij het trainingproces gebruikte gegevensset, kunnen we een adequate tekstgeneratie verkrijgen voor tekst uit een verscheidenheid van domeinen. GPT-2 heeft 10x de parameters en 10x de gegevens van zijn voorganger GPT.
Inmiddels is GPT-2 opgevolgd door zijn vele malen grotere broer GPT-3.
Taaltaken als lezen, samenvatten en vertalen kunnen door GPT-2 uit ruwe tekst geleerd worden zonder domeinspecifieke trainingsgegevens te gebruiken.
Wat doet GPT-2
GPT-2 is een kameleon-achtig model dat zich aanpast aan de stijl en inhoud van de ingevoerde tekst. Dit stelt gebruikers in staat realistische voortzettingen te genereren over elk onderwerp dat ze maar willen.
Het begint met een menselijke input over een onderwerp. Het model gaat vervolgens aan de slag en schrijft/genereert vervolgens woorden.
Dit gebeurt bij GPT-2 soms in meerdere pogingen. Zoals je kunt lezen in ons artikel over GPT-3 zie je dat er tegenwoordig een stuk minder pogingen nodig zijn om leesbare tekst te krijgen.
Om hier wat voorbeelden van te bekijken sturen we je graag door naar de website van OpenAi. Het bedrijf achter GPT, GPT-2 en GPT-3. In deze voorbeelden zie je ook staan hoeveel pogingen de ai nodig heeft gehad om tot dit resultaat te komen
Voorbeelden van gegenereerde tekst
- Kudde eenhoorns
- Gestolen Nucleair materiaal
- Miley Cyrus winkeldiefstal
- About GPT-2
- Legolas en Gimli
- Burgeroorlog in de VS
- John F Kennedy als Cyborg
- Recyclen is niet goed voor de wereld
Natuurlijk zit er wat onzin bij tussen, maar qua verhaallijn en zinsopbouw is het resultaat verbluffend. Monsters die met dit model gegenereerd worden zijn niet perfect, maar ze lijken wel beter te worden met oefening. Hoe meer het model vertrouwd raakt met het ingevoerde onderwerp en met wat er al over dat onderwerp te vinden is, hoe beter het voorbeeld gaat klinken.