Hizkuntzaren Iraultza

21/10/2020 15

OpenAI 2015ean sortu zen, eta hori mugarri garrantzitsua izan zen, besteak beste, azken urteotan eman den adimen artifizialaren aurrerapen esponentzialerako. OpenAI irabazi-asmorik gabeko erakunde gisa sortu zen, adimen artifizialaren ezagutza partekatzeko eta zabaltzeko helburuarekin. Elon Musk da sortzaileetako bat, eta adimen artifizial orokorraren garapenak gizateria osoaren onurarako izatea du helburu; horregatik, ezagutza partekatua eta irekia da.

OpenAIk landu duen lehen garapenetako bat LNPren (Lengoaia Naturalaren Prozesamendua) ikerketa da. Ikerketa horien bidez, pertsonek erabiltzen duten hizkuntza naturala interpretatzeko gaitasuna hobetu nahi dute, makinek gero eta hobeto uler dezaten. Horri esker, aurrerapen handiak egin ahal izango dira sare neuronalen arloan, eta hobekuntza garrantzitsuak egin ahal izango dira chatbot bezalako aplikazioetan, besteak beste.

Lengoaiarekin egin zituen lehen aurrerapenetako bat GPT (Generative Pretrained Transformer) delakoa merkaturatzea izan zen, hitz-sekuentzia baten barruan eta gainbegiratzerik gabe, hurrengo hitza aurreikusteko entrenatu izan diren sare neuronal generatiboetan oinarritutakoa. Horrek aldaketa handia ekartzen du; izan ere, gaur egungo LNP sistemek entrenamendu gainbegiratuak behar dituzte, hau da, anotatuta dauden testuak.

GPT garatzeko erdi-gainbegiratutako eredu bat erabiltzen da, hau da, gainbegiratu gabeko entrenamendua eta modu gainbegiratuan egindako doikuntza finagoa.

GPT-2 2019ko urtarrilean iragarritako hurrengo bertsioa izan zen, 10 aldiz entrenamendu datu gehiagorekin eta 10 aldiz sareko parametro gehiagorekin, testu automatikoak sortzen ditu, erabiltzaileak idatzitako testu batetik abiatuta. Aplikazioa, gainera, laburpenak sortu eta testuaren edukiari buruzko galderei erantzuteko gai da. Eredu tradizionalekin konparatuta, eredu hau nahiko zehatza bada ere (% 95), OpenAIren sortzaileen lehen zalantzak sortzen dira hemen.

Lehenik eta behin, ez du zehaztasun nahikorik modu autonomoan lan egiteko. Bigarrenik, gorrotoa, ekintza terrorista jakin batzuk edo albiste faltsuak (normalean fake news deituak) sortzen laguntzen duten testu desegokiak sortzeko erabil daiteke. Azkenik, hizkuntza-ereduek alborapena izan dezakete, eta horrek erronka berri bat gehitzen du adimen artifizialaren ekitateari eusteko.

Hori guztia dela eta, OpenAIk GPT-2 eredu osoa ez askatzea erabaki zuen hasieran, baita adimen artifizialeko komunitate zientifikoarekin batera argitaratzeko arau arduratsuak sortzea ere. Hizkuntzaren tratamenduan izandako beste aurrerapen bat iaz izan zen, Blender iragarri zenean. Blender Facebookeko chatbot berria da, erabiltzaile esperientzia hobea izango duela agintzen duena, edozein gairi buruz modu atseginean hitz egiteko gai baita.

Blenderren trebetasuna bere entrenamendurako erabilitako datu kopuru izugarritik dator, Redditen 1500 milioi elkarrizketa. Gero, hobetu egin zen elkarrizketetan emozioak ulertzeko, eta nortasun ezberdineko pertsonen arteko elkarrizketekin, nortasuna zer den irakasteko.

Eredua orain arte diseinatutakoak baino askoz eraginkorragoa izan zen, baina, hala ere, oraindik ez da gizaki baten elkarrizketa-gaitasunetara hurbiltzen. Oraingoz, elkarrizketa laburrekin probatu dute, esaldi luzeagoetan elkarrizketak zentzua galduko duela uste dute ikertzaileek. Gainera, entrenamendua normalean sare sozialetako datuekin egiten denez, alborapen- edo abusuzko hizkuntza-arazoak ere izan ditzakete.

2020an GPT-3 iragartzen da, GPTaren hirugarren bertsioa, 175.000 milioi parametrorekin, GPT-2k 1.500 erabiltzen zituen bitartean. OpenAIk maiatzean argitaratu zituen zehaztapenak, baina ez zuen uztailaren hasierara arte plataforma ireki, garatzaileek proba zezaten. Sonetoak idazteko, webguneentzako testuak sortzeko eta ikerketa artikuluak laburbiltzeko gai dela erakutsi dute probek. Jauzi handiena zera da, gainera, oinarrizko kodea programatzeko, testuak hizkuntza juridikora itzultzeko, edo batuketak egiteko gai dela; zeregin horietarako ez zegoela pentsatuta da deigarriena.

Azken batean, programak badaki planteatzen zaionari erantzun behar diola eta erantzuna bilatzen du, aurkitu arte. Adituak ez dira sare neuronalen potentziala altuaz harritzen. Sare neuronalak giza arrazonamendua imitatzeko ahalegina dira, objektu bat sailkatzeko milaka aldiz ikusi behar ez duela, eta badirudi adibide horrekin aurrerapenak gertatzen ari direla.

Azken batean, GPT-3k ezagutzen ez duen sarrera bat jasotzen duenean bere memoria mastodontikara joaten da erantzun egoki bat aurkitzeko, baina egia da, halaber, testuak noizbait funtsa edo zentzua galtzen badu, erantzuna ez duela jakingo.

Zalantzarik Gabe, GPT-3 aurrerapen handia da LNP eta sare neuronalei dagokienez, eta gaur egun oraindik ez dakigu zenbateko eragina izan dezakeen. Enpresa teknologiko handienek teknologia honetan ikertzen jarraitzen dute eta milioika gastatzen dituzte haren hobekuntzetan. Gaur egun, eredua eskuragarri dago, mundu guztiak erabil dezake, baina aldea konputazio-gaitasuna da, erabiltzaile guztiek ez dutena. GPT-3 entrenatzeko soilik 5 milioi dolar gastatu ziren.

GPT-3ren garapena iraultza bat da hizkuntzarentzat, nork daki etorkizunean kazetariek teknologia honek idatzitako testuak jasoko ote dituzten, ukitu besterik egin beharko ez dutenak, gauza bera gertatuko al da liburuekin?, programatzaileentzat ere lagungarri izango al da, Kode azkarrago eta eraginkorragoa garatzen lagunduz?

Era berean, ezin dugu ahaztu teknologia honekin istorioak asma daitezkeela, Deepfakes etan lagundu edo alborapenak areagotu. Gaur egun, ikertzaileek ez dakite teknologia hau noraino iritsiko den, baina argi dago teknologiak egin dezakeenaren eta teknologiak egin behar duenaren arteko oreka behar dela.

Harrigarria da OpenAIk Microsoftekin duela gutxi lortu duen akordioa teknologia hori lehentasunezko partner gisa garatzeko. Ez dezagun ahaztu OpenAIren sorrerak Adimen Artifiziala mundu guztiaren eskura jartzea zuela helburu, gizateriari mesede egiteko, eta oraintxe bertan etekina konpainia bakar baten esku jarri dela.

Egia da baita adimen artifizialaren alorreko ikerketek inbertsio handia eskatzen dutela oraindik, eta badirudi Microsoft prest dagoela horretarako. Orain, inoiz baino gehiago, garrantzitsua da OpenAIk bere misioari eustea, adimen artifizial orokorraren garapenak mundu guztiari mesede egitea, hain zuzen.