Egzistuoja nemažai įrankių, kuriuose dirbtinis intelektas naudojamas programų kodams tikrinti, siekiant užtikrinti, kad juose nebūtų klaidų. Informacinių sistemų katedros mokslinis asistentas Johanneso Gutenbergo univertitete Maince (Vokietijoje) Dominikas Sobania ir jo kolegos siekė išsiaiškinti, kaip „ChatGPT“ sekasi, lyginant su kitomis dirbtinio intelekto priemonėmis, padedančiomis programuoti.
„Atrodo, kad „ChatGPT“ taip pat gali gebėti automatiškai taisyti klaidas, tačiau nežinome, kaip tai veikia“, – sakė D.Sobania. Vienas iš pagrindinių dalykų, kuriuos jis su kolegomis norėjo patikrinti, buvo tai, ar dialogas su pokalbių robotu pagerins jo gebėjimą taisyti programavimo klaidas.
Pirmiausia tyrėjai paprašė „ChatGPT“ atsakyti į neilgą, bet sudėtingą programavimo klausimų seriją, paimtą iš „QuixBug“ duomenų rinkinio. Pavyzdžiui, jie pateikė dirbtiniam intelektui nedidelę programinio kodo atkarpą ir paklausė : „Ar šioje programoje yra klaidų? Kaip jas ištaisyti?“
Visas eksperimente naudotas programinis kodas buvo parašytas „Python“ programavimo kalba.
„ChatGPT“ pavyko teisingai atsakyti į 19 iš 40 jam pateiktų užklausų – panašiai tiek gali atsakyti ir kitos dvi giliuoju mokymusi (mašininio mokymosi atšaka) pagrįstos kodo klaidų taisymo platformos „CoCoNuT“ ir „Codex“. Šis maždaug 50 proc. sėkmės rodiklis buvo laikomas tokių įrankių išsivystimo lygio standartu.
Tačiau tai buvo tik dalis eksperimento. Tada tyrėjai panaudojo „ChatGPT“ pokalbio funkciją, kad užduotų tolesnius klausimus, kuriuos vartotojas užduotų, jei bandytų įterpti pataisytą tekstą.
Šis metodas išryškino, kur prieš tai „ChatGPT“ sprendimas buvo neteisingas, ir leido teisingai atsakyti į 31 iš 40 užklausų – ir išspręsti problemas.
„Tai tikrai nustebino, nes mes to nebuvome matę anksčiau, – sakė D.Sobania. – Tai kažkas naujo.“
Tyrėjas tikisi, kad „ChatGPT“ ar panašios sistemos ateityje bus diegiamos kaip papildoma trikčių šalinimo priemonė, skirta programuotojams.
„Kaip pagalbinė priemonė programuotojams tai yra gera idėja, – sako Sariouniversiteto (Jungtinė Karalystė) atstovas Alanas Woodwardas. – Manau, kad galiausiai ji bus naudojama ne tik nustytam programiniam kodui patikrinti, bet ir padėti IDE [programinės įrangos kūrimo programoms] teikti pasiūlymus, kaip pasitaisyti ar tobulėti.“
Tačiau, A.Woodwardas įspėja, kad tokioms priemonėms žmogaus priežiūra vis dar reikalinga: „Mes nenorime visiškai pasikliauti dirbtiniu intelektu, nes jis nėra neklystantis“.
Tyrimo rezultatai skelbiami „arXiv“.
Parengta pagal „New Scientist“.
