ChatGPT bez problema polaže maturu iz Hrvatskog: u stanju je riješiti višu razinu, a očito mu ide i pisanje eseja

Koliko novi sustav umjetne inteligencije, odnosno već nadaleko opjevani ChatGPT, može biti primjenjiv na konkretnim zadacima, dokazao je hrvatski znanstvenik Ivan Židov.

---

Ivan je pomoću spomenutog sustava riješio čitavi ispit državne mature iz hrvatskog jezika. Sabiranjem odgovora, koje je Židov temeljito bilježio, utvrđeno je da bi ChatGPT na prošlogodišnjem ispitu dobio čvrstu trojku. Dio koji se odnosio na književnost i jezik ChatGPT je riješio sa 65 posto točnosti, dok je iz eseja ostvario 62,5 posto ukupnih bodova.

Htio sam ga staviti na državnu maturu da vidim kako će proći. Kako sam matematičar, prva ideja mi je bila matura iz matematike. Međutim, smatrao sam kako će ljude više zanimati njegovo znanje hrvatskog jezika jer takav test (koliko ja znam) još nije proveden - rekao je znanstvenik za Netokraciju.

Kako je Ivan objasnio za spomenuti portal, za ispit iz književnosti i jezika postavio je sljedeća pravila:

• ChatGPT smije koristiti samo ono što piše na maturi;
• nema višestrukog generiranja (prvi odgovor se sprema);
• smiju se dodati samo instrukcije za odgovaranje

Ivan je objasnio kako bi rezultati u zadacima iz jezika bili još i bolji kada bi u sustav unio više informacija, budući da Chat GPT odgovore daje na temelju konteksta. Dakle, logično, što je više informacija, odgovori su točniji.
 

Esej je umjetnoj inteligenciji zadao probleme

Ivan je u Chat GPT ubacio sve upute koje dobiju i učenici tijekom pisanja eseja iz hrvatskog jezika. Tu je nastao problem jer sustav nikako nije davao cjelovit tekst s dovoljnim brojem riječi.

Nisam ga nikako mogao natjerati da generira dovoljno riječi. Također, ponekad je generirao odgovor na engleskom ili srpskom - objasnio je Židov.

Nakon desetak pokušaja, Ivan je odustao od ChatGPT-a i prebacio se na klasični GPT, odnosno GPT-3 (davinci-003). Za razliku od ChatGPT-a koji je limitiran u količini teksta/karaktera koje može izbaciti (više bi zahtijevalo puno procesorske moći), klasični GPT manje je limitiran i generira duže tekstove. Problema više nije bilo te je iz prvog pokušaja generiran odgovarajući esej kojeg je zatim ispravila profesorica hrvatskog jezika, piše Netokracija.

Kao što je na početku članka navedeno, esej je, nakon ispravka stručne osobe, ostvario 62,5 posto bodova, što je ponovno i više nego dobar rezultat. 

U eseju se uglavnom govori o sadržaju djela. Vrlo je precizno tumačenje odnosa između likova i opisivanje događaja. Nedostaju književnopovijesni i književnoteorijski pojmovi, citati iz teksta kojima se dokazuju tvrdnje i usporedba s drugim književnim tekstovima (čitateljsko iskustvo). Pravopisna i gramatička pravila primijenjena su u potpunosti, sintaktička pravila su donekle narušena - stoji u komentaru profesorice koja je ispravljala esej.