2024-04-12 21:14:00

Evaluacija razlika u pristupu rješavanja testova znanja između umjetne inteligencije i učenika

U današnjem digitalnom dobu, sve više govorimo o umjetnoj inteligenciji(AI). Upravo se u posljednjih desetak godina vidi veliki napredak u području strojnog učenja (machine learning) i dubokog učenja (deep learning) što je omogućilo AI sustavima da rješavaju složene zadatke iznimno brzo i točno. Rezultat toga je činjenica da umjetna inteligencija danas prožima gotovo svaki aspekt naših života, a sve se više govori o njoj i u kontekstu obrazovanja. Tjera nas da promišljamo o načinima na koje učimo i podučavamo. Tjera nas na promjene, na neprekidan proces učenja i stjecanje novih znanja i vještina. 

Obrazovni sustavi će vjerojatno morati prilagoditi svoje metode i sadržaje kako bi odgovorili na izazove i mogućnosti koje donosi razvoj AI-a. Tradicionalne metode učenja i podučavanja zamijenit će nove metode, koje će učenicima omogućiti znanja i vještine koji će biti traženi na tržištu rada. Nastavne metode morat će se usmjeriti prema razvijanju kreativnosti, rješavanja problema, suradnje i digitalne pismenosti.

Kroz ovo kratko istraživanje predstavit ćemo rezultate usporedbe načina na koji umjetna inteligencija rješava testove znanja u usporedbi s učenicima, odnosno analizu rješavanja AI sustava u usporedbi s tradicionalnim pristupom učenika pri rješavanju testova. Cilj istraživanja je bolje razumijevanje prednosti, nedostataka i izazova koje AI tehnologija donosi u kontekstu obrazovanja.

U istraživanju je korišten sustav GPT tj. ChatGPT -4 (https://chatgpt.com/), najnoviji i najnapredniji GPT model. Model je testiran na testovima znanja iz informatike (kategorija:Algoritmi) i povijesti sa županijske razine osmog razreda 2021.godine.

Na testu iz povijesti, GPT je imao rezultat 65/76, 85.52% što je čak 2,63% odnosno dva boda više od učenika koji je najbolje riješio test na županijskoj razini natjecanja i bio prvi na popisu pozvanih učenika na državno natjecanje.[1] Test znanja iz povijesti sastoji se od 25 pitanja ( s većim brojem podpitanja) od kojih su neka otvorenog tipa, neka zatvorenog tipa ili višestrukog odabira. Nekoliko pitanja predstavljaju slike koje treba analizirati i na temelju toga odgovoriti na pitanje što je GPT vrlo uspješno ostvario metodom učitavanja dokumenta (datoteke) u sustav. Učenici su na raspolaganju za rješavanje ovog testa imali 90 minuta, dok je umjetna inteligencija rješavala test iznimno brzo i svoja rješenja prikazala već u nekoliko minuta. Na državnu razinu pozvan je 21 učenik i to oni učenici koji su imali više od 80% riješenog testa. GPT bi bio prvi među njima.

Broj bodova

Broj učenika

65(GPT)

1

63

5

62

9

61

7

 

Na natjecanju iz informatike u kategoriji Algoritmi GPT je rješavao županijsku razinu natjecanja 5.- 8.raz. iz 2019.godine. Testovi u ovoj kategoriji sastoje se od tri zadatka od kojih svaki donosi određeni broj bodova (obično 40, 70 i 90). Cilj je ne samo što točnije, nego nekad (pogotovo na višim razinama i u višim razredima) i što brže i efikasnije riješiti zadani problem koristeći programski jezik Python ili C++.  [3] GPT je ove testove rješavao u Pythonu i postigao sljedeći rezultat:

5. razred – 200/200 bodova

6. razred – 164/200 bodova

7. razred – 200/200 bodova

8. razred – 180/200 bodova

U odnosu na rješenja učenika, u 5.razredu su samo 2/167 učenika uspjela ostvariti isti rezultat kao GPT. U 6.razredu je rezultat GPT-a bio nešto slabiji, no svejedno su samo 3/70 učenika bila ispred njega. U 7.razredu nitko od učenika nije uspio 100% riješiti test te se GPT našao na prvom mjestu, a u 8.razredu se ispred njega našlo 7/45 učenika.

Zanimljivo je i za primijetiti kako su zadatak iz 6. razreda i zadatak iz 8. razreda koji GPT nije uspio u potpunosti riješiti vrlo slični te im je isti autor,a s obzirom da se radi o jednostavnim zadacima možemo razmisliti i o mogućnosti kako GPT nije uspio točno riješiti zadatak zbog nejasno postavljenog zadatka.

Umjetna inteligencija u istraživanju pokazala je znatno bolje rezultate na testovima znanja u usporedbi s učenicima, što otvara važna pitanja o trenutnim obrazovnim pristupima. Učimo li učenike vještinama koje su im doista potrebne za budućnost? Naš obrazovni sustav često se temelji na memoriziranju činjenica i informacija koje su danas svima lako dostupne putem tehnologije. S obzirom na rast umjetne inteligencije koja je iznimno brza, prilagodljiva, ima sposobnost učenja i raspolaže ogromnom količinom podataka i informacija moramo razmišljati u kojem smjeru obrazovanje treba ići.

Iznimno je važno i dalje istraživati umjetnu inteligenciju i njezinu ulogu u obrazovanju. To će omogućiti stvaranje jasnih smjernica za nove metode poučavanja koje bi učenicima pružile kvalitetno obrazovanje i pripremu za budućnost. Takav pristup osigurao bi da učenici steknu sve potrebne vještine i znanja kako bi uspješno odgovorili na izazove modernog društva.

 

Izvori:

[1] https://www.azoo.hr/app/uploads/2024/03/8_razred.pdf (12.04.2024.)

[2] https://www.azoo.hr/natjecanja-i-smotre-arhiva/testovi-i-rjesenja-sa-zupanijske-razine-natjecanja-iz-povijesti-2021/  (12.04.2024.)

[3] https://informatika.azoo.hr/natjecanje/dogadjaj/805/rezultati (12.04.2024.)

[4] https://chatgpt.com/ (12.04.2024.)

 

Ivana Vezjak, učiteljica informatike


Osnovna škola August Šenoa Osijek