AI koji zna što učenik ne zna: budućnost personaliziranog učenja

Obećanje od dvije sigme

Benjamin Bloom objavio je 1984. kratak članak koji se i danas citira u svakoj raspravi o obrazovnoj tehnologiji. Njegovi doktorandi Joanne Anania i Arthur Burke usporedili su tri načina poučavanja: običnu nastavu u razredu, nastavu s ovladavanjem gradivom (mastery learning) i rad s tutorom jedan na jedan.

Prosječni učenik s tutorom bio je bolji od 98 % učenika iz obične nastave. To je razlika od dvije standardne devijacije (sigme), po čemu je članak dobio ime.

Bloom nije predlagao tutora za svako dijete, jer je to preskupo. Pitao je kako sličan učinak postići u razredu od trideset učenika. Upravo to pitanje danas je glavni argument za sustave koji prilagođavaju učenje svakom učeniku.

Koliko je od toga ostalo

Paul von Hippel 2024. ponovno je pročitao obje disertacije. Pokusi su bili dobro zamišljeni, ali mali. Trajali su tri tjedna i provjeravali usko gradivo koje učenici prije nisu znali, vjerojatnost i čitanje karata. Kad se kreće od nule i mjeri samo ono što je poučavano, veliki učinci postižu se lakše.

Učenici s tutorom dobili su i dodatne provjere s ispravcima nakon svake cjeline. Skupina s ovladavanjem gradivom imala je takve provjere bez tutora i bila je bolja od obične nastave za oko 1,1 standardnu devijaciju. Otprilike polovina čuvenog učinka dolazi dakle od provjere i povratne informacije, a ne od samog tutora.

Veći pregledi daju skromnije, ali ozbiljne brojke. Pregled 65 istraživanja iz 1982. (Cohen, Kulik i Kulik) pokazao je prosječan učinak tutora od oko 0,33 standardne devijacije, a pregled randomiziranih pokusa iz 2020. (Nickow, Oreopoulos i Quan) 0,37. Za usporedbu, većina školskih programa postiže 0,1 ili manje. Tutor je dakle među najjačim alatima koje imamo, ali dvije sigme nisu realno očekivanje.

Računalni tutori: koliko su blizu čovjeku

Kurt VanLehn 2011. usporedio je ljudske tutore i računalne sustave. Pokazalo se da nije presudno je li tutor čovjek ili stroj, nego koliko sitno prati rad. Sustavi koji gledaju samo konačni odgovor postigli su oko 0,31 standardne devijacije. Sustavi koji prate svaki korak rješenja i reagiraju na pogrešku u koraku postigli su 0,76, gotovo kao ljudski tutori (0,79).

Ni ljudski tutori u tom pregledu nisu bili blizu dvije sigme. To je važna poruka: dobar računalni tutor ne nadmašuje dobrog čovjeka, ali se može približiti, i to za mnogo učenika odjednom.

U stvarnim školama slika je skromnija nego u pokusima. Velika provjera programa Cognitive Tutor Algebra I u 147 američkih škola (Pane i sur., 2014.) u prvoj godini nije pokazala značajan učinak. U drugoj godini srednjoškolci su napredovali za oko 0,2 standardne devijacije. Školama i nastavnicima trebalo je vremena da nauče raditi s njim.

Kako sustav zna što učenik ne zna

Osnovu je postavio rad Alberta Corbetta i Johna Andersona iz 1994., nazvan knowledge tracing, praćenje znanja. Gradivo se razbije na male vještine. Za svaku vještinu sustav procjenjuje vjerojatnost da je učenik zna i mijenja je nakon svakog odgovora. Točan odgovor je podiže, pogrešan spušta, a u obzir se uzima i da učenik može pogoditi ili se omaknuti. Kad procjena prijeđe visok prag, vještina se smatra svladanom.

To je zapravo Bloomovo ovladavanje gradivom, provedeno stalno i za svakog učenika posebno. Ideja sama po sebi ima dobru podlogu. Pregled programa ovladavanja gradivom (Kulik, Kulik i Bangert-Drowns, 1990.) pokazao je prosječan učinak od oko 0,5 standardne devijacije, veći kod slabijih učenika i manji na standardiziranim testovima.

Noviji sustavi umjesto jednostavne formule koriste neuronske mreže i jezične modele. Bolje predviđaju sljedeći odgovor, ali zasad je malo dokaza da učenici zbog toga više nauče. Predvidjeti pogrešku nije isto što i pomoći je ispraviti. S procjenom znanja dobar sustav radi nekoliko stvari:

• bira sljedeći zadatak na rubu onoga što učenik zna;
• daje uputu baš za korak u kojem je učenik pogriješio;
• vraća učenika na staru vještinu kad je vidljivo da ju je zaboravio;
• nastavniku pokazuje koje vještine razredu ili pojedinom učeniku još nedostaju.

Granice: motivacija, samoća i podaci

Sustav djeluje samo ako ga učenik koristi. Laurence Holt 2024. upozorio je na „problem pet posto”. Istraživanja popularnih platformi za matematiku pokazuju lijepe učinke, ali samo za učenike koji su ih koristili kako je preporučeno. U jednom velikom istraživanju to je bilo 4,7 % učenika, i to češće boljih i imućnijih. Uz to, dio učenika „igra sustav”: klikaju na pomoć dok ne dobiju rješenje, što su Baker i suradnici opisali još 2004.

Učenje je i društveno. Učenik koji sam napreduje svojim tempom pred ekranom gubi raspravu, pitanje prijatelja i trenutak kad cijeli razred nešto zajedno shvati. Ako svatko ide svojim putem, nastavnik lako izgubi pregled nad razredom.

Sustav koji prati svaki korak skuplja mnogo podataka o djetetu: što zna, koliko brzo radi, gdje griješi. Na to se primjenjuje Opća uredba o zaštiti podataka (GDPR). U Hrvatskoj dijete samo može dati privolu za usluge informacijskog društva tek sa 16 godina, a za mlađe to čine roditelji. Europski akt o umjetnoj inteligenciji sustave koji procjenjuju ishode učenja ili usmjeravaju učenje svrstava među visokorizične, uz stroža pravila.

Zato je uloga nastavnika veća, a ne manja. Sustav dobro radi vježbu i dijagnostiku. Nastavnik odlučuje što je važno, motivira, uočava dijete koje se izgubilo i od trideset zasebnih putova ponovno radi razred.

Brojke iz istraživanja

Što to znači u učionici

1. 1

   Provjera i ispravak nakon cjeline

   Polovina Bloomova učinka dolazi od kratke provjere, povratne informacije i drugog pokušaja. To možete raditi i bez ikakve tehnologije.

2. 2

   Razbijte gradivo na vještine

   Napišite popis malih vještina koje cjelina traži. Tako ćete lakše vidjeti gdje je točno zapelo, umjesto da kažete „ne zna razlomke”.

3. 3

   Gledajte korake, ne samo rezultat

   Najbolji tutori, ljudski i računalni, reagiraju na pogrešku u koraku. Tražite od učenika da pokaže postupak, pa ispravljajte ondje gdje je skrenuo.

4. 4

   Brza slika razreda

   Kratak kviz na početku sata, na papiru ili na Školskoj mreži, pokazuje koja vještina nedostaje većini, a koja samo nekolicini.

5. 5

   Pazite tko stvarno vježba

   Ako koristite platformu za vježbu, pratite tko je koristi. Vrijeme za vježbu na satu pomaže upravo onima koji kod kuće ne bi sjeli za nju.

6. 6

   Podaci ostaju u školi

   Prije uvođenja alata provjerite tko obrađuje podatke o učenicima i gdje. Koristite alate koje je odobrila škola i ne otvarajte račune djeci na svoju ruku.