vrednovanje znanja u sustavima e učenja korištenjem ... · bi u procesu učenja i poučavanja bio...
TRANSCRIPT
Poslijediplomski studij „Istraživanje u edukaciji u području prirodnih i tehničkih znanosti“ - Istraživački seminar I
Sažetak — Informacijska i komunikacijska tehnologija
danas je gotovo nezaobilazan čimbenik u svim aspektima
ljudskog života. Kada su funkcionalnosti primjene
informacijske i komunikacijske tehnologije orijentirane na
obrazovanje i posebice proces učenja i poučavanja tada
zajedno tvore i posebnu obrazovnu paradigmu, paradigmu e-
učenja. Vođeni ciljem implementiranja sustava e-učenja koji
bi u procesu učenja i poučavanja bio neovisan o živom
učitelju, posebnu pažnju usmjeravamo na vrednovanje znanja
učenika. Kao instrument toga mjerenja odabrali smo zadatke
objektivnog tipa, metodu objektivnog ispitivanja znanja koje
maksimalno smanjuje utjecaj subjektivnih čimbenika koji
ugrožavaju metrijske karakteristike vrednovanja znanja. Zbog
nužne potrebe sporazumijevanje sustava i učenika, primarno
kroz jezik, sustav mora biti u mogućnosti zadatke objektivnog
tipa kao i eventualne komentare i preporuke koje daje učeniku
na osnovu njegovih odgovora te razumjeti odgovore koje
učenik daje. Zadaci objektivnog tipa čvrsto su oslonjeni na
prirodni jezik, a njihov smisao i značenje znatno ovise o
ispravnoj gramatičkoj strukturi. Zbog toga njihova upotreba,
kao instrumenta za vrednovanje znanja u inteligentnim
tutorskim sustavima, nužno iziskuje i prirodni jezik na kojem
će se sustav temeljiti. U ovom se radu iznosi određenje
temeljnih pojmova područja istraživanja. Kombinacija
individualnog tutorskog pristupa poučavanju koje sustavi e-
učenja nude i objektivnog vrednovanja iskazanog znanja
učenika ostvarenog testiranjem pomoću zadataka objektivnog
tipa donijet će dodatnu kvalitetu ovoj kategoriji obrazovnih
alata.
Ključne riječi — informacijska i komunikacijska
tehnologija, sustavi e-učenja, obrada prirodnog jezika, zadaci
objektivnog tipa
Rad je DD.MM.YYYY. prihvatilo povjerenstvu u sastavu
red.prof. dr.sc. X Y, predsjednica; red.prof. dr.sc. Z T, mentor i doc. dr.sc. A
B, član
Krešimir Rakić, student je poslijediplomskog studija „Istraživanje u
edukaciji u području prirodnih i tehničkih znanosti“, usmjerenja Informatika
pri Prirodoslovno-matematičkom fakultetu Sveučilišta u Splitu.
I. UVOD
U posljednja tri desetljeća provedena su brojna istraživanja
u području učenja i poučavanja s ciljem rješavanja problema
koje je pred njih postavio Bloom [1]. Provevši opsežno
istraživanje o različitim načinima poučavanja ustanovio je
kako prosječan učenik koji uči uz pomoć tutora, posvećenog
samo njemu, postiže bolji rezultat od 98% učenika koji su
prisustvovali tradicionalnoj nastavi u učionici, odnosno
rezultat koji je za dvije standardne devijacije bolji od
prosječnog učenika u tradicionalnoj skupini.
Pronalaženje metode učenja i poučavanja u skupini koja će
biti jednako učinkovita kao i jedan-na-jedan tutorski oblik
poučavanja, koji je preskup da bi se primijenio na veći broj
učenika, Bloom je nazvao 2 sigma problemom.
Mogući odgovor na ovo pitanje pruža nam nezaobilazan
čimbenik suvremene ljudske svakodnevnice - informacijska i
komunikacijska tehnologija (engl. Information and
Communication Technology - ICT). ICT je danas duboko
ukorijenjena u širok spektar djelatnosti čovjeka kao i
aktivnosti koje on u njima obavlja. Njihov utjecaj je naročito
izražen u procesu stjecanja znanja, vještina i sposobnosti, u
sklopu nastavnog procesa.
Primjenom modernih tehnologija, njihovom sve nižom
cijenom i sve širom dostupnošću, danas je moguće proces
učenja i poučavanja osuvremeniti i oplemeniti novim
značajkama, koje će podići njegovu učinkovitost i prilagoditi
ga potrebama svakog pojedinog učenika, bez drastičnog
povećanja troškova organiziranja i provođenja nastavnog
procesa.
Kada su funkcionalnosti primjene ICT-a orijentirane na
obrazovanje i proces učenja i poučavanja tada zajedno tvore i
posebnu obrazovnu paradigmu, paradigmu e-učenja. Kroz
svoju kratku, ali istovremeno i vrlo aktivnu povijest, e-učenje
se razvija paralelno sa razvojem tehnologije telekomunikacija,
tj. komunikacija i prijenosa informacija na daljinu [2]. Njen
razvoj usko je povezan s razvojem računala, računalnih mreža
i odgovarajućih rješenja programske podrške. Iako se početci
razvoja e-učenja povezuju s komunikacijskom tehnologijom iz
vremena sedamdesetih i osamdesetih godina prošlog stoljeća,
tek je primjena osobnih računala iz devedesetih godina
rezultirala povećanim interesom, entuzijazmom i uspjehom u
Vrednovanje znanja u sustavima e-učenja
korištenjem zadataka objektivnog tipa
na kontroliranom prirodnom jeziku
Krešimir Rakić
2
VREDNOVANJE ZNANJA U SUSTAVIMA E-UČENJA KORIŠTENJEM ZADATAKA OBJEKTIVNOG TIPA
NA KONTROLIRANOM PRIRODNOM JEZIKU
ovom području.
Posebnu pažnju obratit ćemo na dvije klase sustava e-
učenje, sustave za upravljanje znanjem (engl. Learning
Management System - LMS) i inteligentne tutorske sustave
(engl. Intelligent Tutoring Systems - ITS).
Ukoliko želimo implementirati sustav koji će biti u
potpunosti samostalan, bez uključivanja "živog" učitelja tada
je u sustav e-učenja potrebno ugraditi i modul testiranja koji
će provjeravati i vrednovati znanje koje je učenik stekao.
Osnovne metrijske karakteristike testa su: valjanost,
pouzdanost, objektivnost, osjetljivost i baždarenost [3]. Drugi
autori [4] navode i ekonomičnost kao jednu od metrijskih
karakteristika.
Kao instrument vrednovanja znanja učenika koji će moći
eliminirati, ili barem svesti na minimum, čimbenike koji
ugrožavaju metrijske karakteristike vrednovanja odabrali smo
zadatke objektivnog tipa (ZOT). Odgovori na ZOT-ove mogu
biti jednoznačno interpretirani i objektivno vrednovani kao
točni ili netočni.
Vrednovanje znanje u sustavima e-učenja uključuje
sporazumijevanje sustava i učenika, primarno kroz jezik. Zbog
toga sustav mora biti u mogućnosti da generira pitanja koja
postavlja učeniku, ponuđene odgovore kao i motivirajuće
povratne informacije koje daje učeniku na osnovu njegovih
odgovora. Također mora razumjeti i odgovore koje učenik
daje na postavljena pitanja. ZOT-ovi su čvrsto oslonjeni na
prirodni jezik, a njihov smisao i značenje znatno ovise o
ispravnoj gramatičkoj strukturi. Zbog toga njihova upotreba,
kao instrumenta za vrednovanje znanja u sustavima e-učenja,
nužno iziskuje i prirodni jezik na kojem će se sustav temeljiti.
Ukoliko se, zbog složenosti implementacija mehanizma
obrade prirodnog jezika (engl. Natural Language Procession -
NLP), koristi alternativni pristup konzervirane komunikacije u
vidu skupa unaprijed definiranih modela pitanja i odgovora u
koje se dodaju nazivi pojmova i odnosa između pojmova
područnog znanja koje se poučava. Tako dobiveni tekst
generiranih zadataka i ponuđenih odgovora biti će često
gramatički neispravan, što učeniku može predstavljati problem
pri njihovom razumijevanju.
Vođeni ovim činjenicama, usmjerili smo naše napore ka
razvijanju programskog rješenja koje će upotpuniti postojeće
sustave e-učenja komponentom vrednovanja znanja učenika,
ostvarenog pomoću ZOT-ova pri čijem ćemo generiranju, kao
i prilikom provjeravanja ispravnosti učenikovog odgovora,
koristiti obradu prirodnog jezika koja će komunikaciju učenika
i sustava učiniti prirodnijom i jednostavnijom.
Naš cilj uključuje potrebu za povezivanjem u skladnu
cjelinu pojmova, metoda i tehnika iz oblasti računarstva i
pedagogije. U tu svrhu najprije ćemo odrediti temeljne
pojmove područja istraživanja.
Kratak pregled paradigme e-učenja, njenih prednosti i
nedostataka, funkcionalnosti sustava e-učenja, kao i osvrt na
istraživanja koja se bave e-učenjem dan je u drugom
poglavlju.
U trećem poglavlju istražena je teorijska osnova
vrednovanja znanja učenika, uz poseban naglasak na faktore
koji negativno utječu na nju, te se predlažu objektivna metoda
vrednovanja koja bi spomenute faktore trebala neutralizirati.
Prirodni jezik, njegova obrada te posebno kontrolirani
prirodni jezik obrađeni su u četvrtom poglavlju. Također je
dan i osvrt na model testiranja znanja učenika koji koristi
prirodni jezik.
U petom poglavlju opisano je istraživanje provedeno u cilju
stjecanja iskustva u radu sa zadacima objektivnog tipa u
okruženju sustava e-učenja, prikazani su dobiveni podaci i
njihova analiza, te istaknuta pitanja koja su se pri tom
pojavila.
Rad zaključujemo smjernicama daljnjeg istraživanja.
II. SUSTAVI E-UČENJA
Upotreba ICT-a u obrazovanju, pruža nam danas mogućnost
da, uz prihvatljive troškove, osiguramo u realnom vremenu
nastavu prilagodljivu potrebama učenika i u skladu sa
ciljevima učenja i poučavanja.
Koncept e-učenja, uz primjenu suvremenih tehnoloških
inovacija, pokazao se kao izrazito učinkovit. Njegove
komparativne prednosti u odnosu na tradicionalno učenje su
brojne [5], [6].
Moderna e-učionica je otvorena 24 sata dnevno, 7 dana
u tjednu, uz globalnu mogućnost istovremenog
pristupa većeg broja korisnika. Na taj način je
omogućeno optimalno iskorištavanje vremena, kako
učenika u procesu učenja, tako i stručnjaka područnog
znanja prilikom modeliranja nastavnog sadržaja.
Dinamika kretanja kroz nastavne sadržaje je
individualizirana za svakog korisnika. Time je
omogućeno da svaki učenik može napredovati svojim
vlastitim tempom, bez negativnog utjecaja na ostale
sudionike procesa.
Oblikovanje i održavanje nastavnih sadržaja je
fleksibilno, što znači da nastavnik može u svakom
trenutku izmijeniti dio pripremljenih materijala, dodati
nove bitne elemente ili ukloniti suvišne. Pri tome je od
posebne važnosti činjenica da prikaz nastavnih
sadržaja može uključivati hipermediju koja ostvaruje
integraciju i pristup drugim izvorima bitnima za
nastavni sadržaj koji se poučava.
Rad svakog pojedinog učenika moguće je kontinuirano
pratiti, ustanoviti vrijeme provedeno u procesu učenja,
njegovo kretanje kroz sastavne elemente tečaja te na
osnovu toga izvesti važne zaključke o njegovom
načinu učenja kao i postignutoj razini znanja.
Kod nekih oblika e-učenja omogućena je dinamička
interakciju između nastavnika i učenika, kao i učenika
međusobno. Svaki pojedini sudionik doprinosi
dinamici postavljanjem pitanja, odgovaranjem na njih
ili pokretanjem rasprave koja se tiče određene teme.
S druge strane, e-učenje ima i neke nedostatke [5], [6], [7].
Ovakav tip učenja od učenika zahtijeva određena
znanja i vještine kako bi se mogao s njime koristiti. U
nedostatku određene razine računalne pismenosti,
3
VREDNOVANJE ZNANJA U SUSTAVIMA E-UČENJA KORIŠTENJEM ZADATAKA OBJEKTIVNOG TIPA
NA KONTROLIRANOM PRIRODNOM JEZIKU
nastavni sadržaji opisani u sustavu e-učenja postaju
potpuno beskorisni.
Bitno je da svaki od učenika ima potrebnu računalnu
opremu kako bi u potpunosti iskoristio prednosti ovog
tipa učenja.
Eventualni tehnički problemi mogu dovesti do prekida
u izvođenju ili dostupnosti e-nastave, te time negativno
utjecati na koncentraciju učenika, a time i na kvalitetu
cjelokupnog procesa e-učenja.
Omogućavanje samostalnog određivanja načina i
vremena učenja donosi učenicima i veću odgovornost
za uspješnost procesa. Oni se tako sami moraju
motivirati, procijeniti svoju potrebu za učenjem, što
opet može dovesti do upitnih rezultata i objektivno
slabog napretka u procesu učenja. Uspješnost e-učenja
ovisi ponajviše o motivaciji pojedinca da učinkovito
uči.
Kvaliteta e-učenja, kao i svakog oblika nastave, ovisi o
kvaliteti nastavnog sadržaja i načina isporuke tog sadržaja.
Nedostatci koji se javljaju unutar tradicionalne nastave kao što
je monoton nastavni sadržaj koji učeniku ne pruža mogućnost
aktivnog sudjelovanja u učenju, problem su i e-učenja.
Tehnologija na koju se e-učenje naslanja može sadržavati
različite oblike informacije i time se prilagođavati potrebama
ili sklonostima učenika čineći pri tom proces učenja i
poučavanja interaktivnijim i zanimljivijim
Kada se u svakodnevnoj komunikaciji spomene proces e-
učenja, obično se pod tim podrazumijeva isključivo
programska podrška za učenje. Međutim, to je samo jedan vrh
ledenog brijega. U stvarnosti, ovaj pojam označava mnogo
više. E-učenje predstavlja sveobuhvatni proces planiranja,
metodološka razmatranja te na kraju razvoj nastavnih sadržaja
specifičnih za ciljane grupe učenika ili nastavne predmete.
Ovaj proces uključuje aktivnosti izravno vezane za proces
učenja i poučavanja, kao što su:
izrada sadržaja za učenje u obliku lekcija i modula,
definiranje navigacije kroz sadržaje, tj. njihov poredak
u redoslijedu primjerenom procesu učenja,
definiranje provjera znanja, najčešće putem testova i
kvizova,
omogućavanje komunikacije putem računala koja
dozvoljava učenicima i nastavnicima međusobnu
privatnu ili javnu, te sinkronu ili asinkronu
komunikaciju.
Osim gore navedenih aktivnosti potrebno je također
osigurati i funkcionalnosti koje nisu izravno vezane uz procese
prijenosa znanja:
evidenciju sudionika sustava (učenika i učitelja),
evidenciju predmeta zastupljenih nastavnim
sadržajima,
prijavu učenika na određene predmete
kreiranje dozvola i korisničkih grupa
izvještavanje o pohađanju nastave, napretku, statusu i
rezultatima učenja,
podršku pri izradi nastavnih materijala,
vezu s poslovnim informacijskim sustavom institucije.
Nabrojene aktivnosti u mnogome nadilaze funkcije
programske podrške za učenje, nego predstavljaju okosnicu
puno šireg pojma: sustava e-učenja.
Na osnovi tradicionalnih načela učenja svaki sustav e-
učenja trebao bi uključivati sljedeće funkcionalnosti, iako sve
one nisu uvijek implementirane:
oblikovanje, pospremanje i isporuku nastavnih
sadržaja,
upravljanje ili na višoj razini vođenje procesa učenja i
poučavanja,
administriranje sudionika (učenika, učitelja, stručnjaka
područnog znanja).
testiranje i vrednovanje znanja učenika.
Iz navedenog mogu se uočiti i osnovni sudionici sustava e-
učenja: učenik, učitelj, stručnjak područnog znanja i
administrator sustava. Kada bi u sustavu e-učenja bile
implementirane sve navedene funkcionalnosti, takav sustav
morao bi imati sljedeće komponente [8]:
autorski alat za oblikovanje nastavnih sadržaja
pojedinog tečaja, testova znanja koji će se provoditi
tijekom izvedbe tečaja, foruma za raspravu sudionika
tečaja i tome slično,
komponentu za komunikaciju posredstvom računala,
koja može biti realizirana u obliku diskusijskih foruma,
sustava za razmjenu elektroničke pošte ili sobe za
čavrljanje, te kao takva dopušta sudionicima privatnu,
javnu te komunikaciju u prethodno definiranim
grupama,
navigacijski alat za kretanje unutar oblikovanog
nastavnog sadržaja koji će omogućiti organiziranje
sadržaja pojedinog predmeta u vidu sadržajnih modula
i lekcija, te još važnije, pravilan redoslijed prikazivanja
tih sadržaja,
komponentu za upravljanje tečajem čiji je zadatak
omogućiti sudionicima različite razine pristupa sustavu
prilagođene svakom pojedinom sudioniku, nadzor nad
radom učenika i praćenje njegovih postignuća,
komponentu za mjerenje postignuća najčešće
ostvarenu o oblicima online kviza i/ili testa znanja s
mogućnošću dobivanja povratne informacije,
komentara i preporuke za daljnji rad odmah po
njegovom završetku.
Paradigmi e-učenja pristupamo sa različitim stupnjevima
entuzijazma i zabrinutosti. Bez obzira jesmo li optimistični ili
skeptični prema online učenju, kako bi smo se što bolje
pripremili za suočavanjem s izazovom rada u novom
okruženju te prigrlili nove mogućnosti koje nam ono može
ponuditi, važno je uzeti u obzir i prednosti i nedostatke
ovakvog tipa učenja i podučavanja. U tu svrhu provedena su i
brojna istraživanja kojima je cilj bio otkriti kritične čimbenike
uspješne implementacije e-učenja.
Volery i Lord kao ključne čimbenike uspjeha u online
isporuci nastavnih materijala navode tehnologiju, učitelja i
prethodno korištenje tehnologije iz perspektive studenta.
Također tvrde da će predavač i dalje imati središnju ulogu u
online obrazovanju, iako će ona prerasti u ulogu katalizatora
4
VREDNOVANJE ZNANJA U SUSTAVIMA E-UČENJA KORIŠTENJEM ZADATAKA OBJEKTIVNOG TIPA
NA KONTROLIRANOM PRIRODNOM JEZIKU
učenja i navigatora kroz znanje [9].
Benson Soong i ostali su provevši višestruku studij slučaja
utvrdili da su kritični faktori uspjeha e-učenja ljudski faktori,
tehnička kompetentnost kako instruktora tako i učenika, razina
suradnje, način razmišljanja pogodan e-učenju kod instruktora
i učenika te poznavanje IT infrastrukture [10].
Leidner i Järvenpää [11], kao i Dylan i Guawardena [12] u
svojim su istraživanjima kao tri glavne varijable koje utječu na
učinkovitost okruženja e-učenja naveli obilježja učitelja,
tehnologiju i obilježja studenta.
U nastojanju da se osigura pedagoški temelj, kao preduvjet
za uspješnu provedbu e-učenja, Govindasamy identificira
sedam mjerila kvalitete e-učenja i to: institucionalna potporu,
razvoj tečaja, učenje i poučavanje, struktura tečaja, podrška
studenata student podrške, infrastrukturna podršku, te
vrednovanje i ocjena [13].
Puri je proveo istraživanje percepcije studenata u vezi 27
kritičnih čimbenika e-učenja koji se u navode u istraživanjima
drugih autora. Proveo je stupnjevitu regresijsku analizu
prikupljenih podataka i kao najvažniji čimbenik izdvojio
pedagošku komponentu e-učenja. Ostali značajni faktori su
redom: institucionalni i administrativni poslovi, tehnologija,
vrednovanje učenika i samog sustava, podrška resursa te
dizajn sučelja sustava [14].
Coldwell ističe kako institucije četo forsiraju premještanje
ili dopunjavanje tradicionalne nastave u online okruženje.
Upozorava kako jednostavna replikacija nastave licem-u-lice
ne donosi ništa novoga i naglašava potrebu za unaprjeđenjem
ili promjenom tradicionalne nastave dostupnom tehnologijom.
Odabrani pristup umnogome ovisi o postojećim znanjima
pojedinca o tehnološkom okruženju koje koristi. Predlaže
jednostavan okvir koji omogućuje nastavnicima, posebno
onima bez iskustva u e-učenju, jednostavno mapiranje
razrednih aktivnosti u tehnološke funkcionalnosti, smanjujući
potrebu za opsežnom tehnološkom pismenosti o okruženju e-
učenja pri početnom dizajniranju online aktivnosti [15].
U ovom radu osvrnut ćemo se na dvije klase sustava e-
učenja u kontekstu krajnjeg predmeta ovog istraživanja.
LMS su klasa sustava e-učenja koja pruža mogućnost
cjelovitog administriranje procesa učenja i poučavanja. U
sklopu LMS-a moguće je registrirati učenike, odrediti slijed
tečajeva iz raspoloživog kataloga, dobiti detaljan opis
učenikovog angažmana na sustavu kao i izvještaje o
aktivnostima svih korisnika sustava [16]. LMS je obično
oblikovan na način da dozvoljava integraciju tečajeva
isporučenih od strane različitih izdavača i institucija.
Koriste ih odgojno-obrazovne institucije na svim razinama,
od osnovnoškolskih do visokoškolskih, ali i tvrtki za
upravljanje, praćenje i dostavljanje tečajeva i programa obuke.
Predstavljaju jedan od najbrže rastućih sektora programske
podrške u posljednjih deset godina sa vrijednošću većom od
milijardu dolara
Najpopularniji LMS u svijetu je Moodle (engl. Modular
Object-Oriented Dynamic Learning Environment). Moodle je
postao vrlo popularan među edukatorima diljem svijeta kao
oruđe za stvaranje online dinamičkih web stranice za svoje
učenike i studente. Problem u određenom broju slučajeva
predstavlja niska razina korištenja i upitna kvaliteta izrađenih
Moodle kolegija. Niz različitih mogućnosti koje Moodle pruža
može predstavljati barijeru za nastavnike koji pod
opterećenjem svakodnevnih obveza nemaju vremena sadržaje
koje koriste za podučavanje pretvoriti u kvalitetan i efikasan
kolegij e-učenja [17].
Posebna klasa sustava e-učenja koja pruža učeniku
napredno okruženje za učenje, prilagođeno njegovoj trenutnoj
razini znanja su ITS. Njihov je cilj da, bez intervencije
ljudskog učitelja, pruže učenicima trenutnu i prilagođenu
poduku, kao i povratnu informaciju. ITS je namijenjen potpori
i unaprjeđenju procesa učenja i poučavanja, uz istovremeno
uvažavanje individualnosti učenika [8]. Razvoj ovakvog
modela poučavanja zasniva se na implementiranju pozitivnih
osobina "živog" učitelja, tutora.
Općenito je prihvaćeno da ITS-ovi imaju četiri osnovne
komponente: modul područnog znanja, modul učenika, modul
poduke i modul komunikacije [18], [19], [20], [21], [22].
Zbog pokušaja da se potreba za intervencijom ljudskog
učitelja ograniči ili potpuno izbjegne, potrebno je obratiti
posebnu pažnju na komunikaciju učenika sa sustavom na
kojem uči te implementaciju modula testiranja koji će
provjeravati i vrednovati znanje koje je učenik stekao.
Komunikacija može koristiti prednosti grafičkog sučelja,
animacije i mehanizme dijaloga, kao i metode upravljanja tom
komunikacijom.
Konverzacijski dijalog kojim će sustav pokušati
sugestivnim pitanjima izvući znanje iz učenika, te samo kao
zadnju mogućnost naprosto učeniku reći informaciju, nalazi se
na tragu konstruktivističke teorije učenja koje zagovara
izgradnju znanja na temelju vlastitog iskustva. Upotrebu
takvog dijaloga zagovaraju Greasser i drugi [23][24]
proučavajući sustave AutoTutor [25] [26], Atlas [27] [28] i
Why2 [29] [30] te ističu kako je kod ovakvih sustava nužna
implementacija robusnih tehnika razumijevanja prirodnog
jezika kako bi dijalog ispunio svoju svrhu.
U provedenom istraživanju Razzaq i Heffernan usporedili
su sustav sa proaktivnim pružanjem savjeta nakon što učenik
pogriješi i sustav u kojem se učeniku savjet daje kad on to
zatraži. Ustanovili su da učenici znatno više nauče kada im se
savjeti daju na njihov zahtjev. Ovo je naročito bilo izraženo
kod učenika sklonih postavljanju mnogo pitanja [31].
Također je naglašena pozitivna reakcija učenika na
animirane pedagoške agente koji razvojem multimedijalnih
sučelja, programske podrške za pretvaranja teksta u govor te
tehnologije generiranja agenata, postaju još jedan mogući adut
na strani ITS-a. Ovakve agente snažno podupiru i Cole i ostali
ograničavajući se ipak na njihovu primjenu u sustavima
namijenjenim učenicima mlađeg uzrasta [32].
Di Eugenio [33] definira napredak u učenju kao razliku
između učenikovog rezultata na istom testu prije i poslije
procesa učenja i poučavanja u odgovarajućem okruženju.
Pokazalo se da je napredak u učenju učenika u interakciji s
5
VREDNOVANJE ZNANJA U SUSTAVIMA E-UČENJA KORIŠTENJEM ZADATAKA OBJEKTIVNOG TIPA
NA KONTROLIRANOM PRIRODNOM JEZIKU
ITS-om na pola puta između napredaka u učenju učenika koji
su nastavi prisustvovali u tradicionalnoj učionici (najniži
napredak) i učenika koji su bili u interakciji s ljudskim
tutorom (najveći napredak) [34]. Niz autora ovu razliku
učenikovog postignuća u interakciji sa ITS-om i ljudskim
tutorom pripisuje razgovoru između učitelja i učenika [35],
[36], [37]. Kao jedan od ključnih čimbenika koji će premostiti
jaz između postojećih inteligentnih tutorskih sustava i živih
učitelja navodi se korištenje prirodnog jezika u komunikaciji
učenika i računala [38], [39], [40], [41].
Mapuva i Muyenga zaključuju kako unatoč raznim
raspravama o njegovom usvajanju i provedbi, kao i popratnim
izazovima, e-učenje ostaje nezamjenjiv pedagoški fenomen za
21. stoljeće i dalje. Njegova sposobnost da razonodi mnoštvo
učenika u potrazi za obrazovnim mogućnostima su najbolji
kanal komunikacije nastavnika s učenicima, neograničen
mjestom i vremenom. Korištenje e-učenja smanjuje i
udaljenost koju učenik mora preći kako bi došao do učitelja i
materijala za učenje [42].
III. VREDNOVANJE ZNANJA UČENIKA
KORIŠTENJEM ZADATAKA OBJEKTIVNOG TIPA
Vrednovanje znanja je sustavan proces u kojem se podaci
prikupljaju, analiziraju i tumače, kako bi se odredilo u kojoj je
mjeri učenik svladao obrazovne ciljeve. Ovaj proces
uključuje:
Kvalitativne tehnike procjene znanja kao što je npr.
opažanje. Ove tehnike su posebno izražene kod
usmenog ispitivanja znanja jer je tada moguće reagirati
na odgovore učenika, uočiti odgovore koji su približno
točni ili one koji su potpuno apsurdni. Također je
moguće bolje provjeriti razumijevanje i uporabu
znanja.
Kvantitativni postupak mjerenja znanja koji se odnosi
na proces određivanja brojčane mjere nečijeg
postignuća ili osobine.
Ocjenjivanje znanja koje uključuje prosudbu
učenikova znanja u odnosu na neke unaprijed zadane
kriterije ili u odnosu na druge učenike i razinu
izmjerenog znanja izražava odgovarajućom ocjenom.
Općenito mjerenjem smatramo postupak koji uključuje tri
elementa: predmet mjerenja, instrument mjerenja i tehniku
mjerenja. Mjerenje mora biti valjano, objektivno, pouzdano i
osjetljivo [43]. Vrednovanje znanja, po svojim osnovnim
karakteristikama, također spada u mjerenje jer je znanje
učenika predmet mjerenja, učitelj predstavlja mjerni
instrument, a tehnika mjerenja je odabrani način vrednovanja:
postavljanje pitanja, pismeno ili usmeno ispitivanje, testiranje,
itd.
Svako mjerenje može biti izravno i neizravno. Sa aspekta
dobivanja rezultata, najjednostavnija mjerenja su izravna
mjerenja kod kojih se vrijednost mjerene veličine direktno
očitava iz rezultata mjerenja. Mjerena veličina se pomoću
mjernog instrumenta uspoređuje sa mjerom pomoću mjernog
uređaja (npr. mjerenje dužine je uspoređivanje sa mjernim
uređajem koji ima skalu u metrima i manjim jedinicama). Kod
neizravnog mjerenja mjerna veličina se dobiva posredno iz
poznatih relacija koje povezuju izmjerene i tražene veličine
(npr. temperatura zraka se mjeri visinom stupca žive u
toplomjeru). Mjerenje znanja spada u neizravna mjerenja, jer
se znanje ne može izmjeriti izravno, nego posredno, preko
odgovora učenika. Ovakva vrsta mjerenja sa sobom nosi i
odgovarajuće probleme [44]:
Mogućnost pogreške je veća kod neizravnog nego kod
izravnog mjerenja, jer na odgovore učenika mogu, uz
učenikovo pravo znanje, djelovati i drugi faktori
(faktori mjerene veličine).
Za mjerenje znanja je karakteristično da se nastavnik
pojavljuje i u ulozi mjerioca i u ulozi mjernog
instrumenta. Ova činjenica povećava subjektivnost, a
smanjuje valjanost, tj. točnost mjerenja (faktori
mjernog instrumenta).
Različite tehnike ispitivanja mogu dovesti do situacije
da se približno jednako znanje učenika ocijeni različito
(faktori tehnike mjerenja).
U faktore mjerene veličine spada niz karakteristika
ispitivanog učenika. To su [43][45]:
Nedovoljna jasnoća i neodređenost odgovora koja se
ogleda u nejasnim i nepotpunim odgovorima koje
nastavnik interpretira i tako donosi svoj subjektivni sud
i ocjenu. Ovo može dovesti do toga da nastavnik
nejednako interpretira iste odgovore i različito ih
ocjeni.
Učenikove verbalne mogućnosti kao što su
elokventnost i sposobnost tečnog govora mogu
pridonijeti boljem dojmu njegovog odgovaranja i
boljoj ocjeni. Usprkos činjenici da sposobnosti nisu
isto što i znanje i da se one ne bi smjele ocjenjivati,
ovaj faktor također često utječe na ocjenu.
Emocionalna otpornost može biti korisna osobina koja
dovodi do bolje prolaznosti pri ispitivanju, koje je
često javni nastup pred cijelim razredom. Jaka
uzbuđenost blokira kognitivne funkcije i može dovesti
do otežanog razumijevanja, sporijeg mišljenja i
gubitaka sjećanja.
Sposobnost zapažanja i vještog korištenja percipiranih
podataka, poruka oko sebe, praćenje lica nastavnika ili
gesti kojima on odobrava ili se protivi određenom
odgovoru također mogu doprinijeti boljem odgovoru
učenika.
Da bi neko mjerenje bilo valjano, mjerni instrument ne
smije imati nikakvog utjecaja na mjerenje. Međutim
nastavnik, kao mjerni instrument vrednovanja znanja, unosi u
ovaj postupak i svoje subjektivne faktore. Oni mogu biti [44]:
Osobna jednadžba ocjenjivanja predstavlja tendenciju
ocjenjivača da daje slabije ili bolje ocjene, odnosno da
veličinu znanja ili podcjenjuje ili precjenjuje. Zbog
toga često govorimo o strožim ili o blažim
nastavnicima.
Halo efekt je pojava da se pojedinačne karakteristike
neke osobe ocjenjuju u skladu sa općom ocjenom te
iste osobe. Na taj smo način pojedinačne karakteristike
6
VREDNOVANJE ZNANJA U SUSTAVIMA E-UČENJA KORIŠTENJEM ZADATAKA OBJEKTIVNOG TIPA
NA KONTROLIRANOM PRIRODNOM JEZIKU
osobe o kojoj općenito nemamo dobro mišljenje skloni
također shvatiti negativno i obrnuto.
Logička pogreška kojom nastavnik subjektivno
ocjenjuje učenikovo znanje iz jednog predmeta na
osnovu njegove uspješnosti u drugom predmetu iako
predmeti objektivno ne moraju biti povezani.
Pogreška sredine koja se odnosi na činjenicu da neki
nastavnici učenička znanja pretežno ocjenjuju
središnjim ocjenama. Do ovoga vjerojatno dolazi zbog
straha od pogreške koji se javlja kod nastavnika
prilikom davanja ekstremnih ocjena.
Pogreška diferencijacije je pogreška suprotna od
pogreške sredine i očituje se u tome da nastavnik ima
pretjeranu tendenciju diferenciranja učeničkih znanja.
Pogreška kontrasta se događa se kad nastavnik najprije
ispita nekoliko najboljih ili najslabijih učenika te
prema njihovom znanju ocjenjuje ostale. Na taj način
on, umjesto neke standardne vrijednosti, znanje
učenika čini referentnom točkom prilikom ocjenjivanja
znanja drugih učenika.
Tendencija prilagođavanja kriterija ocjenjivanja
kvaliteti učeničke skupine je pogreška slična pogrešci
kontrasta, a razlikuje se u tome što se kao kriterij
uzima prosječno znanje određenog razreda. Ovo može
dovesti do situacije da nastavnik više traži u boljim
razredima, a manje u slabijim, te da isto znanje nekog
učenika može biti različito ocijenjeno ovisno o tome u
kojem se razredu nalazi.
Do ovih pogrešaka dolazi iz razloga što kriteriji i mjerila
ocjenjivanja nisu jasno određeni. Nije u potpunosti jasno što
učenik treba usvojiti za odgovarajuću ocjenu. Zbog toga svaki
učitelj ima neko svoje mjerilo i njemu prilagođava svoju
ljestvicu ocjena. Tako nastavnici upotrebljavaju iste ocjene s
različitim implicitnim vrijednostima. Budući da nema jasnih
kriterija učitelji ocjenjuju i različite aspekte učeničkih
odgovora pa neki nastavnici smatraju da je važnije da učenik
pokaže inteligenciju, drugi ocjenjuju znanje, a treći trud,
zalaganje i marljivost.
Dvije su osnovne tehnike ispitivanja: usmeno i pismeno
ispitivanje [46]. Svaka od ovih tehnika ima svoje pozitivne i
negativne karakteristike koje povezuju elemente dviju
prethodno navedenih kategorija.
Kod usmenog ispitivanja učitelj može reagirati na odgovore
učenika i tako primjerenije ispitati njegovo stvarno znanje i
razumijevanje gradiva, može uočiti i reagirati na odgovore
koji su približno točni ili one koji su potpuno apsurdni pa
ukazuju na neznanje. S druge strane usmeno ispitivanje je
vremenski neekonomično, izrazito je subjektivno jer nastavnik
različito reagira na različite učenike, učenici dobivaju različita
pitanja pa je teško usporediti znanje te obuhvaća manje
gradiva. Kod usmenog ispitivanja značajnu ulogu igra i
ponašanje učitelja tijekom učenikova odgovaranja. Pasivan tip
nastavnika postavlja pitanje i čeka odgovor, a kvaliteta
odgovora učenika ovisi o znanju, ali i njegovoj sposobnosti da
se aktivno izrazi i oblikuje ono što zna, kao i o njegovoj
emocionalnoj otpornosti u ispitnim situacijama. Zbog toga
postoji tendencija podcjenjivanja učeničkog znanja, uz
istovremeno precjenjivanje drugih faktora kao što su vještine i
sposobnosti. Ako se učitelj prilikom ispitivanja postavi kao
aktivan sudionik, tj. ako različitim dodatnim potpitanjima i
objašnjenjima navodi učenika na točan odgovor, u takvim
okolnostima ispravnost učenikova odgovora ovisi o
prepoznavanju sadržaja kao i o vještini detekcije onih dijelova
sadržaja na koje nastavnik navodi. Do izražaja tada dolazi
tendencija da se znanje učenika precijeni.
Kod pismenog ispitivanja manji je utjecaj subjektivnosti
nastavnika. Svim učenicima su postavljena ista pitanja, za sve
vrijede isti uvjeti rada, a ocjenjivanje je objektivnije jer je
moguće izračunati postotak riješenih zadataka. Pismeno
ispitivanje može obuhvatiti više gradiva te je vremenski
ekonomično jer se istovremeno svi učenici mogu ispitati.
Nedostaci pismenog ispitivanja su to što se njime često traži
samo reprodukcija materijala, proces pamćenja i prisjećanja
činjenica, a ne uspijeva se zahvatiti razumijevanje ili primjena
znanja. Ukoliko prilikom ocjenjivanja nastavnik zadaću
odmah i ocjenjuje moguće je da će nakon prvih nekoliko
ispravljenih zadaća, kada vidi da su zadaće ispod ili iznad
njegovih očekivanja, promijeniti kriterij ocjenjivanja što
dovodi učenike u neravnopravan položaj. Bolji pristup
uključivao bi kratki pregled svih zadaća prije početka
ocjenjivanja svake od njih.
Iz svega navedenog vidljiva je složena priroda procesa
vrednovanja znanja učenika. Upotrebom inteligentnog
računalnog programskog rješenja, eliminirat će se
subjektivnost nastavnika, a implementiranjem odgovarajućeg
načina provjere učenikovog znanja, moguće je objektivnost
samog procesa podići na višu razinu, što će u konačnici
rezultirati boljom prilagodljivosti sustava učenja trenutnoj
razini znanja učenika.
A. Zadaci objektivnog tipa
Kao rješenje koje može eliminirati čimbenike koji
ugrožavaju metrijske karakteristike vrednovanja znanja kao
što su način oblikovanja odgovora, subjektivnost nastavnika i
odabrana tehnika ispitivanja nameće se objektivno ispitivanje
znanja koje maksimalno smanjuje utjecaj subjektivnih
čimbenika o kojima smo govorili pri procjeni znanja.
Objektivno ispitivanje znanja provodi se pomoću nizova
zadataka objektivnog tipa i pomoću testova znanja. Po svojoj
formi nizovi zadataka objektivnog tipa i testovi znanja se ne
razlikuju jer sadrže iste vrste zadataka objektivnog tipa.
Razlika leži u načinu njihove pripreme.
Test znanja konstruiran je prema psihometrijskim načelima
i zadaje se ispitanicima u standardiziranim uvjetima, a
pojedini se uradak vrednuje s obzirom na prosjek populacije.
On predstavlja cjelinu, sastavljenu od niza zadataka i ima
provjerene metrijske karakteristike. Primijenjen je na
reprezentativnom uzorku neke populacije i na temelju toga
baždaren.
Nizovi zadataka objektivnog tipa su pismeni ispiti znanja
koje nastavnik samostalno sastavlja i vrlo su česti u našoj
7
VREDNOVANJE ZNANJA U SUSTAVIMA E-UČENJA KORIŠTENJEM ZADATAKA OBJEKTIVNOG TIPA
NA KONTROLIRANOM PRIRODNOM JEZIKU
školskoj praksi. Zbog ad-hoc načina sastavljanja oni su upitnih
metrijskih karakteristika.
Kod objektivnih testova je standardizirana i procedura. Test
se treba provoditi u unaprijed definiranim uvjetima, a svakom
učeniku treba biti pročitana ista uputa. Testovi omogućavaju
različite usporedbe koje nisu moguće u običnom pismenom
ispitivanju, npr. mogu se usporediti rezultati dva testa iz
različitih predmeta s obzirom na populaciju. Oni također
omogućavaju usporedbu rezultata pojedinca s prosječnim
rezultatom skupine.
Moguća su dva načina interpretacije rezultata [44], [46]:
normativna interpretacija koja uspoređuje individualni
rezultat učenika s prosječnim rezultatom grupe te na taj
način određuje poziciju učenika u grupi ali ne govori o
stvarnom znanju učenika,
kriterijska interpretacija koja daje odgovor na pitanja
koliko učenik zna bez obzira na skupinu, tj. u kojem je
stupnju znanje usvojeno.
Sastavni elementi ovih objektivnih načina ispitivanja znanja
su zadaci objektivnog tipa (ZOT). Za njih karakteristično da
odgovori mogu biti jednoznačno interpretirani i objektivno
vrednovani kao točni ili netočni. Ovakvi zadaci učenika vode
ka odgovoru, nude alternativna rješenja, višestruki izbor, traže
procjenu i slično. Poželjni su u situacijama kada je dovoljno
da učenik prepoznaje gradivo, u slučajevima kada učenike
usmjeravamo na konkretno rješavanje problema, za vježbanje
i primjenu gradiva i slično. Koliko god služe za ispitivanje,
ovi zadaci još više služe za učenje. Pogodni su za primjenu
motivacije postignuća na gradivu te za samovrednovanje
učenika. Ove zadatke možemo razlikovati s obzirom na način
rješavanja, s obzirom na kognitivne ili racionalne procese koje
angažiraju, s obzirom na tehniku i medije koji se koriste pri
njihovom rješavanju, itd. S obzirom na način njihovog
rješavanja, ZOT-ove možemo svrstati u sljedeće kategorije
[47]:
zadaci dosjećanja i dopunjavanja su pitanja koja traže
kratak odgovor od jedne do nekoliko riječi ili
nedovršene tvrdnje koje treba nadopuniti i gdje je
točno navedeno koliko se riječi traži,
alternativni zadaci predstavljaju tvrdnje za koje se traži
procjena točnosti pa stoga one moraju biti
nedvosmislene i ne smiju se sastojati od dijelova koji
su točni i dijelova koji nisu točni,
zadaci višestrukog izbora su pitanja ili nedovršene
tvrdnje uz koje je predloženo više odgovora (najčešće
4-5) i od učenika se traži da izaberu jedan odgovor;
predloženi odgovori moraju izgledati podjednako
prihvatljivi, a traženi odgovor ne smije odskakati ni po
jednoj svojoj značajki,
zadaci s dva tipa kriterija izbora od ispitanika
zahtijevaju da niz podataka koje zadatak sadrži
razvrstaju prema dvama kriterijima izbora,
zadaci ispravljanja zahtijevaju prepoznavanje i/ili
ispravljanje pogrešaka pri čemu treba paziti da broj
pogrešaka ne učini rečenicu ili odlomak
nerazumljivim,
zadaci sređivanja od ispitanika traže da podatke koji se
navode u zadatku srede po nekom načelu, pri čemu
elementi koji se sređuju moraju biti jednako važni i
međusobno koordinirani,
zadaci povezivanja traže povezivanje članova dvaju
nizova riječi ili rečenica, pri čemu je uputno da nizovi
ne budu jednake dužine jer je u tom slučaju visoka
vjerojatnost pogađanja pri povezivanju posljednjih
članova nizova.
Kod ZOT-ova je važno je da se unaprijed postave jasni
kriteriji što se u zadatku traži i što će biti vrednovano kao
uspješno riješen zadatak, tako da ishod što manje zavisi od
subjektivnog kriterija ocjenjivača. ZOT-ovi, po svojoj prirodi,
mjere činjenično znanje i razumijevanje nastavnog sadržaja, a
njihovim korištenjem moguće je obuhvatiti veliku količinu
gradiva. Oni potiču na učenje specifičnih činjenica, a
pažljivom konstrukcijom pitanja može se poticati i
razumijevanje.
Za provođenje ovakvog načina ispitivanja potrebno je
sastaviti veliki broj pitanja, što njegovu pripreme čini teškom i
vremenski zahtjevnom. Učenici koji nisu savladali nastavni
sadržaj mogu do odgovora doći pogađanjem ili, u standardnim
uvjetima ispitivanja u učionici, prepisivanjem od drugih
učenika. Ispravljanje i ocjenjivanje ovih testova brzo je i
objektivno [48].
Prilikom sastavljanja testa je poželjno kombinirati više
oblika ZOT-ova kako bi se izbjegla stereotipnost. Pitanja ili
tvrdnje ne smiju biti preuzeti izravno iz udžbenika, a njihov
tekst mora biti razumljiv te gramatički i pravopisno točan.
Pitanja ne smiju biti dvosmislena ili takva da namjerno
zavaraju učenika, ali ni takva da olakšavaju njegov odgovor.
Točni odgovori trebaju biti jednako dugi kao i netočni, a
zadaci općenito ne smiju biti međusobno vezani, tako da ako
učenik ne riješi jedan zadatak ne može riješiti niti drugi.
Pažljivo odabranom kombinacijom ZOT-ova, vrednovanje
znanja učenika u trenutku testiranja biti će objektivno,
jednostavno provedivo, a zbog mogućnosti generiranja
zadataka i ponuđenih odgovora na principu potpunog ili
djelomično kontroliranog slučajnog odabira biti će smanjena i
mogućnost "varanja" prilikom testiranja.
Ashford prati razvoj korištenja objektivnog testa proizašlog
iz testova inteligencije koje početkom 20. stoljeća uvodi
Alfred Binet [49]. I mnogi drugi autori, već dugi niz godina,
raspravljaju o različitim značajkama ZOT-ova i testova
zasnovanih na njima, u skladu sa vremenskim periodom u
kojem rade i raspoloživim tehničkim mogućnostima.
Pressey ističe potrebu razvoja i vrednovanja uređaja koji bi
omogućio trenutno automatsko bodovanje objektivnih testova
te na osnovu toga pružio preporuku za popratno samoučenje
[50].
Nedelsky je proveo pilot istraživanje kako bi na osnovu
njegovih podataka ustanovio minimum potreban kako bi se na
objektivnom testu dobila prolazna ocjena [51].
Loevinger promatra objektivne testove kao instrument
zastupane psihološke teorije. Ističe kako je konstruktna
8
VREDNOVANJE ZNANJA U SUSTAVIMA E-UČENJA KORIŠTENJEM ZADATAKA OBJEKTIVNOG TIPA
NA KONTROLIRANOM PRIRODNOM JEZIKU
valjanost testa, tj. stupanja u kojem test stvarno mjeri ono što
tvrdi da mjeri, omogućava testove koji će iskoristiti postojeća
psihološka znanja, ali i doprinijeti stjecanju novih znanja [52].
Imajući na umu spomenuta razmatranja, u sklopu
istraživanja provest ćemo detaljnu analizu konstrukcije i
ocjenjivanja objektivnog testa koji ćemo koristiti kao
instrument vrednovanja znanja u sustavima e-učenja.
Objektivni test znanja dinamički će se generirati na osnovu
činjenica područnog znanja pohranjenog u sustavu e-učenja.
Potreba za gramatički i pravopisno korektnim pitanjima,
ponuđenim odgovorima, te povratnim informacijama koje
prate učenikov odgovor nužno iziskuje i prirodni jezik na
kojem će se sustav s funkcionalnostima generiranja testa i
ocjenjivanja učenikovih odgovora temeljiti. U tu svrhu je
provedeno i inicijalno istraživanje kojim smo htjeli dobiti
osjećaja na koji način se ZOT-ovi ponašaju kod testiranja
znanja. Detaljan opis istraživanja dan je u nastavku.
IV. OBRADA PRIRODNOG JEZIKA
Već smo istaknuli značaj komunikacije koja se pri
korištenju sustava e-učenja odvija između sustava, tj. računala
i učenika. Primarni medij te komunikacije je jezik. Neispravna
gramatička struktura postavljanih pitanja ili danih komentara i
preporuka, kao i neprecizno razumijevanje značenja
učenikovih odgovora, negativno bi utjecala na izvedbu
sustava. Zbog toga je nužno uvesti određene mehanizme
generiranja i obrade prirodnog jezika. Alternativni pristup
konzervirane komunikacije je čest uzrok nerazumijevanja u
komunikaciji sustava i učenika.
U filozofiji jezika, prirodnim jezikom (engl. Natural
Language - NL) nazivamo jezik kojim se govori, piše ili
simbolički označava u općenitu svrhu komunikacije. Kao
suprotnost prirodnom jeziku javljaju se konstruirani i formalni
jezici kao što su računalni programski jezici ili jezici korišteni
u proučavanju formalne, u prvom redu matematičke, logike.
Obrada prirodnog jezika (engl. Natural Language
Processing - NLP) [53] pruža računalnu podršku za ulaz u
vidu prirodnog jezika, te kao takva predstavlja važno područje
računarstva te, posebno, umjetne inteligencije i lingvistike.
Ona se u prvom redu odnosi na područje interakcije između
čovjeka i računala. Zadatak obrade prirodnog jezika može biti
prevođenje teksta na neki drugi jezik, razumijevanje i prikaz
sadržaja teksta, izgradnja baze podataka, generiranje sažetaka
ili održavanje dijalog sa korisnikom kao dio sučelja sustava za
dohvat informacija [54]. Mnogi od ovih zadataka uključuju
razumijevanje prirodnog jezika tj. omogućavanje računalu da
izvuče značenje iz ulaza u vidu prirodnog jezika, dok se ostali
uglavnom odnose na generiranje prirodnoga jezika [55].
Problemi prirodnih jezika su osobito uočljivi u područjima
kao što su rudarenje teksta, tražilice, automatsko sažimanje,
sinteza govora i algoritmi korišteni za određivanje sadržaja
tijekova teksta u računalnoj lingvistici.
Obrada prirodnog jezika je interdisciplinarno područje koje
se bavi razvojem metoda za ekstrakciju informacija iz
prirodnog jezika i generiranje prirodnog jezika. Suvremene
metode ove obrade temelje se na strojnom učenju. Većina
rješenja iz oblasti obrade prirodnog jezika dijeli neke korake
kao što su označavanje vrsta riječi i sintaktička analiza, koji
daju korisne informacije o strukturi rečenica te služe kao
polazna točka za daljnju analizu.
Kontrolirani prirodni jezik (engl. Controlled Natural
Language - CNL) je podskup prirodnog jezika, dobiven
ograničavanjem gramatike i rječnika s ciljem smanjenja ili
otklanjanja nejasnoća i složenosti. Kontrolirani prirodni jezici
dijele se u dvije glavne skupine [56]:
jezike koji omogućuju pouzdanu automatsku
semantičku analizu jezika,
jezike koje poboljšavaju čitljivost za ljudskog čitatelja.
Prvi tip jezika ima formalno logičku osnovu, tj. formalnu
sintaksu i semantiku i može se preslikati na postojeće
formalne jezike, kao što je logika prvog reda. Prema tome, ovi
jezici mogu se koristiti kao jezici za predstavljanje znanja, a
pisanje korištenjem ovih jezika može biti potpomognuto
potpuno automatiziranim mehanizmima provjere dosljednosti i
redundancije, odgovorima na upite i sl.
Drugi tip jezika, od posebnog značaja i za ovo istraživanje,
često se naziva pojednostavljeni ili tehnički jezik. Njegova
osnovna primjena je u industriji, s ciljem poboljšanja kvalitete
tehničke dokumentacije, te pojednostavljenja njenog
djelomično automatiziranog prijevoda. Ovi jezici ograničavaju
slobodu pisanja općim pravilima po kojima rečenice trebaju
biti kratke, treba izbjegavati upotrebu zamjenica, smiju se
koristiti samo riječi iz dozvoljenog rječnika, glagole treba
koristiti samo u radnom stanju, itd.
V. MODEL VREDNOVANJA ZNANJA KORIŠTENJEM
ZADATAKA OBJEKTIVNOG TIPA NA
KONTROLIRANOM PRIRODNOM JEZIKU
U sklopu predmeta Oblikovanje objektno orijentiranih
sustava na poslijediplomskom sveučilišnom studiju
Istraživanje u edukaciji u području prirodnih i tehničkih
znanosti, usmjerenje Informatika, oblikovan je model sustava
za generiranje ZOT-ova na kontroliranom prirodnom jeziku i
ocjenjivanje učenikovog odgovora koji će se u ITS-ovima
temeljenim na konceptualnom prikazu znanja integrirati u
modul testiranja znanja učenika. Isti model će se koristiti i u
LMS sustavima temeljenim na deklarativnom prikazu znanja,
uz potrebu njegove prethodne konceptualizacije.
Ovaj model je predložen na osnovu pregleda istraženosti
područja modeliranja područnog znanja i strukture predložaka
rečenica kontroliranog prirodnog jezika kao sredstva
komunikacije ITS-a i učenika [57].
Dva su osnovna zadatka ovog sustava:
generiranje zadatka objektivnog tipa,
predstavljanje zadatka učeniku te prihvaćanje i
ocjenjivanje učenikovog odgovora.
Ova dva zadatka možemo promatrati kao dvije faze procesa
vrednovanja znanja učenika na osnovu zadataka objektivnog
tipa formuliranih korištenjem kontroliranog prirodnog jezika,
kao što se može vidjeti na dijagramu slučajeva korištenja
9
VREDNOVANJE ZNANJA U SUSTAVIMA E-UČENJA KORIŠTENJEM ZADATAKA OBJEKTIVNOG TIPA
NA KONTROLIRANOM PRIRODNOM JEZIKU
sustava na slici 1.
Slika 1. Dijagram slučajeva korištenja sustava
Područno znanje koje se učeniku prenosi putem ITS-a,
predstavljeno je grafom područnog znanja. Ovaj graf sastoji se
od čvorova koji predstavljaju koncepte, tj. pojmove područnog
znanja i veza između čvorova koje predstavljaju relacije
između koncepata.
Definiran je matematički model kojim ćemo predstaviti
područno znanje [57] i koji će biti osnova za generiranje ZOT-
ova na kontroliranom prirodnom jeziku. Model definira tri
skupa koji određuju područno znanje:
skup koncepata područnog znanja
K = {K1, K2, K3, ...},
skup definiranih relacija među konceptima područnog
znanja
R = {R1, R2, R3, ...},
skup uređenih trojki koji predstavljaju formalni zapis
činjenica područnog znanja
DKG = {(Ka2, Ra, Ka1), (Kb2, Rb, Kb1),
(Kc2, Rc, Kc1), ...} K R K.
Područnim znanjem, prema tome, ćemo smatrati uređenu
trojku skupova (K, R, DKG).
Iz skupa uređenih trojki DKG moguće je generirati skup
izjavnih rečenica koje predstavljaju točne činjenice područnog
znanja zapisane prirodnim jezikom. U ovom radu ograničit
ćemo se na četiri osnovna oblika, tj. predloška rečenica [58],
[59]:
1. <Ka2> <Ra> <Ka1>.
kada je {Ki K | (Ki, Ra, Ka1) DKG} = {Ka2},
2. <Kb2>, <Kb3>, ... i <Kbn> <Rb> <Kb1>.
kada je {Ki K | (Ki, Rb, Kb1) DKG} =
= {Kb2, Kb3, ..., Kbn},
3. <Kc(n+1)> <Rc> <Kc1>, <Kc2>, ... i <Kcn>.
kada je {Ki K | (Ki, Rc, Kc2) DKG} = ... =
= {Kj K | (Kj, Rc, Kcn) DKG} = {Kc(n+1)},
4. <Kd(n+1)>, <Kd(n+2)>, ... i <Kd(n+m)> <Rd>
<Kd1>, <Kd2>, ... i <Kdn>.
kada je {Ki K | (Ki, Rd, Kd2) DKG} = ... =
= {Kj K | (Kj, Rd, Kdn) DKG} =
= {Kd(n+1), Kd(n+2), ..., Kd(n+m)}.
Četvrti tip rečenice možemo smatrati općim, jer su svi
prethodni samo njegovi posebni slučajevi.
Skup izjavnih rečenica koje predstavljaju točne činjenice
područnog znanja zapisane prirodnim jezikom predstavlja
kontrolirani prirodni jezik za kojeg možemo reći da je
kontekstno neovisan jer ga generira kontekstno neovisna
gramatika. Tu kontekstno neovisnu gramatiku G možemo
definirati kao uređenu četvorku G = (Vt, Vn, P, Rec) gdje je:
Vt konačan skup završnih znakova
Vt = K R
Vn konačan skup nezavršnih znakova,
Vn = {Rec, Su, Ob, Pr},
P konačan skup pravila produkcije čiji su elementi
produkcije:
Rec Su Pr Ob
Su Ks1[[, Ks2]* i Ksn]?
Pr Rp
Ob Ko1[[, Ko2]* i Kon]?
Rec Vn istaknuti početni nezavršni znak.
S obzirom da je ovaj jezik podskup prirodnog jezika,
oznake nezavršnih znakova odabrane su na način da sugeriraju
ulogu pojedinog znaka u rečenicama ovog jezika. Tako je Rec
oznaka za rečenicu, a Su, Pr i Ob su redom oznake za subjekt,
predikat i objekt rečenice. Skup završnih znakova predstavlja
uniju skupa koncepata područnog znanja K i skupa definiranih
relacija među konceptima R. Za završne znakovi korištene u
pravilima produkcije vrijedi Ks1, Ks2, ..., Ksn, Ko1, Ko2, ..., Kon
K i Rp R.
Definirana kontekstno neovisna gramatika G će, iz
konceptualnog prikaza područnog znanja, odnosno nekog
njegovog segmenta, stvoriti rečenicu na prirodnom jeziku,
puno pogodniju za komunikaciju s učenikom. Prvi korak pri
tome je formiranje apstraktnog stabla rečenice. Apstraktno
stablo, koje opisuje gore navedene rečenice, možemo zamisliti
kao stablo čiji je korijen sama rečenica Rec iz koje idu tri
grane koje predstavljaju subjekt Su, predikat Pr i objekt Ob
rečenice. Pri tome su subjekt i objekt, potencijalno,
konjunkcija pojmova područnog znanja, dok je predikat, zbog
odabira gore opisanih tipova rečenica, uvijek samo jedan.
Apstraktno stablo možemo shematski prikazati kao na slici 2.
Slika 2. Apstraktno stablo rečenice
Podproces generiranja zadatka objektivnog tipa izvodi se u
nekoliko etapa.
1. Najprije je potrebno pronaći i izdvojiti podgraf grafa
područnog znanja na osnovu kojeg ćemo generirati
zadatak objektivnog tipa i ponuđene odgovore. Ovo
uključuje nekoliko aktivnosti:
a) Na osnovu nastavne cjeline koja se obrađuje
potrebno je odrediti koncept ili skupinu
koncepata, tj. dio područnog znanja za koje
želimo postaviti zadatak,
b) Slučajnim odabirom odredi se vrsta zadatka
objektivnog tipa koji se želi postaviti. U ovom
10
VREDNOVANJE ZNANJA U SUSTAVIMA E-UČENJA KORIŠTENJEM ZADATAKA OBJEKTIVNOG TIPA
NA KONTROLIRANOM PRIRODNOM JEZIKU
koraku moguće je ostaviti slobodan izbor bilo
koje realizirane vrste zadatka ili zadatke težinski
rangirati po kriterijima Bloomove taksonomije
znanja [60]. U tom slučaju mogli bi u kategoriju
"lakših" zadataka svrstati alternativne zadatke,
zadatke dopunjavanja i zadatke višestrukog
izbora, dok bi se zadaci sređivanja, zadaci
povezivanja te esejski zadaci mogli smatrati
"težim" zadacima.
c) Na osnovu odabrane vrste zadatka objektivnog
tipa određuje se oblik podgrafa pogodan za
generiranje željene vrste zadatka.
d) Podgrafovi odgovarajućeg oblika koji sadrže
odabrani koncept ili element iz odabrane skupine
koncepata pronalaze se u grafu područnog znanja.
Ukoliko takvih podgrafova nema vraćamo se na
korak 1. b).
e) Slučajnim odabirom određuje se jedan od
podgrafova pronađenih u koraku 1.d), i on
predstavlja osnovicu za generiranje zadatka
objektivnog tipa.
2. Na osnovu odabranog podgrafa generira se zadatak
objektivnog tipa na kontroliranom prirodnom jeziku. I
ovaj korak uključuje nekoliko aktivnosti:
a) Iz odabranog podgrafa izdvajaju se nazivi
koncepata i relacija sadržanih u njemu. Ti se
nazivi pronalaze u Hrvatskom morfološkom
leksikonu [61] [62] i prenose u rječnik sustava.
b) Na osnovu odabranog podgrafa i odabrane vrste
zadatka stvara se apstraktno stablo rečenice koja
će predstavljati zadatak objektivnog tipa [57],
[63].
c) Odrede se točni odgovori postavljenog zadatka.
d) Na osnovu apstraktnog stabla rečenice zadatka
objektivnog tipa, točnih odgovora i rječnika
sustava generira se zadatak objektivnog tipa u
kontroliranom prirodnom jeziku i točni odgovori.
3. Na osnovu odabrane vrste zadatka utvrđuje se
eventualna potreba za obradom ponuđenih odgovora.
Ukoliko je ona potrebna provodi se sljedeća aktivnost:
a) Na osnovu rječnika sustava određuje se pravilan
broj i padež ponuđenih odgovora.
Podproces ocjenjivanja učenikovog odgovora ima dvije
osnovne faze:
1. Komunikacija s učenikom odvija se kroz dvije
aktivnosti:
a) Najprije se učeniku koji je pokrenuo postupak
testiranja prikaže zadatak objektivnog tipa
generiran u prethodno opisanom podprocesu, te
eventualno i ponuđeni odgovori što ovisi o vrsti
prikazanog zadatka.
b) Prihvaća se učenikov odgovor
2. Provjera ispravnosti učenikovog odgovora može
zahtijevati sljedeće aktivnosti:
a) koliko je to potrebno obavlja se jezična obrada
učenikovog odgovora. Ovo vrijedi samo kod
zadataka dopunjavanja i esejskih zadataka jer su
kod svih drugih zadataka odgovori ili već
ponuđeni ili predstavljaju sekvencu rednih
brojeva ponuđenih odgovora, pa nema potrebe za
njihovom jezičnom obradom.
b) Uspoređuje se učenikov odgovor sa točnim
odgovorom koji je određen u prethodno opisanom
procesu. Na osnovu ove usporedbe određuje se
točnost učenikovog odgovora. Kao što smo ranije
napomenuli, moguće je odgovore klasificirati
samo kao točne ili netočne, ili ostaviti mogućnost
djelomično točnog odgovora, čime bi se možda
osigurala veća osjetljivost sustava.
Generiranje zadataka i ponuđenih odgovora zasnovano je na
mehanizmu generiranja prirodnog jezika te korištenje
Hrvatskog morfološkog leksikona što će osigurati isporuku
gramatički ispravnih ZOT-ova učeniku. Ocjenjivanje
učenikovog odgovora može uključivati mehanizam obrade
prirodnog jezika, tj. konceptualizacije slobodnog teksta
odgovora, ovisno o vrsti ZOT-a koji je učeniku isporučen.
Navedeni model proći će eksperimentalnu fazu, te će se, na
osnovu dobivenih rezultata, u budućem istraživanju detaljnije
formalizirati i po potrebi prilagoditi i doraditi.
VI. PILOT ISTRAŽIVANJE
Planirano istraživanje u vezu dovodi dva pristupa
problematici učenja i poučavanja koja se razilaze po pitanju
upotrebe prirodnog jezika kao sredstva komunikacije s
učenikom.
Vrednovanje znanja u sustavima e-učenja uključuje
sporazumijevanje sustava i učenika, primarno kroz jezik.
Većina postojećih sustava izbjegava pravi mehanizam
prirodnog jezika za ostvarivanje komunikacije s učenikom
zbog složenosti njegove implementacije. Umjesto toga
većinom koriste alternativni pristup konzervirane
komunikacije u vidu skupa unaprijed definiranih modela
pitanja i odgovora u koje se dodaju nazivi koncepata
područnog znanja koje se poučava. Tako dobiveni tekst
generiranih zadataka i ponuđenih odgovora biti će često
gramatički neispravan, što učeniku može predstavljati problem
pri njihovom razumijevanju. Ova komunikacija je, uz sve
navedeno, ograničena na proces učenja i poučavanja jer
tradicionalna podjela funkcionalnost ITS-ova ne uključuje
modul testiranja.
ZOT-ovi su, sa druge strane, čvrsto oslonjeni na prirodni
jezik i njihov smisao i značenje znatno ovise o ispravnoj
gramatičkoj strukturi. Zbog toga njihova upotreba, kao
instrumenta za vrednovanje znanja u ITS-ovima, nužno
iziskuje i prirodni jezik na kojem će se sustav temeljiti.
Prirodni jezik, kao što smo već naveli, autori smatraju
jednim od mogućih rješenja koje će buduće ITS-ove po
učinkovitosti približiti "živim" tutorima. Ova sprega ITS-ova i
ZOT-ova, uz mehanizam prirodnog jezika, na kojem će se
temeljiti komunikacija računala i učenika tijekom testiranja,
učiniti će vrednovanje znanja pristupačnijim i razumljivijim
učeniku.
Kao početna točka istraživanja postavljeno je stjecanje
11
VREDNOVANJE ZNANJA U SUSTAVIMA E-UČENJA KORIŠTENJEM ZADATAKA OBJEKTIVNOG TIPA
NA KONTROLIRANOM PRIRODNOM JEZIKU
iskustva u korištenju ZOT-ova, konstrukcije testa znanja i
njegove primjenjivosti kao instrumenta vrednovanja znanja
učenika. U tu svrhu provedeno je pilot istraživanje [4] sa
studentima koji su pohađali nastavu potpomognutu računalom
uz LMS sustav e-učenja Moodle i tradicionalnu nastavu u
okviru predmeta Uvod u računala i programiranje na prvoj
godini preddiplomskog studija računarstva na Fakultetu
strojarstva i računarstva Sveučilišta u Mostaru. Za ovo pilot
istraživanje smo se odlučili jer smo uvidom u literaturu
primijetili da takvih istraživanja nema.
Zadaci koji smo ovim istraživanjem htjeli ispuniti su:
upoznati studente sa sustavom e-učenja Moodle,
realizirati prvi dio nastave (nastavne jedinice: Povijest
računala, Računalo kao sustav, Računalni hardver i
Računalni softver) pomoću sustava e-učenja Moodle za
sve studente,
testirati znanje pomoću zadataka objektivnog tipa
(ZOT1) korištenjem sustava e-učenja Moodle,
testirati znanje pomoću zadataka objektivnog tipa
(ZOT2) na tradicionalan način,
na osnovu rezultata testiranja ZOT1 i ZOT2 podijeliti
studente u dvije grupe, približno istih rezultata,
realizirati drugi dio nastave (Brojevni sustavi, Logički
sklopovi, Kodiranje, Komunikacija s drugim
uređajima, Mrežne usluge) za kontrolnu grupu studenta
na tradicionalan način
realizirati drugi dio nastave (Brojevni sustavi, Logički
sklopovi, Kodiranje, Komunikacija s drugim
uređajima, Mrežne usluge) za eksperimentalnu grupu
studenta korištenjem sustava e-učenja Moodle,
testirati znanje pomoću zadataka objektivnog tipa
(ZOT3) na tradicionalan način.
Svi testovi su se sastojali od po osam ZOT-ova različitih
kategorija: zadataka dosjećanja, zadataka s alternativnim
odgovorima, zadatka dopunjavanja, zadataka povezivanja i
zadataka višestrukog izbora te dodatno od po dva zadatka
esejskog tipa, koji su zasebno bodovani.
Eksperimentalno istraživanje provedeno je u računalnom
kabinetu Fakulteta strojarstva i računarstva Sveučilišta u
Mostaru uz pomoć LMS sustava e-učenja Moodle u listopadu i
studenom 2013. godine
U istom periodu se odvijala i tradicionalna nastava u
tradicionalnoj učionici Fakulteta.
Istraživanje je provedeno na uzorku od 64 studenta prve
godine preddiplomskog studija računarstva na Fakultetu
strojarstva i računarstva Sveučilišta u Mostaru.
Zbog tehničkih uvjeta studenti su bili podijeljeni u dvije
skupine koje su nastavu pohađale u vremenski odvojenim
terminima. U svrhu eksperimenta jedna skupina studenata
(njih 32) predstavljala je eksperimentalnu skupinu, a druga
skupina (također 32 studenta) bila je kontrolna.
Instrumenti za provedbu istraživanja bili su ZOT-ovi
(zadaci dosjećanja, zadaci s alternativnim odgovorima, zadaci
dopunjavanja, zadaci povezivanja, zadaci višestrukog izbora) i
zadaci esejskog tipa. Zadaci su sastavljeni u dvije usporedne
forme, ZOT1 i ZOT2 za utvrđivanje stanja nakon upoznavanja
sa sustavom e-učenja Moodle i ZOT3 za utvrđivanje konačnog
stanja. Istraživanje je provedeno na tradicionalan način - u
papirnatom formatu (ZOT2 i ZOT3) odnosno korištenjem
sustava e-učenja Moodle (ZOT1).
Instrumenti za provedbu istraživanja bili su zadaci
objektivnog tipa (zadaci dosjećanja, zadaci s alternativnim
odgovorima, zadaci dopunjavanja, zadaci povezivanja, zadaci
višestrukog izbora i zadaci esejskog tipa). Zadaci objektivnog
tipa sastavljeni su u dvije usporedne forme, ZOT1 i ZOT2 za
utvrđivanje stanja nakon upoznavanja sa sustavom e-učenja
Moodle i ZOT3 za utvrđivanje konačnog stanja. Istraživanje je
provedeno na tradicionalan način - u papirnatom formatu
(ZOT2 i ZOT 3) odnosno korištenjem sustava e-učenja
Moodle (ZOT1).
Svi studenti su u prvom mjesecu zimskog semestra
akademske 2013./2014. godine pohađali nastavu
potpomognutu računalom uz sustav e-učenja Moodle, kako bi
se upoznali sa tim tehnološkim rješenjem s kojim će se
tijekom studija dosta susretati. U okviru ove nastave obrađene
su osnovne teme koje spadaju i u nastavni plan i program
srednjoškolske Informatike, tako da je većina studenata sa tim
pojmovima već bila upoznata. Testiranja ZOT1 i ZOT2
provedena su nakon faze upoznavanja studenata sa sustavom
e-učenja Moodle, kako bi se utvrdilo inicijalno stanje prije
eksperimentalnog dijela nastave.
Na osnovu rezultata postignutih u ova dva testiranja
studenti su pregrupirani u dvije skupine približno jednakih
postignuća na provedenim testovima.
U eksperimentalnom dijelu nastave, tijekom drugog
mjeseca zimskog semestra akademske 2013./2014. godine
nastava je za kontrolnu skupinu (KS) organizirana na
tradicionalan način u klasičnoj učionici, korištenjem krede i
ploče te projektora za prikaz PowerPoint prezentacija. U istom
periodu nastava je za eksperimentalnu skupinu (ES)
organizirana uz pomoć sustava e-učenja Moodle. Testiranje
ZOT3 provedeno je nakon eksperimentalne faze nastave, kako
bi se utvrdilo konačno stanje znanja studenata.
Na osnovu postignutih rezultata izračunata je aritmetička
sredina (AS) kao jedna od mjera srednje vrijednosti,
standardna devijacija (SD) i koeficijent varijabilnosti (V) -
dvije mjere disperzije, neparni T-test kojim je provjereno
postoji li statistički značajna razlika između eksperimentalne i
kontrolne skupine i parni t-test kojim je provjereno postoji li
statistički značajna razlika unutar svake od skupina.
Tablica 1. Analiza rezultata istraživanja: AS i SD
Eksperimentalna skupina Kontrolna skupina
ZOT1 ZOT2 ZOT3 ZOT1 ZOT2 ZOT3
AS 50,44 48,84 48,16 49,95 46,69 50,19
SD 18,05 19,26 23,72 18,14 18,58 21,21
V (%) 35,78 39,44 49,25 36,32 39,80 42,26
Tablica 2. Analiza rezultata istraživanja: T-test
12
VREDNOVANJE ZNANJA U SUSTAVIMA E-UČENJA KORIŠTENJEM ZADATAKA OBJEKTIVNOG TIPA
NA KONTROLIRANOM PRIRODNOM JEZIKU
Eksperimentalna
skupina Kontrolna skupina ES i KS
ZOT1 i
ZOT3
ZOT2 i
ZOT3
ZOT1 i
ZOT3
ZOT2 i
ZOT3 ZOT3
t 0,708 0,235 -0,081 -1,223 0,361
Kod svih testova broj stupnjeva slobode je 31 pa razina
rizika, uz 0.05 razinu značajnosti, iznosi p = 2.03. Obzirom da
su sve apsolutne vrijednosti T-testa manje od razine rizika
zaključujemo da ne postoji statistički značajna razlika u
mjerenju učinka tradicionalne nastave (kontrolne skupine) i
učinka nastave uz pomoć računala (eksperimentalne skupine).
Uzimajući u obzir da se radi o studentima prve godine
računarstva, koji svi posjeduju osnovnu razinu informatičke
pismenosti i koji nastavne materijale, kako one iz
tradicionalne nastave tako i iz nastave potpomognute
računalom, mogu međusobno razmijeniti ili pronaći na
Internetu, ovakav ishod i nije neočekivan.
Ukoliko pogledamo ukupne rezultate sva tri testa dobivamo
razdiobe kao na slici 3.
Slika 3. Razdiobe rezultata testova
Shapiro-Wilkov test i vizualni pregled histograma i QQ
grafikona pokazuje da su distribucije rezultata svih testiranja
ZOT1, ZOT2 i ZOT3 (testiranja na Moodle-u i tradicionalna
testiranja na papiru) normalne (p > 0.05). Ova činjenica,
naravno, nije dovoljan pokazatelj da primijenjeni način
testiranja, korištenjem kombinacije ZOT-ova i esejskih
pitanja, predstavlja realnu procjenu znanja studenata, iako na
takav zaključak upućuje.
Podsjećamo na činjenicu da smo ovim istraživanjem htjeli
utvrditi način na koji se ZOT-ovi, potpomognuti manjim
brojem esejskih pitanja, mogu iskoristiti kao instrument
vrednovanja znanja u sustavima e-učenja. Kako bismo
provjerili pretpostavku da testovi opisanog oblika realno
oslikavaju znanje studenta, u tijeku je drugo pilot istraživanje
sa studentima prve godine studija Informatike na Fakultetu
prirodoslovno-matematičkih i odgojnih znanosti Sveučilišta u
Mostaru koji pohađaju nastavu iz predmeta Programiranje 2.
Dio nastave koji se odnosi na osnovne pojmove programiranja
studenti su pohađali u dvije grupe, jedna grupa tradicionalnu
nastavu u učionici, a druga nastavu potpomognutu Moodle-
om. Planirano je testiranje obaviti na dva načina, testom ranije
opisanog oblika (sa osam ZOT-ova različitih vrsta i dva
esejska zadatka) i testom sa pitanjima otvorenog tipa.
Usporedbom dobivenih rezultata testirat ćemo oblik testa za
koji smo se u početku odlučili.
VII. UMJESTO ZAKLJUČKA
Važnost ZOT-ova je višestruka: oni omogućavaju
jednoznačnu interpretaciju i objektivno vrednovanje
učenikovog odgovora, osim za ispitivanje ovi zadaci još više
služe za učenje, omogućavaju samovrednovanje učenika kao i
primjenu motivacije postignuća na gradivu [64]. ZOT-ove
možemo razlikovati s obzirom na način rješavanja, s obzirom
na kognitivne ili racionalne procese koje angažiraju, s obzirom
na tehniku i medije koji se koriste pri njihovom rješavanju, itd.
Provedenim pilot istraživanjem stekli smo izvjesno iskustvo
u primjeni gramatički ispravno konstruiranih ZOT-ova u LMS
sustavu. Korišteni ZOT-ovi bili su unaprijed pripremljeni i
podijeljeni u nekoliko kategorija s obzirom na vrstu ZOT-a, te
zatim birani slučajnim odabirom.
Daljnji koraci uključit će podjelu ZOT-ova prema razinama
Bloomove taksonomije kognitivnih sposobnosti potrebnih za
njihovo rješavanje [60], [65]. Na taj način će zadaci za čije
točno rješavanje je potrebna niža razina kognitivnih
sposobnosti nositi manje bodova nego oni koji traže
sposobnosti više razine. Definiranje bodovnih vrijednosti
pojedinih vrsta ZOT-ova zahtijevat će dodatna istraživanja sa
ciljem dobivanja preciznog instrumenta vrednovanja znanja.
Pri tome je potrebno uzeti u obzir i pokušaje revidiranja
Bloomove taksonomije [66], ali i razmatranja koja dovode u
pitanje prikladnost Bloomove taksonomije za primjenu u
računarstvu [67].
Sljedeći korak će biti implementacija ranije opisanog
objektno orijentiranog sustava za generiranje ZOT-ova i
ocjenjivanje učenikovih odgovora koji će uključivati
mehanizme generiranja i obrade prirodnog jezika te njegovu
integraciju u postojeće ITS-ove temeljene na konceptualnom
prikazu područnog znanja kao i LMS-ove temeljene na
deskriptivnom prikazu početnog znanja. Dodatni napori bit će
uloženi u cilju razvoja algoritamskog rješenja za
konceptualizaciju slobodnog odgovora na esejsko pitanje i
provjeru njegove ispravnosti.
Kombinacija sustava e-učenja koji će biti u potpunosti
prilagođeni trenutnoj razini znanja svakog učenika i
objektivnog vrednovanja iskazanog znanja učenika ostvarenog
gramatički ispravnim zadacima objektivnog tipa te
mogućnošću prepoznavanja znanja u slobodnom odgovoru
učenika na esejska pitanja donijet će dodatnu kvalitetu ovim
sustavima. Dodjelom bodovne vrijednosti pojedinim vrstama
ZOT-ova kao i uvođenje djelomično točnih odgovora osigurati
će veću osjetljivost sustava, odnosno preciznije vrednovanje
iskazanog znanja učenika.
LITERATURA
[1] B. S. Bloom, “The 2 Sigma Problem: The Search for Methods of
Group Instruction as Effective as One-to-One Tutoring”,
Educational Researcher”, Vol. 13/6, 1984, pp. 4–16.
13
VREDNOVANJE ZNANJA U SUSTAVIMA E-UČENJA KORIŠTENJEM ZADATAKA OBJEKTIVNOG TIPA
NA KONTROLIRANOM PRIRODNOM JEZIKU
[2] H. Fournier, “A Review of The State of The Field of Adult
Learning - e-Learning”, Canadian Council on Learning, 2006.
[3] A. Krković, “Elementi psihometrije”. Zagreb: Sveučilište u
Zagrebu, Filozofski Fakultet, 1978.
[4] V. Mužić, “Uvod u metodologiju istraživanja odgoja i
obrazovanja”, Zagreb: Educa, 2004.
[5] University of Illinois, (9. lipnja 2014.), “Strengths and
Weaknesses of Online Learning”, dostupno:
http://www.ion.uillinois.edu/resources/tutorials/overview/strengt
hAndWeak.asp
[6] Massachusetts Institute of Technology, (9. lipnja 2013.),
“Online Courses - Strengths and Weaknesses", dostupno:
https://future.mit.edu/online-courses-strengths-and-weaknesses
[7] L. Song, E. S. Singleton, J. R. Hill i M. H. Koh, “Improving
online learning: Student perceptions of useful and challenging
characteristics”, The internet and higher education, Vol. 7/1,
2004, pp. 59–70.
[8] S. Stankov, “Inteligentni tutorski sustavi: teorija i primjena”,
Split: PMF Split, 2010.
[9] T. Volery i D. Lord, “Critical Success Factors in Online
Education”, International Journal of Educational Management,
Vol. 14/5, Bradford: MCB University Press 2000, pp. 216–223
[10] B. M. H. Soong, H. C. Chan, B. C. Chua i K. F. Loh, “Critical
Success Factors for On-line Course Resources”, Oxford:
Computers & Education, Vol. 36/2, 2001, pp. 101–120.
[11] D. Leidner i S. Jarvenpaa, “The Information Age Confronts
Education: Case Studies on Electronic Classrooms”.
Catonsville: Information Systems Research, Vol 4/1, 1993, pp.
24-54.
[12] C. Dillon i C. Gunawardena, “A Framework for the Evaluation
of Telecommunications-based Distance Education”, 17th
Congress of the International Council for Distance Education
Open University, Milton Keynes, 1995, pp. 348-351.
[13] T. Govindasamy, “Successful Implementation of e-Learning:
Pedagogical Considerations”, Oxford: The Internet and Higher
Education, Vol. 4/3, 2001, pp. 287–299.
[14] Puri G.: “Critical Success Factors in e-Learning – an Empirical
Study”, Kurukshetra-Haryana: International Journal of
Multidisciplinary Research, Vol. 2/1, 2012, pp. 23–44.
[15] B. Coldwell, “Mapping pedagogy to technology: A Simple
Model”, Berlin: Advances in Web-based Learning, 2003, pp.
180–192.
[16] A. Mirković Moguš, I. Đurđevic i N. Šuvak, “The impact of
student activity in a virtual learning environment on their final
mark”, Active Learning in Higher Education, Vol. 13/3, 2012,
pp. 177-189.
[17] M. Jadrić, M. Ćukušić, M- Lenkić, “E-učenje: Moodle u praksi”,
Ekonomski fakultet Sveučilišta u Splitu, Split, 2013.
[18] M. Elson-Cook, “Student Modeling in Intelligent Tutoring
Systems”, Artificial Intelligence Review, Vol. 7, 1993, pp. 227–
240.
[19] K. VanLehn, “The Behavior of Tutoring Systems”, International
Journal of Artificial Intelligence in Education, Vol. 16/3, 2006,
pp. 227–265.
[20] R. Nkambou, R. Mizoguchi i J. Bourdeau, “Advances in
Intelligent Tutoring Systems”, Heidelberg: Springer, 2009.
[21] A. C. Graesser, M. Conley, i A. Olney, “Intelligent Tutoring
Systems”, APA Educational Psychology Handbook: Vol. 3,
Applications to Learning and Teaching, 2012. pp. 451–473.
[22] B. Park Woolf, “Building Intelligent Interactive Tutors: Student-
Centered Strategies for Revolutionizing e-Learning”,
Burlington: Morgan Kaufman Publishers, 2009.
[23] A. C. Graesser, K. Vanlehn, C. P. Rosé, P. W. Jordan i D.
Harter, “Intelligent tutoring systems with conversational
dialogue”, AI Magazine, vol 22, 2001, pp. 39–51.
[24] A. C. Graesser, N. Person, Z. Lu, Z., M. G. Jeon i B. McDaniel,
“Learning While Holding a Converstaion with a Computer”,
Technology-Based Education: Bringing Researchers and
Practitioners Together, 2005, pp. 143–167.
[25] A. C. Graesser, N. K. Person, D. Harter i T. R. Group,
“Teaching Tactics and Dialog in AutoTutor”, International
Journal of Artificial Intelligence in Education. 2001. 12 pp. 257–
279.
[26] A. C. Graesser, S. Lu, G. T. Jackson, H. H. Mitchell, M.
Ventura, A. Olney, i drugi., “ AutoTutor: A tutor with dialogue
in natural language”, Behavioral Research Methods,
Instruments, and Computers. 2004. 36 pp. 180-193.
[27] R. Freedman, “Atlas: A Plan Manager for Mixed-Initiative,
Multimodal Dialogue”, In AAAI-99 Workshop on Mixed-
Initiative Intelligence; 1999; Orlando, Florida. pp. 1-8.
[28] C. P. Rosé, P. Jordan, R. Michael, S. Stephanie, K. VanLehn i
A. Weinstein, “Interactive Conceptual Tutoring in Atlas-Andes.
In Artificial Intelligence in Education”, AI-ED in the Wired and
Wireless Future, Proceedings of AI-ED 2001; 2001;
Amsterdam, Holland. pp. 256-266.
[29] V. Kurt, P. W. Jordan, C. P. Rosé, D. Bhembe, M. Böttner, A.
Gaydos i drugi, “The Architecture of Why2-Atlas: A Coach for
Qualitative Physics Essay Writing”, In Proceeding of Intelligent
Tutoring Systems ITS 2002; 2002. pp. 158-167.
[30] P. W. Jordan, M. Makatchev, U. Pappuswamy, K. VanLehn i P.
L. Albacete, “A Natural Language Tutorial Dialogue System for
Physics”, In Proceedings of International FLAIRS Conference;
2006; Florida. pp. 521-526.
[31] L. Razzaq i N. T. Heffernan, Hints: “Is It Better to Give or Wait
to Be Asked? ”, Intelligent Tutoring Systems: Lecture Notes in
Computer Science}, Vol. 6094, 2010, pp. 349–358.
[32] R. Cole, S. Van Vuuren, B. Pellom, K. Hacioglu i J. Ma,
“Perceptive Animated Interfaces: First Steps Toward a New
Paradigm for Human–Computer Interaction”, Proceedings of the
IEEE, Vol. 91/9, 2003, pp. 1391–1405.
[33] B. Di Eugenio, “Natural-Language Processing for Computer-
Supported Instruction”, Intelligence Vol. 12/4, 2001, pp. 22–32.
[34] J. R. Anderson, A. T. Corbett, K. R. Koedinger i R. Pelletier,
“Cognitive tutors: Lessons learned”, Journal of the Learning
Sciences, Vol. 4/2, 1995, pp. 167–207.
[35] B. A. Fox, “The Human Tutorial Dialogue Project: Issues in the
design of instructional systems”, Lawrence Erlbaum Associates,
Hillsdale, 1993.
[36] A. C. Graesser, N. K. Person i J. P. Magliano, “Collaborative
Dialogue Patterns in Naturalistic One-to-One Tutoring”,
Applied Cognitive Psychology, Vol. 9/6, 1995, pp. 495–522.
[37] G. D. Hume, J. A. Michael, A. A. Rovick i M. W. Evens,
“Hinting as a Tactic in One-on-One Tutoring”, Journal of the
Learning Sciences, Vol. 5/1, 1996, pp. 23–47.
[38] M. W. Evens, J. Spitkovsky, P. Boyle, J. A. Michael i Allen A.
Rovick, “Synthesizing tutorial dialogues”, In Proceedings of the
Fifteenth Annual Conference of the Cognitive Science Society,
Lawrence Erlbaum Associates, Hillsdale, 1993, pp. 137-140.
[39] C. P. Rosé i R. Freedman, urednici, “Building Dialogue Systems
for Tutorial Applications”, Proceedings of American
Association for Artificial Intelligence Fall Symposium, 2000.
[40] V. Aleven, O. Popescu i K. R. Koedinger, “Pedagogical Content
Knowledge in a Tutorial Dialogue System to Support Self-
Explanation”, AIED: Workshop on Tutorial Dialogue Systems,
San Antonio, 2001.
14
VREDNOVANJE ZNANJA U SUSTAVIMA E-UČENJA KORIŠTENJEM ZADATAKA OBJEKTIVNOG TIPA
NA KONTROLIRANOM PRIRODNOM JEZIKU
[41] B. Di Eugenio, M. Glass, M. J. Trolio i S. Haller, “Simple
Natural Language Generation and Intelligent Tutoring Systems”,
AIED: Workshop on Tutorial Dialogue Systems, San Antonio,
2001.
[42] J. Mapuva i L. Muyengwa, “Conquering the Barriers to
Learning in Higher Education Through e-Learning”,
International Journal of Teaching and Learning in Higher
Education, Vol. 21/2, 2010, pp. 221–227.
[43] T. Grgin, “Školska dokimologija: procjenjivanje i mjerenje
znanja”, Jastrebarsko: Naklada Slap, 1994.
[44] T. Grgin, “Školsko ocjenjivanje znanja”, Jastrebarsko: Naklada
Slap, 2001.
[45] Z. Bujas, “Testovi znanja i mogućnost njihove upotrebe u
školskoj praksi”, vlastita naklada, Zagreb, 1943.
[46] V. Vizek Vidović, M. Rijavec, V. Vlahović-Štetić i D.
Miljković, “Psihologija obrazovanja”, Zagreb: IEP, 2003.
[47] N. Suzić, “Pedagogija za XXI vijek”, Banja Luka: TT Centar,
2005.
[48] L. Pivnick, J. Franklin i M. Theall, “Handbook for Teachers”,
The Centre for University Teaching and Learning, McGill
University, 2001.
[49] T. A. Ashford, “A brief history of objective tests”, Journal of
Chemical Education, Vol. 49/6, 1972, p. 420.
[50] S. L. Pressey, “Development and Appraisal of Devices
Providing Immediate Automatic Scoring of Objective Tests and
Concomitant Self-Instruction”, The Journal of Psychology:
Interdisciplinary and Applied, Vol 29, 1950, pp 417–447.
[51] L. Nedelsky, “Absolute Grading Standards for Objective Tests",
Educational and Psychological Measurement, Vol 14, SAge
Publications Inc., 1954, pp. 3–19,
[52] J. Loevinger, “Objective Tests as Instruments of Psychological
Theory”, Pedagogical Reports, Vol. 3, Southern University
Press, 1957, pp. 635–694.
[53] D. Jurafsky i J. H. Martin, “Speech and Language Processing:
An Introduction to Natural Language Processing, Computational
Linguistics, and Speech Recognition”, Russell S, Norvig P,
New Jersey: Prentice Hall; 2000.
[54] J. Allen, “Natural Language Understanding”, Benjamin-
Cummings Publishing Company Inc., 1987.
[55] E. Reiter i R. Dale, “Building Natural Language Generation
Systems”, Cambridge University Press; 2000.
[56] R. Schwitter, (9. siječnja 2012.), “Controlled Natural Language”
dostupno: https://sites.google.com/site/controllednaturallanguage
[57] B. Žitko, “Model inteligentnog tutorskog sustava zasnovan na
obradi kontroliranog jezika nad ontologijom; doktorska
disertacija”, Fakultet elektrotehnike i računarstva Sveučilišta u
Zagrebu, 2010.
[58] S. Stankov, M. Rosić i K. Rakić: “Testiranje i ocjenjivanje
korištenjem kvizova u inteligentnim tutorskim sustavima”,
MIPRO–2001, Računala u obrazovanju, Opatija, 2001, pp.
115–119.
[59] S. Stankov, M. Rosić, B. Žitko i A. Grubišić, “TEx-Sys model
for building intelligent tutoring systems”, Computers &
Education, Vol. 51, 2008, pp. 1017–1036.
[60] B. S. Bloom, “Taxonomy of Educational Objectives, Handbook
I: The Cognitive Domain”, New York: David McKay, 1956.
[61] M. Tadić: “Računalna obrada morfologije hrvatskog jezika”,
doktorska disertacija, Zagreb: Filozofski fakultet Sveučilišta u
Zagrebu, 1994.
[62] M. Tadić, “Croatian Lemmatization Server. In Formal
Approaches to South Slavic and Balkan Languages
(FASSBL-5)”, 2006; Sofia, Bulgaria. pp. 140-146.
[63] B. Žitko, “Autorska ljuska inteligentnog tutorskog sustava
temeljena na prirodnom jeziku”, kvalifikacijski doktorski ispit,
Zagreb: Fakultet elektrotehnike i računarstva Sveučilišta u
Zagrebu, 2008.
[64] Ž. Bjelanović Dijanić, “Provjera osnovnih matematičkih znanja
zadatcima objektivnog tipa (ZOT) – na papiru i na računalu”,
6. stručno-metodički skup Didaktička dokimologija, Pula, 2009.
[65] D. Vidaković, J. Bevis i M. Alexander, “Bloom's taxonomy in
developing assessment items”, MAA: Journal of Online
Mathematics and its Applications 10, 2003.
[66] D. R. Krathwohl, “A Revision of Bloom's Taxonomy: An
Overview, Theory into Practice”, Vol. 41/4, 2002, pp. 212–218.
[67] C. G. Johnson i U. Fuller, “Is Bloom’s Taxonomy Appropriate
for Computer Science?”, Proceedings of the 6th Baltic Sea
Conference on Computing Education Research: Koli Calling
2006, pp. 120–123.