Prečo sa Slovensko
zapojilo do projektu
OECD AHELO a čo mu
to prinieslo
www.kvalita.reformy-msmt.cz
Praha, 24. 4. 2014doc. RNDr. Peter Mederly, CSc.
Ministerstvo školstva, vedy, výskumu a športu SR
Obsah prezentácie
• Čo je projekt AHELO
• Ako projekt AHELO prebiehal
• Prečo a ako sa Slovensko do projektu AHELO zapojilo
• Príklady testových úloh
• Čo priniesol projekt AHELO Slovensku
• Aké sú výsledky projektu AHELO a jeho budúcnosť
• Záver
1
Čo je projekt AHELO
• AHELO je skratka odvodená od názvu Assessment of Higher Education Learning
Outcomes, teda Hodnotenie výsledkov vysokoškolského vzdelávania
• AHELO je názov projektu OECD; dôvod jeho vzniku je potrebné hľadať v radikálnych
zmenách v oblasti vysokého školstva na začiatku 21. storočia
• Súčasťou týchto zmien je rastúca potreba informácií o výsledkoch vysokoškolského
vzdelávania / kvalite vysokoškolského vzdelávania prezentovaná rôznymi
zainteresovanými spoločenskými skupinami (zamestnávatelia, štát, vysoké školy, študenti
a ich rodičia ...)
• Na medzinárodnej úrovni v súčasnosti neexistuje žiadny prostriedok na priame
hodnotenie kvality vysokoškolského vzdelávania
• Všetky medzinárodné rebríčky kvality vysokých škôl – rankingy – sú založené, z pohľadu
kvality vzdelávania a jeho výsledkov, len na nepriamych ukazovateľoch
• Na odborných medzinárodných podujatiach nezriedka zaznieva názor, že uvedené
rankingy majú marketingový charakter a často narobia pre kvalitu vysokoškolského
vzdelávania viac škody ako osohu
2
Čo je projekt AHELO (2)
• Návrh na zváženie možnosti vývoja nástroja na medzinárodné hodnotenie výsledkov
vysokoškolského vzdelávania vznikol na stretnutí ministrov školstva krajín OECD v
Aténach v roku 2006
• Tento návrh vyvolal veľkú diskusiu vo vysokoškolských kruhoch v rokoch 2006 – 2008;
časť expertov a zainteresovaných návrh s entuziazmom podporovala, iní boli kritickejší
a poukazovali na potenciálne riziká (zložitosť problému, možné problematické použitie
na ranking a alokáciu prostriedkov, ohrozenie autonómie, osobitne problematické
meranie všeobecných schopností v prostredí VŠ)
• OECD v priebehu roku 2007 iniciovala 3 medzinárodné stretnutia expertov k
problematike AHELO; ich výsledkom bola séria odporúčaní pre štúdiu
uskutočniteľnosti AHELO
• Tieto odporúčania boli prezentované na neformálnom stretnutí ministrov školstva krajín
OECD konanom v roku 2008 v Tokiu; ministri návrh privítali a podporili; v nadväznosti
na to OECD iniciovala projekt AHELO
3
Čo je projekt AHELO (3)
• Projekt mal výskumný charakter a formu štúdie uskutočniteľnosti s cieľom
zistiť, či je možné hodnotiť a porovnávať výsledky vysokoškolského
vzdelávania medzi jednotlivými krajinami s rôznou kultúrou a jazykmi; úplný
názov projektu, ktorý zbehol, je AHELO – štúdia uskutočniteľnosti
• Projekt AHELO prebiehal v troch oblastiach:
• v oblasti všeobecných schopností (generic skills - GS)
• v oblasti ekonómie (economy - ECO)
• v oblasti stavebníctva (engineering - ENG)
• V rámci projektu AHELO študenti v poslednom roku bakalárskeho štúdia
absolvovali testy
• Oblasti ekonómie a stavebníctva boli určené pre študentov príslušných
odborov; oblasť všeobecných schopností bola určená pre všetkých študentov
4
Čo je projekt AHELO (4)
• Do projektu sa zapojili vysoké školy zo 17 krajín z 5 kontinentov
• Do projektu boli zapojení aj učitelia; nerobili testy, ale vypĺňali tzv. kontextové
dotazníky, v ktorých sa vyjadrovali najmä o podpore kvality na svojej vysokej
škole
• Z každej vysokej školy zapojenej do projektu dostalo možnosť zúčastniť sa
testovania 200 študentov; ak mala vysoká škola menej ako 200 študentov
končiacich bakalárske štúdium v príslušnej oblasti, alebo tento počet tesne
presahoval číslo 200, dostali príležitosť zúčastniť sa všetci
• Väčšinu nákladov na projekt hradili zúčastnené krajiny a niečo sponzori; na
spoločné (medzinárodné) náklady sa zúčastnené krajiny skladali formou
príspevku pre OECD na projekt AHELO; výška príspevku závisela od počtu
oblastí, ktorých sa daná krajina zúčastnila; krajina, ktorá sa zúčastnila len v
jednej oblasti, prispela sumou 350 000 €
5
Zoznam zúčastnených krajín a
oblastí
1. Abu Dhabi – ENG 10. Južná Kórea - GS
2. Austrália – ENG 11. Kuvajt - GS
3. Belgicko – ECO 12. Mexiko - GS, ECO, ENG
4. Kanada – ENG 13. Holandsko - ECO
5. Kolumbia - GS, ENG 14. Nórsko - GS
6. Egypt - GS, ECO, ENG 15. Rusko – ECO, ENG
7. Fínsko – GS 16. Slovensko - GS, ECO, ENG
8. Taliansko – ECO 17. Spojené štáty americké - GS
9. Japonsko - ENG
6
Ako projekt AHELO prebiehal
• Projekt AHELO – štúdia uskutočniteľnosti prebiehal od januára 2010
do decembra 2012
• V prvej fáze, od januára 2010 do júna 2011, prebiehal vývoj testovacích
nástrojov a ich overovanie na malých skupinách
• V druhej fáze, od júla 2011 do decembra 2012, prebiehala
implementácia hodnotiacich nástrojov a kontextových prehľadov a
analýza zozbieraných údajov – samotné testovanie prebehlo od januára
do mája 2012
• Na záver projektu AHELO – štúdia uskutočniteľnosti sa uskutočnila
záverečná medzinárodná konferencia v marci 2013 v Paríži
7
Prečo a ako sa Slovensko
do projektu AHELO zapojilo
• Slovensko sa zapojilo do projektu na poslednú chvíľu – v januári 2011
• Účasť Slovenska iniciovalo ministerstvo školstva; projekt AHELO vnímalo ako
možnosť prispieť k zvýšeniu kvality vysokého školstva na Slovensku
• Pre ministerstvo to bolo aj možné východisko k zefektívneniu nekonečných
debát o kvalite vysokého školstva, ktoré vychádzajú len z nepriamych alebo
z neoverených a nepodložených informácií
• Slovensko sa zapojilo do všetkých 3 oblastí projektu
• Ministerstvo sa obrátilo na všetky slovenské vysoké školy s výzvou prihlásiť
sa do projektu; vo výzve garantovalo, že každá škola dostane informáciu o
výsledkoch svojich študentov a aj ich porovnanie s výsledkami podobných
inštitúcií v medzinárodnom meradle
• Ministerstvo garantovalo, že výsledky jednotlivých vysokých škôl nebudú
zverejňované
8
Prečo a ako sa Slovensko
do projektu AHELO zapojilo (2)
• Slovenské vysoké školy zareagovali na výzvu ministerstva pozitívne, v
medzinárodnom porovnaní bol záujem o účasť nadpriemerný
• Ministerstvo projekt kompletne financovalo a koordinovalo na centrálnej úrovni
• Ministerstvo sa pre každú z oblastí dohodlo s jednou z vysokých škôl, že bude
zabezpečovať koordináciu a implementáciu projektu na Slovensku v danej
oblasti – práve tieto 3 vysoké školy odviedli prevažnú väčšinu implementačnej
práce
• Účasť slovenských vysokých škôl v jednotlivých oblastiach
• GS - 16 VŠ (11 verejných, 3 súkromné a 2 štátne) – koordinácia UMB B. Bystrica
• ECO - 8 VŠ (7 verejných a 1 súkromná) – koordinácia UK Bratislava
• ENG - 3 VVŠ (všetky, kde sa ENG vyučuje) – koordinácia STU Bratislava
• Celkové náklady Slovenska na projekt AHELO boli 1,44 mil. €, z toho
príspevok pre OECD na spoločné náklady projektu bol 0,73 mil. €
9
Príklady testových úloh
• Vo všetkých troch oblastiach boli na testovanie použité 2 nástroje:
• problémová úloha s tvorbou odpovede (CRT, Constructive Response Task)
• tradičný výberový test (MCQ, Multiple Choice Questions)
• Pre každú z 3 oblastí boli zostavené 2 CRT – každý študent riešil jednu z
nich
• Pre každú z oblastí bolo zároveň zostavených niekoľko skupín
výberových testov MCQ a každý študent mal za úlohu riešiť jemu
priradenú zostavu týchto skupín
• Nie všetci študenti teda riešili rovnaké úlohy
10
Príklad úlohy typu CRT v oblasti GS
• Jedna z 2 CRT úloh v oblasti GS sa volala Sumec (Catfish); študent bol postavený do
pozície poradcu primátorky mesta, ktorá ho žiada o prípravu podkladov pre zasadnutie
mestskej rady zvolanej kvôli nedávnemu objavu znetvorenej ryby v neďalekom jazere
• Študent mal k dispozícii informácie zo 6 rozličných zdrojov - dva novinové články, list,
mapu, odbornú správu a prepis rozhlasového rozhovoru; pre výskyt deformovaného
sumca existovali tri alternatívne teórie - príbuzenské kríženie, parazity a chemická
kontaminácia
• Úlohou študenta bolo v informačných zdrojoch, ktoré mal k dispozícii, nájsť najsilnejšie
argumenty pre a proti jednotlivým teóriám, rozhodnúť, ktorá z nich je
najpravdepodobnejšia, a navrhnúť optimálne riešenie problému
• Odpovede študentov sa hodnotili v 3 dimenziách (na škále 0 – 6):
• analýza a hodnotenie informácií
• riešenie problému
• efektívnosť písania
11
Príklad úlohy typu MCQ z oblasti
ECO
• Ak je v krajine so situáciou ako na obrázku na
cenu za prenájom domov stanovený strop R0 a je
striktne dodržiavaný (neexistuje čierny trh), čo
z nasledujúceho sa s najväčšou
pravdepodobnosťou stane?
• (A) Niektorí ľudia, ktorí si potrebujú prenajať dom,
už si viac dom prenajať nechcú
• (B) Niektorí ľudia, ktorí si potrebujú prenajať
dom, si nemôžu dom na prenájom nájsť
• (C) Niektorí majitelia domov na prenájom
nedokážu nájsť ľudí ochotných si tieto domy
prenajať
• (D) Majitelia domov na prenájom budú mať
zvýšenú motiváciu vylepšiť si svoj majetok
12
Kontextový dotazník študenta
• V závere testovania študenti vypĺňali kontextový dotazník
• V rámci tohto dotazníka sa zisťovali údaje
• o študentovi – napríklad povolanie a najvyššie dosiahnuté vzdelanie otca a matky;
miera vynaloženého úsilia pri vypĺňaní testu
• o priebehu štúdia – napríklad proporcia času venovaného osnovami predpísanej
výučbe, príprave na vyučovanie, platenej práci; miera dôrazu na memorovanie
analýzu, syntézu a skupinovú prácu v rámci štúdia
• o študijných skúsenostiach a interakciách – napríklad miera ústretovosti
vyučujúcich; frekvencia konštruktívnych vyjadrení k práci študenta zo strany
vyučujúcich; miera celkovej spokojnosti so štúdiom odboru
• Kontextový dotazník spracovávali aj učitelia a vypĺňal sa aj za inštitúciu
13
Čo priniesol projekt AHELO
Slovensku z hľadiska zúčastnených
vysokých škôl
• Viac ako polovica slovenských vysokých škôl (18 z 33) vrátane všetkých
najdôležitejších získala informácie z prvého priameho merania výsledkov vzdelávania
organizovaného na globálnej úrovni a metodikou, na ktorej prišlo k istej zhode na
medzinárodnej úrovni
• Zúčastnené vysoké školy dostali podrobné výsledky svojich zúčastnených študentov a
mali tak možnosť zistiť, v ktorých oblastiach uspeli a v ktorých nie
• Výsledky zúčastnených vysokých škôl zo všetkých krajín boli vyjadrené v škále tak, že
priemer dosiahnutých bodov všetkých zúčastnených študentov je 500, smerodajná
odchýlka je 100; každá vysoká škola dostala v rámci tzv. Institutional Report aj
informáciu o svojej pozícii voči ostatným zúčastneným vysokým školám (ale bez
identifikácie týchto ostatných vysokých škôl), ako aj porovnanie niektorých údajov z
kontextových dotazníkov (napríklad o úsilí, ktoré študenti vynaložili na riešenie úloh) s
celkovým priemerom všetkých zúčastnených
• AHELO predstavuje impulz na spoluprácu slovenských vysokých škôl v ekonómii a
stavebníctve pri analýze a odstraňovaní slabých miest v študijných programoch
14
15
Časť informácií z Institutional Report pre vysokú školu
Čo priniesol projekt AHELO Slovensku
z hľadiska systému vysokého školstva
• Najdôležitejší prínos: AHELO pre Slovensko reprezentuje svetlo na
konci tunela nekonečných debát o kvalite slovenského vysokého
školstva pretože ukázalo, že meranie výsledkov vzdelávania je (v
prijateľnom rozsahu) možné a technicky uskutočniteľné
• Ďalšie pozitíva
• vysoký záujem vysokých škôl a dobrá, v niektorých prípadoch mimoriadne dobrá,
účasť študentov
• získanie nových informácií o slovenskom vysokom školstve na základe metodiky
dohodnutej na medzinárodnej úrovni – výsledky slovenských vysokých škôl sa vo
väčšine prípadov pohybovali okolo priemeru
• organizačné a technické zvládnutie rozsiahleho a náročného projektu
• dobrá reprezentácia Slovenska na pôde OECD z hľadiska jeho angažovanosti a
príspevku k organizácii projektu AHELO
16
Čo priniesol projekt AHELO Slovensku
z hľadiska systému vysokého školstva
(2)
• Najväčšie výzvy vnímané na začiatku projektu
• ako motivovať vysoké školy a študentov pre účasť na projekte
• zvládnuť v skrátenom čase a bez predchádzajúcich skúseností rozsiahly a zložitý
projekt
• ísť do rizika pomerne vysokej finančnej investície do projektu, ktorého vývoj a
výsledky boli v čase rozhodovania nejasné
• Závery zo slovenských skúseností po skončení projektu
• v princípe je možné realizovať porovnávanie výsledkov vysokých škôl vo vzdelávaní
v rámci danej krajiny aj na medzinárodnej úrovni
• je možné motivovať vysoké školy a ich študentov na účasť v inovatívnych aktivitách a
angažovať ich pri ponuke získať informácie o ich výsledkoch a možnosti porovnať ich
s výsledkami ich kolegov
• úspech v projekte tohto typu si vyžaduje synergiu viacerých faktorov: entuziazmus a
profesionalitu ľudí na vysokých školách aj v centre; primerané financovanie, ochotu
prevziať na seba riziko a centrálnu podporu (ministerstva)17
18
Účasť vysokých škôl a študentov v projekte
AHELO
Výsledky projektu AHELO a jeho
budúcnosť
• V záverečných materiáloch OECD k projektu AHELO sa konštatuje, že výsledky
štúdie uskutočniteľnosti ukázali, že komparatívne hodnotenie výsledkov
vysokoškolského vzdelávania uskutočnené na širokej báze je konceptuálne
opodstatnené (valid) a do značnej miery technicky realizovateľné
• Zároveň však boli jasnejšie identifikované aj 4 problémové oblasti, na ktoré sa
bude potrebné pri ďalšom vývoji hodnotenia výsledkov vysokoškolského
vzdelávania sústrediť:
• účel AHELO – hodnotenie vysokej školy alebo pomoc vysokej škole?
• hodnota výsledkov – vysoké školy by potrebovali bohatšie údaje na zlepšenie
vzdelávania a študenti podrobnejšiu spätnú väzbu ako poskytla štúdia
uskutočniteľnosti
• rozsah – aké sú možnosti pre pridanie ďalších oblastí?
• udržateľný business plan - potrebné bude zabezpečiť dlhodobý finančný rámec,
ktorý umožní dôveryhodné plánovacie rozhodnutia
19
Výsledky projektu AHELO a jeho
budúcnosť (2)
• V nadväznosti na výsledky štúdie uskutočniteľnosti OECD vypracovala návrh na
pokračovanie projektu AHELO formou tzv. hlavnej štúdie (Main study)
• Tento návrh reagoval na problémové oblasti identifikované počas štúdie uskutočniteľnosti
nasledovne:
• Cieľ – AHELO má poskytnúť vysokej škole údaje na podporu skvalitňovania jej vzdelávacej
činnosti; nemá byť nástrojom pre ranking
• Hodnota výsledkov – vysoká škola by mala mať možnosť porovnať svoje výsledky vzdelávania
oproti medzinárodným štandardom a s inými vysokými školami doma a v zahraničí; osobitne s
vysokými školami podobnými danej vysokej škole
• Rozsah – hlavná štúdia by mala pokračovať v oblastiach GS, ENG a ECO; boli stanovené kritériá
pre výber ďalších oblastí; ako najvhodnejšie sa javia medicína, informatika, matematika,
strojárstvo, ošetrovateľstvo, fyzika; je vypracovaný návrh postupu zavedenia nových oblastí do
testovania
• Finančná udržateľnosť - je urobená štruktúra, analýza a odhady nákladov; závisia od počtu
zúčastnených krajín a tiež od počtu oblastí, v ktorých by prebiehalo testovanie
20
Výsledky projektu AHELO a jeho
budúcnosť (3)
• Na rokovaniach v rámci OECD koncom roku 2013 viaceré krajiny vyslovili
pokračovaniu AHELO opatrnú podporu podmienenú doriešením otvorených
otázok
• Niektoré krajiny sa však postavili jednoznačne proti s použitím rôznych
argumentov (často rovnakých, ako bolo identifikované pred začatím projektu)
– akademická sloboda, existencia odborových akreditácií, nemožnosť
zabezpečiť účasť vysokých škôl a študentov, nemožnosť zabrániť využitiu
výsledkov na tvorbu rebríčkov
• V rámci štandardného procesu určovania priorít programu práce OECD v
oblasti vzdelávania na roky 2015 – 2016, ktorý prebiehal v prvých mesiacoch
roku 2014, získalo pokračovanie projektu AHELO pomerne malú podporu, a
tak o jeho pokračovaní rozhodne to, či sa nájde dosť krajín ochotných
poskladať sa na jeho financovanie
21
Záver
• Bez ohľadu na to, ako sa členské krajiny OECD nakoniec rozhodnú, projekt
AHELO ukázal, že možnosť merania výsledkov vysokoškolského vzdelávania
je reálna
• Aj keď náklady na zavedenie merania výsledkov vzdelávania do
štandardného chodu vysokoškolských systémov sú značné, drahé je aj
nerobiť nič; „bez takýchto údajov budú výsledky vysokoškolského
vzdelávania naďalej posudzované na báze excentrických (idiosyncratic)
rankingov odvodených od vstupov do neho“ (Andreas Schleicher,
osobitný poradca pre vzdelávaciu politiku generálneho tajomníka OECD a
zástupca riaditeľa pre vzdelávanie v OECD, november 2013)
22
Ďakujem za pozornosť!
www.kvalita.reformy-msmt.cz