∆ΙΑΤΜΗΜΑΤΙΚΟ ΠΡΟΓΡΑΜΜΑ ΜΕΤΑΠΤΥΧΙΑΚΩΝ ΣΠΟΥ∆ΩΝΣΤΑ ΠΛΗΡΟΦΟΡΙΑΚΑ ΣΥΣΤΗΜΑΤΑ

Σύστηµα Προσαρµοστικής Μάθησης για την Αξιολόγηση Μάθησης για την Αξιολόγηση Μαθητών Ε' & ΣΤ' ∆ηµοτικού (ενότητα: Λογιστικά Φύλλα)

Παρταλάς ΣωκράτηςM27/11

Προβλήµατα στην διδασκαλία και αξιολόγηση τωνΤεχνολογιών Πληροφορίας και Επικοινωνιών(Τ.Π.Ε.)

Μη ύπαρξη σχολικού εγχειριδίου

Μη ύπαρξη συγκεκριµένης διδακτέας ύληςΜη ύπαρξη συγκεκριµένης διδακτέας ύλης

Μη ύπαρξη µόνιµων θέσεων στην πρωτοβάθµια εκπαίδευση

Σκοποί - Στόχοι

Αξιολόγηση των µαθητών

Εκµάθηση κατά την διάρκεια της διαδικασίας αξιολόγησης

Ύπαρξη συγκεκριµένης διδακτέας ύλης

Αξιοποίηση αποτελεσµάτων για την εξαγωγή χρήσιµωνσυµπερασµάτων, τόσο για τους εκπαιδευτικούς(αποτελεσµατικότητα τρόπου διδασκαλίας, χρήση νέωνµεθόδων διδασκαλίας) όσο και για τους µαθητές (απόκτησηγνώσης, επίδοση)

Μεθοδολογία

Εύρεση τρόπου αξιολόγησης (τύπος ερωτήσεων-απαντήσεων)

Συγκέντρωση ερωτήσεων-πιθανών απαντήσεων καιταξινόµηση τουςταξινόµηση τους

Τρόπος εξαγωγής αποτελεσµάτων (υπολογισµός βαθµολογίας,εµφάνιση)

Τρόπος παρουσίασης της εφαρµογής (απλή, εύχρηστη, χρήσηπολυµέσων)

Evaluate

Σύστηµα αξιολόγησης µαθητών, βασισµένο στον ηλεκτρονικόυπολογιστή (computerized adaptive testing system)

Περιλαµβάνει 20 ερωτήσεις πολλαπλής επιλογής, οι οποίες Περιλαµβάνει 20 ερωτήσεις πολλαπλής επιλογής, οι οποίεςαντλούνται από µια βάση 97 ερωτήσεων

Κάθε ερώτηση έχει 4 πιθανές απαντήσεις, εκ των οποίων µόνοµια είναι σωστή

Προσφέρει βοήθεια στους µαθητές µε την µορφή αφαίρεσηςδύο εκ των τεσσάρων απαντήσεων όταν ο µαθητής απαντήσειλάθος

Πλεονεκτήµατα

Οι µαθητές µπορούν να µάθουν χρησιµοποιώντας τηνεφαρµογή, καθώς σε περίπτωση λάθους τους εµφανίζεται ησωστή απάντηση,

µπορούν να κάνουν πρακτική και από το σπίτι, µιας και η µπορούν να κάνουν πρακτική και από το σπίτι, µιας και ηεφαρµογή βρίσκεται στο ∆ιαδίκτυο,

οι άγνωστες ερωτήσεις µπορούν να τους δώσουν το έναυσµαγια περαιτέρω εξερεύνηση των λογιστικών φύλλων, και τωνδυνατοτήτων που προσφέρουν,

το περιβάλλον της εφαρµογής και ο πρωτότυπος τρόποςαξιολόγησης (πέρα από τον συνηθισµένο), µπορεί ναπροκαλέσει το ενδιαφέρον όλων των µαθητών, ανεξάρτητα απότην επίδοση ή συµπεριφορά τους.

O µέσος όρος βαθµολογίας των µαθητών στο χαρτί ήταν κατά 0.75 µονάδεςχαµηλότερος από τον µέσο όρο βαθµολογίας στο Evaluate (7 έναντι 7.75).Λόγοι που µπορεί να οδήγησαν σε αυτή την διαφορά είναι είτε η παροχήβοήθειας, είτε ο τρόπος βαθµολόγησης στο Evaluate,

Evaluate VS Αξιολόγηση στο χαρτί

ο µέσος χρόνος απάντησης στις ερωτήσεις ήταν 30 λεπτά στο χαρτί, ενώ στοEvaluate 25 λεπτά, καθώς οι ερωτήσεις που βρίσκονται έξω από το επίπεδοικανότητας του µαθητή αποκλείονταν,

στο Evaluate απαιτούνται λιγότερα στοιχεία για να φθάσει σε µια ακριβότερηεκτίµηση της γνώσης του µαθητή, καθώς ο µαθητής µετά το πέρας κάποιωνερωτήσεων σταθεροποιείται στο επίπεδο δυσκολίας των ερωτήσεων πουαντιστοιχούν στις γνώσεις που έχει αποκτήσει. Σε αντίθεση µε το χαρτί, όπου οαριθµός των ερωτήσεων ανά επίπεδο είναι σταθερός,

οι µαθητές παίρνουν άµεσα την ανατροφοδότηση από το Evaluate, την οποίαµπορούν να χρησιµοποιήσουν ως γνώση και για τις επόµενες ερωτήσεις,γεγονός που αντικατοπτρίζεται και στην τελική βαθµολογία. Σε αντίθεση µε τιςερωτήσεις στο χαρτί, των οποίων τις απαντήσεις µαθαίνουν µετά τηνολοκλήρωση της διαδικασίας.

Ερωτήσεις

∆ιαβάθµιση ερωτήσεων της εφαρµογής σύµφωνα µε:

το επίπεδο δυσκολίας τους, σε εύκολη, µέτρια και δύσκολητο επίπεδο δυσκολίας τους, σε εύκολη, µέτρια και δύσκολη

την παιδαγωγική θεωρία του Bloom, σε ερωτήσεις ανάκλησηςγνώσης, κατανόησης και εφαρµογής

την υποενότητα στην οποία αναφέρονται. Οι υποενότητες πουεξετάζονται είναι: πράξεις και συναρτήσεις, γενικές ερωτήσεις,γραφήµατα, λίστες

Ερωτήσεις (2)

Καθορισµός επιπέδου δυσκολίαςΗ ταξινόµηση της κάθε ερώτησης σε εύκολη, µέτρια και δύσκοληπραγµατοποιήθηκε µε την συµβολή βοηθητικής οµάδας η οποία,πραγµατοποιήθηκε µε την συµβολή βοηθητικής οµάδας η οποία,µε την σωστή ή λάθος απάντηση που έδωσε σε κάθε ερώτηση

καθόρισε το επίπεδο δυσκολίαςΚΑΤΗΓΟΡΟΠΟΙΣΗ ΕΡΩΤΗΣΕΩΝ ΒΑΣΗ ΤΟΥ ΕΠΙΠΕ∆ΟΥ ∆ΥΣΚΟΛΙΑΣ

µέτριες

37%

εύκολες

39%

δύσκολες

24%

εύκολες

µέτριες

δύσκολες

Ερωτήσεις (3)

Ταξινόµηση ερωτήσεων κατά BloomΟι ερωτήσεις ταξινοµήθηκαν κατά Bloom, µε την βοήθεια 5εκπαιδευτικών πληροφορικής, που διδάσκουν το µάθηµα των

Τ.Π.Ε. στην Ε΄ και την ΣΤ΄ τάξη. Οι κατηγορίες είναι :Τ.Π.Ε. στην Ε΄ και την ΣΤ΄ τάξη. Οι κατηγορίες είναι :•η ανάκληση γνώσης,•η κατανόηση,•η εφαρµογή

ταξινόµηση ερωτήσεων κατά Bloom

1211

15

11

1312

87

8

0

2

4

6

8

10

12

14

16

ανάκληση δεδοµένων κατανόηση εφαρµογή

επίπεδα κατά Bloom

πλήθος ερωτήσεων

εύκολες

µέτριες

δύσκολες

Ερωτήσεις (4)

Ταξινόµηση ανά υποενότηταΟι υποενότητες που εξετάζονται είναι: πράξεις και συναρτήσεις,πράξεις και συναρτήσεις, γενικές ερωτήσεις, Γραφήµατα

λίστες

ταξινόµηση ερωτήσεων ανά υποενότητα

38%

36%

21%

5%

γενικές ερωτήσεις

πράξεις - συναρτήσεις

γραφήµατα

λίστες

Προσφορά βοήθειας

Έχει την µορφή αφαίρεσης 2 εκ των 4 πιθανών απαντήσεων

µετά από λάθος απάντηση του µαθητή.

Ο µαθητής έχει πλέον 50% να βρει την σωστή απάντηση (1 στις2 απαντήσεις), ενώ αρχικά είχε 25% πιθανότητα να απαντήσει

σωστά (1 στις 4 απαντήσεις)

Παρουσίαση του Evaluate

Τεχνικά χαρακτηριστικά : κατασκευάστηκε σε visual studio 2010 Express,

είναι ASPX σελίδες γραµµένες σε γλώσσα προγραµµατισµού είναι ASPX σελίδες γραµµένες σε γλώσσα προγραµµατισµού VB.NET,

η βάση δεδοµένων που υποστηρίζει φτιάχτηκε µε SQL 2008 Express.

Φιλοξενείται στην ιστοσελίδα somee.com (evaluate.somee.com)

∆ιάγραµµα δραστηριότητας (activity diagram )της λειτουργίας του Evaluate

Αρχική σελίδα

Ερωτήσεις

Λάθος απαντήσεις

Ολοκλήρωση - Αποτελέσµατα

Αποτελέσµατα

Σωστές απαντήσεις ανά υποενότητα

90%95%95% 95%100%

Σωστές απαντήσεις κατά ταξινόµηση Bloom

100%

55%

25%

70%

0%0%

20%

40%

60%

80%

ΓΕΝΙΚΕΣ ΕΡΩΤΗΣΕΙΣ ΠΡΑΞΕΙΣ - ΣΥΝΑΡΤΗΣΕΙΣ ΓΡΑΦΗΜΑΤΑ ΛΙΣΤΕΣ

ΥΠΟΕΝΟΤΗΤΕΣ

ΣΤ'1

ΣΤ'2

75%

55%

70%75%

45%

75%

0%

20%

40%

60%

80%

ΑΝΑΚΛΗΣΗ ∆Ε∆ΟΜΕΝΩΝ ΚΑΤΑΝΟΗΣΗ ΕΦΑΡΜΟΓΗ

ερωτήσεις κατά Bloom

ΣΤ'1

ΣΤ'2

Αποτελέσµατα βοήθειας

ΧΡΗΣΗ ΤΗΣ ΒΟΗΘΕΙΑΣ ΑΠΟΤΕΛΕΣΜΑΤΑ ΒΟΗΘΕΙΑΣ

27%

57%

43%ΝΑΙ

ΌΧΙ

73%

ΣΩΣΤΕΣ ΑΠΑΝΤΗΣΕΙΣ

ΛΑΘΟΣ ΑΠΑΝΤΗΣΕΙΣ

ΑΠΟΤΕΛΕΣΜΑΤΑ ΒΟΗΘΕΙΑΣ ΑΝΑΛΟΓΑ ΜΕ ΤΟΝ ΒΑΘΜΟ ∆ΥΣΚΟΛΙΑΣ

85,4% 80,3%61,3%

14,6% 19,7%38,7%

0%

20%

40%

60%

80%

100%

ΕΥΚΟΛΕΣ ΜΕΤΡΙΕΣ ∆ΥΣΚΟΛΕΣ

ΒΑΘΜΟΣ ∆ΥΣΚΟΛΙΑΣ

ΛΑΘΟΣ ΑΠΑΝΤΗΣΕΙΣ

ΣΩΣΤΕΣ ΑΠΑΝΤΗΣΕΙΣ

Στατιστικός έλεγχος

Πραγµατοποιήθηκε στατιστικός έλεγχος, µε την χρήση του µη-παραµετρικού τεστ Wilcoxon-rank sum test, και ελέγχθηκε γιαεπίπεδο σηµαντικότητας p < 0.01 (τέθηκε σηµαντικό όριο η τιµή0.01).Το Wilcoxon rank-sum test ελέγχει την µηδενική υπόθεση πως Το Wilcoxon rank-sum test ελέγχει την µηδενική υπόθεση πωςτα δεδοµένα µεταξύ δύο κατανοµών x και y είναι δείγµατα απόσυνεχείς κατανοµές µε ίσες διάµεσους εναντίον τηςεναλλακτικής περίπτωσης του να µην είναι. Το τεστ υποθέτειπως τα δύο δείγµατα είναι ανεξάρτητα ενώ τα x και y µπορεί ναέχουν διαφορετικό µέγεθος.

Από τους ελέγχους που πραγµατοποιήθηκαν, σύµφωνα µε ταερωτήµατα που τέθηκαν προς µελέτη, αποδείχθηκε πως στιςπεριπτώσεις όπου αναδείχθηκαν διαφορές, το επίπεδοσηµαντικότητας ήταν πολύ µικρότερο της αρχικής µαςυπόθεσης (p < 0.00001), δίνοντας έτσι ακόµη µεγαλύτερηβαρύτητα στα συµπεράσµατα της µελέτης.

Ερώτηµα 1ο: ύπαρξη συσχέτισης ανάµεσα στιςµεταβλητές φύλου του µαθητή και απαντήσεων στιςταξινοµηµένες ερωτήσεις κατά Bloom

Ερώτηµα 2ο: ύπαρξη συσχέτισης ανάµεσα στιςµεταβλητές του φύλου, της βοήθειας πουπροσφέρεται και της αξιοποίησης της βοήθειας

η ύπαρξη σχέσης µεταξύ των απαντήσεων που έδιναν οι µαθητές σε ερωτήσεις από κάθε υποενότητα και του βαθµού δυσκολίας που παρουσίαζε κάθε µια από αυτές τις ερωτήσεις

Ερώτηµα 3ο: ύπαρξη συσχέτισης του βαθµούδυσκολίας µιας ερώτησης µε την παροχή βοήθειας

Αξιολόγηση Evaluate (1)

Α. Ως προς την εκπαιδευτική διάσταση της εφαρµογής

1. Πώς θα κρίνατε την εφαρµογή Evaluate ως προς το περιεχόµενο (ερωτήσεις πολλαπλής επιλογής, αντικειµενικότητα αξιολόγησης, κάλυψη ύλης Α.Π.Σ.);

2. Πώς θα κρίνατε την εφαρµογή Evaluate ως προς την παρουσίαση (χρήση 2. Πώς θα κρίνατε την εφαρµογή Evaluate ως προς την παρουσίαση (χρήση πολυµέσων, ευχρηστία, ευκολία );

3. Πώς θα κρίνατε την εφαρµογή Evaluate ως προς την αλληλουχία των ερωτήσεων (σχέση ερώτησης-απάντησης);

4. Πώς θα κρίνατε την εφαρµογή Evaluate ως προς την ανατροφοδότηση που παρέχει στους µαθητές ;

Β. Ως προς την τεχνική διάσταση της εφαρµογής

1. Πώς θα κρίνατε την εφαρµογή Evaluate ως προς την διεπαφή προς τον µαθητή (ευκολία, ευχρηστία, φιλικότητα);

2. Πώς θα κρίνατε την εφαρµογή Evaluate ως προς την αξιοπιστία της (απώλεια δεδοµένων, µη αναµενόµενες ενέργειες);

3. Πώς θα κρίνατε την εφαρµογή Evaluate ως προς την προσαρµοστικότητα της (στην ιδιότητα του περιεχοµένου, στην ιδιότητα της παρουσίασης);

Αξιολόγηση Evaluate (2)

Εκπαιδευτική διάστασηΑξιολόγηση Evaluate: Εκπαιδευτική ∆ιάσταση

60,0%

90,0%86,7% 90,0%

80%

100%

άριστη

Τεχνική διάσταση

60,0%

10,0% 10,0%13,3%

40,0%

0%

20%

40%

60%

περιεχόµενο παρουσίαση αλληλουχία ερωτήσεων ανατροφοδότηση

ιδιότητες

άριστη

πολύ καλή

καλή

µέτρια

ανεπαρκής

Αξιολόγηση Evaluate : Τεχνική ∆ιάσταση

40,0%

10,0%

60,0%

26,7%33,3%

90,0%

40,0%

0%

20%

40%

60%

80%

100%

διεπαφή αξιοπιστία προσαρµοστικότητα

ιδιότητες

άριστη

πολύ καλή

καλή

µέτρια

ανεπαρκής

Οικονοµική διάσταση

Περιλαµβάνει τις ιδιότητες: δαπάνες, συµβόλαια και χορήγησηαδειών και αποτελεσµατικότητα δαπανών. Οι ιδιότητες αυτές δεν µπορούν να εξεταστούν, όσον αφορά την εφαρµογή evaluate καθώς πρόκειται για µια µη εµπορική εφαρµογή, σχεδιασµένη για καθώς πρόκειται για µια µη εµπορική εφαρµογή, σχεδιασµένη για εκπαιδευτικούς σκοπούς, η οποία συµπληρώνεται διαδικτυακά.

Προτάσεις - µελλοντικοί στόχοι

Παράλληλα µε την αξιολόγηση, οι ερωτήσεις θα µπορούν νααποτελούν οδηγό για την ύλη που θα πρέπει να καλύψει οεκπαιδευτικός, ώστε οι µαθητές να είναι σε θέση να απαντούνµε επιτυχία τις ερωτήσεις του Evaluate.

Επέκταση του Evaluate και στις άλλες θεµατικές ενότητες τουΑ.Π.Σ., µε σκοπό να αποτελεί ένα ολοκληρωµένο σύστηµααξιολόγησης της συνολικής επίδοσης των µαθητών.

Το Evaluate να αποτελέσει το έναυσµα για την περαιτέρωενασχόληση µε το θέµα της αξιολόγηση των µαθητών τηςπρωτοβάθµιας εκπαίδευσης στο µάθηµα των Τ.Π.Ε. Στόχος θααποτελέσει η σύνδεση της αξιολόγησης µε την απονοµήπιστοποίησης γνώσης ηλεκτρονικών υπολογιστών στο τέλοςτης ΣΤ' τάξης, που να αποτυπώνει την γνώση που έχουνκατακτήσει, µέχρι την δεδοµένη χρονική στιγµή.

Σας ευχαριστώ για την προσοχή σας