L‘ESPERIENZA DI UNIPD CON I QUESTIONARI DI ESSE3

Cristina Stocco

1 Area Didattica e servizi agli studenti10 ottobre 2012

Valutazione degli insegnamenti

Dal 1999/00

al 2009/10

•questionario “tradizionale” cartaceo a lettura ottica

•sperimentazione parallela di un questionario via WEB

Nel 2007/08

Dal 2010/11

•cambio del sistema informativo studenti e passaggio ad ESSE3 (aprile 2010)

• utilizzo dei questionari via WEB di ESSE3

Il metodo

Indagine rivolta a tutti gli studenti iscritti a Corsi di Laurea e laurea Magistrale attivati presso l’Ateneo di Padova esclusi i Corsi erogati totalmente con modalità ON LINE

E’ prevista la compilazione di un questionario via WEB per ogni docente che svolga almeno 15 ore di attività didattica in ciascun insegnamento previsto nel piano di studio dello studente per l’a.a. di riferimento

Rimane la scheda a risposta aperta cartacea da somministrare in aula da parte del docente utile a favorire lo scambio diretto delle opinioni con gli studenti anche durante il periodo di lezione

Il metodo

Il questionario via WEB è attivo a partire da 20 gg. prima della fine del periodo ufficiale di lezione fino alla fine dell’a.a. (30 settembre)

Il questionario via WEB di ogni singola AD è obbligatorio per l’iscrizione all’esame. E’ prevista una domanda preliminare attraverso la quale lo studente può rifiutare la compilazione assolvendo comunque all’obbligo suddetto in modo da consentire l’iscrizione all’esame anche a chi rifiuta la compilazione

Il questionario

Le domande proposte nel questionario sono differenziate per studenti “frequentanti” e “non frequentanti”

La Sezione “non frequentanti” prevede una domanda per indagare i motivi della mancata frequenza e altre su aspetti organizzativi e di contenuto dell’AD non legati all’attività del docente in aula.

La Sezione “frequentanti” prevede le stesse domande del questionario “tradizionale d’indagine “tradizionale” per permettere la comparazione nel tempo e per soddisfare le indicazioni fornite dal CNVSU (DOC 9/02)

La scala dei giudizi (da 1 a 10), scelta per tentare di evitare fenomeni di appiattimento, è la stessa adottata negli anni precedenti e può essere facilmente ricondotta a quella proposta dal CNVSU (scala ordinale a quattro modalità di risposta).

I numeri – a.a. 2010/11

Il tasso di copertura

AD-DOCENTE da valutare

AD-DOCENTE senza valutazione

AD-DOCENTE valutate

 N  N %  N %

5.710 726 12,7% 4.984 87,3%

2005/06 2006/07 2007/08 2008/09 2009/10 2010/1150.0%55.0%60.0%65.0%70.0%75.0%80.0%85.0%90.0%95.0%

100.0%

62.3%

73.2%

83.2%78.1%

81.5%

87.3%

Tasso di copertura per anno accademicoDal 2005/06 al 2009/10 indagine “tradizionale”, 2010/11 indagine via WEB

I numeri – a.a. 2010/11

Numero di rispondenti e questionari

Numero di rispondenti Questionari completi

 N TOTMEDIA PER

STUD.

38.664 175.929 4,55

Numero di rispondenti (esclusi erasmus n.568)

Numero di iscritti Tasso di partecipazione

TOTdi cui

REGOLARITOT

di cui REGOLARI

TOTSTUDENTI REGOLARI

38.096 34.292 58.333 39.688 65,3% 86,4%

Tasso di partecipazione degli studenti

I numeri – a.a. 2010/11

L’adesione degli studenti. % di questionari compilati

Questionari compilati per livello di frequenza

Questionari proposti agli studenti

Questionari rifiutati Questionari compilati

175.929 19.701 11,2% 156.228 88,8%

  N. % VALIDA

studente non frequentante 14.296 9,2% meno del 30% 5.591 3,6%

tra il 30% e il 50% 8.247 5,3% tra il 50% e il 70% 19.326 12,4%più del 70% 107.990 69,5%Totale 155.450 100%N.D. 778

19.887 (12.8%) NON FREQUENTANTI

135.563 (77.2%) FREQUENTANTI

Il sistema via WEB

Apertura questionariApertura questionari

Apertura dei questionari

Schema dei periodi ufficiali a.a. 2011/12

10 gennaio28 maggio

20 novembre 27 febbraio 21 maggio

Date di apertura questionari

Apertura dei questionari criticità …

… se i periodi di lezione rispettano i periodi ufficiali l’apertura dei questionari avviene correttamente

• il docente può sollecitare gli studenti e distribuire il questionario a risposta aperta

20 gg. prima della fine effettiva delle lezioni

• gli studenti trovano il vincolo attivoprima dell’apertura degli appelli

altrimenti …è necessario variare puntualmente l’apertura in modo da garantire a docenti e studenti il corretto funzionamento del sistema

Il sistema via WEB

Lo studente accede alla pagina relativa al suo libretto e compila

il questionario

Lo studente può iscriversi all'esame

Apertura questionariApertura questionari

Mail informativa allo studenteMail informativa al docente

Il docente sollecita gli studenti a compilare il questionario

Il libretto on line

Il sistema funziona se tutti i dati relativi all’offerta e al carico didattico sono presenti in Esse3.

È necessario che i libretti siano popolati in maniera corretta e che i dati dell’offerta didattica siano completi e corretti

Il libretto on line criticità …

… se i libretti degli studenti sono popolati nei tempi previsti• Lo studente trova nel libretto on line tutte le

icone dei questionari associate alle AD/docenti da valutare

dopo l’apertura dei questionari

altrimenti …• Lo studente dovrà inserire a libretto l’AD da

“ricerca appelli” quindi tornare al libretto on line per compilare il relativo questionario e solo a quel punto potrà iscriversi all’esame

al momento dell’iscrizione

all’esame

Il sistema via WEB

Lo studente accede alla pagina relativa al suo libretto e compila

il questionario

Lo studente può iscriversi all'esame

Al termine dell’anno accademico lo studente potrà accedere ai risultati in forma aggregata

Apertura questionariApertura questionari

Mail informativa allo studenteMail informativa al docente

Il docente sollecita gli studenti a compilare il questionario

Durante il periodo di apertura il docente potrà monitorare quanti studenti hanno

compilato il questionario

Al termine della prima sessione di accertamento del profitto il docente potrà

accedere ai risultati di sintesi parziali

Al termine dell’anno accademico il

sintesi e confronto definitivedocente potrà accedere ai risultati di

Elaborazione e diffusione dei risultati

I dati raccolti sono stati estratti dal DB di ESSE3 ed elaborati dal Servizio Studi Statistici attraverso propri strumenti (Crystal Report e APEX)

I risultati della Valutazione della didattica sono accessibili dai diversi attori, attraverso la propria password, in un’area WEB appositamente costruita: www.unipd.it/pg/valutazione_didatticaGli utenti sono: Docenti

(monitoraggio dei questionari e risultati parziali e definitivi delle proprie AD) Responsabili delle UOI

(risultati parziali e definitivi di tutte le AD dei CDS della propria UOI) Referenti delle Segreterie di UOI

(monitoraggio dei questionari di tutte le AD dei CDS della propria UOI)

I risultati destinati agli studenti, aggregati per CDS, sono pubblicati nel sito di Ateneo: Università >Università in cifre >Valutazione della didattica

Altri report

Interesse e soddisfazione degli studenti frequentanti. Valore medio dei giudizi a livello di AD-Docente per Facoltà.

Facoltà di erogazione

Indipendentemente da come si è svolto il corso, i

contenuti dell'insegnamento sono stati interessanti per

lei? (F16)

Complessivamente, quanto si ritiene

soddisfatto di come si è svolto il corso? (F14)

AGRARIA 8,04 7,59 ECONOMIA 7,84 7,23 FARMACIA 8,18 7,65 GIURISPRUDENZA 8,28 7,79 INGEGNERIA 7,87 7,18 LETTERE E FILOSOFIA 8,34 7,82 MEDICINA E CHIRURGIA 8,01 7,50 ….Ateneo 8,01 7,47

Altri report

Interesse e soddisfazione degli studenti frequentanti. Percentuale di AD-Docente caratterizzate da un giudizio medio insufficiente (inferiore a 6/10) e più che sufficiente (maggiore o uguale a 8/10), per Facoltà (NB: sono evidenziati i valori superiori al valore medio d’Ateneo).

Facoltà di erogazione

Indipendentemente da come si è svolto il corso, i contenuti dell'insegnamento sono stati

interessanti per lei? (F16)

Complessivamente, quanto si ritiene soddisfatto di

come si è svolto il corso? (F14)

% insufficienti% più che sufficienti % insufficienti

% più che sufficienti

AGRARIA 1,9% 59,0% 4,9% 35,0%ECONOMIA 5,8% 48,5% 16,5% 28,2%FARMACIA 1,6% 68,0% 6,2% 41,4%GIURISPRUDENZA 0,0% 65,8% 2,6% 45,1%INGEGNERIA 4,1% 50,4% 16,0% 24,7%LETTERE E FILOSOFIA 1,7% 73,8% 5,4% 50,1%MEDICINA E CHIRURGIA 2,9% 58,7% 8,9% 36,3%……..Ateneo 2,9% 57,2% 9,4% 34,8%

Prospettive e sviluppi

Autovalutazione, valutazione e accreditamento del sistema universitario italiano (Documento finale ANVUR del 24 luglio 2012)Sezione G. La valutazione della didattica e dei servizi di supporto

Opinione degli studenti frequentanti e non frequentanti sullo svolgimento dell’insegnamento, a circa 2/3 del corso sull’organizzazione del CDS e sugli esami sostenuti nell’a.a.

precedente, all’inizio di ogni anno accademico

Obbligo di compilazione e individuazione degli studenti attivi (+ del 25% dei cfu previsti nell’a.a. precedente) e inattivi (- del 25% dei cfu previsti nell’a.a. precedente)

Possibilità di verifica della frequenza almeno con la comparazione tra numero dichiarato dal docente e numero di studenti che hanno dichiarato la frequenza.

Prospettive e sviluppi

Garanzia di anonimato … esigenze di dati per l’analisi (es. confrontare risposte date dallo

stesso studente a questionari diversi insegnamento esame)

Opinioni dei laureandi riferimento Alma Laurea (Profilo dei laureati)

Opinioni dei laureati a 1-3-5 anni riferimento Alma Laurea (Indagine occupazionale)

Opinioni del docente… raccolte “in parallelo” a quelle degli studenti… a quale evento associare la compilazione… nessuna indicazione sull’obbligo (prima del primo appello)

GRAZIE