ragioni, criteri e modalita’ di realizzazione di · fiorella kostoris padoa schioppa consiglio...
Post on 18-Feb-2019
219 Views
Preview:
TRANSCRIPT
RAGIONI, CRITERI E MODALITA’ DI REALIZZAZIONE DI
UN TEST SULLE COMPETENZE EFFETTIVE DI CARATTERE
GENERALISTA DEI LAUREANDI ITALIANI
Fiorella Kostoris Padoa Schioppa
Consiglio Direttivo ANVUR
10 agosto 2012
1
EPIGRAFE
Al mio professore di Econometria, Frank Fisher, che ha provato a trasmetterci la quintessenza di
competenze trasversali quali il critical thinking, il problem solving e l’etica dei risultati quando, nel
consegnarci una volta al mese (difficili) take-home exams da risolvere nella successiva giornata, soleva
premettere 3 considerazioni per quel lasso temporale: in queste 24 ore – scriveva - 1) potete leggere
qualunque libro o articolo, purché non quello XY, che alla pagina Z dà le risposte esatte ai miei quesiti; 2)
potete parlare a chiunque, purché non ai vostri compagni di classe impegnati su queste identiche domande
(e io, che, ventitreenne, a quell’epoca frequentavo con mio marito lo stesso corso e condividevo con lui un
unico tavolo da lavoro in un minuscolo appartamento di una stanza, una efficiency - 1602 - di Westgate
nel campus di MIT , passavo 24 ore senza scambiare con lui nemmeno una parola); 3) infine - aggiungeva
- “ MY BEST HINT for you is THINK ABOUT” . Grazie Frank per non averci insegnato solo una materia
specialistica, sia pure fondamentale.
PREMESSA
Il Decreto Legislativo 19 del 27 gennaio 2012 (d’ora in poi chiamato AVA) porta nel titolo il
richiamo all’art 5, comma 1, lettera a della Legge 240 del 30 dicembre 2010, dove si ricorda la necessità
della “valorizzazione della qualità e dell’efficienza delle Università e conseguente introduzione di
meccanismi premiali nella distribuzione delle risorse pubbliche sulla base di criteri definiti ex ante, anche
mediante accreditamento periodico delle Università”. “Nell’esercizio della delega di cui al comma 1,
lettera a,- recita il comma 3 dello stesso art 5 - il Governo si attiene … ai seguenti principi e criteri
direttivi: a) introduzione di un sistema di accreditamento delle sedi e dei corsi di studio….b) introduzione
di un sistema di valutazione periodica basato su criteri e indicatori stabiliti ex ante, da parte dell’ANVUR,
dell’efficienza e dei risultati conseguiti…..c) potenziamento del sistema di autovalutazione….d)
definizione del sistema di valutazione e di assicurazione della qualità degli atenei in coerenza con quanto
concordato a livello europeo, in particolare secondo le linee guida adottate dai Ministri dell’istruzione
superiore dei Paesi aderenti all’area europea dell’istruzione superiore (EHEA)”.
E’ del tutto evidente che queste norme impongono di rapportare le nostre sull’accreditamento e la
valutazione periodica non solo a quelle definite dall’ENQA, e più in particolare alle Standard and
Guidelines (ESG) adottate in uno di quegli incontri dei Ministri sopra richiamati (a Bergen nel 2005),
bensì a tutte le DUE adottate in quell’anno in quella città (Conferenza dei Ministri Europei Responsabili
dell’Istruzione Superiore, 2005), e nei successivi incontri, di norma biennali, di quegli stessi Ministri, fino
all’ultimo di Bucarest dello scorso 26-27 aprile (Conferenza dei Ministri Europei Responsabili
dell’Istruzione Superiore, 2012). Questo è tanto più opportuno in quanto le ESG, centrate come sono
unicamente sulle procedure, diversamente dalle altre disposizioni europee prese a Bergen nel 2005 e poi
approfondite in norme europee nei 7 anni successivi, nulla hanno da suggerire riguardo agli indicatori e i
parametri necessari per l’accreditamento e la valutazione periodica.
IL COLLEGAMENTO TRA L’ACCREDITAMENTO INIZIALE E
L’ACCREDITAMENTO E LA VALUTAZIONE PERIODICA.
Tra i requisiti dell’accreditamento iniziale, l’ANVUR (documento “Autovalutazione,
Valutazione e Accreditamento del Sistema Universitario Italiano”, 24 luglio 2012, d’ora in avanti
chiamato ANVUR, 2012) ha posto l’obbligo di descrivere nella Scheda Unica Annuale del Corso di
Studio (SUA-CdS), fra gli obiettivi della formazione, anche i risultati di apprendimento attesi definiti
per aree di formazione omogenee, secondo i principi europei inizialmente adottati a Bergen dalla
2
Conferenza dei Ministri Europei Responsabili dell’Istruzione Superiore (2005), qui riportati verbatim (i
grassetti sono miei) nella traduzione italiana (p.2) : “Adottiamo il Quadro Europeo di riferimento per i
titoli dello Spazio Europeo dell’Istruzione Superiore (Overarching Framework for Qualifications- QF
EHEA) comprendente tre cicli, descrittori generici per ciascun ciclo basati sui risultati di apprendimento
attesi (learning outcomes) e sulle competenze acquisite…. Ci impegniamo ad elaborare entro il 2010
Schemi Nazionali di riferimento per i titoli (National Framework for Qualifications, NQF) che siano
compatibili con il Quadro Europeo e ad iniziare tale lavoro entro il 2007”. Secondo le disposizioni di
Bergen del 2005, nel valutare gli esiti dell’apprendimento, non basta, dunque, indicare le intenzioni dei
docenti o le aspettative delle strutture universitarie, bensì è necessario anche individuare gli effettivi
risultati osservati negli studenti (riprendendo così L. Harvey, 2004, che, oltre a citare Adam, 2004 –“
Learning outcomes are concerned with the achievements of the learner rather than the intentions of the
teacher” – offre una tassonomia pressoché completa della vastissima letteratura esistente nel suo “Analytic
Quality Glossary”; si veda in proposito anche Adam, 2008).
Già l’anno successivo esce, sulla scia della Conferenza di Bergen, la Raccomandazione
(2006/962/CE) del Parlamento Europeo e del Consiglio che chiede “che gli Stati Membri sviluppino
l’offerta di competenze chiave per tutti nell’ambito delle loro strategie di apprendimento”, inclusive delle
seguenti 8 (“comunicazione nella madrelingua, nelle lingue straniere, conoscenze in matematica e di base
in scienza e tecnologia, digitale, sociali e civiche, capacità di imparare a imparare, spirito di iniziativa e
imprenditorialità e consapevolezza ed espressione culturale”. Tali concetti sono più volte richiamati
nell’UE per esempio nella Relazione congiunta 2010 del Consiglio e della Commissione sull’attuazione
del programma di lavoro “Istruzione formazione 2010” (2010/C117/01 p.2), dove si afferma che
“l’istruzione e la formazione iniziali dovrebbero favorire lo sviluppo di queste competenze
chiave…L’istruzione e la formazione per gli adulti dovrebbero….sviluppare e aggiornare le competenze
chiave lungo tutto l’arco della vita”. Il che dunque collega strettamente, nell’impostazione europea, la
formazione scolastica, quella universitaria e quella permanente.
Ma è solo nel 2008 che i descrittori generici adottati a Bergen nel 2005, inizialmente e
parzialmente elaborati nel 2004 da un gruppo di 21 esperti della Joint Quality Initiative (più noti con il
nome di Descrittori di Dublino), vengono per esteso e compiutamente declinati nelle norme europee. Nella
Raccomandazione 2008/C111/01 del Parlamento Europeo e del Consiglio (cfr Allegato II, riguardo a
EQF), sono infatti illustrate le “conoscenze, le abilità, le competenze” corrispondenti a 8 livelli di
apprendimento volti a descrivere il Quadro Europeo delle Qualifiche (European Qualifications
Framework EQF). Per semplicità si riportano dal C111 (p.6) le “conoscenze, abilità, competenze”
associate al livello 6, corrispondente all’italiano ciclo triennale universitario. “I risultati
dell’apprendimento relativi al livello 6, corrispondente all’apprendimento al livello 6 del Quadro
Europeo delle Qualifiche, sono: conoscenze avanzate in un ambito di lavoro o di studio che
presuppongano una comprensione critica di teorie e principi (critical thinking, n del r); abilità avanzate che
dimostrino padronanza e innovazione necessarie a risolvere problemi complessi e imprevedibili in un
ambito specializzato di lavoro o di studio (problem solving, n del r); competenze nel gestire attività o
progetti tecnico/professionali complessi assumendo la responsabilità di decisioni in contesti di lavoro o di
studio imprevedibili e nell’assumere la responsabilità di gestire lo sviluppo professionale di persone e
gruppi (decision making, n del r)”. Si raccomanda agli Stati Membri (p.3) “di rapportare i loro sistemi
nazionali delle qualifiche (NQF) al Quadro Europeo delle Qualifiche QF-EHEA, entro il 2010….e di
adottare misure affinché entro il 2012 tutti i nuovi certificati di qualifica, i diplomi…rilasciati dalle
autorità competenti contengano un chiaro riferimento – in base ai sistemi nazionali delle qualifiche –
all’appropriato livello del Quadro Europeo”.
3
Oggi la quasi totalità dei Paesi dell’UE ha implementato in modo efficace questa
Raccomandazione con un NQF adeguatamente rapportato al QF-EHEA; non ancora l’Italia, come
riconosciuto dalla bozza governativa a circolazione limitata del dicembre 2011, predisposta dal Punto
Nazionale di Coordinamento , sul “Rapporto di Referenziazione delle Qualificazioni al Quadro Europeo
EQF” (a p. 81 si trova esplicitamente “considerata l’assenza, al momento, di un esplicito e cogente
Quadro Nazionale delle Qualifiche nel nostro Paese”). Questione d’altronde già ben nota alle Agenzie di
monitoraggio europeo, quali il CEDEFOP, che l’ha esposta nell’ottobre 2011 trattando del “Development
of National Qualification Frameworks in Europe” (CEDEFOP, 2011 a). L’attuale governo tecnico
italiano, tuttavia, forse perché particolarmente consapevole delle lacune e delle opportunità nonché delle
carenze europee in cui versano le nostre Università, sembra deciso ad adeguarsi velocemente alle sopra
ricordate linee guida adottate nello Spazio Europeo dell’Istruzione Superiore, come indica la recente
Legge 28 giugno 2012, n. 92 di “riforma del mercato del lavoro in una prospettiva di crescita”. Infatti, in
particolare i commi 51-61 e 64-68 dell’art 4 sull’apprendimento permanente di tale Legge Fornero si
ispirano proprio allo spirito generale e ad alcuni dettami specifici delle conclusioni dei 47 Ministri
dell’Istruzione Superiore presenti a Bucarest nel 2012, particolarmente quando questi dichiarano (p. 3) che
“per consolidare EHEA è necessaria una implementazione significativa dei risultati effettivi
dell’apprendimento. Lo sviluppo, la comprensione e il pratico utilizzo dei risultati effettivi
dell’apprendimento sono cruciali per il successo degli ECTS….per il QF e per l’assicurazione della
qualità… Chiediamo che nelle istituzioni si stabilisca un più forte legame fra i crediti allo studente e gli
esiti dell’apprendimento, da un lato, e i carichi di lavoro, dall’altro, e che si includa l’effettivo
conseguimento dei risultati dell’apprendimento nelle procedure valutative”.
Di fatto, nel dicembre 2010 in extremis, il MIUR sembra far proprie le linee guida esplicitate in
EHEA nel 2005, nel 2006 e nel 2008, sopra menzionate, con un testo (MIUR, 20 gennaio 2011, “Il Quadro
dei Titoli Italiani”), nel quale Qualifications è tradotto come Titoli e nel quale i 3 descrittori
dell’apprendimento relativi all’italiano ciclo triennale, sopra richiamati nella versione ufficiale della
Raccomandazione 2008/C111/01 (critical thinking, problem solving, decision making), divengono così
esposti (p.7). “I titoli finali del I ciclo possono essere conferiti a studenti che: 1) abbiano dimostrato
conoscenze e capacità di comprensione in un campo di studi di livello post secondario …che,
caratterizzato dall’uso di libri di testo avanzati, include anche la conoscenza di alcuni temi di avanguardia
nel proprio campo di studi; 2) siano capaci di applicare le loro conoscenze…e possiedano competenze
adeguate sia per ideare e sostenere argomentazioni che per risolvere problemi nel proprio campo di studi;
3) abbiano la capacità di raccogliere e interpretare i dati…ritenuti utili a determinare giudizi autonomi,
inclusa la riflessione su temi sociali, scientifici o etici; 4) sappiano comunicare…a interlocutori specialisti
e non specialisti; 5) abbiano sviluppato quelle capacità di apprendimento che sono loro necessarie per
intraprendere studi successivi con un alto grado di autonomia”. Questa altro non è che la traduzione
italiana esatta degli originari Descrittori di Dublino del 2004, cioè di 7 anni prima, non della loro
rielaborazione nelle Raccomandazioni europee del 2006 e del 2008. Questa è la ragione per cui,
correttamente il Centro Europeo CEDEFOP, ancora nella sua “Nota Informativa” del novembre 2011
(CEDEFOP, 2011b, pp. 1-3), nel monitorare “lo sviluppo e l’attuazione dei NQF in 34 Paesi, inclusi i 27
dell’Unione Europea”, ribadisce che “28 Paesi stanno sviluppando o hanno sviluppato NQF completi,
estesi a tutti i tipi e livelli di qualifiche. La Repubblica Ceca, l’Italia, l’ex Repubblica jugoslava di
Macedonia e il Liechtenstein devono ancora decidere l’estensione e l’architettura dei loro quadri… Tutti i
Paesi utilizzano un approccio basato sui risultati dell’apprendimento per definire i descrittori dei livelli”.
Giustamente G. Luzzatto (2012) nota che in Italia “negli anni scorsi le Università per far sopravvivere
l’offerta formativa sono state costrette a occuparsi del soddisfacimento di requisiti meramente
burocratici….La modifica necessaria è una rivoluzione copernicana e in ogni ambiente si sono sempre
manifestate in circostanze analoghe permanenze di concezioni tolemaiche”.
4
Pur nei suoi limiti, conviene, tuttavia, nel definire i criteri e i requisiti per l’accreditamento
iniziale e periodico, far riferimento all’impostazione del MIUR (2011),come appunto stabilito dall’
ANVUR (2012), non solo perché essa è collegata a norme e prassi già operative nelle nostre Università
(per esempio, l’art 1, comma 7, del Decreto del MIUR 16 marzo 2007 – G.U. 6 luglio 2007, n 155 -,
esplicitamente impone che “nel definire gli ordinamenti didattici dei corsi di laurea, le Università
specifichino gli obiettivi formativi in termini di risultati di apprendimento attesi con riferimento al sistema
dei descrittori adottato in sede europea”), ma anche perché nei 5 Descrittori di Dublino (2004) sopra
evocati dal MIUR (2011) vi è in nuce almeno la duplice, importante distinzione (poi approfondita nelle
norme europee prima citate) fra gli esiti, sia attesi, sia acquisiti, dell’apprendimento universitario tanto di
tipo specialistico (l’1 e il 2 sulle conoscenze teoriche e applicate, con problem solving, in un campo di
studi), quanto di tipo generalista, talora chiamati generic o soft skills (dal 3 al 5), in particolare il critical
thinking (3), l’ability to communicate (4), il learning to learn. Perciò l’ANVUR (2012) ha posto
all’interno del capitolo F.2 dedicato all’ “accreditamento periodico delle sedi e dei corsi di studio
universitari” una sezione (F.2.4) riguardante gli “ulteriori criteri, indicatori e parametri per
l’accreditamento periodico delle sedi e dei corsi di studio”, inclusivi di quelli (F.2.4.1) concernenti
“gli esiti degli apprendimenti effettivi”.
Dare piena attuazione agli obiettivi del MIUR (2011) è rilevante non solo per soddisfare i requisiti
di trasparenza, utili alla mobilità interspaziale e intersettoriale e all’occupazione dei giovani laureati
(perciò più volte richiamati nelle norme, a esempio nel DM 17/2010), ma anche per favorire scelte più
consapevoli in tutti gli stakeholders , come suggerito da molti, da ultimo da C. Barone(2012) fra gli
studenti finalmente informati degli esiti in termini di apprendimento previsti ed effettivi dei loro studi, fra
i datori di lavoro in cerca di competenze non adeguatamente finora illustrate dai titoli e dai diplomi
universitari, fra i responsabili scientifici e istituzionali delle strutture universitarie, tesi al
miglioramento dell’offerta formativa.
LE BEST PRACTICES NEI TEST DI COMPETENZE GENERALISTE
Per il momento, nelle Università italiane esistono solo alcune buone prassi sulla enunciazione
degli esiti di apprendimento generalista atteso, che il sito nostrano del Bologna process invita a seguire.
Fra queste viene per esempio segnalata la declinazione che dei 5 Descrittori di Dublino, tradotti dal MIUR
(2011), fa la Facoltà di Economia dell’Università di Padova. Non c’è dubbio che tali buone pratiche
saranno presto estese alla generalità dei nostri Atenei, dati i requisiti per l’accreditamento iniziale stabiliti
dall’ANVUR (2012), come sopra ricordato.
Questa stessa Università di Padova, e altre a essa associate (quali Trento, Verona, Venezia), o altre
ancora in Italia, quali Bologna o alcune non statali (in primis la Bocconi e la LUISS) o per altri versi la
Normale di Pisa, si distinguono ancora di più, secondo chi scrive, per la natura e la qualità dei test di
generic skill, attualmente applicati solo agli accessi alla Facoltà di Economia (e a qualche altra) nei
corsi triennali e magistrali (seguendo i dettami dell’art 6 del DM 270/2004 e successive modiche), ma che
un domani potrebbero trasformarsi in prototipi cui ispirarsi, con strumenti migliorativi, per valutare
attraverso test appropriati gli esiti effettivi di apprendimento generalista alla fine del corso triennale (e
magistrale) di tutte le Facoltà (o ex Facoltà). Tali esiti dovrebbero essere messi a confronto con quelli
dichiarati attesi dal corso di studio o dalla sede universitaria ed eventualmente con le competenze
generaliste manifestate dagli studenti al momento dell’accesso all’Università. Alternativamente,
soprattutto a breve termine, si potrebbe stimare il valore aggiunto prodotto dalla sede universitaria,
depurando i dati grezzi, rilevati nei risultati dei test sulle competenze trasversali, dall’influenza delle
variabili di contesto, socio-economiche individuali o ambientali, come meglio si preciserà nel prosieguo
di questo scritto (così per esempio fa l’OCSE con il test di generic skill di AHELO - Assessing Higher
5
Education Learning Outcome -, ma in AHELO si adottano in aggiunta o in alternativa, sempre su base
volontaria, anche due test di competenze specialistiche, nell’economia e nell’ingegneria, puntando
comunque a valutare non le nozioni bensì le capacità above content; cfr AHELO, 2012).
Più ancora, nel campo degli utili precedenti esistenti, mutatis mutandis, in Italia, bisognerebbe, da
un lato, ricordare i test per gli accessi alle Facoltà italiane a numero chiuso di Medicina e
Odontoiatria, Veterinaria e Architettura, di cui una metà può ritenersi di stampo generalista o piuttosto
di cultura generale, e, da un altro lato, menzionare le esperienze internazionali di test delle
competenze generaliste, che, pur con scopi diversi, si sono già maturate anche nel nostro Paese, come è
il caso dei test dell’OCSE PISA sui quindicenni ( cfr per esempio OECD 2012 a, con il recentissimo
“PISA 2012 Financial Illiteracy Framework”, 7 marzo 2012) e PIAAC sulla formazione permanente della
popolazione adulta (cfr www.oecd.org/piaac).
Ma le best practices straniere, da prendere in Italia in considerazione per il prossimo futuro,
nel campo dei test di competenze generaliste acquisite dagli studenti universitari, sono numerose e
numerose sono ormai le Nazioni che se ne servono da tempo – dal Brasile al Canada, dagli USA alla
Malesia, dal Messico all’Australia, da Hong Kong al Sud Africa; l’Europa in questa linea di frontiera non
è un’antesignana (D. Nusche, 2008), ma sta ora recuperando terreno soprattutto in alcuni Paesi
anglosassoni, scandinavi e in parte in Germania . Ne è consapevole lo stesso Presidente dell’ENQA, A.
Hopbach, quando (“Quality Assurance and Learning Outcomes”, ENQA Workshop Report 17, 2010, p.4,
in Adamson et al, 2010) scrive “che un sondaggio dell’ENQA del 2008 … mostra un cambiamento
significativo all’interno dei sistemi educativi - da un focus sull’insegnamento a uno sull’apprendimento -.
Ma allo stesso tempo quel sondaggio rivela che gli esiti dell’apprendimento hanno solo iniziato a essere
centrali per l’Assicurazione della Qualità delle Agenzie della rete ENQA nelle procedure da esse adottate
circa la valutazione dei programmi e delle strutture universitarie”. Da quel momento si stanno
moltiplicando sia i seminari organizzati dall’ENQA sui learning outcomes (come quello di Dublino del
2012 su “Quality Assurance and Qualifications Frameworks: Exchanging Good Practices”), sia i loro
scritti sull’argomento (come l’ultimo ENQA Workshop Report 18, 2011 su “Quality Assurance in
Lifelong Learning”, in Bengoetxea et al, 2011).
Fra i test mondiali di generic skill per gli studenti universitari, il più diffuso e apprezzato (cfr in
Appendice il position paper NONO P1+PP) sembra essere quello del CLA (Council for Aid to
Education’s Collegiate Learning Assessment), adottato in 450 Università americane, oltre che in Irlanda, a
Hong Kong, in Colombia, a Portorico, in Tailandia , o meglio la sua versione più recente, integrata con
l’apporto di ACER e unificata per tutti i 9 Paesi partecipanti al Generic Skill Strand di AHELO
OCSE - Colombia, Egitto, Finlandia, Korea, Kuwait, Messico, Norvegia, Repubblica Slovacca, USA- :
l’obiettivo dichiarato è di riflettere la distribuzione fra gli studenti universitari delle competenze di
“critical thinking, analytical reasoning, problem solving, ability to communicate” (e non può sfuggire la
quasi totale coincidenza fra questi scopi e quelli del MIUR, 2011) . Ma hanno estesa diffusione e target
simili anche altri test quali il CRT (Critical Reasoning Test) dell’ACER australiano, lo SLE (Scholastic
Level Examination) di Wonderlic Inc., il MAPP dell’ETS di Princeton, il CAAP dell’Agenzia ACT, il
GSA del Governo australiano. Il “Test Validity Study Report” del settembre 2009, promosso dal FIPSE
(Fund for the Improvement of Postsecondary Education), nel mettere a confronto questi e altri test di
generic skill, per un totale di 13, trova che non solo esiste una forte correlazione fra i risultati delle
competenze trasversali accertate nei diversi test, ma in aggiunta che in tutti, salvo nel CAAP sulla
matematica, emergono competenze superiori alla fine rispetto all’inizio degli studi universitari. A
queste due indicazioni similmente giunge nel 2011 il Governo irlandese, dopo aver somministrato nel
2009 a un campione di circa 1000 studenti del primo ciclo universitario (all’ingresso e all’uscita)
contemporaneamente i primi 3 test sopra menzionati, concludendo pertanto (p.2) che “la conoscenza degli
6
esiti dell’apprendimento attraverso i test di generic skill è rilevante per l’implementazione del NQF
e per un’assicurazione della qualità orientata ai risultati effettivi dell’apprendimento”. Un’altra
esperienza europea degna di menzione è quella descritta dalla Nordic Quality Assurance Network in
Higher Education (Omar e Liuhanen, 2005), che ha eletto, fra le Università che partecipavano alla gara sul
migliore esempio di quality work fra i Paesi Nordici, il Danese CBS (EVA essendo la corrispondente
Agenzia esterna), perché (p. 63) esso si dimostra eccellente nell’“aiutare gli studenti a sviluppare le loro
competenze critiche, analitiche e di sintesi proprio mentre valuta le loro capacità di comunicare queste
abilità intellettuali di alto profilo”: il che illustra come anche l’autovalutazione e il contributo degli
studenti possano risultare preziosi ai fini descritti.
Fra le best practices straniere di test di generic skill, bisogna annoverare, poi, anche quelli non
rivolti agli studenti, bensì ideati dalle imprese multinazionali (cfr gli atti della conferenza organizzata
da Business International, “La mappatura delle competenze”, 11 maggio 2012) o dalle organizzazioni
produttive all’avanguardia nello scegliere chi assumere e chi promuovere. Solo queste strutture aziendali
sofisticate riescono infatti a soddisfare i bisogni universalmente riconosciuti dai datori di lavoro
come i più importanti (competenze trasversali, generaliste, non specifiche; cfr per esempio Wagner,
2008), attraverso metodologie appropriate gestite al loro interno: istruttivi da questo punto di vista
sono i test di competenze generaliste che da molti decenni usa il Foreign Office inglese per selezionare il
personale all’inizio e durante le diverse fasi della carriera. In Italia, fino a un recente passato, le imprese si
limitavano a lamentarsi del fatto di non trovare fra i prodotti dell’Università quelle competenze che loro
erano utili, tendendo perfino in molti casi a preferire studenti con minori titoli di studio ma più giovani e
pronti a imparare, attraverso la formazione nelle aziende, quanto a queste serviva. La Confindustria (cfr
“Appunti per la discussione: i nuovi laureati; cosa sappiamo della riforma del 3+2 e cosa vorremmo
sapere”, 5 marzo 2012 in Gentili 2012) ha ribadito di recente, con riferimento alla situazione italiana, che
“uno degli aspetti meno soddisfacenti è la scarsa capacità delle Università di differenziare l’offerta
formativa: generalista o professionalizzante?”. Causa forse non secondaria, secondo loro, del rapporto
subottimale di allineamento fra laureati e occupati, rilevato nel 2007 per l’Italia dalla Labour Force Survey
dell’Eurostat sulla popolazione di 25-34 anni (pari al 78,5%, tuttavia superiore alla media della UE a 27,
con il suo 75,3%). Oggi le piccole e medie imprese italiane riconoscono con maggiore lungimiranza i
loro bisogni di competenze generaliste e le domandano all’Università, che deve quindi essere più
capace che in passato a definirle e testarle. Lo testimonia per esempio uno studio della Fondazione Nord
Est, promosso dalla Camera di Commercio di Pordenone (cfr Girardi e Toschi, 2011, pp. 4-5), che chiede
“uno scambio virtuoso tra le imprese che affrontano i mercati emergenti….e l’Università che non di
rimando ma in termini proattivi può garantire un apporto conoscitivo utile ad alimentare i processi di
innovazione aziendale….con competenze nuove…riconducibili ai sistemi di supporto delle decisioni” .
GLI ULTERIORI INDICATORI DEFINITI EX ANTE PER L’ACCREDITAMENTO E
LA VALUTAZIONE PERIODICA
Come noto, l’art 5, comma 3 del Decreto Legislativo AVA afferma che “ l’accreditamento
periodico avviene con cadenza almeno quinquennale per le sedi e almeno triennale per i corsi di studio ed
è basato sulla verifica della persistenza dei requisiti…(iniziali, n del r), su ulteriori indicatori definiti ex
ante dall’ANVUR e sugli esiti della valutazione di cui agli articoli 9 e 10”, dove l’articolo 9 sul
“monitoraggio degli indicatori e l’accreditamento periodico”, ai fini qui illustrati, è rilevante soprattutto
perché per esso “l’ANVUR può avvalersi dell’attività degli esperti della valutazione… e programmare
accertamenti anche mediante visite in loco”, mentre l’articolo 10 sulla “definizione dei criteri e degli
indicatori” per la “valutazione periodica…dei risultati conseguiti dalle singole Università …e da
articolazioni interne nell’ambito della didattica e della ricerca” è fondamentale perché ribadisce (al comma
3) che tali “criteri e indicatori … traducono gli standard, le procedure e le linee guida adottate a
7
livello europeo in parametri oggettivi, volti a misurare in ogni momento l’efficienza e l’efficacia della
didattica e della ricerca messa in atto dai singoli Atenei e a stimolare la competitività e la qualità degli
stessi”; per il comma 6 dello stesso articolo 10, questi “criteri e indicatori sono oggetto di revisione
periodica con cadenza triennale al fine di renderli costantemente coerenti con le linee guida definite
a livello europeo…”, con la programmazione triennale del MIUR e con l’attività di monitoraggio
dell’ANVUR, che, a norma dell’articolo 3 del DPR 76/2010, “valuta la qualità dei processi, i risultati e i
prodotti dell’attività di ….formazione… anche con riferimento alle singole strutture”.
Pertanto, risulta chiaro perché, fra gli ulteriori indicatori e criteri definiti ex ante per
l’accreditamento e la valutazione periodica, l’ANVUR ritenga necessario inserire quelli atti a verificare
ex post l’esito effettivamente ottenuto nell’apprendimento dai laureandi, in forma specialistica per
ogni corso di studio o ogni classe o area disciplinare che li aggrega opportunamente, e in forma
generalista per ogni sede (e, in una certa misura, come si vedrà, anche per ogni corso). Mentre i test
sulle competenze specifiche non possono che essere diversi per corsi o classi o aree disciplinari, il test
generalista, per la sua stessa natura, deve essere eguale per tutti, come indicato nel position paper
PRIMO P1PP, illustrato in Appendice: “se quel che conta di più non è ciò che si impara, ma come si
impara e se tutti i sentieri sono in grado di portare, se percorsi in modo adeguato, alle competenze
trasversali desiderabili sopra evocate, divengono auspicabili prove standardizzate e trasversali, comuni a
tutte le aree”.
In ogni caso, l’apprendimento effettivo, tanto nella componente specialistica che nella
generalista, va confrontato con quello atteso. Vi devono venire coinvolti sia il sistema
dell’autovalutazione, sulla base di metodologie definite con il concorso dei Nuclei di valutazione, anche su
proposta delle Commissioni paritetiche docenti-studenti, tese a definire proposte migliorative in relazione
ai risultati ottenuti nell’apprendimento, da raccordare con quelle definite dall’ANVUR (articoli 12 e 13 del
Decreto Legislativo AVA), sia l’ANVUR stesso che, a norma degli articoli 5 e 9-11, è responsabile della
verifica. L’approccio più articolato, che pare meglio rispettare e potenziare l’autonomia degli Atenei, e che
insieme sembra più efficace e orientato ai desiderata degli stakeholders universitari, potrebbe essere
quello di lasciare ai professori dei corsi di studio, con la collaborazione di altri docenti della stessa e di
altre Università (italiane e straniere), l’individuazione dei test volti a valutare in modo ottimale e
coordinato fra sedi universitarie differenti gli esiti effettivi dell’apprendimento specialistico
(Descrittori di Dublino 1-2), confrontandosi, anche tramite visite in loco, con l’ANVUR su tali
strumenti di valutazione dell’efficacia della didattica, tenendo altresì conto dei tipi e della qualità
dell’occupazione ottenuti dai laureati (posti a confronto con le attese dichiarate dagli Atenei). Potrebbero
in tal senso essere di grande supporto per le nostre Università sia le proposte approfondite, espresse in “A
Tuning Guide to Formulating Degree Programme Profiles” (2010), sia i risultati del test AHELO di
learning outcome emersi fra gli studenti italiani delle Facoltà di Economia (più di un migliaio di
volontari fra i laureandi del primo ciclo), sia quelli osservati con lo stesso test in molte altre Facoltà di
Economia straniere, sia quelli concernenti svariate migliaia di laureandi delle Facoltà di Ingegneria
del mondo, tutte sperimentazioni iniziate dall’OCSE con Tuning-AHELO (2009) e in via di conclusione
nel dicembre 2012 (cfr OECD, 2012 b); sono infine da tenere in seria considerazione anche altre
esperienze internazionali in settori specialistici, di cui importante a livello europeo è quella in cui si
esprime l’accreditamento periodico in Germania attraverso l’Agenzia per l’ingegneria, l’informatica e
le scienze naturali, ASIIN , che tenta di allineare gli esiti nazionali effettivi dell’apprendimento moderno
a quelli rappresentati dai benchmark mondiali, indicati nei Quadri Nazionali delle Qualifiche, come più
volte illustrato da Iring Wasser, CEO di ASIIN, Presidente di CEEN, Vice Presidente di ENAEE e
EQANIE, Chairman di EURACE Label Committee, Direttore del Consiglio Direttivo di INQAAHE.
8
Invece l’esito degli apprendimenti di tipo trasversale o generalista (i soft skills dei Descrittori
di Dublino 3-5) dovrebbe essere verificato grazie a un appropriato test di generic skill dall’ANVUR
stesso. Viste l’ambizione e la complessità di tale compito, un comitato di 10 alti esperti della valutazione
presidierà e accompagnerà la loro implementazione almeno durante tutta una prima fase sperimentale,
che, con inizio immediato, si protrarrà fino alla fine del 2013. Tale comitato prenderà le mosse dalle
posizioni adottate da un iniziale gruppo di lavoro creato per un mese dall’ANVUR, con il compito di
dare risposte a una serie di quesiti urgenti preliminarmente loro richiesti; esso, in meno di un mese (fra il
5 giugno e il 2 luglio 2012), lo ha fatto con grande professionalità, approvando all’unanimità 12 linee
strategiche, illustrate in altrettanti position papers, che, essendo parte integrante del presente scritto,
sono riportati qui in Appendice e attribuiti ai 6 membri del gruppo di lavoro che li hanno specificatamente
redatti, oltre che ad alcuni coautori esterni.
Fra i temi vari discussi in Appendice vi sono quelli di carattere procedurale, per esempio su
quali siano, ai fini della sperimentazione di un test di generic skill, le azioni prioritarie da intraprendere nei
18 mesi a venire e con quale successione temporale (SECONDO P1PP) ; come si debba selezionare entro
il 31 dicembre 2012 con bandi di gara o altri meccanismi adeguati il produttore internazionale di un
siffatto test, rispondente ai requisiti dell’ANVUR, ma in grado di offrire qualche comparabilità
internazionale, e anche come si possano individuare, congiuntamente o disgiuntamente, le Società più
adatte alla traduzione del test, alla sua somministrazione prima in un piccolo focus group, con un
convenient sample, poi fra giugno e luglio 2013, dopo la validazione statistica e linguistica, in un
campione molto più esteso di Università autocandidate a partecipare alla sperimentazione in tutte le loro
classi o aree disciplinari, infine come si identifichino gli esperti o le strutture più capaci di procedere
all’analisi dei dati sui test (OTTAVO P1+PP); quali costi bisogna attendersi per tali attività nel prossimo
triennio, posto che la sperimentazione del 2013 con un test di generic skill dia segnali di robustezza e di
successo e suggerisca la continuazione nel tempo del medesimo approccio, consentendo così economie di
scala (TERZO P1+PP); quali siano le potenziali fonti di finanziamento pubblico e privato di tale rilevante
innovazione per la valutazione della didattica universitaria nel prossimo triennio (QUINTO P1PP e
UNDICESIMO P1+PP). Ma fra i temi riportati in Appendice vi sono anche quelli più centrati sui
contenuti strategici, per esempio su chi siano i laureandi da sottoporre al test generalista (DODICESIMO
P1+PP); come stimare attraverso i risultati osservati nei test individuali degli studenti tanto il livello delle
loro competenze trasversali quanto il valore aggiunto su esse creato dalle sedi universitarie (QUARTO
P1+PP) ; con quali strumenti l’ANVUR possa incentivare l’autovalutazione degli Atenei che volessero
ricorrere anche a test di carattere specialistico e come conseguire l’accordo fra essi rispetto a prodotti di
notevole valore qualitativo (DECIMO P1PP), soprattutto in quei corsi di studio o classi o aree disciplinari
in cui la maggioranza degli accademici pare desiderosa di introdurre tali test (come sembra accadere fra le
Società dei matematici) o in cui il mercato pare in tal senso particolarmente “demanding” (come sembra
succedere nel settore dell’ingegneria). In Appendice sono esposti, infine, temi di natura mista
(contenutistica e insieme procedurale), per esempio su come informare la comunità accademica e gli
altri stakeholders su tali ulteriori criteri di accreditamento basati per la prima volta nella storia del nostro
Paese sull’output e l’outcome, anziché sulle procedure e sugli input (SETTIMO P1PP) e su come formare
(SESTO P1PP) gli Institutional Coordinators -i coordinatori e responsabili locali dei test a livello di ogni
sede e classe, d’ora in avanti chiamati IC- e gli Scorers -SC- volti a valutare i risultati dei test a risposta
aperta con criteri scientifici, e uguali per tutti; obiettivo particolarmente importante, posto che gli SC
giudicheranno non i loro propri studenti, ma stocasticamente quelli di tutte le Università italiane coinvolte
nella sperimentazione, prima, e appartenenti all’universo degli Atenei, successivamente, venendo a loro
volta monitorati nella qualità dello scoring, essendo un 20% casuale della correzione delle loro risposte
corretto anche da un altro SC, sicché, in caso di eventuale, sistematica, differenza del giudizio sulla
risposta da parte di SC diversi, interverrebbero il Lead Scorer Nazionale (LSC) e il National Project
9
Manager (NPM), assistito dal National Project Office, tutti ugualmente da nominare e da formare. Ma,
come da circa 15 anni suggeriscono vari esperti del campo (cfr T. D. Erwin, 1997), le domande a risposta
aperta o “constructed- response”, più significative delle competenze individuali ma più difficili da
valutare, si combinerebbero presumibilmente con altre a risposta chiusa multipla o “multiple choice”, di
semplice e “neutrale” verifica anche per un computer.
Nell’anno accademico 2012-2013 e fino a fine 2013, a titolo sperimentale, questo test di
competenze generaliste non inciderebbe sul giudizio sull’accreditamento e sulla valutazione
periodica, né sulla distribuzione del FFO. Solo a partire dal gennaio 2014, se il test di generic skill
passasse i requisiti di robustezza necessari (come sembra accadere al test CLA di critical thinking et al.,
secondo le esperienze passate in vari Paesi e secondo le verifiche in corso su AHELO nell’OCSE, che le
concluderà tra circa un trimestre), esso entrerebbe in via permanente nel sistema dell’accreditamento e
della valutazione periodica italiana. Le precise percentuali di studenti rilevanti ai fini degli ulteriori criteri
di accreditamento e valutazione periodica, definiti nel successivo paragrafo, sarebbero in ogni caso
rivisitate alla fine della fase di sperimentazione; dopo questa verrebbe anche deciso se, quando e come
estendere ai laureandi delle magistrali gli indicatori “equivalenti”. Poiché gli ulteriori criteri 1) - 2), qui
proposti, presumibilmente costituiscono indicatori anticipatori del successo professionale e dell’
employability dei laureati nel futuro, fin da subito converrebbe combinare l’uso di questi test di
competenze trasversali e generaliste di responsabilità dell’ANVUR non solo con quelli specialistici di
responsabilità decentrata delle Università, sulla cui effettiva implementazione l’ANVUR vigilerà, come
sopra menzionato, ma anche con indicatori statistici desunti dai pareri dei laureati circa l’utilità della loro
laurea triennale a 3, 5, 10, 20 anni dall’acquisizione del titolo (cfr quanto proposto nella Conferenza dei
Ministri Europei Responsabili dell’Istruzione Superiore, 2012, e in Commission on the Future of Higher
Education, “A Test of Leadership: Charting the Future of Higher Education”, 2006); l’opinione degli
studenti nel corso degli studi è, infatti, indicativa solo della pur rilevante customers’ satisfaction,
non della rispondenza di tali studi ai loro bisogni nel mercato del lavoro, di cui nulla o quasi sanno in quel
momento, come evidenziato anche in un recente Tema di Discussione della Banca d’Italia (cfr. Braga et al,
2011), essendo questa peraltro parzialmente distorta dal valore legale del titolo di studio.
In quanto segue, viene presentato un qualche approfondimento esclusivamente sui temi, più
diffusamente descritti in Appendice, riguardanti le tre principali questioni strategiche affrontate dal gruppo
di lavoro istituito dall’ANVUR nel giugno scorso: chi sono i laureandi da sottoporre al test di generic skill
nella fase di sperimentazione che si concluderà nel dicembre 2013; come stimare il valore aggiunto
prodotto dalle Università sul livello delle competenze evidenziato da tale test; come promuovere già nella
fase sperimentale del 2012-2013 l’autovalutazione degli Atenei sulle competenze specialistiche attraverso
appropriati test.
CHI SONO I LAUREANDI DEL PRIMO CICLO UNIVERSITARIO DA SOTTOPORRE
AL TEST DI GENERIC SKILL
In un Paese come l’Italia dove gli studenti universitari talora presentano molti anni di ritardo al
compimento degli studi, e dove è purtroppo frequente la prassi di posticipare il superamento degli esami
più qualificanti ai fini del titolo da conseguire, non è facile definire correttamente e concretamente chi
siano i laureandi, soprattutto tenuto conto che un test su di essi deve essere programmato con un certo
anticipo e non può essere svolto in tempo continuo. Un insieme di simulazioni sull’Anagrafe degli
studenti, di cui alcune riportate nel TERZO P1+PP e soprattutto nel DODICESIMO P1+PP, ha indotto il
gruppo di lavoro “a scegliere come laureandi, ai fini della somministrazione del test generalista, la
popolazione formata dai seguenti studenti di ciascun corso di studio o classe che li aggrega, al netto di
quelli frequentanti i corsi abilitanti nelle professioni sanitarie:
10
a) se iscritti al ciclo triennale, debbono obbligatoriamente partecipare al test tutti coloro che
hanno acquisito tutti i CFU di base e caratterizzanti previsti dai loro corsi di studio e si trovano
al IV° anno o in un precedente anno di iscrizione universitaria; possono partecipare gli altri
studenti, iscritti ad anni successivi, che abbiano acquisito tutti i CFU di base e caratterizzanti
previsti dai loro corsi di studio; in ogni caso, per il requisito di accreditamento periodico dei
corsi e delle sedi non può partecipare al test meno del 50% degli studenti di ogni corso di
studio che abbiano acquisito tutti i CFU di base e caratterizzanti, mentre nella valutazione
periodica il migliore 50% (il miglior 75%) del totale degli studenti dell’Università, aventi
queste caratteristiche di acquisizione dei CFU di base e caratterizzanti, deve nel test superare
la mediana nazionale per avere diritto al bonus aggiuntivo (al superbonus aggiuntivo) del
FFO;
b) se iscritti al ciclo unico, debbono obbligatoriamente partecipare al test tutti coloro che hanno
acquisito 120 CFU di base e caratterizzanti previsti dai loro corsi di laurea magistrale a ciclo
unico e si trovano al IV° anno o in un precedente anno di iscrizione universitaria; in ogni caso,
per il requisito di accreditamento periodico dei corsi e delle sedi non può partecipare al test
meno del 50% degli studenti di ogni corso di laurea magistrale a ciclo unico che abbia
acquisito 120 CFU di base e caratterizzanti, mentre nella valutazione periodica il migliore
50% (il miglior 75%) del totale degli studenti dell’Università, aventi queste caratteristiche di
acquisizione dei CFU di base e caratterizzanti, deve nel test superare la mediana nazionale per
avere diritto al bonus aggiuntivo (al superbonus aggiuntivo) del FFO;
c) i laureandi, come sopra identificati ai punti a) e b), possono accedere al test una sola volta nel
ciclo triennale e una sola volta a metà percorso. Uno studente che abbia partecipato al test è
eliminato dal computo successivo del totale della popolazione studentesca coinvolta nel test
stesso. L’identificazione del numero di laureandi in ogni corso di studio e in ogni Università
deve riferirsi all’1 di aprile di ogni anno.” I laureandi risultanti complessivamente dal gruppo
degli studenti con le sopraddette caratteristiche, appartenenti al ciclo triennale o a metà
percorso del ciclo unico, sono nel seguito chiamati laureandi del primo ciclo universitario.
Così definiti, è bene sapere che nell’anno accademico 2010-2011 i laureandi del ciclo triennale
nelle Università italiane si trovano mediamente per più di 1/3 al terz’anno di iscrizione, per 1/4 al
quart’anno, per una percentuale del 5,2% nel biennio precedente e per una quota pari a 1/3 negli anni di
iscrizione successivi al quarto (quando è anche più difficile reperirli, non essendo essi presumibilmente
più regolarmente frequentanti). I numeri assoluti dei laureandi triennali italiani, così coinvolti nel test
generalista, sono perfettamente comparabili con quelli che nelle scuole secondarie affrontano in Italia le
prove INVALSI o sono soggetti al test PISA dell’OCSE sui quindicenni (ISTAT, “Annuario Statistico
Italiano 2010”, Roma 2011). Se fin dalla fase sperimentale si decidesse di sottoporre al test di generic skill
non solo i laureandi del ciclo triennale ( di cui al punto a), ma anche gli studenti a metà percorso dei corsi
a ciclo unico (di cui al punto b, che non sono propriamente laureandi), verrebbero aggiunti al test ulteriori
25-30.000 studenti, un numero che non dovrebbe spaventare gli Atenei con adeguate dotazioni
informatiche, tanto più che in alcuni di quei corsi già si effettuano test a metà percorso.
Per concludere con una sintesi di quanto sopra affermato, si suggerisce che:
1) per l’accreditamento periodico delle sedi e dei corsi di studio di primo ciclo universitario,
l’accreditamento è negato se le sedi universitarie e in esse ogni corso di studio o classe, al
netto di quelli abilitanti nelle professioni sanitarie, non fanno partecipare al test generalista
(di critical thinking et al. ) annualmente almeno il 50% dei loro laureandi, come sopra
definiti, con l’ obbligo del test da parte dei laureandi iscritti ai primi 4 anni di corso;
2) per la valutazione periodica delle sedi con corsi di studio di primo ciclo universitario,
11
la valutazione dell’Ateneo è positiva, se il risultato di almeno il 50% migliore dei suoi
laureandi supera nel test generalista di critical thinking et al. il livello del secondo
quartile medio nazionale; per conseguire una valutazione periodica ottima, cioè il
massimo livello, anche un ulteriore 25% dei laureandi di una sede universitaria deve
mediamente superare il livello del secondo quartile medio nazionale. Il valore soglia della
mediana nazionale (come di ogni altro centile) è numerico perché deriva dai punteggi
numerici assegnati alle risposte esatte dei test, essendo che tanto nei test a risposta chiusa
quanto in quelli a risposta aperta, c’è 1 punto per ognuna delle risposte corrette fino a un
totale di 40 (se 40 sono le domande assegnate, come talora succede, in un lasso temporale di
circa 90 minuti). Volendo esemplificare, se il miglior 50% medio nazionale di laureandi ha
come punteggio un valore limite di 20 (e dunque maggiore di 20 nei quartili superiori) , gli
Atenei che vedranno il loro miglior 50% di laureandi non superare il valore soglia di 20 non
avranno alcun bonus aggiuntivo dal FFO; quelli che avranno il loro miglior 75% superare il
valore soglia di 20 prenderanno un bonus aggiuntivo massimo; quelli che avranno il loro
miglior 50% di laureandi superare 20, senza che però questa soglia sia superata dal loro
migliore 75% di laureandi, prenderanno un bonus aggiuntivo intermedio ai fini del FFO; non
saranno accreditate le sedi e i corsi che non riusciranno a far partecipare al test nemmeno il
50% dei loro laureandi.
LE VARIABILI DI CONTESTO
Si ritiene opportuno, stando al position paper QUARTO P1+PP qui sintetizzato, di rilevare con il
test di generic skill “tanto il livello delle competenze trasversali, quanto il valore aggiunto in
proposito creato dall’Università”. Il primo è identificato dai dati grezzi ottenuti con il test, mentre un
modo per stimare il secondo, senza dover attendere almeno 3-4 anni necessari al confronto longitudinale
fra le competenze all’ingresso e all’uscita dall’Ateneo, o senza moltiplicare il numero di studenti da
sottoporre contemporaneamente al medesimo test, selezionando sia le matricole che i laureandi, consiste
nel “depurare” i risultati del test sui laureandi con le variabili di contesto, come fatto in AHELO e come
largamente proposto nella letteratura (cfr A. Grisay, 1996). In pratica, si utilizza una regressione
multipla, dove i risultati individuali nel test costituiscono il vettore delle variabili endogene, le variabili di
contesto sono i regressori atti a spiegare la parte di tali risultati che ci si poteva attendere, date certe
caratteristiche specifiche dello studente e della sua famiglia, del corpo docente, della sede, e date
certe caratteristiche ambientali, e la costante stimata della regressione cattura appunto il valore aggiunto
creato dall’ Università, al di là delle aspettative.
Le variabili di contesto che si preferisce usare sono, da un lato, quelle che la teoria e le
esperienze maturate altrove indicano come più significative, dall’altro, quelle che le Università
italiane e il MIUR già raccolgono o sono in grado di raccogliere senza eccessivi aggravi. Fra le prime, si
includono nelle caratteristiche dei laureandi alcuni dati “obiettivi” (come età, genere, madre lingua,
Paese di nascita, tasso di occupazione e tasso di crescita triennale della regione italiana di sua
provenienza), alcuni dati di carattere socioeconomico familiare o personale (occupazione e titolo di
studio del padre e della madre, condizione di fuori sede, di studente lavoratore, di utilizzatore delle
strutture di accoglienza quali il pensionato universitario o di altre forme di diritto alla studio), alcuni dati
di natura meritocratica (voto alla maturità, tipo di scuola secondaria frequentata, risultato, ove
disponibile, del test INVALSI alla fine della scuola secondaria, risultato, ove disponibile, di test di
ingresso all’Università, borse di studio), i quali dati vorrebbero essere una proxy delle capacità dei
laureandi in ingresso e spiegherebbero perché essi sarebbero stati di un certo livello di competenza già
prima di frequentare l’Università. Fra i regressori si prendono poi in considerazione le particolari
caratteristiche della sede universitaria (il numero totale di studenti a tempo pieno e a tempo parziale,
12
italiani e non, il numero di corsi di laurea e di quelli in lingua non italiana, il numero di insegnamenti
offerti e di quelli in lingua non italiana, il titolo di studio più elevato lì conseguibile, il numero di studenti
che nell’anno precedente ha ottenuto tale titolo, la caratteristica /vocazione principale di quella Università
-ricerca, didattica, equilibrio tra le due-, il numero di anni accademici medi nell’ultimo triennio necessari
per completare la laurea di primo e/o di secondo livello e la distribuzione intorno alla media per anni di
frequenza, gli obblighi di frequenza dei corsi e la propedeuticità dei corsi di base e caratterizzanti) e le
particolari caratteristiche del corpo docente (il numero di insegnanti a tempo pieno e a tempo parziale
italiani e non in quell’Ateneo, le funzioni del personale docente - didattica, ricerca, combinazione delle
due -, il grado di eccellenza scientifica della sede, misurato dalla VQR, e quello dei singoli docenti valutati
per l’ abilitazione, con le posizioni relative rispetto alle mediane di settore scientifico disciplinare). Infine,
poiché l’ambiente socioeconomico in cui opera una sede universitaria contribuisce (in positivo o in
negativo) alle motivazioni dei laureandi a concludere gli studi in un certo modo, fra i regressori si
inseriscono anche il tasso di occupazione e il tasso di crescita nel precedente triennio della regione dove è
posizionato l’Ateneo, poiché la dinamicità del mercato del lavoro circostante incentiva i giovani a
terminare presto e bene l’Università.
LE COMPETENZE SPECIALISTICHE
Come sopra esposto, valutare con test appropriati le competenze specialistiche dei laureandi
italiani è compito appartenente principalmente alla sfera dell’autonomia universitaria; l’ANVUR vi entra
solo per svolgere funzioni di coordinamento ex ante e di verifica ex post, anche attraverso visite in loco.
Poiché l’ANVUR, però, è stata sollecitata sul suo stesso sito a promuovere in qualche modo tale
autonoma iniziativa, il DECIMO P1PP, qui sintetizzato, formula alcune proposte concrete di breve
periodo, almeno con riferimento alle aree interessate. Per esse, coinvolgendo sia Atenei che associazioni
scientifiche, sarebbe necessario giungere a individuare “un insieme di macro competenze disciplinari,
di carattere fondamentale, previste come competenze specialistiche di riferimento in uscita dai corsi di
studio”. Bisognerebbe, inoltre, “affidare a gruppi di lavoro misti (psicometristi e disciplinaristi) il compito
di creare e validare item e prove che misurino le competenze specialistiche di cui sopra, in collegamento
anche con opportuni generic skills. Nella costruzione delle prove si dovrebbe cercare di valutare
dimensioni misurate anche in test analoghi utilizzati in altri Paesi per consentire confronti internazionali
(i test GRE e ETS proficiency profile sono buoni esempi di strumenti consolidati che si possono
utilizzare in prima battuta). Ove possibile si dovrebbero instaurare specifiche collaborazioni con altri
Paesi.
Già nel 2013, quando un gruppo di Università autoselezionate sottoporrà i propri laureandi di tutte
le sue Facoltà a un test generalista , bisognerebbe consentire che qualche dipartimento in esse, se lo
desidera, sperimenti anche un test specialistico da acquisire sul mercato o da produrre ad hoc,
purché esso sia lo stesso in analoghi dipartimenti di altre Università e tale test sia considerato
scientificamente valido e sia frutto di una condivisione fra discipline e sedi diverse. Esistono in tal
senso interessi provenienti dalle aree di matematica, fisica e ingegneria. Questo potrebbe arricchire il
senso stesso della sperimentazione del test generalista, nella misura in cui si esaminassero le correlazioni
sugli stessi studenti sottoposti a entrambi i tipi di test (generalista e specialistico).
A partire dal 2014, una volta conclusa una prima fase sperimentale, si potrebbe inserire fra i
criteri premiali di valutazione periodica il numero di corsi di studio aggregati in classi in cui un test
specialistico è sottoposto ad almeno il 50% dei corrispondenti laureandi, purché lo stesso test
specialistico sia adottato in almeno altre 10 classi analoghe di altre 10 Università”.
13
CONCLUSIONE
Il compito che abbiamo di fronte nel misurare le competenze generaliste e specialistiche dei
laureandi italiani attraverso test appropriati costituisce una sfida estremamente complessa e nuova, cui
siamo chiamati dal consesso europeo e mondiale in cui ormai dobbiamo operare. La consapevolezza delle
difficoltà che ci attendono non è però superiore alla convinzione che il percorso da intraprendere va nella
giusta direzione: bisogna cominciare a guardare ai risultati effettivi, internazionalmente comparabili, della
qualità didattica offerta dalle nostre Università. Perciò affrontiamo davvero con entusiasmo questa sfida.
BIBLIOGRAFIA
ACER (2003), Graduate Skills Assessment. Sample Questions, http://www.acer.edu.au/documents/
GSA_SampleQuestions.pdf
Adam S. (2008), “Learning Outcomes Current Developments in Europe: Update on the Issues and
Applications of Learning Outcome Associated in the Bologna Process”, Discussion Paper, Febbraio,
http://www.ond.vlaanderen.be/
hogeronderwijs/bologna/BolognaSeminars/documents/Edinburgh/Edinburgh_Feb08_Adams.pdf
Adamson L. et al. (2010), “Quality Assurance and Learning Outcomes”, ENQA Workshop Report, n. 17,
Marzo, http://www.enqa.eu/files/WSR%2017%20-%20Final.pdf
AHELO (2012), Interim Feasibility Study Report - Executive Summary,
EDU/IMHE/AHELO/GNE(2012)6, Marzo,
http://www.oecd.org/officialdocuments/publicdisplaydocumentpdf/?cote=EDU/IMHE/AHELO/GNE%
282012%296&docLanguage=En
Barone C. (2012), “Contro l’espansione dell’istruzione (e per la sua redistribuzione). Il caso della riforma
universitaria del 3+2”, Scuola Democratica, n. 4, Febbraio, pp. 54-75.
Bengoetxea E. et al. (2011), “Quality Assurance in Lifelong Learning”, ENQA Workshop Report, n. 18,
Febbraio, http://www.enqa.eu/files/LLL_Publication.pdf
Braga M. et al. (2011), “Evaluating Students’ Evaluations of Professors”, Temi di Discussione Banca
d’Italia, n. 825, Ottobre, http://www.bancaditalia.it/pubblicazioni/econo/temidi/td11/td825_11/
en_td825/en_tema_825.pdf
Benjamin L. et al. (2009), “Returning to Learning in an Age of Assessment”, CAE Paper, Agosto,
http://www.collegiatelearningassessment.org/files/ ReturningToLearning.pdf
Benjamin L. et al. (2012), “The Case for Generic Skills and Performance Assessment in the United States
and International Setting”, CAE Occasional Paper, n. 1, Maggio,
http://www.collegiatelearningassessment.org/
files/The_Case_for_Generic_Skills_and_Performance_Assessment_in_the_United_States_and_Interna
tional_Settings.pdf
Business International (2012), La mappatura delle competenze, Roma, Maggio,
http://www.businessinternational.it/events/ed.action?edCode=2544
CEDEFOP (2011a), “Development of National Qualification Frameworks in Europe”, Working Paper, n.
12, Ottobre, http://www.cedefop.europa.eu/EN/Files/6112_en.pdf
CEDEFOP (2011b), “Quadri delle qualifiche in Europa modernizzare l’istruzione e la formazione”, Nota
Informativa, Novembre, http://www.cedefop.europa.eu/EN/Files/9064_it.pdf
14
CLA (2012), Architecture of the CLA Tasks, CAE (a cura di),
http://www.collegiatelearningassessment.org/files/Architecture_of_the_CLA_Tasks.pdf
Commission on the Future of Higher Education (2006), A Test of Leadership: Charting the Future of
Higher Education, Settembre,
http://www.naspaa.org/accreditation/standard2009/docs/SpellingsCommissionReport09.2006.pdf
Conferenza dei Ministri Europei Responsabili dell’Istruzione Superiore (2005), Comunicato di Bergen,
19-20 maggio, http://www.processodibologna.it/content/index.php?action=read_cnt&id_cnt=6066
Conferenza dei Ministri Europei Responsabili dell’Istruzione Superiore (2012), Comunicato di Bucarest,
26-27 aprile, http://www.processodibologna.it/content/index.php?action=read_cnt&id_cnt=6718
CORE (2010), A Tuning Guide to Formulating Degree Programme Profiles, Bilbao, Groeningen and The
Hague, http://core-project.eu/documents/Tuning G Formulating Degree PR4.pd
Edwin T.D. (1997), “Developing Strategies and Policies for Changing Universities”, in Brown S. (a cura
di), Facing Up to Radical Change in Colleges and Universities, London, Kogan Page, pp. 64 – 74.
ENQA (2005), Standard and Guidelines for Quality Assurance in the European Higher Education Area,
http://www.enqa.eu/files/ENQA%20Bergen%20Report.pdf
Foreign and Commonwealth Office (2011), Business Plan 2011 – 2015, Maggio,
http://www.number10.gov.uk/wp-content/uploads/FCO-Business-Plan1.pdf
FIPSE (2009), Test Validity Study Report, Settembre,
http://www.voluntarysystem.org/docs/reports/TVSReport_Final.pdf
Gentili C. (2011), “Appunti per la discussione: i nuovi laureati. Cosa sappiamo della riforma del 3+2 e
cosa vorremo sapere”, mimeo, Confindustria, Marzo.
Girardi D. e G. Toschi ((2011), Pordenone verso il 2020, Fondazione Nord Est, Quaderni FNE Collana
Ricerche, n. 65, Ottobre, http://www.fondazionenordest.net/UpLoads/Media/Pordenone_2020.pdf
Grisay A. (1997), “Added Value Indicators and the Assessment of Equity Policies: Three Simulations and
One Real Example”, Paper presentato al Seminario sulla giustizia del sistema educativo, Rennes,
Dicembre.
Hambur S. et al. (2002), Graduate Skills Assessment. Stage One Validity Study, ACER, Luglio,
http://www.deewr.gov.au/HigherEducation/Publications/Documents/GradSkillsAssess.pdf
Harvey L. (2004), Analytic Quality Glossary, http://www.qualityresearchinternational.com/glossary/
Istat (2011), Annuario Statistico Italiano, http://www.istat.it/it/archivio/48261
Joint Quality Initiative Group (2004), Shared ‘Dublin’ descriptors for Short Cycle, First Cycle, Second
Cycle and Third Cycle Awards, http://www.udc.es/grupos/cndeuto/docs/Enothe/DublinDescriptors.pdf
Luzzatto G. (2012), “I descrittori di Dublino e le competenze negli ordinamenti didattici italiani”,
Discussion Paper presentato al Convegno CRUI, Marzo.
MIUR (2011), Il quadro dei titoli italiani, Gennaio,
http://www.istruzione.it/alfresco/d/d/workspace/SpacesStore/3762c381-7c18-4c76-b09d-
9d5f32d13456/QuadroTitoli.pdf%20%28
Omar P.L. e A.M. Liuhanen (a cura di) (2005), “A Comparative Analysis of Systematic Quality Work in
Nordic Higher Education Institutions”, Nordic Paper,
http://www.nokut.no/Documents/NOQA/Reports/
Nusche D. (2008), “Assessment of Learning Outcomes in Higher Education: a Comparative Review of
Selected Practices”, OECD Education Working Papers, n. 15, http://dx.doi.org/10.1787/244257272573
OECD (2009), Tuning-AHELO Conceptual Framework of Expected and Desired Learning Outcomes in
Economics, Giugno, http://www.oecd.org/dataoecd/46/33/43160495.pdf
15
OECD (2012a), PISA 2012 Financial Literacy Framework. Draft Subject to Possible Revision,
http://www.oecd.org/dataoecd/8/43/46962580.pdf
OECD (2012b), Group of National Experts on the AHELO Feasibility Study, Highlights - the AHELO
Feasibility Study: What have we learned so far?, Parigi, Marzo,
http://www.oecd.org/officialdocuments/displaydocumentpdf/
?cote=edu/imhe/ahelo/gne%282012%296&doclanguage=en
Smyth F. e P. Cullen (2011), Assessing the Impact of Higher Education on Learners’ Skills: What Have
We Learned?, Hetac Ireland, Giugno, http://www.heir2011.org.uk/conference-
presentations/presentations/HEIR2011%20Cullen.pdf
Wagner T. (2010), The Global Achievement Gap, New York, Basic Books.
Wasser I. (2011), “Regional Approaches to Learning Outcomes and Their Relevance for Academic and
Professional Mobility in Europe”, Paper presentato ad un Seminario ASEM su Regional Quality
Assurance, Luglio, http://www.asem-education-
secretariat.org/imperia/md/content/asem2/events/2011asemqaseminar/ws3_ wasser.pdf
SITOGRAFIA
ACER – Australian Council for Educational Research: http://www.acer.edu.au/sias
AHELO - Assessment of Higher Education Learning Outcomes: http://www.oecd.org/document/22/
0,3746,en_2649_39263238_40624662_1_1_1_1,00.html
ANVUR - Agenzia Nazionale di Valutazione del Sistema Universitario e della Ricerca:
http://www.anvur.org/
ASIIN - Accreditation Agency for Degree Programmes: http://www.asiin-ev.de/pages/en/asiin-e.-v.php
CAAP - Collegiate Assessment of Academic Proficiency: http://www.act.org/caap/
CAE – Council for Aid to Education: http://www.cae.org/
CBS – Copenhagen Business School: http://www.cbs.dk/
CEDEFOP – European Centre for the Development of Vocational Training:
http://www.cedefop.europa.eu/EN/
CEEN - Economic Project & Policy Consulting GmbH: http://ceen-consulting.com/index.php
CLA – Collegiate Learning Assessment: http://www.collegiatelearningassessment.org/
CORE – Competences in Education and Recognition: http://core-project.eu/
CRT – Critical Reasoning Test: http://www.acer.edu.au/tests/crt
CRUI – Conferenza dei Rettori delle Università Italiane: http://www.crui.it/
EHEA - European Higher Education Area: www.indire.it/.../LDDR%20-
%20I%20due%20EQF_MOIRC.doc
ENAEE European Network for Accreditation of Engineering Education: http://www.enaee.eu/
ENQA - European Association for Quality Assurance in Higher Education: http://www.enqa.eu/
EQANIE - European Quality Assurance Network for Informatics Education: http://www.eqanie.eu/
EQF – European Qualification Framework: http://www.orientamento.it/orientamento/6m.htm
EURACE – Progetto EUR-ACE: http://www.quacing.it/progetto-eurace
EUROSTAT, Labour Force Survey:
http://epp.eurostat.ec.europa.eu/portal/page/portal/labour_market/introduction
16
FCO – Foreign and Commonwealth Office: http://www.fco.gov.uk/en/
FIPSE – Fund for the Improvement of Postsecondary Education:
http://www2.ed.gov/about/offices/list/ope/ fipse/index.html
GSA – Graduate Skills Assessment: http://www.acer.edu.au/tests/gsa
HETAC – Higher Education and Training Awards Council: http://www.hetac.ie/
INQAAHE - International Network for Quality Assurance Agencies in Higher Education:
http://www.inqaahe.org/
MAPP - Motivational Appraisal of Personal Potential:
http://www.assessment.com/AboutMAPP/AboutUs.asp
NOQA - Nordic Quality Assurance Network in Higher Education: http://www.nokut.no/noqa
NQF – National Framework of Qualification: http://www.nfq.ie/nfq/en/
OECD PIAAC - Programme for the International Assessment of Adult Competencies:
http://www.oecd.org/document/35/0,3746,en_2649_201185_40277475_ 1_1_1_1,00.html
Processo di Bologna: http://www.processodibologna.it
SLE – Scholastic Level Examination: http://www.wonderlic.com/assessments/ability/scholastic-level-
exams
Università degli Studi di Bologna, Facoltà di Economia:
http://www.economia.unibo.it/Economia+Bologna/default.htm
Università degli Studi di Padova, Facoltà di Economia: http://www.economia.unipd.it/
Università degli Studi di Trento, Facoltà di Economia: http://www.unitn.it/economia
Università degli Studi di Verona, Facoltà di Economia: http://www.economia.univr.it/fol/main
Università degli Studi di Venezia, Facoltà di Economia: http://www.unive.it/nqcontent.cfm?a_id=92323
Università Bocconi di Milano, Facoltà di Economia: http://contact.unibocconi.it/trienni/
index2.html?gclid=CNDSmMqV3LACFcUmtAodEggOwA
Università Luiss di Roma, Facoltà di Economia: http://didattica.economiaefinanza.luiss.it/corsi/corsi-
magistrali/economia-finanza/ordinamento-didattico/ordinamento-didattico-aa-2012-2013
APPENDICE
Vi sono riportati i 12 position papers, scritti fra il 5 giugno e il 2 luglio 2012 dai 6 esperti del
gruppo di lavoro nominati per 1 mese dall’ANVUR (identificati da una stelletta) e da eventuali altri
collaboratori esterni, su 12 domande strategiche che erano state loro poste. A tutti l’ANVUR è
profondamente grata .
17
PRIMO P1PP Critical thinking, Problem solving e Ability to communicate: competenze trasversali
Roberto Ricci*, Responsabile dell’Area prove INVALSI, con Fiorella Kostoris, ANVUR
Gli sviluppi e i rapidi cambiamenti che hanno interessato negli ultimi due decenni il mondo del
lavoro e le modalità secondo le quali le informazioni sono acquisite ed elaborate hanno reso ancora più
importanti le cosiddette competenze trasversali, intese, prima facie, come la capacità dell’individuo di
affrontare situazioni e contesti sociali, economici e lavorativi non prevedibili a priori, utilizzando quindi in
contesti inediti conoscenze, abilità e competenze acquisite in precedenza. In questo contesto generale il
problem solving, la capacità di comunicare (ability to comunicate) e quella di esercitare il pensiero critico
(critical thinking) rappresentano un obiettivo formativo centrale e strategico per tutti i Paesi avanzati. Tali
capacità consistono principalmente nel comprendere le informazioni a disposizione, sovente parziali e
incomplete, nell’identificarne gli aspetti cruciali e le missing information, nel definire le priorità dati i
vincoli esistenti, nell’evidenziare le interrelazioni semplici e complesse, nel costruire o applicare una
rappresentazione di supporto, e, infine, ma non da ultimo, nel valutare, giustificare e comunicare ad altri la
soluzione alla quale si è giunti (Lesh e Zawojewski, 2007). I responsabili delle risorse umane delle
principali aziende che operano sul mercato globale dichiarano unanimemente che il problem solving,
l’ability to communicate e il critical thinking sono le competenze fondamentali necessarie per un proficuo
inserimento nel mondo del lavoro (Wagner, 2008). Proprio per questo motivo è fondamentale che ciascun
Paese avanzato che voglia garantirsi un’adeguata crescita sociale ed economica si doti di strumenti idonei
per verificare se e in quale misura il proprio sistema formativo, scolastico e universitario, sia in grado di
far emergere le predette competenze, indipendentemente dalla specificità dei percorsi formativi offerti dal
sistema formale o non formale di istruzione.
Se quel che conta di più non è ciò che si impara, ma come si impara e se tutti i sentieri sono in
grado di portare, se percorsi in modo adeguato, alle competenze trasversali desiderabili sopra evocate,
divengono auspicabili prove standardizzate e trasversali, comuni a tutte le aree o macroaree di studio. Esse
presentano il vantaggio che l’oggetto di misurazione non è strettamente riferito alla specificità della
disciplina di riferimento, ma è principalmente legato alle competenze che tutti i processi formativi
universitari devono sviluppare, proprio perché fondamentali per la crescita individuale e collettiva. Prove
di questo tipo privilegiano la misurazione della qualità dell’apprendimento e non tanto dei contenuti
specifici (Benadusi e Di Francesco, 2002). Inoltre, specie in una prima fase di avvio, l’adozione di prove
trasversali può consentire di realizzare un sistema di misurazione in grado di dare adeguato spazio a tutti i
corsi di studio, non solo a quelli di particolari tipologie, come, a esempio, quelle di ambito tecnico-
scientifico con più facili sbocchi immediati nell’attuale mercato del lavoro, e agli studenti di tutti gli
Atenei del Paese. In questa prospettiva è, inoltre, più facile realizzare il fondamentale obiettivo che la
misurazione delle competenze chiave avvenga assicurando la comparabilità internazionale degli esiti della
misurazione stessa. In tal senso l’esperienza della ricerca OCSE-PISA, che, dopo un’interruzione di alcuni
cicli, ha ripreso dal 2012 a valutare esplicitamente il problem solving, rappresenta un esempio
emblematico e sarebbe quindi opportuno e auspicabile che l’eventuale estensione di misure standardizzate
sulle competenze trasversali a livello universitario avvenisse secondo un’impostazione analoga. L’utilizzo
di prove già validate in ambito internazionale consente, inoltre, una sensibile riduzione1 dei tempi di
costruzione delle prove stesse che, se prodotte ex novo, richiederebbero almeno 18-24 mesi. Invece, se si
prendessero prove già esistenti e già calibrate dal punto di vista psicometrico a livello internazionale,
1 L’utilizzo di prove già validate a livello internazionale consentirebbe di ridurre di oltre il 50% i tempi di costruzione delle prove stesse.
18
meglio se già adottate in termini identici da vari Paesi diversissimi per lingua e cultura, le prove sarebbero
già disponibili in un tempo massimo di 9-12 mesi da oggi (cfr SECONDO P1PP). Infatti, eventuali
adattamenti andrebbero limitati solamente all’eliminazione dal test di aspetti culturalmente connotati ed
estranei alla realtà nazionale.
In una prospettiva di medio termine, invece, anche a livello nazionale potrebbere essere promossi
lo sviluppo e il consolidamento di test sulle competenze specifiche esaminate in modo non nozionistico,
ma above content. A tal proposito, le esperienze maturate in contesti analoghi, anche se riferite
all’istruzione pre-universitaria, hanno mostrato l’importanza che gli estensori delle prove abbiano
conoscenza dei fondamenti delle tecniche psicometriche e dei principi di base del test development
(INVALSI, 2011).
Infine, non nell’immediato, ma a medio/lungo termine è possibile in ambito universitario, dove si
utilizzano per i test le strutture informatiche, arrivare in un’ottica di computer delivered test, alla
somministrazione di prove dinamiche e adattative. Una prova dinamica è particolarmente interessante per
la misurazione delle competenze trasversali di problem solving e di critical thinking in quanto essa
consente di proporre situazioni in cui allo studente sono presentate situazioni articolate e reali, potendosi
anche simulare un approccio graduale e cooperativo alla soluzione di problemi inediti.
Riferimenti bibliografici
Benadusi L. e Di Francesco G. (2002), Formare per competenze, Tecnodid, Napoli.
INVALSI (2011). Le caratteristiche tecniche delle Prove INVALSI 2011,
http://www.invalsi.it/snv1011/documenti/Rapporto_tecnico_prove_invalsi_2011.pdf
Lesh R. e Zawojewski J.S. (2007). Problem solving and modeling. In Lester F. (a cura di), The Handbook
of Research on Mathematics Teaching and Learning (seconda edizione), 763-804. Reston, VA: national
Council of Reachers of Mathematics; Charlotte, NC.
Wagner T. (2008). The global achievement gap. Basic Books, Cambridge, MA.
19
SECONDO P1PP Tempi e fasi della sperimentazione
Da Luglio 2012 a Dicembre 2013 (M1= Luglio 2012 - M18 = Dicembre 2013) Emanuela Reale*, CERIS CNR, con Fiorella Kostoris, ANVUR
2012 2013
M1 M2 M3 M4 M5 M6 M7 M8 M9 M10 M11 M12 M13 M14 M15 M16 M17 M18
1 Nomina del Comitato di
garanti per la selezione
internazionale
2 Creazione del Project
Office (cabina di regia
della sperimentazione).
Nomina del NPM, del
NPA, del LSC
3 Scelta delle università
che partecipano alla
sperimentazione
4 Pubblicazione del(i)
bando(i) di gara
(produzione, traduzione,
somministrazione, analisi
dati)
5 Presentazione della
sperimentazione agli
stakeholder
6Individuazione e training
degli IC e degli SC
7 Selezione produttore,
traduttore,somministrato
re, analizzatore dati
8 Raccolta variabili di
contesto nelle università
che partecipano alla
sperimentazione e
altrove
9 Traduzione del test
10 Gestione del test
11 Test preliminare: focus
group nelle università
partecipanti
12 Validazione della
traduzione del test
13 Somministrazione test
nelle università
partecipanti
14 Correzione, controllo,
analisi dati
15 Presentazione esterna
risultati della
sperimentazione
20
TERZO P1+PP Costi previsti per la sperimentazione e per il primo biennio di implementazione
Emanuela Reale* con Fiorella Kostoris
L’ipotesi di larga massima parte da alcune premesse:
- sono indicati solo i costi marginali della sperimentazione; non sono dunque inclusi i costi del
personale coinvolto e i costi di funzionamento delle strutture centrali e periferiche impegnate nella
sperimentazione, nel caso li debbano comunque sostenere;
- i costi sono ripartiti in costi centrali, a carico dell’ANVUR, e costi locali a carico delle Università
che partecipano alla sperimentazione (a oggi, sembrerebbe Padova, Sapienza, Salento, Napoli
Federico II, Bologna).
1. COSTI CENTRALI
1.1 Ufficio o National Project Office per alcune spese afferenti al NPM, NPA, LSC e a qualche esperto.
In questo ammontare è compreso anche il costo relativo allo scoring centrale.
Costo: 100.000 € annui
1.2 ACQUISTO DEL PRODOTTO
Il costo è relativo all’acquisto di un test di “generic skill” già esistente sul mercato, con preferenza per il
Collegiate Learning Assessment CLA, utilizzato nel progetto AHELO/OCSE. Il costo sostenuto per AHELO
OCSE era di circa 180.000 €, inclusivo di tutti i costi di somministrazione, di training e di analisi dei dati, ma
al netto dei costi di traduzione. Si prevede un contratto con possibilità di utilizzo del prodotto per tre anni,
così da coprire anche la fase biennale successiva alla sperimentazione, già a regime. Pertanto l’investimento
iniziale sarà superiore a quello degli anni successivi.
Costo: 250.000 € sul triennio, cui si devono aggiungere circa 20.000 euro per il o per i bandi di gara, a
carico del primo anno di sperimentazione
1.3 TRADUZIONE DEL QUESTIONARIO
Questo costo si riferisce alla traduzione in lingua italiana del test adottato. Potrebbe trattarsi di costo da
coprire attraverso bando specifico, o essere incluso nel “pacchetto” di offerta del prodotto acquistato. La
quota di costo attribuita è per il triennio intorno ai 60.000 € di cui la metà nel primo anno.
Costo: 60.000 € sul triennio
1.4 TRAINING
In primo luogo si tratta dell’attività di training sui LSC e sugli SC legata all’uso del test di generic skill
(somministrazione e correzione dei test prodotti): questo costo è considerato incluso nell’acquisto del
prodotto perché generalmente abbinato alle licenze d’uso. In secondo luogo vi è un training sull’insieme
degli stakeholders e sugli IC per i quali va calcolato un costo di 40.000 € nel triennio di cui la metà nel
primo anno.
Costo: 40.000 € nel triennio
21
1.5 SOMMINISTRAZIONE, DATA CLEANING E DATA QUALITY
Sono incluse le attività di assistenza alla somministrazione del test, di data cleaning e data quality sul dataset
svolte a livello centrale, crescenti nel biennio successivo alla sperimentazione, in ragione del più elevato
numero di studenti sottoposti al test.
€ 60.000 sul triennio
1.6 ELABORAZIONE DEI DATI E RISULTATI FINALI
Esperti chiamati dall’ANVUR per l’elaborazione dei dati e la produzione di risultati analitici in termini di
generic skill rilevati e di estensibilità a regime del test.
Costo: 20.000 € per anno
1.7 INFRASTRUTTURA HARDWARE E SOFTWARE
Questo costo potrebbe essere quasi trascurabile e tutto locale se le strutture usassero le loro dotazioni
informatiche, come è avvenuto in AHELO. Potrebbe divenire più elevato e centralizzato, considerando di
adottare un’infrastruttura informatica di tipo Cloud condivisa (predisposizione dell’architettura software e
utilizzo di una infrastruttura fisica e di competenze già esistenti a livello nazionale, abbattendo dunque i costi
di hardware) e servizi a supporto dell’infrastruttura medesima (progettazione di dettaglio e supporto
all’installazione e configurazione della piattaforma). L’ipotesi di massima si basa su informazioni fornite
dalla Prof.ssa Catarci, Prorettrice all’Università La Sapienza di Roma.
Costo: € 50.000 eventuali, una tantum e allocabili tra costi centrali e costi locali
2. COSTI LOCALI
La somministrazione del test ha come riferimento gli studenti “laureandi” della laurea triennale, escluse le
lauree professionali abilitanti ma inclusi gli studenti a metà percorso del ciclo unico, una popolazione che
nell’universo e a regime riguarderebbe numeri comparabili a quelli di cui si occupa ogni anno l’INVALSI
con i suoi test sugli studenti delle scuole italiane. Sono in corso simulazioni per comprendere più esattamente
quanti studenti universitari riguarderebbe la sperimentazione svolta fra giugno e luglio 2013, anche in
ragione della definizione che stiamo trovando sul concetto di “laureandi”. Per es., se, volendo semplificare
molto (forse troppo), “laureandi” fossero tutti gli studenti della triennale che hanno completato 120 CFU, al
netto di quelli che frequentano i corsi delle professioni sanitarie, il totale sarebbe 45.878 di cui il 46,2%
sarebbe iscritto al terzo anno ; se si aggiungessero anche gli studenti a metà percorso dei corsi a ciclo unico
si aumenterebbe il numero di studenti di 8932 unità (v. tabella allegata).
22
TAB. 1 TERZO P1+PP Distribuzione per anno di iscrizione e caratteristiche degli studenti iscritti ai corsi di laurea triennali nell’a.a.
2010/2011 (ad esclusione degli iscritti ai corsi di laurea delle professioni sanitarie)
DATI RELATIVI AL TOTALE DELLE UNIVERSITA'
Anno di iscrizione
1 2 3 4 5 6 7 8 9 10 TOT
TOT Studenti per anni di iscrizione 276.881 202.409 175.486 122.704 81.381 59.495 43.714 32.878 25.639 24.578 1.045.165
di cui con almeno 90 CFU base e caratterizzanti 1.847 24.708 55.215 33.337 18.687 12.320 8.413 5.905 3.962 3.587 167.981
di cui con almeno 120 CFU base e caratterizzanti 684 1.198 21.204 10.170 5.079 2.958 1.768 1.305 803 709 45.878
di cui con almeno 90 CFU 4.956 68.849 108.178 81.832 53.111 38.468 28.734 21.686 16.688 15.869 438.371
di cui con almeno 120 CFU 2.476 22.334 82.136 63.939 40.330 28.853 21.447 16.137 12.429 11.719 301.800
% di colonna
Anno di iscrizione
1 2 3 4 5 6 7 8 9 10 TOT
TOT Studenti per anni di iscrizione 100,0 100,0 100,0 100,0 100,0 100,0 100,0 100,0 100,0 100,0 100,0
% con almeno 90 CFU base e caratterizzanti 0,7 12,2 31,5 27,2 23,0 20,7 19,2 18,0 15,5 14,6 16,1
% con almeno 120 CFU base e caratterizzanti 0,2 0,6 12,1 8,3 6,2 5,0 4,0 4,0 3,1 2,9 4,4
% con almeno 90 CFU 1,8 34,0 61,6 66,7 65,3 64,7 65,7 66,0 65,1 64,6 41,9
% con almeno 120 CFU 0,9 11,0 46,8 52,1 49,6 48,5 49,1 49,1 48,5 47,7 28,9
% di riga
Anno di iscrizione
1 2 3 4 5 6 7 8 9 10 TOT
TOT Studenti per anni di iscrizione 26,5 19,4 16,8 11,7 7,8 5,7 4,2 3,1 2,5 2,4 100,0
di cui con almeno 90 CFU base e caratterizzanti 1,1 14,7 32,9 19,8 11,1 7,3 5,0 3,5 2,4 2,1 100,0
di cui con almeno 120 CFU base e caratterizzanti 1,5 2,6 46,2 22,2 11,1 6,4 3,9 2,8 1,8 1,5 100,0
di cui con almeno 90 CFU 1,1 15,7 24,7 18,7 12,1 8,8 6,6 4,9 3,8 3,6 100,0
di cui con almeno 120 CFU 0,8 7,4 27,2 21,2 13,4 9,6 7,1 5,3 4,1 3,9 100,0
Distribuzione per anno di iscrizione e caratteristiche degli studenti iscritti ai corsi di laurea a ciclo unico nell’a.a. 2010/2011
DATI RELATIVI AL TOTALE DELLE UNIVERSITA'
Anno di iscrizione
1 2 3 4 5 6 7 8 9 10 TOT
TOT Studenti per anni di iscrizione 60.270 49.926 41.393 40.417 37.882 27.538 19.572 14.399 10.402 8.093 309.892
di cui con almeno 90 CFU base e caratterizzanti 2.408 10.343 15.803 20.075 21.260 15.086 10.161 6.972 4.264 2.911 109.283
di cui con almeno 120 CFU base e caratterizzanti 1.821 2.678 8.932 14.618 17.272 12.664 8.446 5.607 3.338 2.195 77.571
di cui con almeno 90 CFU 3.199 17.872 26.367 30.865 31.425 23.332 16.492 11.946 8.421 6.497 176.416
di cui con almeno 120 CFU 2.706 5.612 18.950 26.206 28.700 21.602 15.183 10.926 7.656 5.886 143.427
23
% di colonna Anno di iscrizione
1 2 3 4 5 6 7 8 9 10 TOT
TOT Studenti per anni di iscrizione 100,0 100,0 100,0 100,0 100,0 100,0 100,0 100,0 100,0 100,0 100,0
% con almeno 90 CFU base e caratterizzanti 4,0 20,7 38,2 49,7 56,1 54,8 51,9 48,4 41,0 36,0 35,3
% con almeno 120 CFU base e caratterizzanti 3,0 5,4 21,6 36,2 45,6 46,0 43,2 38,9 32,1 27,1 25,0
% con almeno 90 CFU 5,3 35,8 63,7 76,4 83,0 84,7 84,3 83,0 81,0 80,3 56,9
% con almeno 120 CFU 4,5 11,2 45,8 64,8 75,8 78,4 77,6 75,9 73,6 72,7 46,3
% di riga Anno di iscrizione
1 2 3 4 5 6 7 8 9 10 TOT
TOT Studenti per anni di iscrizione 19,4 16,1 13,4 13,0 12,2 8,9 6,3 4,6 3,4 2,6 100,0
di cui con almeno 90 CFU base e caratterizzanti 2,2 9,5 14,5 18,4 19,5 13,8 9,3 6,4 3,9 2,7 100,0
di cui con almeno 120 CFU base e caratterizzanti 2,3 3,5 11,5 18,8 22,3 16,3 10,9 7,2 4,3 2,8 100,0
di cui con almeno 90 CFU 1,8 10,1 14,9 17,5 17,8 13,2 9,3 6,8 4,8 3,7 100,0
di cui con almeno 120 CFU 1,9 3,9 13,2 18,3 20,0 15,1 10,6 7,6 5,3 4,1 100,0
Fonte: Anagrafe Nazionale degli studenti universitari
Si può supporre che la sperimentazione riguardi, data la tipologia delle Università autoproponentesi, circa
20.000 studenti. Si può considerare un costo medio di 5 € a studente per lo svolgimento del test
(predisposizione di un’aula utilizzabile anche in diverse giornate, assistenza, correzione delle domande
aperte del test, scoring locale), in relazione alla dimensione dell’ Ateneo, costo medio che si abbasserebbe
nelle Università più affollate e negli anni a venire.
Costo locale complessivo: 100.000 € nella sperimentazione e 250.000 € nel biennio successivo
RIEPILOGO COSTI (in K€)
COSTI CENTRALI
2013 2014 2015
National Project Office 100 100 100
Bando/i gara 20 - -
Acquisto prodotto 150 50 50
Traduzione del questionario 30 15 15
Training 20 10 10
24
Somministraz D-cleaninig 10 25 25
Elaborazione dati 20 20 20
TOTALE COSTI CENTRALI 350 220 220
COSTI LOCALI
Somministraz e altri costi ammin 100 250 250
TOTALE CENTRALI+LOCALI 450 470 470
Infrastruttura HW e SW 50* - -
*50K eventuali e allocabili tra costi centrali e locali
25
QUARTO P1+PP Variabili di contesto da usare nella stima del valore aggiunto negli esiti
dell’apprendimento generalista
di Fiorella Kostoris con 5 Appendici di Rosalba Natale e Vincenzo Zara*, di Bruno Losito, di Aletta Grisay,
di Vincenzo Zara*, di Giacomo Calzolari.
Tenuto conto della teoria elaborata dagli econometrici (v. per es. documento in Appendice di Giacomo
Calzolari), delle esperienze già realizzate nella stima con variabili di contesto del valore aggiunto creato da
una sede che offre istruzione (v. per es. documenti in Appendice di Bruno Losito e di Aletta Grisay), nonché
delle variabili di contesto già a disposizione degli Atenei (v. per es. in Appendice quanto scritto da Rosalba
Natale e Vincenzo Zara), si ritiene che un modo per rilevare con un test appropriato tanto il livello delle
competenze trasversali, quanto il valore aggiunto in proposito creato dall’Università sia di partire dalla
seguente equazione:
dove
sono i risultati “bruti” del test dell’individuo i, laureando nella sede universitaria su, posizionata
nella regione r, con docenti con caratteristiche do, indicanti il livello delle sue competenze generaliste;
cattura quella parte di effetti fissi dovuti alla qualità della didattica della sede già non catturati da
oppure da nella regione con le caratteristiche e la stima di a costituisce il cosiddetto valore aggiunto
creato dall’Università rispetto a quanto ci si poteva attendere dallo stesso individuo con quelle caratteristiche
in una sede nella regione di quel tipo e con docenti di quel
calibro ;
b, c, d, e indicano la reattività dei risultati di i, coeteris paribus, al vettore delle caratteristiche individuali, a
quello di alcune variabili osservabili riguardanti la sede e i docenti, alle variabili di sviluppo della regione
dove i sta per laurearsi, stimati con i minimi quadrati ordinari nelle ipotesi sotto specificate;
il vettore include i dati individuali “obiettivi” (come età, genere, madre lingua del laureando, Paese di
nascita, tasso di occupazione e tasso di crescita triennale della regione italiana di sua provenienza), quelli di
carattere socioeconomico (occupazione e titolo di studio del padre e della madre, condizione di fuori sede, di
studente lavoratore, di utilizzatore delle strutture di accoglienza quali il pensionato universitario o altre forme
di diritto alla studio ricevute), quelli di natura meritocratica (voto alla maturità, tipo di scuola secondaria
frequentata, risultato, ove disponibile, del test Invalsi alla fine della scuola secondaria, risultato, ove
disponibile, di test di ingresso all’Università, borse di studio), i quali ultimi dati vorrebbero essere una proxy
delle capacità in ingresso di i le quali come tali non sono osservabili e perciò rischiano di essere correlate
tanto a provocando stime distorte, ipotesi qui rigettata;
il vettore include il numero totale di studenti a tempo pieno e a tempo parziale italiani e non
nell’Università, il numero di corsi di laurea triennale e di quelli in lingua non italiana, il numero di
insegnamenti offerti e di quelli in lingua non italiana, il titolo di studio più elevato conseguibile presso
l’Università, il numero di studenti che nell’anno precedente ha ottenuto il titolo di studio più elevato, la
caratteristica /vocazione principale dell’Università (ricerca, didattica, equilibrio tra le due), il numero di anni
accademici medi nell’ultimo triennio necessari per completare la laurea di primo e/o di secondo livello e la
distribuzione intorno alla media per anni di frequenza, gli obblighi di frequenza dei corsi e la propedeuticità
dei corsi di base e caratterizzanti;
26
il vettore include il numero di docenti a tempo pieno e a tempo parziale italiani e non nell’Università, le
funzioni del personale docente (didattica, ricerca, combinazione delle due) nell’Università, il grado di
eccellenza scientifica dell’ Università misurato dai dati della VQR, tenuto conto del numero dei professori
silenti e dei livelli di qualità rilevati, i dati sulla qualità scientifica dei singoli docenti misurati per l’
abilitazione e le loro posizioni relative rispetto alle mediane di settore scientifico disciplinare;
il vettore riporta il tasso di occupazione e il tasso di crescita nel precedente triennio della regione dove è
posizionata la sede universitaria;
è un rumore bianco, perciò di media nulla, assunto ortogonale rispetto ai regressori.
Seguono 5 Appendici al QUARTO P1+PP.
Appendice 1 al QUARTO P1+PP Variabili di contesto usate in AHELO Economics Strand, con
indicazioni in sfondo verde di quelle fra tali variabili di contesto già a disposizione delle Università italiane,
e con altri commenti di Rosalba Natale e Vincenzo Zara.
Le variabili di contesto, usate identicamente in 7 Paesi del mondo partecipanti all’ OECD Economics
Strand (Belgio fiammingo, Egitto, Italia, Messico, Olanda, Federazione Russa, Repubblica Slovacca)
nella valutazione dei risultati del test AHELO sugli studenti laureandi del primo ciclo, in Italia
triennale, di 10 Facoltà di Economia ( Piemonte Orientale, Torino, Milano Bicocca, Bergamo, Udine,
Bologna, Siena, Roma La Sapienza, Roma Luiss, Napoli ), scelte fra le 32 che si auto proponevano, si
basano sull’uso di tre strumenti:
A. questionario studenti;
B. questionario insegnanti;
C. questionario sull’ateneo (rispondono gli Institutional Coordinators).
A. Le variabili considerate per il questionario studenti sono le seguenti.
Sezione 1. La prova AHELO
- rilevanza degli argomenti del test rispetto al proprio corso di studi
- rilevanza degli argomenti del test rispetto al proprio futuro professionale
- impegno/sforzo richiesto per la compilazione del test.
Sezione 2. Il corso di laurea e gli studi
- ore settimanali frequentate (nella maggior parte dei corsi di studio la frequenza non è obbligatoria quindi
questo elemento può compromettere l'attendibilità delle risposte) per diverse attività didattiche (lezioni,
tirocinio (ne i pochi casi in cui è previsto il tirocinio intracurriculare esso si concentra al terzo anno) e
attività pratiche (esistono in un numero di cds veramente residuale), studio e lettura, lavoro retribuito
attinente agli studi in corso, lavoro retribuito non attinente agli studi in corso, partecipazione ad attività
associative e ricreative a livello universitario)
- abilità sollecitate dal corso di studio e dalla attività didattica (memorizzazione, analisi, sintesi e
organizzazione, espressione di giudizi, applicazione, progettazione, lavoro di gruppo)
- giudizio sul proprio rendimento accademico
- prospettive /intenti occupazionali dopo la laurea (sulle prospettive reali lo studente non ha sufficienti
elementi).
Sezione 3. Esperienze e relazioni
- disponibilità del corpo insegnante (fornire commenti e feedback, disponibilità ad aiutare, orientamento)
- organizzazione formale del corso (lezioni, seminari e attività tutoriali, lavoro di gruppo)
27
- partecipazione attiva durante le lezioni (fare domande e partecipare alla discussione)
- utilità professionale dei corsi (ipotizzata dallo studente non reale)
- valutazione generale dell’esperienza di partecipazione al corso.
Sezione 4. Informazioni di carattere demografico (“about you”)
- genere si
- età si
- lingua parlata a casa no
- paese di nascita si
- iscrizione a tempo parziale o totale si (ma non in tutte le Università)
- rapporto tra lezioni in presenza e a distanza no
- titolo di studio madre no
- titolo di studio padre no
- professione madre no
- professione padre no
B. Le variabili considerate per il questionario docenti sono le seguenti.
Sezione 1. Insegnamento e sostegno agli studenti
- promozione dell’eccellenza si
- promozione dell’eccellenza nella ricerca si
- collaborazione con i colleghi per migliorare il proprio insegnamento si
Sezione 2. I suoi studenti
- consigli agli studenti sulle attività didattiche da seguire nell’ultimo anno (accademico o solare)
(preparazione per le lezioni, partecipazione ad attività universitarie extra-curricolari, attività lavorative
retribuite attinenti agli studi effettuati, attività lavorative retribuite non attinenti agli studi effettuati vedi
commenti al punto precedente)
- percentuale di studenti con preparazione insufficiente si
Sezione 3. Informazioni di carattere demografico e professionale (“about you”)
- genere si
- età si
- lingua parlata a casa da censire
- paese di nascita si
- titolo di studio più elevato da censire
- anni di insegnamento (in corsi di laurea di I livello) da censire
- tempo pieno o tempo parziale si
- posizione contrattuale si
- posizione accademica si
- ore dedicate a diverse attività (insegnamento, attività di ricerca-studio-creative, attività professionali
esterne, attività amministrative, altre attività accademiche) da censire con estrema difficoltà
C. Le variabili considerate per il questionario sull’ateneo sono le seguenti.
Sezione 1. Caratteristiche dell’università
- numero totale studenti a tempo pieno si
28
- numero totale studenti a tempo parziale si
- numero studenti a tempo pieno iscritti ai corsi di laurea di I livello nella Facoltà di Economia si
- numero studenti a tempo parziale iscritti ai corsi di laurea di I livello nella Facoltà di Economia si
- percentuale di finanziamenti pubblici dell’Università per ora difficile in considerazione del fatto che la
maggioranza di questi fondi viene incassata dai Dipartimenti e non esiste ancora il bilancio unico.
- lingua principale di insegnamento nei corsi di laurea triennale si
- lingua principale di insegnamento nei corsi di laurea triennale nella Facoltà di Economia si
- corsi di laurea (aree di studio) offerti dall’Università si
- titolo di studio più elevato conseguibile presso l’Università si
- numero di studenti che nell’anno precedente la rilevazione ha conseguito il titolo di studio più elevato
conseguibile presso l’Università si
- titolo di studio più elevato conseguibile nella Facoltà di Economia si
- numero di studenti che nell’anno precedente la rilevazione ha conseguito il titolo di studio più elevato
conseguibile presso la Facoltà di Economia si
- numero domande di iscrizione (è una locuzione sorpassata oramai nessuno fa più la domanda in senso
classico - si potrebbe utilizzare solo per le domande di partecipazione alle prove di accesso o ingresso, le
prime sono quelle per i numeri chiusi, le seconde per i corsi che verificano in ingresso la preparazione dei
candidati ma non hanno limitazioni sulla numerosità di ingressi) ai corsi di laurea di primo livello presso
l’Università
- posti effettivamente disponibili (la domanda ha una logica vincolante solo per i corsi ad accesso limitato,
per gli altri corsi rappresenta solo un valore di riferimento che resta a livello di banca dati OFF del MIUR)
nei corsi di laurea di primo livello presso l’Università
- numero domande di iscrizione (vedi nota sopra) ai corsi di laurea di primo livello presso la Facoltà di
Economia
- posti effettivamente disponibili (vedi nota sopra) nei corsi di laurea di primo livello presso la Facoltà di
Economia
- caratteristica /vocazione principale dell’Università (ricerca, didattica, equilibrio tra le due) si
- presenza di programmi di sostegno agli studenti (recupero, potenziamento, arricchimento) (poichè sono
attività di solito non strutturate e censite diventa una dichiarazione autoreferenziale)
- percentuale di studenti iscritti al primo anno che proseguono gli studi al secondo anno richiesta di indicare
la percentuale + la media approssimativa relativa agli ultimi tre anni (accademico o solare?) (dati già
censiti al Miur attraverso Anagrafe nazionale studenti, comunque sono dati disponibili anche a livello di
Università)
- percentuale di studenti iscritti al primo anno nella Facoltà di Economia che proseguono gli studi al secondo
anno (richiesta di indicare la percentuale + la media approssimativa relativa agli ultimi tre anni
(accademico o solare?) (dati già censiti al Miur attraverso Anagrafe nazionale studenti, comunque sono dati
disponibili anche a livello di Università)
- percentuale di laureati (percentuale media relativa agli ultimi tre anni (accademico o solare?) degli studenti
che si sono laureati entro il 150% del tempo previsto) (dati già censiti al Miur attraverso Anagrafe
nazionale studenti, comunque sono dati disponibili anche a livello di Università)
- percentuale di laureati nella Facoltà di Economia (percentuale media relativa agli ultimi tre anni
(accademico o solare) degli studenti che si sono laureati entro il 150% del tempo previsto) dati già censiti
al Miur attraverso Anagrafe nazionale studenti, comunque sono dati disponibili anche a livello di
Università)
Sezione 2. Informazioni aggiuntive
- anni accademici necessari per completare la laurea di primo livello si
- impegno lavorativo professionale richiesto agli studenti della laurea triennale di economia
29
- attività didattiche previste nel primo anno dei corsi di laurea triennali presso la Facoltà di Economia
(lezioni, seminari e gruppi di studio, lavori di gruppo con supervisione, esperienze di ricerca, (a livello di
1° ciclo è rarissimo che gli studenti siano coinvolti in attività di ricerca) apprendimento individuale assistito
dal computer, lavoro di gruppo on-line, tirocinio (al primo anno non sia fa tirocinio) , studio autonomo
individuale)
- valutazione nei corsi di laurea di primo livello in economia (esami e test, progetti di ricerca (vedi nota
punto precedente) e dissertazioni (rare), compiti, lavoro di gruppo, lavoro in laboratorio, abilità pratiche
(specificare), esposizioni orali, altro)
- accreditamento dei corsi (da parte di ordini professionali) (nel nostro sistema gli ordini sono consultati
preventivamente in sede di approvazione degli ordinamenti - ma non esiste un "accreditamento" dei corsi
da parte degli ordini, inoltre è la Legge che definisce quali siano le lauree con esame di stato e quindi
iscrizione all'ordine.
Sezione 3. Caratteristiche degli studenti
- genere (iscritti all’Università) si
- genere (iscritti a Facoltà di Economia) si
- età (% studenti di più di 25 anni - Università) si da eleborare
- età (% studenti di più di 25 anni –Facoltà di Economia) si da elaborare
- percentuale studenti a distanza (Università) no
- percentuale studenti a distanza (Economia) no
- ubicazione sede universitaria (grande, media, piccola città) si
- ubicazione sede Facoltà di Economia (grande, media, piccola città) si
- percentuale di studenti non italiani (Università) si
- percentuale di studenti non italiani (Economia) si
- studenti residenti nella regione sede dell’Università si
- provenienza studenti iscritti all’università (indirizzi di scuola secondaria superiore tipologia? liceo
classico ... scientifico ecc.. )
- provenienza studenti iscritti alla facoltà di economia (indirizzi di scuola secondaria superiore)
Sezione 4. Caratteristiche del corpo insegnante
- docenti a tempo pieno e a tempo parziale nell’Università si
- docenti a tempo pieno e a tempo parziale nella Facoltà di Economia si
- funzioni del personale docente (didattica, ricerca, combinazione delle due) - Università si
- funzioni del personale docente (didattica, ricerca, combinazione delle due) – Facoltà di Economia si
Nell’ambito di una rilevazione nazionale sarebbe forse opportuno richiedere informazioni aggiuntive e più
precise agli studenti e ai docenti relative a:
- organizzazione delle attività didattiche e di recupero/potenziamento (effettuazione di placement test
di tipo linguistico all’inizio dei corsi di laurea; attività mirate di recupero per gli studenti che non
raggiungono risultati adeguati in questi test; organizzazione di attività seguite da tutor; servizi di
tutoraggio agli studenti - matricole, laureandi ….); nella maggior parte dei casi sono attività non
strutturate e censite diventa una dichiarazione autoreferenziale, fatta eccezione, forse, per i servizi di
tutoraggio sia in ingresso che in uscita.
- frequenza degli studenti nelle diverse attività didattiche, comprese indicazioni su eventuali obblighi
di frequenza, differenziazione dei programmi per frequentanti e non (attenzione non è prevista ed
anzi gli studenti che rilevano tale differenziazione la ritengono lesiva e si rivolgono al garante per gli
studenti) , propedeuticità, …;
- organizzazione dei corsi nei semestri in rapporto al numero di CFU; (questo dato è già censito dal
Miur ma solo per anno)
30
- strutture didattiche e di supporto esistenti presso gli atenei e le facoltà (aule, laboratori, centri
linguistici, …..);
- medie voti di laurea conseguiti; si già ricavabile dall'Anagrafe nazionale studenti
- rapporto iscritti laureati (dato già disponibile a livello nazionale?); si già ricavabile dall'Anagrafe
nazionale studenti
- informazioni di tipo demografico (riprendendo le formulazioni utilizzate nelle indagini comparative
internazionali).
Appendice 2 al QUARTO P1+PP Variabili di contesto nel test PISA di Bruno Losito
A proposito delle variabili di contesto già sperimentate in Italia nei test sulle competenze degli
studenti, si ricordano quelle usate per valutare i risultati sulle competenze generaliste osservabili nelle
indagini comparative internazionali, in particolare in PISA sui quindicenni: essi mettono in evidenza il
peso delle variabili di carattere socio-economico e culturale e la difficoltà di misurare l’impatto delle
variabili di contesto scolastico sui livelli di prestazione degli studenti. Nelle analisi di regressione multipla, le
variabili di tipo socio-economico-culturale spiegano la gran parte della variabilità dei risultati.
Per quanto riguarda l’Italia, alcune evidenze sembrano essere abbastanza consolidate nei vari cicli di PISA.
Queste indicazioni sono sostanzialmente confermate anche dalle indagini IEA, che si riferiscono però a
livelli scolastici più bassi (quarto e ottavo anno di scuola).
A esempio [le percentuali riportate sono quelle registrate nella rilevazione del 2009] :
- le differenze nei livelli di prestazione sono associate alle aree geografiche in cui è suddiviso il Paese
(Nord Est, Nord Ovest, Centro, Sud, Sud e Isole) e con i diversi indirizzi di studio (liceo, istituto
tecnico, istruzione professionale, formazione professionale);
- la varianza all’interno delle scuole è inferiore a quella registrata in media a livello internazionale;
- la varianza tra scuole è, al contrario, superiore a quella registrata in media a livello internazionale (il
62% contro una media OCSE pari al 34%);
- l’indice di livello socio-economico-culturale (ESCS) dei singoli studenti ha un impatto minore di
quello medio registrato a livello internazionale (l’11,8% della varianza totale, mentre nei paesi
OCSE la percentuale di varianza spiegata è pari al 14%);
- l’indice di livello socio-economico-culturale di scuola ha un impatto più forte di quanto si registra a
livello internazionale (in Italia il 43,5% della variabilità dei risultati tra scuole è spiegato dall’indice
PISA di status socio-economico e culturale degli studenti e delle scuole);
- l’indice di livello socio-economico-culturale delle scuole e il tipo di indirizzo di studio spiegano
insieme una percentuale rilevante della varianza (47,5%).
Altre variabili “di sistema” che risultano associate ai risultati conseguiti dagli studenti (sempre in PISA)
sono: la frequenza della scuola dell’infanzia, la struttura “comprensiva” dei sistemi di istruzione. Per quanto
riguarda le variabili di contesto scuola, risultano associati positivamente al livello di prestazione degli
studenti il clima disciplinare di classe e il livello di autonomia delle scuole. La difficoltà di associare in
modo diretto alcune caratteristiche dei contesti scolastici al rendimento degli studenti è confermata anche da
altri studi (a partire da quello di J. S. Coleman,1966, che ha messo in evidenza l’impatto, preponderante,
delle variabili di background familiare degli studenti sugli apprendimenti, attribuendo alle variabili legate
alla scuola la possibilità di spiegare meno del 10% della variabilità totale degli apprendimenti).
Appendice 3 al QUARTO P1+PP con una Nota sul valore aggiunto di Aletta Grisay. Sintesi di Fiorella
Kostoris
1. La misura del valore aggiunto degli istituti di formazione può essere utile per due ragioni:
31
A livello nazionale o regionale, per permettere alle autorità che gestiscono il sistema educativo di
implementare eventuali politiche di incentivi intesi a incoraggiare gli istituti efficienti e a
ristrutturare e migliorare gli inefficienti.
A livello di istituto, per favorire la riflessione e l’auto-valutazione della propria efficacia, grazie ad
indicatori che permettono di confrontare gli esiti del proprio insegnamento a quelli di altri istituti
dello stesso tipo – e quindi per individuare punti forti o deboli dell’insegnamento.
2. Per definizione, un indicatore di valore aggiunto implica la somministrazione di una o più prove
standardizzate in un numero significativo di istituti (di solito un campione rappresentativo o l’intera
popolazione degli istituti esistenti ) e il confronto fra l’outcome (i punteggi effettivamente osservati) e i
risultati attesi tenendo conto di una o più variabili di input, dette variabili di controllo. Si evita così di
attribuire all’efficacia più o meno grande degli istituti quella parte delle differenze di punteggi che non è
dovuta alle differenze di qualità dell’istruzione, ma solo alle eventuali differenze di attitudini e
competenze degli studenti, già presenti al momento della loro iscrizione nei diversi istituti. L’indicatore di
valore aggiunto esprime la differenza fra il punteggio medio ottenuto alla prova dagli studenti dell’istituto
e il punteggio medio “prevedibile” mediante le variabili di controllo.
3. La scelta delle variabili di controllo è particolarmente importante nei Paesi dove esistono forti differenze
fra istituti relativamente alle caratteristiche della popolazione di studenti che li frequenta; le caratteristiche
che sono alla base di queste differenze sono abitualmente associate in modo significativo alla dimensione
misurata dalla prova.
4. Fra le variabili di controllo più comunemente incontrate nella letteratura, si possono citare:
il punteggio a una prova standardizzata passata dagli studenti al momento dell’ammissione
nell’istituto;
il punteggio a una prova d’intelligenza;
le variabili legate al cursus scolastico anteriore che sarebbero suscettibili di tradurre livelli
diversi di competenze;
le variabili legate allo status socio economico e culturale della famiglia.
5. Trattandosi di una misura di valore aggiunto dove la prova porta su aspetti generalistici (critical thinking,
analytical reasoning, problem solving, ability to communicate e simili), va notato che le differenze
osservate si confondono probabilmente in gran parte con le differenze misurate dai test d’intelligenza, di
cui si sa che i risultati sono alquanto stabili nel tempo. Ne risulta, da un lato, che sarebbe quasi certamente
necessario includere un test di QI nella lista di variabili di controllo; e d’altro lato, che le differenze di
valore aggiunto dovuto all’istruzione ricevuta in diversi istituti raggiungerebbero difficilmente una
significatività statistica, anche nell’ipotesi migliore (dove lo studio fosse longitudinale e le misure pre e
post fossero prese all’inizio e alla fine del cursus universitario).
6. Lo status socio economico degli studenti è una variabile che va SEMPRE rilevata, anche se si osserva a
volte una attenuazione della sua relazione con l’apprendimento nei livelli di studio dove la popolazione ha
già subito una forte selezione socio economica, come è spesso il caso all’università. Quando la variabile
non può essere raccolta direttamente per ragioni legali (leggi sulla privacy circa le informazioni personali)
o fattuali (evasione fiscale nelle dichiarazioni dei redditi), si consiglia di ricorrere a “proxy” usate nella
letteratura (a esempio borse di studio, indice socio economico medio del quartiere dove abita lo studente).
7. Ritengo personalmente che il calcolo del valore aggiunto, per le ragioni descritte in Grisay, 1996, debba
tener conto di altri indicatori che lo completano. Consiglierei, in particolare, di raccogliere variabili che
possano dare una idea delle risorse umane e materiali dell’istituto e della qualità dell’insegnamento, in
modo da poter calcolare, a livello di sistema, gli indicatori seguenti :
32
Come si distribuisce la varianza totale del punteggio alla prova (percentuale di varianza “between
schools” e percentuale di varianza “within schools”);
Come si distribuiscono le diverse variabili di controllo della popolazione di studenti (percentuale di
varianza “between schools” e percentuale di varianza “within schools” di ciascuna di esse);
Come si scompone, in una analisi multi-livello, la varianza “between schools” del punteggio alla
prova, e cioè:
a) Quale è la percentuale di varianza “between school” che può essere “spiegata” dalle sole
caratteristiche di input degli studenti?
b) Quale è la percentuale di varianza “between school” che può essere “spiegata” dalle sole
caratteristiche dell’istituto (risorse, insegnamento)?
c) Quale è la percentuale di varianza “between school” che può essere “spiegata” dalla
congiunzione fra le caratteristiche degli studenti e le caratteristiche dell’istituto ?
8. La percentuale di varianza “between schools” dà una idea globale delle disparità di esiti fra istituti.
L’indicatore a) indica fino a che punto queste disparità sono attribuibili strettamente a fenomeni di
aggregazione demografica (gli studenti di diversi ceti sociali, con QI e antecedenti scolastici diversi,
tendono a iscriversi in istituti diversi?). L’indicatore b) rappresenta il valore aggiunto in senso stretto
(fino a che punto istituti diversi ma con studenti simili per le loro caratteristiche di input riescono ad
incidere sugli esiti grazie alle loro migliori risorse e pratiche educative?). L’indicatore c) dà una idea
globale dell’equità o meno del sistema (fino a che punto le differenze di esiti sono dovute al fatto che gli
istituti che offrono le migliori risorse e pratiche educative sono quelli dove vanno a iscriversi gli studenti
migliori e/o di ceto sociale più alto?).
Appendice 4 al QUARTO P1+PP su Le variabili di contesto nella valutazione degli esiti
dell’apprendimento effettivi di Vincenzo Zara
All’interno del sistema AVA, i criteri e gli indicatori per l’accreditamento periodico pongono
notevole enfasi sulla verifica dei risultati di apprendimento effettivi. Per quanto riguarda le competenze
trasversali, i generic skills, tale verifica verrà effettuata attraverso la somministrazione di appositi test,
secondo un modello comune a livello nazionale. La valutazione delle risposte fornite dagli studenti renderà
possibile quantificare il livello di competenza raggiunta per ciascuna delle tre abilità fondamentali previste
(critical thinking, problem solving e ability to comunicate), e gli esiti della valutazione verranno tradotti in
un punteggio da attribuire all’ateneo/corso di studio ai fini dell’accreditamento periodico e/o valutazione
periodica. Il punteggio assegnato dovrà esprimere la capacità dimostrata dalla sede/corso di studio nel
portare le competenze dello studente2 a corrispondere ai risultati dell’apprendimento attesi dichiarati nel
progetto del corso. È aperta la discussione riguardo all’opportunità di prevedere delle “variabili di contesto”,
ossia dei fattori che intervengano sull’esito “grezzo” del test, dando conto dell’eventuale sussistenza di
condizioni, estranee all’operato delle università, che possano avere condizionato il raggiungimento effettivo
dei risultati di apprendimento attesi. L’influenza delle variabili può operare in due direzioni opposte: con
2 E’ in parte semantica la distinzione che si fa fra valore aggiunto (o aumento nelle competenze), ottenuto attraverso le
variabili di contesto o invece attraverso un’analisi longitudinale sugli studenti, valutati una prima volta all’ingresso e
una seconda volta all’uscita dagli studi universitari. In questo secondo modo, si potrebbe meglio stimare l’incremento
effettivo maturato durante il periodo di permanenza all’interno dell’università. Anche in questo caso, tuttavia, si
potrebbero prevedere variabili che agevolino la lettura di risultati apparentemente “anomali”, tenendo conto, ad
esempio, della necessità di dare il giusto riconoscimento a quelle sedi in grado di attrarre i diplomati eccellenti o un
numero elevato di studenti stranieri.
33
funzione incrementale, aumentando il punteggio ottenuto per tenere conto di limitazioni effettive al
conseguimento dei risultati di apprendimento attesi, o con funzione decrementale, riducendo il punteggio, nel
caso di sussistenza di condizioni che limitino il “valore aggiunto” attribuibile alla formazione impartita
dall’università. Si può prevedere inoltre che una stessa variabile assuma funzione incrementale o
decrementale in relazione al valore che le viene associato.
Entrando nello specifico delle variabili possibili, studi del settore evidenziano la rilevanza del
contesto socio-economico di appartenenza; a livello individuale si potrà dunque prestare attenzione a
informazioni quali l’occupazione e il livello di istruzione/titolo di studio del padre e della madre, nonché la
fascia di reddito del nucleo familiare, mentre a livello ambientale si potrà tenere conto del tasso di crescita
dell’area geografica, dal momento che una più concreta possibilità di rapido inserimento lavorativo potrebbe
influire positivamente nella motivazione allo studio, incrementandone/diminuendone l’efficacia. Ulteriori
elementi di cui si potrebbe tenere conto, a livello individuale, sono inoltre la partecipazione a programmi di
mobilità internazionale e a stage/tirocini extra curriculari, l’assunzione di mandato come rappresentante degli
studenti, la condizione di studente fuori sede e quella di studente lavoratore, l’essere portatore di disabilità
specifiche, ecc.
In questa fase di prima applicazione, è opportuno prevedere l’utilizzo di eventuali variabili
desumibili dai dati di cui le Università già dispongono. Rientrano fra questi due informazioni rilevanti, ossia
la scuola di provenienza dello studente in ingresso e il voto di diploma di scuola secondaria; si tratta di dati
la cui rilevazione non presenta difficoltà, dal momento che vengono richiesti obbligatoriamente all’atto
dell’immatricolazione. Diversa è la situazione in merito ad altre informazioni sopra proposte. È necessario
precisare, difatti, che le modalità e i sistemi di gestione delle carriere degli studenti variano enormemente da
sede a sede: ciò significa che informazioni generalmente disponibili nella maggior parte degli atenei,
potrebbero non essere rilevate in altri e persino solo parzialmente rilevate in altri ancora (ad esempio, perché
la rilevazione è vincolata alla volontaria compilazione da parte dello studente). Alcune delle informazioni,
inoltre, potrebbero essere disponibili solo a livello “teorico”, mentre il loro utilizzo effettivo provocherebbe
difficoltà di gestione3. Ne consegue che l’applicazione di determinati fattori correttivi a livello di sede
potrebbe scontrarsi con attendibilità e/o congruenza variabili da istituzione a istituzione.
Si potrebbe ovviare a tale difficoltà prevedendo, per le informazioni che si sceglierà di utilizzare, la
rilevazione delle stesse contestualmente alla somministrazione del test, attraverso la semplice aggiunta delle
apposite voci in testa o in coda ai quesiti delle prove.
Appendice 5 al QUARTO P1+PP con Considerazioni assolutamente preliminari in merito alla
possibilità di valutare il contributo di corsi di studio e atenei alla formazione degli studenti
universitari di Giacomo Calzolari
Premessa
La strada maestra e scevra da possibili critiche è quella che si basa su un panel di dati (ovvero lo
stesso studente appare nei dati in più di una osservazione in istanti temporali diversi), costruito
somministrando a tutti gli studenti un questionario nazionale in ingresso ed un questionario nazionale in
uscita dal corso di laurea. Per il seguito indichiamo questa strada come metodologia I. Ogni alternativa si
espone a critiche di vario tipo che sono illustrate brevemente nel seguito.
3 Fra i dati “individuali” di cui si è suggerito di tenere conto, potrebbero essere utilizzati (perché generalmente rilevati)
la fascia di reddito del nucleo familiare e la condizione di studente fuori sede. Sono a disposizione della sede, ma gestite
da uffici diversi da quelli preposti alla gestione delle carriere degli studenti, le informazioni relative alla mobilità
internazionale, agli stage/tirocini extra curriculari, alle attività come rappresentante degli studenti, alla tipologia di
disabilità di cui si è eventualmente portatori. Solitamente vincolati a dichiarazione volontaria sono invece i dati relativi
ai genitori e alla condizione di studente lavoratore.
34
Incidentalmente si nota che per gli studenti di medicina questa strada richiederebbe solo la
predisposizione del test nazionale in uscita dal momento che il test nazionale in ingresso esiste già per le
graduatorie di ammissione. Pertanto come contesto pilota medicina potrebbe essere utilizzata per approntare
in tempi relativamente veloci la procedura ideale.
Anche se al momento e in tempi brevi la metodologia illustrata qui sopra appare difficile da
implementare, tuttavia pare sensato ed importante cominciare a valutare la strada per implementarla. A
questo proposito è utile notare che si potrebbe utilizzare il test Invalsi in uscita al quinto anno della scuola
secondaria di secondo grado (somministrato quest’anno in tutte le scuole), come test di ingresso
all’università. Pertanto si potrebbe immaginare un test in itinere alla fine del primo anno. Utilizzando la
metodologia I, già alla fine del 2013 si potrebbero avere delle prime indicazioni sull’apporto dei corsi di
laurea o di ateneo almeno per il primo anno di studio, almeno identificando dei corsi di laurea pilota.
Metodologia II
Come soluzione temporanea e di second-best si può provare a utilizzare una regressione multivariata
con effetti fissi di ateneo o di corso di laurea, con la quale controllare per quante più variabili possibili.
Idealmente questo metodo risulterebbe scevro da critiche se si fosse in grado di controllare per tutte le
variabili rilevanti. Per specificare ciò di cui si discute, ci concentreremo sul test generalista in uscita, per
esempio da una laurea triennale in classe economica.4 La popolazione oggetto di studio è quindi quella di
tutti gli studenti laureati in una laurea triennale in classe economica in ogni ateneo nel paese.
La variabile dipendente v_i è l’esito del test in uscita dello studente i. Le variabili esplicative
utilizzate sono le seguenti: Residenza_i: effetto fisso della provincia (o comune) di residenza (normalmente
quello di provenienza dello studente, dal momento che pochissimi fuorisede cambiano residenza); Ateneo_i
o Corso_i: effetto fisso di ateneo o corso di laurea; Regione_i: effetto fisso della regione dell’ateneo (meglio
non usare la provincia perché in una provincia normalmente c’è un solo ateneo); X_i: vettore di variabili di
contesto dello studente i osservabili (titolo di studio di scuola superiore, voto di maturità, titolo di studio
genitori, ecc.). Soggettive_i: vettore di variabili soggettive dello studente i “innate”, come motivazione allo
studio, capacità di apprendimento, abilità cognitive, abilità non cognitive. Ovviamente questo vettore non è
osservabile e quindi non lo si può utilizzare direttamente. Se fosse possibile, risolverebbe il problema della
auto-selezione degli studenti (migliori) negli atenei (migliori). Su questo punto si ritornerà in seguito.
Una possibile regressione è la seguente:
v_i=costante+ alpha*Residenza_i+ beta*Ateneo_i [o Corso_i:]+delta*X_i+[gamma*Soggettive_i+]errore
Il problema di questa regressione è ovviamente, come già illustrato in precedenza, quello delle
variabili non osservabili e quindi omesse correlate con v_i e Ateneo_i, ovvero le variabili soggettive che
influiscono sia sul voto del test sia sulla scelta dell’ateneo dello studente. Se si potesse controllare per tutte
queste variabili (ovvero se fossero invece osservabili), allora il coefficiente beta fornirebbe una stima non
distorta dell’apporto del singolo ateneo o corso di laurea all’esito del test dello studente.
Il meglio che si può fare con questo problema è cercare di aggiungere quante più variabili osservabili
(sensate) è possibile ottenere. Rimane comunque il problema delle capacità “innate” o soggettive del singolo
studente, non osservabili, che implicano una stima distorta di beta.
4 Qui è necessario affrontare il problema del raggruppamento delle classi delle lauree, anche per il test generalista.
35
Una possibile soluzione, attenzione sempre parziale, è quella di prevedere nel test che produce il
voto v_i, una sezione di domande su abilità cognitive, non-cognitive, e motivazionali (talvolta utilizzate in
psicologia ed in economia) che permettano di catturare almeno in parte le caratteristiche soggettive non
osservabili. Ovviamente questo ha senso e rappresenta un tentativo effettivo di soluzione se si pensa che
queste variabili non siano influenzate dall’ateneo o corso di laurea seguito nei tre anni di studio. Una scelta
oculata di queste variabili però sembra percorribile. Si tratta di valutare attentamente quanto si potrebbe fare
in questa direzione, e ciò richiede tempo, ma a titolo di esempio si pensi alla seguente possibilità. Si
immagini che esista un IQ-test universalmente accettato che non viene influenzato (troppo) dagli studi
seguiti, allora questo test potrebbe essere inserito nel test generalista di conclusione degli studi per
“catturare” l’abilità soggettiva dell’individuo i.
In conclusione è utile notare che si potrebbe immaginare di identificare già per il 2013 dei corsi di
laurea pilota per i quali implementare entrambe le metodologie I (nella versione illustrata alla fine del
paragrafo precedente “Premessa”) e metodologia II appena illustrata. Ciò permetterebbe tra l’altro, già per il
2013, di confrontare i due approcci metodologici anche dal punto di vista della complicazione di
implementazione.
36
QUINTO P1PP Accordo di programma ANVUR-MIUR per la valutazione degli esiti
dell’apprendimento: richiesta di Euro 1.500.000
Vincenzo Zara* con Fiorella Kostoris
La legge n. 240/2010 e, successivamente, il decreto legislativo n. 19/2012 hanno posto le basi per
l’avvio del sistema di accreditamento delle Università, concretizzatosi in seguito nel sistema integrato di
Autovalutazione, Valutazione periodica e Accreditamento (AVA) proposto dall’ANVUR. In base ai
documenti recentemente pubblicati dall’Agenzia, fra i criteri per l’accreditamento periodico, che dovrebbe
avviarsi già nell’anno accademico 2013-2014, è data estrema rilevanza alla verifica e valutazione degli esiti
dell’apprendimento effettivamente ottenuti, introducendo una novità assoluta nel contesto universitario
nazionale. Al riguardo, risulta particolarmente innovativa la rilevazione delle competenze trasversali dei
laureandi (critical thinking, problem solving, ability to communicate), la cui valutazione sarà condotta
secondo una procedura comune a livello nazionale mediante la somministrazione di un test di generic skill. A
tal proposito, esistono numerose esperienze consolidate a livello internazionale e in vari Paesi sono già stati
adottati test volti a rilevare il livello di competenza nei generic skills. Tali prodotti sono correntemente
utilizzati e hanno dato dimostrazione di robustezza in vari contesti.
Al fine di consentire l’effettivo avvio delle procedure di accreditamento periodico nei ristretti tempi
indicati, l’acquisto di un test esistente sul mercato, già deciso dall’ANVUR, appare la scelta più ragionevole
e opportuna. L’utilizzo di uno strumento già consolidato su scala internazionale presenta numerosi vantaggi,
fra cui una notevole riduzione dei tempi necessari alla realizzazione delle prove da somministrare, nonché la
possibilità di comparare a livello internazionale i risultati evidenziati nel nostro Paese. Tuttavia, la scelta di
avvalersi di un prodotto già pronto, che ha un proprio notevole costo sul mercato, richiede un insieme di
operazioni, ivi incluse la selezione, la traduzione e l’adattamento del test, che a loro volta comportano vari
costi. Ciò nonostante, è evidente che l’ipotesi di costruire e testare prove ex novo create in Italia
richiederebbe un investimento ben maggiore per conseguire il medesimo livello di qualità e robustezza,
nonché, come già illustrato, tempi molto più lunghi.
Ciò premesso, considerati gli aspetti strategici della rilevazione proposta e gli importanti risvolti in
termini di incremento della qualità, efficienza ed efficacia del sistema universitario, si evidenzia come sia
comune interesse per il MIUR e l’ANVUR procedere alla rapida individuazione di mezzi idonei agli scopi
prima descritti. Tali strumenti, da individuarsi a cura dell’ANVUR, consentiranno l’avvio di una
indispensabile fase di sperimentazione, propedeutica all’adozione e applicazione dei criteri/indicatori per
l’accreditamento periodico che dovrebbe svolgersi e concludersi nel 2013. Data l’ampiezza dei costi che
l’Agenzia dovrebbe sostenere per condurre in maniera celere ed efficiente le suddette operazioni, l’ANVUR,
in qualità di ente pubblico, ritiene indispensabile proporre al MIUR uno specifico accordo di programma,
istituto per definizione volto a “semplificare ed accelerare l’azione amministrativa” in funzione di un’opera,
progetto o intervento sulla cui realizzazione si riscontra il “consenso unanime delle amministrazioni
interessate”5. L’accordo sarà inteso a garantire la sostenibilità finanziaria di tutte le operazioni necessarie alla
messa in opera del test relativo ai generic skills. Dal momento che, ai sensi dell’art. 2, comma 142, del DL n.
262/2006, convertito nella legge n. 286/2006, l’integrazione degli oneri per il funzionamento dell’Agenzia
ricade sul fondo per il finanziamento ordinario delle università e che l’art. 12, comma 7, del DPR n. 76/2010,
stabilisce che il “Ministro, sentita la CRUI, può riservare annualmente per l'Agenzia ulteriori risorse, a valere
sul fondo per il finanziamento ordinario delle università di cui all'articolo 5, comma 1, lettera a), della legge
24 dicembre 1993, n. 537, (…) in relazione alle esigenze della stessa per lo svolgimento delle proprie attività
istituzionali di valutazione”, si ritiene opportuno richiedere al MIUR un impegno finanziario, quantificabile
in euro 500.000/anno, per un totale di euro 1.500.000 nel triennio, a valere sui fondi (€ 67.000.000)
accantonati dal Ministro e rinviati a successivo specifico provvedimento, come riportato fra le premesse al
DM n. 71/2012. Come precisato dall’ANVUR nel proprio parere del 28 marzo 2012, difatti, il programma
5 Cons. Stato, Sez. IV, 6 maggio 2008, n. 2062, in Foro amm.-C.d.S., 2008, 1407.
37
AVA, che pure ricade nell’ambito delle attività istituzionali di valutazione dell’Agenzia, si configura come
un progetto speciale cui dovrebbero essere riconosciuti finanziamenti ad hoc, che allo stato attuale non sono
affatto previsti.
In funzione della stipula dell’accordo in oggetto, l’ANVUR, attraverso i propri esperti, condurrà le
attività relative all’individuazione, acquisto, traduzione e adattamento del test, nonché alla sua
sperimentazione e validazione, e il Ministero si impegnerà a corrispondere la somma necessaria per
l’espletamento delle suddette attività. Modalità e tempistiche dell’erogazione della somma in oggetto
potranno essere definite nel testo dell’accordo, da disciplinare nella forma e secondo le modalità che
verranno successivamente identificate di concerto con il Ministero. Nell’individuazione delle suddette
tempistiche si dovrà tenere conto dell’impellente necessità di avviare la sperimentazione a partire dal
gennaio 2013, in modo da poter disporre entro dicembre dello stesso anno dei dati sugli esiti
dell’apprendimento.
Riferimenti bibliografici
ANVUR, Parere 02 del 28 marzo 2012, “Fondo di Finanziamento Ordinario delle Università per
l’anno 2012”.
ANVUR, “Autovalutazione, Valutazione e Accreditamento del sistema universitario italiano”
(Documento A).
ANVUR, “Criteri e indicatori per i sistemi di accreditamento iniziale e periodico delle sedi e dei
corsi di studio universitari e di valutazione periodica dei risultati degli atenei” (Documento B).
Legge 8 giugno 1990, n. 142, “Ordinamento delle autonomie locali”.
Legge 24 novembre 2006, n. 286, “Conversione in legge, con modificazioni, del decreto-legge 3
ottobre 2006, n. 262, recante disposizioni urgenti in materia tributaria e finanziaria”.
Consiglio di Stato, Sez. IV, 6 maggio 2008, n. 2062, in Foro amministrativo-C.d.S., 2008, 1407.
Decreto del Presidente della Repubblica 1 febbraio 2010, n. 76, “Regolamento concernente la
struttura ed il funzionamento dell'Agenzia nazionale di valutazione del sistema universitario e della ricerca
(ANVUR)”.
Legge 30 dicembre 2010, n. 240, “Norme in materia di organizzazione delle università, di personale
accademico e reclutamento, nonché delega al Governo per incentivare la qualità e l'efficienza del sistema
universitario”.
Decreto Legislativo 27 gennaio 2012, n. 19, “Valorizzazione dell'efficienza delle università e
conseguente introduzione di meccanismi premiali nella distribuzione di risorse pubbliche sulla base di criteri
definiti ex ante anche mediante la previsione di un sistema di accreditamento periodico delle università e la
valorizzazione della figura dei ricercatori a tempo indeterminato non confermati al primo anno di attività, a
norma dell'articolo 5, comma 1, lettera a), della legge 30 dicembre 2010, n. 240”.
Decreto Ministeriale MIUR 16 aprile 2012, n. 71, “Decreto criteri di Ripartizione del Fondo di
Finanziamento Ordinario (FFO) delle Università per l’anno 2012”.
38
SESTO P1PP La formazione per la valutazione degli esiti effettivi dell’apprendimento
Vincenzo Zara* con Fiorella Kostoris
In seguito all’applicazione del sistema di Autovalutazione, Valutazione periodica e Accreditamento
(AVA) dell’ANVUR, verranno rese operative in tempi molto brevi le procedure per l’accreditamento e la
valutazione periodica. Questo implicherà l’adozione su scala nazionale di modalità comuni per la verifica e
la valutazione degli esiti dell’apprendimento effettivamente ottenuti; ciò comporterà la messa in moto di una
macchina organizzativa di notevoli proporzioni. Il funzionamento appropriato ed efficace di tale macchina è
legato in buona misura al grado di preparazione di coloro che saranno gli “addetti ai lavori” in maniera
diretta (Institutional Coordinators – IC e Scorers – SC). È indispensabile che IC e SC siano opportunamente
formati per conoscere e comprendere appieno le modalità di organizzazione, preparazione, somministrazione
e correzione/valutazione delle prove. Il corretto svolgimento del test è presupposto essenziale affinché la
regolarità e l’attendibilità dei risultati non vengano compromesse.
Occorre ricordare, inoltre, che la partecipazione alle prove di una quota non minoritaria di
“laureandi” costituisce indicatore per l’accreditamento periodico e che il mancato accreditamento comporta
la sospensione del corso di studio. Anche per questo motivo, sembra opportuno che il periodo di formazione
e addestramento sia inteso al fine di chiarire le implicazioni e le possibili ricadute legate all’applicazione di
questo tipo di valutazione che si effettua per la prima volta nelle università italiane. Il programma di
formazione di IC e SC è uno strumento che potrebbe essere in grado di trasmettere non soltanto gli aspetti
tecnici specifici, ma anche contenuti e nozioni strategiche che consentano di comprendere e comunicare ad
altri pienamente la nuova prospettiva o la nuova etica dei risultati, sviluppando un diverso concetto di
didattica universitaria, centrata sullo studente e sul diritto di questi a ricevere una formazione che consenta in
maniera effettiva il raggiungimento ex post di quelle competenze dichiarate nelle intenzioni del progetto
formativo del corso, ex ante.
Si può ipotizzare, dunque, di strutturare la formazione in termini modulari, prevedendo un adeguato
numero di moduli “specifici” (che dovrebbero includere alcune simulazioni), preceduti da moduli “teorici”.
Le attività formative de visu potrebbero ragionevolmente essere organizzate in tre giornate: una metà della
prima per gli aspetti teorici, una giornata e mezzo per gli aspetti tecnici, particolarmente complessi per gli SC
che dovranno apprendere da un rubrics come valutare le risposte aperte del test e un’ultima da dedicare a
simulazioni, chiarendo eventuali dubbi dei partecipanti. Le persone cui la formazione è diretta, che devono
essere individuate dalle sedi entro il 30 aprile 2013, possono essere opportunamente convocate a Roma per
frequentare il corso nella sede dell’ANVUR nella decade centrale di maggio 2013: si consentirebbe così a IC
e SC di essere operativi già nella seconda metà di maggio, rendendo possibile l’avvio della sperimentazione
vera e propria entro la fine dello stesso mese, come preventivato.
L’attività in aula potrebbe infine essere seguita da un periodo di follow up a distanza in modo da
affiancare e supportare la fase sperimentale: ciò consentirebbe da un lato di venire a conoscenza ed
eventualmente risolvere tempestivamente problemi/dubbi da parte delle istituzioni coinvolte nella
sperimentazione e dall’altro di seguire in tempo reale i primi effetti dell’applicazione del test.
39
SETTIMO P1PP Campagna di informazione sulla valutazione degli esiti dell’apprendimento
Vincenzo Zara* con Fiorella Kostoris
Il modello AVA rappresenta una novità sostanziale nel sistema universitario italiano. Gli Atenei
dovranno confrontarsi con procedure e meccanismi nuovi, e l’adempimento di quanto richiesto dal modello
richiederà la modifica di numerosi assetti. Ancora non è dato sapere quali saranno gli effetti dell’adozione di
un sistema per la assicurazione della qualità uniforme a livello nazionale, a maggior ragione in
considerazione del fatto che le tempistiche ristrette non agevolano la spontanea maturazione di una “cultura
della qualità”, requisito necessario e indispensabile per il corretto funzionamento di tutto l’apparato ideato
dall’ANVUR. In assenza di una matura consapevolezza dell’importanza di assicurare un’offerta formativa di
qualità, l’applicazione del modello rischia di essere vissuta come un mero elenco di nuovi obblighi e vincoli
da soddisfare; il che contrasterebbe l’effettivo instaurarsi di una cultura del miglioramento continuo. La
situazione è particolarmente delicata per quanto riguarda la valutazione degli esiti dell’apprendimento
effettivi, che costituisce una delle novità introdotte dal modello AVA. Suscita qualche dubbio l’ipotesi che
possa verificarsi una spontanea e proficua ricezione di modalità e procedure legate a questa valutazione, che
pure rappresenta un aspetto focale nell’accreditamento periodico.
E’ dunque opportuno provvedere all’adozione di iniziative volte a favorire una adeguata
informazione di tutti gli stakeholders. Si può prevedere l’organizzazione a cura dell’ANVUR di seminari con
la partecipazione di esperti della valutazione, da tenere a campione in alcune Università individuate quali
poli di aggregazione territoriale. La partecipazione sarà aperta sia a varie componenti della comunità
universitaria selezionate dalle sedi sulla base di criteri specificati dall’Agenzia, sia ad altri stakeholders
interessati alla nuova prospettiva dei risultati sulle competenze trasversali (in primo luogo alle imprese). Con
riguardo al primo gruppo, sembra certamente opportuno coinvolgere almeno i presidenti dei consigli di corso
di studio, i membri delle commissioni paritetiche docenti-studenti, il Nucleo di Valutazione di Ateneo,
nonché il personale tecnico-amministrativo che svolge ruoli chiave nell’organizzazione e gestione dei corsi
di studio. L’argomento dei seminari costituisce un punto nodale nel contesto del riassetto universitario
generale innescato dalla legge 240/10 e dell’indirizzo ad una formazione universitaria guidata da criteri di
qualità; si dà quindi per implicita la partecipazione motivata dei docenti designati. Si può invece prevedere di
stimolare il coinvolgimento del personale T/A attraverso il riconoscimento di crediti formativi professionali,
dal momento che l’attività in questione può rientrare nell’aggiornamento professionale obbligatorio previsto
dalla normativa. Analogamente, la partecipazione dei rappresentanti degli studenti può essere agevolata
dall’eventuale riconoscimento della frequenza in termini di CFU, eventualmente da riconoscere nell’ambito
delle attività a libera scelta dello studente o nelle “altre attività formative” specificamente previste
dall’ordinamento didattico. Fondamentale appare la partecipazione dei membri delle commissioni
paritetiche, che svolgono un ruolo centrale alla luce delle nuove funzioni previste dalla normativa recente. Si
può immaginare che la partecipazione ai suddetti seminari sia da considerare indispensabile ai fini
dell’eleggibilità dei membri nella commissione; a questo fine, l’ANVUR può rendere pubblici i nominativi
dei partecipanti nel proprio sito.
40
OTTAVO P1+PP Modalità di acquisizione, traduzione, somministrazione, analisi dei dati relativi a un
test di competenze generaliste
Annamaria Poggi* con Fiorella Kostoris
Nelle tre parti in cui è diviso questo scritto si trovano illustrati:
1. alcuni aspetti procedurali nell’ottica del regolamento dell’ANVUR ( DPR 76/2010);
2. le possibili modalità di acquisizione del test
3. 3 allegati: i primi due si riferiscono a due esperienze internazionali già in atto (CLA e VSA) e un
terzo contiene un breve vademecum che regola le gare pubbliche (contenuto in un file a parte).
1. Fondamento normativo a operare e vincoli procedurali
L’art. 3, comma 2, lett. a) del DPR 76/2010 fonda la competenza a operare dell’ANVUR . Costituisce
oggetto di sua valutazione “l’efficienza e l’efficacia dell’attività didattica sulla base di standard qualitativi
di livello internazionale, anche con riferimento agli esiti dell’apprendimento da parte degli studenti ed al
loro adeguato inserimento nel mondo del lavoro”. Lo stesso articolo poco sopra afferma che “per le
questioni didattiche è promosso il coinvolgimento attivo degli studenti e dei loro organismi di
rappresentanza e delle commissioni paritetiche”.
Dunque, è opportuna la proposta Kostoris 2012, allegata al resoconto sommario della riunione del 13 giugno
2012 di questo gruppo di lavoro, che intende coinvolgere le commissioni paritetiche e i Nuclei di
Valutazione nelle decisioni e nell’attuazione dei test specialistici gestiti dagli Atenei, di concerto con
l’ANVUR. In quel che segue, vengono invece approfondite le questioni concernenti il test generalista.
2. Procedura amministrativo-contabile
Ai sensi della legge istitutiva, l’ANVUR ha autonomia amministrativa e contabile, “anche in deroga alle
disposizioni sulla contabilità dello Stato”.
Il Regolamento di contabilità all’art. 38, primo comma, conferisce “piena autonomia negoziale” all’ANVUR
che può stipulare “contratti e convenzioni di qualsiasi genere, ad eccezione di quelli aleatori e per
operazioni speculative”. Al comma 5 si precisa che la “determinazione a contrattare, la scelta della forma di
contrattazione, le modalità essenziali del contratto e dei capitolati d’oneri sono stabiliti dal Consiglio
dell’Agenzia” e al comma 6: “Il contratto è stipulato in forma scritta e anche con scambio di corrispondenza
secondo l’uso del commercio. La competenza alla stipula dei contratti è del Presidente o di un suo
delegato”.
Il Regolamento per la fornitura dei beni e servizi asserisce che l’acquisizione di beni e servizi in economia
(tra cui sono compresi anche i “prodotti informatici e siti web, software e gestione di licenze e contratti”,
nonché i “servizi di consulenza, studi, ricerca, indagini e rilevazioni”) è consentita per importi inferiori a
200.000 euro al netto di IVA. L’affidamento è disposto con “gara informale” richiedendo almeno 5
preventivi (se sussistono in tale numero “soggetti idonei”), con lettera di invito. L’individuazione avviene
sulla base delle ricerche di mercato. La richiesta ai fornitori dei preventivi/offerte può essere effettuata con
qualsiasi mezzo (lettere, fax, posta elettronica certificata). I contratti sono sottoscritti dal Direttore.
41
Bisognerà dunque procedere alla:
1. determinazione da parte del Consiglio Direttivo delle specifiche azioni necessarie alla
sperimentazione del test generalista sui “laureandi”, già decisa per il 2013 dal Consiglio nella sua
seduta del 23 maggio 2012 (es numero e tipologia di università, modalità di campionatura);
2. individuazione da parte del Consiglio Direttivo (o del comitato a ciò delegato) dei soggetti che sul
mercato offrono il pacchetto in prima battuta complessivo (produzione, traduzione,
somministrazione, etc.) e dei servizi aggiuntivi occorrenti ;
3. lettera di invito a partecipare a una gara informale, consistente cioè nel poter definire
progressivamente il pacchetto di servizi o il servizio richiesto, anche attraverso scambio di
corrispondenza multiplo;
A questo punto possono verificarsi due ipotesi:
a. effettuazione della gara informale, consistente nella scelta del o dei contraenti per la fornitura del
servizio se si sta nell’importo che lo consente;
b. altrimenti occorre andare a gara “formale” (v. vademecum Allegato 3, ma la notizia più rilevante
ai nostri fini è che non ci sono termini prescrittivi da rispettare, purché i termini fissati siano
“congrui”)
4. determinazione a contrattare e procedura (a seconda dell’importo) da parte del Consiglio Direttivo e
nomina del responsabile del procedimento che, insieme al Direttore, conduce questa fase;
5. predisposizione del contratto (nel caso di importo sotto soglia) o della gara (in alternativa).
Allegato 1 (CLA)
We invite you to participate in an assessment that will help your school learn how well your students are
learning how to think critically, reason analytically, solve problems, and write well. You will also be
participating in an ongoing national project building a database of information about teaching higher order
skills to prepare students for college, and for life.
The acquisition of higher order skills is made more urgent today as the Information Age places added
pressure on our educational system. While some critics fault secondary institutions for graduating students
unready for college and others place the onus on higher education, both need to and can do better. Indeed, all
agree on what counts most: the ability to access, structure, evaluate, and use information rather than only
accrue facts.
Helping students to develop higher order skills (e.g., critical thinking, analytic reasoning, problem solving,
and written communication) is central to the missions of all colleges, universities and high schools. While
these institutions also foster other key competencies, such as artistic expression, civic engagement,
moral/ethical reasoning, and environmental stewardship, of paramount importance is helping students to
develop intellectual curiosity and a lasting desire for learning. It is within this context that many colleges and
universities have participated in the Collegiate Learning Assessment (CLA), an ongoing project that
incorporates a breakthrough learning assessment approach. The CLA approach is to measure an institution's
contribution, or value-added, to the development of higher order skills, including the effects of changes to
curriculum and instructional methods.
The CLA is now available to high schools as the College and Work Readiness Assessment (CWRA), to
measure how students perform on constructed response tasks that require an integrated set of critical
thinking, analytic reasoning, problem solving, and written communication skills. The CWRA is delivered
entirely over the Internet in a proctored setting.
42
PARTICIPATING IN THE CWRA
All high schools test freshmen in the fall and seniors in the spring. This assessment provides several
estimates of change between freshmen and senior years. By following the freshmen for the remaining three
years, schools may track the progress of each successive freshman class. Also, the CWRA allows you to
compare the performance of seniors at your school to (a) the performance of seniors at other high schools
with similar-ability students and (b) similar-ability college freshmen in our national sample of colleges and
universities.
The CWRA can be conducted with all the students in a small school or with representative samples in larger
schools and allows you to gauge where and when the greatest gains are occurring, both taking a cross-
sectional look at the relative performance of different grades that year and by tracking the performance of
individual students over time.*
The CWRA provides results after each class is tested. After freshmen are tested in the fall, the CWRA
reports results that compare your freshman class's performance to freshman classes at other participating
schools. After your seniors are tested in the spring, the CWRA reports your students' estimated growth
between freshman and senior years. The CWRA also includes comparisons of your seniors to college
freshmen and other high school seniors.
FREQUENTLY ASKED QUESTIONS
How do we give the test?
The tests are taken on-line, proctored by your faculty. Testing time is 105 minutes. Proctor training and
technical support is provided.
How many students do we test and when?
Testing the entire class is recommended. For large classes, a representative sample of at least 100 students
may be tested. The freshman class tests in the fall (mid August – late October) and other classes test in the
spring (early February – mid April).
What data about our students do we provide?
To control for entering academic ability and predict college readiness, we need either SAT or ACT scores for
seniors. For comparisons across high schools, CAE will provide a short equivalent assessment measure
(SLE).
What results do we get from the annual study?
You will receive Institutional Reports and Student Data Files. All results are kept in strict confidence.
Institutional Reports provide important signals of overall and comparative performance at the school level.
Student Data Files can be linked to locally-collected data (e.g., course-taking patterns, grades, portfolio
assessments, participation in extracurricular activities, etc.).
How much does it cost to participate in the CWRA study?
$40 per student. (For schools testing fewer than 100 students per class, minimums may apply; contact us for
more information.)
How can we get more information or sign up?
Contact Chris Jackson at (212) 217-0845 orcjackson@cae.org
43
Allegato 2 VOLUNTARY SYSTEM OF ACCOUNTABILITY (VSA)
Beginning in summer 2011, the Voluntary System of Accountability gathered information from participating
institutions and key stakeholders on the efficacy of its four‐year student learning outcomes pilot project to
determine the next steps for this signature element within the College Portrait. As part of the process, the
National Institute for Learning Outcomes Assessment (NILOA) was asked to conduct an independent
evaluation and provide recommendations. NILOA drew on a variety of data sources for its evaluation,
including focus groups, interviews with leaders from the policy arena and regional accreditation agencies,
institutional surveys, analyses of results from the VSA‐conducted survey of participating institutions,
College Portrait database statistics and Google Analytics.
The major conclusion from the NILOA evaluation was that the VSA College Portrait student learning
outcomes pilot was an effective response to the challenges that emanated from the Spellings Commission
and related pressures for accountability, but is not sufficient in its current form going forward. The NILOA
report recommended the VSA be transformed from a “compliance focused vehicle to a platform through
which institutions can speak to and engage their publics through evidence‐based story telling.”
Other recommendations and findings from the NILOA evaluation include the following.
“Should the VSA College Portrait be continued?” With some exceptions, the overall response was
affirmative, suggesting “mend it, don’t end it” regarding the value of the VSA and the College
Portrait.
Strongly recommended that the VSA College Portrait expand the range of accepted assessment tools and
approaches. “The standardized tests of student learning originally approved for inclusion in the pilot lack
credibility and acceptance within a broad sweep of the higher education community and serves to undermine
institutional participation in the VSA.”
The VSA College Portrait should be recast as a state‐of‐the‐art electronic communication tool targeted for
specific audiences. “The student learning outcomes section attracts very fewviewers. The information posted
and the manner in which it is presented do not reflect the needs and interests of users.”
The VSA should consider expanding the types of institutions allowed to participate to include all
postsecondary institutions, public and private, community colleges and others. Using the information from
the NILOA report, a technical work group of higher education assessment, institutional research, and
measurement professionals was convened by the VSA in March and April of 2012 to consider alternative
measures for reporting student learning outcomes and put together a set of recommendations for the VSA
Board.
The Student Learning Outcomes Technical Work Group unanimously affirmed the importance of including
student learning outcomes in the VSA; however, they or the group emphasized the importance of conveying
to the public, legislators, and faculty that the ideal measure of student learning outcomes does not exist. An
ideal measure would address the accountability concerns of external audiences, provide practical and useful
information for improving curriculum, and offer important information to consumers for college selection.
The VSA Oversight Board met on May 17‐18 and endorsed the core recommendations of the WorkGroup.
The VSA Board also discussed at length the audience and purpose of the VSA College Portrait and
concluded that a shift in focus from a college search tool to a consumer information tool was desirable and
necessary.
In July, a Communications Task Force and the College Portrait Support Team will meet to develop reporting
templates for expanded options and strategies to more effectively display outcomes information to meet the
needs of the intended audiences.
44
Summary of VSA Board Decisions
Purpose and Audience
The VSA College Portrait will continue to emphasize the straightforward, reliable presentation of
institutional information for consumers – “no rankings, no spin … just the facts!” The College Portrait will
be re‐focused from a “college selection and recruitment tool” to a “consumer information tool for institutions
to demonstrate the effectiveness and value of their educational programs.” The primary audiences will be
consumers (including students and families), state officials, policy makers, and accreditors.
Student Learning Outcomes Options
The options for the measurement and reporting of student learning outcomes within the VSA will be
expanded in two primary areas.
The number of instruments will be increased from the three current tests ‐ CAAP, CLA, and ETS
Proficiency Profile ‐ to include the AAC&U VALUE rubrics and the GRE General Test.
The reporting options for each of the instruments will be expanded to include both valueadded
and benchmarking.
The instruments and reporting methods approved by the VSA Board offer participating institutions
new alternatives for fulfilling VSA requirements, not new requirements.
A. Approved Instruments
Institutions will select from one of the following instruments to fulfill the VSA student learning outcomes
requirement beginning with the 2012‐13 College Portrait data cycle.
1.CAAP (current option)
2.CLA (current option)
3.ETS Proficiency Profile (current option)
4.GRE (new option)
5.VALUE Rubrics (new option)
Written Communication
Critical Thinking
B. Approved Reporting Options
1. VSA institutions will pick one of the following options for reporting institutional outcomes based on the
instrument selected from the list in B.
Report value‐added (learning gains) between entering and exiting students as compared to other
institutions. (current option)
o Applicable instruments: CAAP, CLA, ETS PP
Report distribution of senior scores as compared to criteria/proficiency level benchmarks.
o Applicable instruments: CAAP, ETS PP
Report distribution of scores as compared to normative distributions.
o Applicable instruments: CLA, GRE
Report distribution of student scores across the common proficiency levels of the
VALUE rubrics.
2. VSA institutions will be required to report additional contextual information within one or
more of the following areas.
How do outcomes reflect institutional goals or benchmarks?
45
o Applicable instruments: CAAP, CLA, ETS PP, GRE, VALUE rubrics
How has institutional performance changed over time?
o Applicable instruments: CAAP, CLA, ETS PP, GRE, VALUE rubrics
Distribution of scores as compared to normative distributions
o Applicable instruments: CAAP, ETS PP
How does the institution’s outcomes compare to those of peer institutions?
Contact: Christine Keller (ckeller@aplu.org)
Allegato 3 LE GARE
Istruzioni per l'uso
Linee guida per l'esecuzione delle procedure finalizzate all'assegnazione di commesse per campagne ed
iniziative di comunicazione e promozione da parte della Pubblica Amministrazione.
unicom
Unione Nazionale Imprese di Comunicazione
SOMMARIO:
Premessa
Principi generali
Il brief
Lettera di incarico Prima Fase (strategica)
Lettera di incarico Seconda fase (creativa)
Premessa
La "GARA" non è certamente lo strumento migliore per individuare un partner in grado di fornire un
supporto di creatività, capacità progettuale e servizi nell'ambito delle attività di comunicazione della
Pubblica Amministrazione.
Tuttavia, in presenza di una legislazione che prevede, per iniziative che comportino determinati investimenti
(1), l'obbligo di accedere a tale procedura, riteniamo opportuno fornire alcune indicazioni in ordine alle
modalità operative da utilizzare in occasione di gare promosse dalle Pubbliche Amministrazioni.
Le modalità suggerite sono ispirate a regole ed a principi finalizzati a salvaguardare dignità, ruoli ed
interessi economici delle parti, oltre, naturalmente, a garantire efficacia alla procedura stessa.
(1) La procedura di appalto di pubblici servizi di cui al D.Lgs. n. 163/2006 è applicabile per appalti di servizi
46
pubblicitari di rilevanza comunitaria (art. 28 D.Lgs. n. 163/2006). Per l' affidamento di iniziative di importo
inferiore si applica l' art. 5 del D.P.R. n. 403/2001.
Principi generali
Trasparenza
Alle imprese invitate a partecipare alla gara d'appalto dovranno essere preventivamente comunicati i
nominativi di tutte le imprese coinvolte nella procedura di gara.
Numero di partecipanti
La legge vigente non consente di predeterminare il numero massimo di imprese coinvolte. L'unica possibilità
per ridurre ragionevolmente tale numero, si lega alla facoltà di introdurre parametri discriminanti compatibili
con la legislazione vigente. Tali parametri dovranno essere sia di natura quantitativa che qualitativa, ma
dovranno caratterizzarsi come mirati a perseguire l'interesse della PA, e quindi della collettività, ed a
salvaguardare i diritti e la dignità delle imprese partecipanti alla gara.
A titolo di esempio indichiamo alcune possibili discriminanti:
- criteri di territorialità (si richiede un'ubicazione dell'impresa funzionale alle esigenze
dell'Amministrazione)
- criteri di qualità (ad es. Certificazione del Sistema di qualità aziendale)(2)
- capacità economica (rapportata all'effettivo valore dell'appalto)(3)
- consistenza della struttura(4)
- documentata competenza professionale(5)
- iscrizione ad una Associazione che vincoli all'adesione al Codice di Autodisciplina.
(2) Si veda il riferimento al controllo della qualità richiamato dalla lettera b) dell' art. 42 D.Lgs. n. 163/2006.
(3) Da dimostrarsi secondo i criteri di cui all' art. 41 D.Lgs. n. 163/2006 e all' art. 4 D.P.R. n. 403/2001.
(4) V. art. 42, lettera g) D.Lgs. n. 163/2006 e art. 4 D.P.R. n. 403/2001.
(5) V. art. 42, lettere a) - e) D.Lgs. n. 163/2006 e art. 4 D.P.R. n. 403/2001.
Modalità operative
La procedura di gara deve prevedere due distinte fasi:
a. Fase strategica
In questa prima fase le imprese ammesse alla procedura sottoporranno al committente una nota propedeutica
(relazione) contenente le indicazioni relative alla strategia di comunicazione. Tale relazione dovrà risultare
chiaramente esplicativa delle proposte che verranno successivamente elaborate. Il documento dovrà anche
contenere l'indicazione dell'ammontare dei compensi richiesti.
47
b. Fase creativa
Nella seconda fase le imprese che avranno superato il vaglio della fase strategica, saranno chiamate ad
effettuare la presentazione vera e propria. Le modalità di tale presentazione (grado di finalizzazione, tipo di
supporti richiesti, declinazioni, ecc.) verranno indicate nel momento in cui le imprese selezionate saranno
invitate a partecipare alla seconda fase dell'operazione.(6)
Tempi
I tempi concessi per l'elaborazione dei progetti dovranno essere congrui e rapportati alla complessità
dell'operazione (7). Il lasso di tempo che il committente vorrà riservarsi per la valutazione degli elaborati
dovrà essere chiaramente indicato all'interno del brief e confermato nella lettera di mandato.
Criteri di valutazione delle proposte
Ogni committente è naturalmente libero di adottare propri criteri di valutazione (salvi, naturalmente, i
vincoli di legge) e, quindi, di esprimere scelte soggettive. Tuttavia, al fine di garantire trasparenza alle
operazioni, è necessario fornire un'indicazione preventiva rispetto alla tipologia ed alla relativa incidenza dei
parametri considerati (punteggio attribuito): approccio strategico, congruità rispetto alle strategie
complessive dell'impresa, creatività, profilo economico della proposta, ecc.
Rimborsi
L'elaborazione di un progetto articolato di comunicazione richiede un grosso impegno e determina costi
rilevanti a carico dell'impresa di comunicazione. Per questo si ritiene indispensabile che l'amministrazione
committente definisca, per ogni gara, un rimborso spese su base forfettaria. Tale rimborso spetterà
esclusivamente alle imprese di comunicazione che avranno effettuato entrambe le presentazioni (strategica e
creativa) avendo superato con successo la prima fase.
Questo modus operandi comporterà alle imprese di comunicazione una gestione meno onerosa della pro-
pria operatività, con un'inevitabile ricaduta positiva sull'ammontare dei compensi richiesti, e, quindi, con un
beneficio significativo a vantaggio delle imprese committenti.
(6) La fase strategica può coincidere con la domanda di partecipazione alla gara, nelle procedure ristrette (licitazione
privata, appalto concorso e trattativa privata con pubblicazione del bando).
(7) Sia pure nel rispetto dei termini previsti dall'art.70 del D.Lgs. n. 163/2006.
Il brief
Informazioni generali sull'Amministrazione
• Documentazione sulle precedenti iniziative
• Gamma e articolazione dei prodotti/servizi richiesti
• Obiettivi e strategie di ordine generale
• Stile e format di comunicazione (qualora siano stati predefiniti)
Caratteristiche dell'intervento richiesto
48
• Tipologia dell'intervento richiesto
• Target di riferimento
• Obiettivi di comunicazione
• Risorse economiche previste
• Eventuali vincoli e limitazioni (di carattere tecnico e/o economico)
• Grado di sviluppo e di evoluzione del progetto
• Tempi e modalità di presentazione
Lettera di incarico Prima Fase
(strategica) (8)
Spett.le Agenzia ……….. Data .
Egregi Signori,
con riferimento vostra domanda di partecipazione al nostro Bando n ., vi comunichiamo che la sottoscritta Amministrazione Pubblica provvederà all'assegnazione dell'incarico mediante procedura di gara.
Oltre la vostra azienda parteciperanno alla consultazione le seguenti imprese:
1.
2.
3. .
Non appena espletate le operazioni preliminari, vi daremo notizia di eventuali rinunce, sostituzioni o implementazioni.
Vi richiediamo pertanto di produrre un elaborato che dovrà consistere in una relazione che ci consenta di valutare la correttezza dell'approccio strategico e le linee guida essenziali del progetto e dovrà contenere tutte le notizie che riterrete utili alla comprensione ed alla valutazione della congruità della Vostra proposta. Il documento dovrà obbligatoriamente essere corredato, pena l'esclusione dalla gara, delle indicazioni relative all'ammontare dei compensi richiesti.
Il termine per la presentazione di tale documento è fissato al ...
Prima di tale data provvederemo a concordare luogo e data della presentazione.
Le decisioni in ordine alla scelta dei progetti strategici da noi ritenuti più consoni alle nostre aspettative verranno comunicate in data . a mezzo lettera raccomandata. A tutte le imprese partecipanti saranno resi noti gli esiti della consultazione.
Non appena completata la prima fase della procedura, provvederemo a sollecitare la partecipazione alla seconda fase (Fase creativa) delle imprese le cui proposte saranno risultate coerenti con le nostre esigenze.
Durante la fase di studio e di elaborazione dei progetti la vostra azienda si impegna a:
49
- mantenere il più scrupoloso riserbo in ordine alle informazioni ricevute
- conservare con cura e, ove richiesto, restituire tutto il materiale fornito a supporto delle informazioni trasmesse.
Da parte nostra, riconosciamo che tutti i diritti sul progetto presentatoci Vi appartengono. Ci impegniamo, pertanto, ad astenerci dall' utilizzo del materiale non scelto, che restituiremo entro il più breve termine.
Vi chiediamo di volerci ritornare copia della presente, opportunamente sottoscritta. La sottoscrizione di questo documento costituisce impegno alla partecipazione alla gara ed accettazione delle condizioni indicate. Qualora, dopo aver sottoscritto tale documento, per le ragioni più diverse, la vostra impresa decidesse di rinunciare alla partecipazione, sarete tenuti a darcene tempesti- va comunicazione entro e non oltre il ..
L’Amministrazione L’impresa di comunicazione
(per accettazione)
(8) Da integrare, eventualmente, con i contenuti della lettera di invito a presentare offerte, di cui all'art. 67 del D.Lgs n. 163/2006
Lettera di incarico Seconda Fase
(creativa)
Spett.le Agenzia…… Data…………….
Egregi Signori,
con riferimento al vostro progetto strategico ., abbiamo il piacere di comunicarvi che la proposta da Voi presentata è risultata in linea con le nostre attese. Vi invitiamo pertanto a voler predisporre la presentazione delle proposte creative.
Oltre la vostra azienda sono state invitate a partecipare a questa fase della procedura le seguenti imprese:
1.
2.
3.
Il termine di consegna degli elaborati è fissato al ...
Prima di tale data provvederemo a concordare luogo e data della presentazione.
Gli elaborati a supporto della presentazione (Fase creativa) dovranno essere costituiti da:
.......................................................................................................................................................................................................................................................................
.......................................................................................................................................................................................................................................................................
Le decisioni in ordine alla scelta del progetto da noi ritenuto più consono alle nostre esigenze verrà comunicata in data . a mezzo lettera raccomandata. A tutte le imprese partecipanti saranno resi noti gli esiti della consultazione.
L'ammontare dell'indennizzo spettante alle imprese che avranno, su nostra richiesta, presentato gli elaborati relativi alle due fasi nei tempi e nelle modalità previste, è fissato in Euro + IVA.
50
Durante la fase di studio e di elaborazione dei progetti la vostra azienda si impegna a:
- mantenere il più scrupoloso riserbo in ordine alle informazioni ricevute
- conservare con cura e, ove richiesto, restituire tutto il materiale fornito a supporto delle informazioni trasmesse.
Da parte nostra, riconosciamo che tutti i diritti sul progetto presentatoci Vi appartengono. Ci impegniamo, pertanto, ad astenerci dall' utilizzo del materiale non scelto, che restituiremo entro il più breve termine.
Vi chiediamo di volerci ritornare copia della presente, opportunamente sottoscritta. La sottoscrizione di questo documento costituisce impegno alla partecipazione alla gara ed accettazione delle condizioni indicate. Qualora, dopo aver sottoscritto tale documento, per le ragioni più diverse, la vostra impresa decidesse di rinunciare alla partecipazione, sarete tenuti a darcene tempesti- va comunicazione entro e non oltre il ..
La rinuncia, comunque motivata, a prescindere dallo stato di avanzamento del lavoro di preparazione degli elaborati, implica la perdita di ogni diritto a rimborsi o ad indennizzi.
L’Amministrazione L’impresa di comunicazione
(per accettazione)
51
Sintesi aggiornata e corretta del NONO P1+PP “Prove per la valutazione dei generic skills”
Guido Amoretti*e Gabriele Anzellotti* con Fiorella Kostoris.
Questo P1+PP sintetizza quanto riportato nel NONO P1+PP al quale si rimanda per un approfondimento
dei temi, tenendo conto tuttavia degli aspetti non completi o non corretti qui superati.
I test per la “misura” degli apprendimenti a livello universitario sono stati sviluppati e vengono somministrati
per ottenere indicatori:
a) del livello di conoscenze e competenze specifiche e di tipo generale raggiunto da un singolo studente al
termine del college, e della sua capacità di affrontare gli studi successivi (graduate studies);
b) della qualità complessiva degli studenti che escono da un college, anche a livello di singolo corso di
laurea o gruppo di corsi di laurea (school);
c) del valore aggiunto prodotto da un college, definito in diversi modi tenendo conto del livello di
conoscenze e competenze degli studenti in uscita e del livello in entrata.
Una estrema sintesi dei principali test oggi disponibili, con particolare riferimento ai test di generic skills, si
trova nella Tabella 1. Qui sotto facciamo alcuni commenti sui test più interessanti per gli obiettivi che si
pone ANVUR.
Il test CLA http://www.collegiatelearningassessment.org/index.html è a risposta aperta ed è quello che pare
consentire di valutare competenze complesse in modo più vicino a situazioni reali. Inoltre è somministrato
on-line, e questo comporta diversi vantaggi, in particolare la disponibilità dei prodotti in formato digitale.
D’altra parte la correzione del test richiede un costo, che i test a scelta multipla non hanno. Un opportuno
bilanciamento tra prove a risposta aperta e quesiti a scelta multipla potrebbe essere opportuno. Il sistema
CLA non è nato primariamente per il ranking dei college, ma per fornire ai docenti e ai responsabili dei
programmi di studio elementi di informazione e comparazioni con opportuni benchmarks, utili per
migliorare i percorsi formativi. Il sistema CLA comprende inoltre materiali e performance tasks che possono
essere usati in classe dagli studenti per migliorare le proprie competenze.
Il test AHELO http://www.oecd.org/document/22/0,3746,en_2649_39263238_40624662_1_1_1_1,00.htm
somministrato da OECD concerne generic skills o alternativamente competenze specialistiche (di economia
e ingegneria). Per la parte generalista, AHELO utilizza un test del tipo CLA ma con un mix di domande a
risposta aperta e a risposta multipla appositamente costruite da CAE e da ACER. Il relativo Framework e la
validazione sono in corso.
HETAC (Dublino) ha condotto uno studio pilota sulla valutazione dell’effetto dell’educazione universitaria
sui generic skills
http://www.hetac.ie/docs/Assessing_the_impact_of_HE_on_Learners_Generic_Skills_04042011.pdf .
Questo studio iniziale ha utilizzato una combinazione di prove di tipo CLA e di tipo GSA, nonché una breve
prova prodotta da Wonderlic. Lo studio dà interessanti indicazioni e peraltro riconosce anche con precisione
le limitazioni dei risultati ottenuti.
Il sistema VSA - Voluntary System of Accountability utilizza diversi dei test indicati in tabella per fornire
dati sui learning outcomes e sui valori aggiunti dei colleges. Una valutazione del sistema, con interessanti
indicazioni sui miglioramenti da apportare, tra cui l’uso di test di conoscenze specifiche, si trova in
http://www.voluntarysystem.org/docs/reports/VSAEvaluation_NILOA030712.pdf
52
Tabella 1 - NONO P1+PP Tavola sinottica di alcune delle batterie di test per la misurazione delle generic skills.
Test Produttore Nazionalità Tipologia somministrazione Subtest 1 Subtest 2 Subtest 3 Subtest 4
CAAP –
Collegiate
Assessment of
Academic
Proficiency
ACT -
American
College Testing
U.S.A.
Multiple-choice
tranne Writing
Essay
Carta e matita
40 min. per subtest
Critical
Thinking
Science
Reading
Writing skills
Writing essay
(One section
with two
separately timed
tasks)
Mathematics
CLA –
Collegiate
Learning
Assessment
CAE–Council
for Aid to
Education
U.S.A. Open-ended,
performance task
Via Web – 90
minuti + 75 min.
Critical
Thinking
Analytic
Reasoning
Problem
solving
Analytic Writing
Tasks Communication
ETS
Proficiency
Profile
ETS –
Educational
Testing Service
U.S.A. Multiple-choice
Via Web – 2 ore
complessive
divisibili in 2
sessioni
Critical
Thinking Reading Writing Mathematics
GSA –
Graduate
Skills
Assessment
ACER –
Australian
Council for
Educational
Research
Australia
Written
Communication
open-ended
I restanti
Multiple-choice
Carta e matita
1 ora Written
Communication e 2
ore i restanti
Critical
Thinking
Problem
solving
Written
Communication
Interpersonal
Understanding
GRE –
Revised
General Test
ETS –
Educational
Testing Service
U.S.A.
Multiple choice,
Multiple answer,
sample select in
passage
Via Web 95 min.
Verbal
Reasoning(Two
sections)
Quantitative
Reasoning
(Two sections)
Analytical
Writing (One
section with two
separately timed
tasks)
----------------
AHELO
(utilizza CLA)
+ ACER
CAE – Council
for Aid to
Education e
ACER
U.S.A. e
Australia
Mix
Open-ended +
Multiple Choice
Via Web – 90
minuti + 75 min.
Critical
Thinking
Analytic
Reasoning
Problem
solving
Analytic Writing
Tasks Communication
HETAC
(utilizza CLA ,
CRT e SLE)
CAE; ACER;
WONDERLIC
U.S.A. e
Australia
Multiple-choice
Open-ended 3 ore via WEB
Critical
Reasoning Test
(ACER)
Scolastic Level
Examination
[Cognitive
Abilities]
WONDERLIC
Analytic Writing
Tasks (CAE)
53
NONO P1+PP “Valutazione prodotti internazionali esistenti sul mercato per un test di generic skill”
Guido Amoretti* e Gabriele Anzellotti*
1. I test per la valutazione dei risultati di apprendimento (learning outcomes)
I test per la valutazione degli apprendimenti a livello universitario hanno una lunga storia [R.Shavelson,
2007], che si è sviluppata soprattutto nei paesi di cultura anglosassone e con riferimento al college. Una
sintesi dei principali test oggi disponibili si trova nella Tabella 1.
I test sono stati sviluppati e vengono somministrati per ottenere indicatori:
d) del livello di conoscenze e competenze specifiche e di tipo generale raggiunto da un singolo
studente al termine del college, e della sua capacità di affrontare i successivi graduate studies;
e) della qualità complessiva degli studenti che escono da un college, anche a livello di singolo corso di
laurea o gruppo di corsi di laurea;
f) del valore aggiunto prodotto da un college, definito in diversi modi tenendo conto del livello di
conoscenze e competenze degli studenti in uscita e del livello in entrata.
Alcuni test sono specificamente intesi per valutare competenze generali (generic skills), altri test intendono
misurare conoscenze e competenze specifiche (specific skills) in alcuni campi. I test di generic skills sono
intesi per essere utilizzati in modo trasversale per tutte le aree di studio.
2. Le prove di valutazione delle competenze generali (generic skills) e il miglioramento continuo
dell’apprendimento.
La produzione di prove di assessment delle generic skills (in particolare quelle di critical thinking) è stata
rilevante tra la metà degli anni ’80 e la fine del secolo scorso (vedi p.e. Ennis, 2009). Il dibattito teoretico e
pragmatico si è successivamente spostato dalla definizione delle generic skills e dalla loro misura alla
possibilità di migliorare le generic skills e alle metodologie per raggiungere tale obiettivo.
Le rassegne recenti (p.e. Sobocan e Groarke, 2009) non mettono in dubbio la possibilità di misurare abilità
come il critical thinking ma mettono in guardia dal considerare i risultati dei test come misure assolute e
definitive. Viene inoltre sottolineata l’importanza di un addestramento specifico dei docenti sulle tecniche
di insegnamento capaci di incrementare negli allievi le generic skills.
In questa direzione vanno dichiaratamente alcuni test tra i più diffusi e innovativi, tra cui il Collegiate
Learning Assessment – CLA http://www.collegiatelearningassessment.org/ un sistema di valutazione delle
competenze degli studenti, realizzato dal Council for Aid to Education (CAE) http://www.cae.org/ per
fornire alle istituzioni di undergraduate education degli Stati Uniti strumenti utili per il miglioramento
continuo della qualità dei percorsi formativi e dell’apprendimento. Il CLA è particolarmente attento a dire e
ribadire (ad esempio [R.Benjamin et al., 2009]) che il suo obiettivo principale non è l’accountability, ma il
supporto alle istituzioni (colleges), a livello di school, per il miglioramento continuo della formazione,
anche attraverso lo sviluppo professionale dei docenti (faculty), grazie ai materiali di lavoro su critical
thinking, problem solving e ability to communicate da esso prodotti per i test e poi utilizzati per il lavoro
con gli studenti.
3. L’accountability attraverso le misure di learning outcomes
Nel 2006 alcune associazioni di colleges degli Stati Uniti hanno iniziato il Il Voluntary System of
Accountability (VSA), un sistema per l’accountability dell’istruzione superiore6, nell’ambito del quale
6 http://www.voluntarysystem.org/docs/background/DiscussionPaper3_Aug06.pdf
54
alcuni dati sui learning outcomes e i valori aggiunti dei colleges, in forma opportuna, sono resi pubblici e
si possono comparare .
Per misurare i learning outcomes, il VSA ha utilizzato come prove di uscita i test CLA, CAAP, ETS
proficiency profile. Il CLA nei suoi documenti mette tuttavia in guardia nei confronti di una confusione tra
CLA e VSA:
... The first difference is the overall purpose. The VSA by design focuses on
assessment for accountability; the CLA, by contrast, has always been driven by a
commitment to assessment for improvement. These are not wholly incompatible,
but they are nevertheless distinct. It is important to note here that the VSA utilizes
just one of the components of our program: CLA Testing. Furthermore, VSA
requires only institution-level results; the in-depth sampling and sub-group
analyses encouraged by CLA are not part of the VSA’s recommended protocol.
Moreover, participating in CLA in the Classroom, the analytical research or the
other policy work of the CLA goes above and beyond the VSA. This is not to say
that the VSA should incorporate those elements into the College Portrait. The
mission of their program is quite specific. However, when the work of CLA and
VSA get mistakenly conflated, it may be easy to overlook the fact that the CLA
involves far more than just institution-based assessment.
L’uso delle misure di learning outcomes come base per un ranking dei college presenta numerose difficoltà,
che sono in particolare messe in evidenza da un recente report del National Institute for Learning Outcomes
Assessment - NILOA sul VSA
http://www.voluntarysystem.org/docs/reports/VSAEvaluation_NILOA030712.pdf
Dallo stesso rapporto emerge anche che la limitazione alle generic skills è fortemente criticata e porta la
maggioranza delle università a non riconoscersi nel sistema di valutazione VSA, pur essendo i colleges
complessivamente favorevoli all’idea di avere un sistema di valutazione e di comparazione dei risultati di
apprendimento. In seguito a tale rapporto il VSA è intenzionato ad aggiungere il GRE (in opportune
versioni) tra i test utilizzati in uscita.
4. Applicazione in Italia dei test di learning outcome, per il miglioramento del sistema di istruzione
e per l’accountability
Anche in Italia gli studenti e i docenti, per dirigere e migliorare il proprio lavoro, hanno bisogno di definire
precisamente i propri obiettivi di breve e lungo termine, e hanno bisogno di strumenti e punti di riferimento
per sapere in che posizione sono e come si stanno muovendo rispetto agli obiettivi. Questo vale sia nella
scuola, sia nell’università.
Avere un Quadro di riferimento per il sapere che è obiettivo di un corso di laurea (o di una classe di corsi di
laurea) e avere strumenti per una valutazione (possibilmente una misura) dei risultati di apprendimento è
utile certamente in primo luogo per gli studenti e per i docenti, al fine di orientare il proprio lavoro. Inoltre
è utile per i responsabili dei corsi di laurea, al fine di progettare il percorso di studio e modificarlo
opportunamente per migliorare i risultati. Infine può essere utile per l’accountability e per l’accreditamento
dei corsi di laurea e degli atenei.
La costruzione dei suddetti Quadri di riferimento e dei relativi strumenti di misura, e la loro diffusione
nell’uso comune delle scuole, delle università, dei docenti e degli studenti è un’impresa enorme, che deve
avvenire in un contesto internazionale e che richiederà molto tempo.
Occorre ragionare su cosa è possibile e ragionevole fare nel breve termine.
A questo fine sembra opportuno avere una strategia su diversi piani:
55
- acquisto immediato di una prova di generic skills sul mercato internazionale, scegliendo in
particolare tra quelle che hanno la potenzialità di essere usate per il miglioramento continuo della
formazione universitaria;
- traduzione e somministrazione sperimentale della prova in alcuni atenei interessati, con il
coinvolgimento dei docenti e degli studenti, in modo da rendere ben chiare le caratteristiche
misurate e da rendere possibile per gli atenei di agire per il loro miglioramento;
- accompagnamento con azioni di coordinamento per la realizzazione e la somministrazione di prove
di specific skills, in alcune aree disciplinari, possibilmente in un contesto internazionale, anche al
fine di metterne i risultati in relazione con quelli delle prove per le generic skills;
- sperimentazione limitata di prove di specific e generic skills in ingresso, i cui risultati sono da
collegare a quelli delle prove in uscita, al fine di comparare diversi metodi di misura del valore
aggiunto: longitudinale, cross-sectional, mediante altri test e variabili di contesto.
Lo studio di fattibilità non dovrebbe pertanto limitarsi alla verifica del funzionamento della traduzione
italiana e dell’organizzazione di somministrazione, correzione, analisi dei risultati, ma dovrebbe mirare a
comparare diversi tipi di test e di misure di valore aggiunto. E inoltre dovrebbe avere una specifica
attenzione per sviluppare una modalità di utilizzazione delle prove da parte di studenti, docenti, atenei, utili
ai fini del miglioramento della formazione universitaria. Soltanto in questo modo si possono ottenere
effettivi duraturi benefici e si può passare a una fase di utilizzazione dei learning outcomes come elementi
per l’accreditamento e la valutazione dei corsi di laurea.
[R.Benjamin et al. , 2009] Returning to Learning in an age of assessment
http://www.collegiatelearningassessment.org/files/ReturningToLearning.pdf
[Ennis R.H. (2009).An annotated list of critical thinking tests,University of Illinois UC.
[R. Shavelson , 2007] A Brief History of Student Learning Assessment
http://www.cae.org/content/pdf/A_Brief_History_of_Student_Learning_Assessment_%28Shavelson-
2007%29.PDF
[SobocanJ, GroarkeL. (Eds.). 2009]. Critical thinking education and assessment: Can higher order thinking
be tested? London, ON: The Althouse Press.
56
DECIMO P1PP A proposito delle prove che misurano le competenze specialistiche
Guido Amoretti*, Gabriele Anzellotti*, Luciano Benadusi con Fiorella Kostoris
Il sapere di livello universitario comprende necessariamente conoscenze, abilità, linguaggi e
competenze settoriali, che in diverse situazioni hanno una rilevanza decisiva. Se abbiamo una malattia o se
dobbiamo costruire un ponte, generic skills, per quanto elevate, non saranno sufficienti. Secondo alcuni
critici radicali (per esempio gli psico-pedagogisti Crahay e Rey), l’approccio delle sole competenze
trasversali porterebbe a sminuire la densità cognitiva dei processi di apprendimento, a legittimare
pedagogicamente una destrutturazione dell’idea di conoscenza aprendo sempre più la strada al crescente
facilismo negli studi. D’altra parte la somministrazione di test sulle competenze specialistiche, specie se i
risultati fossero collegati all’attribuzione del FFO, potrebbe comportare da parte degli Atenei e dei docenti
universitari resistenze anche maggiori rispetto ai test di competenze trasversali.
Una posizione equilibrata consiste nell’ottenere che la qualità delle conoscenze e delle competenze
specialistiche possedute dai laureandi, opportunamente intrecciate alle competenze trasversali, diventi una
variabile cruciale per la stima della qualità dell’apprendimento nei diversi corsi di studio, aggregati per
classi, come proposto dall’Università di Bologna (v. sito ANVUR, 8 giugno 2012). Di conseguenza, va
fatto ogni sforzo affinché diventi effettivamente operativa nel meccanismo dell’autovalutazione la proposta
dell’ANVUR, illustrata nel documento B dell’AVA, di combinare a un test di generic skill unico per tutte le
sedi, a cura dell’ANVUR, alcuni test di carattere specialistico a cura degli Atenei, di concerto con
l’ANVUR. Tuttavia, la maturazione di questi due diversi tipi di test , tanto nei prodotti esistenti sul
mercato, quanto nella consapevolezza del mondo accademico, non è la stessa e questo spiega perché, allo
stato attuale, solo la partecipazione al test generalista da parte delle Università è criterio di accreditamento
periodico, secondo l’impostazione dell’ANVUR; allo stesso tempo e per identici motivi, sono oggetto di
valutazione periodica delle attività formative, accanto ad altri 22 indicatori, solo gli esiti dei test di
competenza trasversale o generalista. Ma su un orizzonte più lungo si auspica che ai fini dei requisiti per
l’accreditamento periodico, sia obbligatorio che almeno una quota congrua dei laureandi sia dagli Atenei
sottoposta, nei corsi di studio opportunamente aggregati per classi, a test di tipo specialistico, oltre che al
test generalista. A lungo termine, si auspica inoltre che anche gli esiti dei test specialistici siano tenuti in
considerazione ai fini della valutazione periodica delle attività formative.
Molti problemi nel campo dei test specialistici devono essere nel breve termine affrontati e risolti,
una volta affermata l’importanza di trovare accordi, area per area, classe per classe, all’interno di una stessa
Università e fra Università differenti, su opportuni quadri di riferimento di competenze specialistiche, al
fine di promuovere la costruzione di un sistema di strumenti (prove strutturate) grazie ai quali ottenere
indicatori appropriati sui risultati dell’ apprendimento.
Grazie a tali strumenti gli studenti e i docenti universitari potrebbero discutere concretamente gli
obiettivi e i contenuti degli insegnamenti e dei corsi di studio. Inoltre i responsabili dei corsi potrebbero
confrontare i risultati ottenuti tra diversi Atenei, in diversi Paesi. Questo metterebbe in evidenza l’utilità
della valutazione in primo luogo per il miglioramento continuo dello studio e dell’insegnamento.
Inizialmente l’utilizzazione delle prove sarebbe volontaria (probabilmente i migliori fra gli Atenei
e al loro interno fra i Dipartimenti sarebbero subito interessati) e avrebbe lo scopo di mettere a punto e
tarare gli strumenti, oltre che di fornire elementi utili per l’autovalutazione e la programmazione dei corsi di
studio. Nel caso che, almeno in alcune aree e coinvolgendo un certo numero di Atenei, si riuscisse
effettivamente a elaborare misure significative, di validità condivisa, delle competenze specialistiche
insieme a quelle trasversali, le prove potrebbero essere estese e i risultati potrebbero con maggiore facilità
essere adottati nell’intero sistema universitario. L’acquisto di test specialistici in ambito internazionale
avrebbe il pregio della rapidità di attuazione e della sicura possibilità di comparazione con altri sistemi.
D’altra parte, una delle motivazioni principali per la realizzazione delle prove è il loro uso per il
57
miglioramento continuo da parte dei diversi soggetti interessati, ma tale uso richiede la condivisione a
livello degli Atenei e dei docenti, nonché la disponibilità di molti esempi pubblici di prove, cose che non è
detto si ottengano (o che si ottengano rapidamente) acquistando le prove.
In estrema sintesi ecco alcune iniziative che si propongono per il breve periodo:
Almeno per alcune aree interessate, coinvolgendo alcuni Atenei e associazioni scientifiche,
costituire gruppi di lavoro, che individuino un insieme di macro competenze disciplinari, di
carattere fondamentale, previste come competenze specialistiche di riferimento in uscita dai corsi di
studio
Affidare a gruppi di lavoro misti (psicometristi e disciplinaristi) il compito di creare e validare item
e prove che misurino le competenze specialistiche di cui sopra, in collegamento anche con
opportuni generic skills. Nella costruzione delle prove si dovrebbe cercare di valutare dimensioni
misurate anche in test analoghi utilizzati in altri Paesi per consentire confronti internazionali (i test
GRE e ETS proficiency profile sono buoni esempi di strumenti consolidati che si possono utilizzare
in prima battuta). Ove possibile si dovrebbero instaurare specifiche collaborazioni con altri Paesi.
Già nel 2013, quando un gruppo di Università autoselezionate sottoporrà i propri laureandi di tutte
le sue Facoltà a un test generalista , consentire che qualche dipartimento in esse, se lo desidera,
sperimenti anche un test specialistico da acquisire sul mercato o da produrre ad hoc, purché esso sia
lo stesso in analoghi dipartimenti di altre Università e tale test sia considerato scientificamente
valido e sia frutto di una condivisione fra discipline e sedi diverse. Esistono in tal senso interessi
provenienti dalle aree di matematica, fisica e ingegneria. Questo potrebbe arricchire il senso stesso
della sperimentazione del test generalista, nella misura in cui si esaminassero le correlazioni sugli
stessi studenti sottoposti a entrambi i tipi di test (generalista e specialistico).
A partire dal 2014, una volta conclusa una prima fase sperimentale, si potrebbe inserire fra i criteri
premiali di valutazione periodica il numero di corsi di studio aggregati in classi in cui un test
specialistico è sottoposto ad almeno il 50% dei corrispondenti laureandi, purché lo stesso test
specialistico sia adottato in almeno altre 10 classi analoghe di altre 10 Università.
58
UNDICESIMO P1PP Finanziamenti privati di un test di generic skill per l’Università italiana: ipotesi
di co-finanziamento Ministero-Fondazioni
Annamaria Poggi* con Fiorella Kostoris
Le convinzioni su cui si fonda questo paper sono fondamentalmente due, l’una all’altra collegate. La
prima è che l’introduzione di test volti a misurare le abilità dei laureandi debba diventare una costante del
sistema in quanto strumento che, con altri, possa essere utilizzato per misurare la qualità dell’offerta
formativa delle nostre università. La seconda è che certamente l’aspetto della qualità dell’offerta formativa
che si riverbera sulle competenze trasversali dei laureati è un obiettivo che il sistema universitario condivide
con almeno altri due attori: il sistema industriale e quello delle Fondazioni bancarie. Tralasciando il primo
che potrebbe avere obiettivi “partigiani” o comunque collegati a specifiche aree di sviluppo della conoscenza
occorrerebbe, invece, fermare la propria attenzione sul secondo, molto più di quanto finora si è fatto. E’
indubbio, infatti, che nel nostro Paese la cultura di un sostegno privato al sistema universitario da parte delle
Fondazioni bancarie è molto arretrata poiché su di essa pesa una pregiudiziale ideologica molto forte e,
soprattutto, la falsa convinzione che un sistema è pubblico solo se è interamente finanziato dallo Stato.
In realtà il sistema delle Fondazioni bancarie è, per quanto ci riguarda particolarmente interessante
almeno per due motivi. In primo luogo perché tutte le 88 Fondazioni attualmente esistenti hanno tra i loro
scopi il finanziamento (a vario titolo) all’istruzione scolastica e universitaria. In secondo luogo perché esse
coprono l’intero territorio italiano e, attraverso l’ACRI, potrebbero diventare un unico interlocutore
dell’ANVUR.
Nel 16° Rapporto annuale dell’ACRI, come in quelli precedenti, viene confermato che tra i 21 settori
di intervento ammessi dalla legge, 7 sono quelli su cui si concentra la maggior parte delle erogazioni delle
Fondazioni. L’istruzione superiore universitaria si colloca al quarto posto (dopo l’arte e le attività culturali,
l’assistenza sociale e la ricerca) per investimenti. I soggetti beneficiari di tali erogazioni debbono essere
sempre soggetti che perseguono finalità non lucrative di pubblico interesse. Tra questi, sulle stime effettuate,
nell’ultimo Rapporto il 14, 6% è stato rivolto a enti pubblici non territoriali tra cui scuole, università, ecc…
Nel Rapporto si dice altresì che una quota “stabile” è destinata alle amministrazioni centrali del settore in cui
si investe. Sempre nel 16° Rapporto si da conto di un tipo di iniziative che hanno ricevuto dall’ACRI un forte
impulso negli ultimi anni. Si tratta di iniziative realizzate in concorso tra Fondazioni di origine bancaria in
una prospettiva di interventi di sistema coordinati che si sviluppano in un orizzonte pluriennale. Si tratta di
progetti di ampio respiro, di valenza spesso nazionale, rispetto ai quali l’approccio comune si presenta come
un fattore di maggior successo oltreché di efficienza e razionalizzazione degli interventi: dove impegni
separati di più soggetti sullo stesso problema esporrebbero al rischio di frammentazione e dispersione delle
utilità prodotte. Per quanto riguarda il settore Istruzione superiore, il Rapporto sottolinea che vi operano con
investimenti 83 delle 88 Fondazioni, sicuramente le maggiori 5 e cioè: Compagnia di San Paolo, Fondazione
Cassa di risparmio, Monte dei Paschi di Siena e Fondazione Verona e Belluno.
Sul punto si ritiene utile riportare il seguente estratto (Pagg. 16/17):
“ Per quanto riguarda gli interventi nella formazione universitaria le Fondazioni si pongono soprattutto
nell’ottica di sostenere l’istruzione specialistica di eccellenza. Favorire quindi un più ampio accesso
all’istruzione universitaria, con particolare attenzione alle aree e alle fasce più deboli, e sostenere il
miglioramento dell’offerta didattica, diventano priorità assolute di intervento. Alcune Fondazioni hanno
scelto di operare nell’ambito dell’innovazione e delle nuove tecnologie, sapendo che la rapida diffusione dei
media pone alla scuola e alle università la sfida di utilizzo dei nuovi strumenti. Ecco quindi la fattiva
collaborazione delle Fondazioni con le istituzioni scolastiche e universitarie, nella convinzione che il
processo formativo non possa prescindere dal contributo fornito dalle nuove tecnologie, per la capacità
59
delle stesse di ampliare le opportunità, anche favorendo il superamento delle problematiche connesse alle
disabilità di tipo intellettivo, motorio o di linguaggio, e delineare più efficaci strategie di conoscenza. Un
ulteriore terreno di impegno delle Fondazioni, particolarmente significativo in presenza dell’attuale crisi
economica delPaese, è quello delle attività formative che preparino e orientino in modo più specifico al
mondo del lavoro. Puntare, infatti, sulla formazione professionale dei giovani, sviluppando competenze
adeguate alle esigenze della società e tali da favorire l’accesso ai settori produttivi, attiene a una peculiare
linea strategica delle Fondazioni che individua nell’investimento sulle nuove generazioni un essenziale
presupposto per qualunque ipotesi di soluzione della crisi economica di oggi, e il miglior viatico per il
miglioramento del tessuto sociale e civile della comunità. Anche nel 2010 il settore Educazione, Istruzione e
Formazione si conferma al quarto posto nella graduatoria generale per importi assegnati, con 148,2 milioni
di euro (8,5% in meno del 2009) e 4.252 interventi. Come evidenziato nella Tab 4.7, l’Istruzione superiore
(comprendente l’istruzione universitaria e para-universitaria e le specializzazioni post-universitarie), si
attesta al primo posto nella graduatoria dei comparti interni con il 37% dei contributi erogati e l’11,6%del
numero di interventi (erano 28,9% e 13,8% nel 2009). Il comparto segna un progresso molto significativo
rispetto al 2009 facendo registrare un incremento molto consistente anche in valore assoluto (da 46,8 a 54,9
milioni di euro), ancor più significativo in quanto in controtendenza rispetto all’andamento generale del
settore (a dimostrazione della valenza anticongiunturale che le Fondazioni attribuiscono all’investimento in
alta formazione)”.
Dunque, come si potrebbe procedere?
L’ANVUR potrebbe proporre all’ACRI un progetto di sviluppo del sistema universitario attraverso il co-
finanziamento di azioni tese al miglioramento dell’offerta formativa, all’interno delle quali collocare anche i
test di competenze generaliste, oltre che specialistiche.
60
DODICESIMO P1+PP Chi e quanti sono i “laureandi” cui far affrontare il test di generic skill
Fiorella Kostoris e Alessio Ancaiani.
Si possiedono evidenze di tre tipi sulle quali basare l’informazione sul numero di “laureandi” della
triennale, al netto di coloro che frequentano i corsi abilitanti (nelle materie sanitarie), cui eventualmente
aggiungere gli studenti a metà percorso dei corsi a ciclo unico. Tali dati esistono sia per l’Italia nel suo
complesso, sia per le varie Università, sia per quel loro sottoinsieme che, attualmente sembra con più
probabilità essere candidato alla sperimentazione del 2013. A oggi l’Anagrafe nazionale degli studenti
riporta per l’anno accademico 2010-2011 i dati delle Tabelle 1,2,3, ma sono in corso integrazioni da parte di
quegli Atenei (come la Sapienza di Roma) o di quei corsi di studio che non hanno ancora trasmesso al
CINECA le loro informazioni (pur già esistenti nella forma richiesta).
Il primo data set (Tabella 1) illustra il numero di CFU di base e caratterizzanti, minimi indispensabili
per classe, a norma dei DDMM 16 marzo 2007 (attuativi del DM 270/2004).
Il secondo data set (Tabelle 2 e 2 bis) individua la distribuzione per anni di iscrizione degli studenti
che hanno completato nelle Università e nelle loro classi e Facoltà gli effettivi CFU di base e
caratterizzanti (questi ultimi, ovviamente, sono in numero molto superiore nei corsi a ciclo unico).
Il terzo data set (Tabelle 3 e 3 bis) riguarda la distribuzione per anni di iscrizione degli studenti che
hanno completato nelle Università e nelle loro classi e Facoltà almeno 90 o almeno 120 CFU di base
e caratterizzanti.
Un’analisi attenta di queste Tabelle induce a scegliere come “laureandi”, ai fini della somministrazione del
test generalista, la popolazione formata dai seguenti individui:
a. se iscritti al ciclo triennale, debbono obbligatoriamente partecipare al test tutti coloro che hanno
acquisito tutti i CFU di base e caratterizzanti previsti dai loro corsi di studio e si trovano al IV°
anno o in un precedente anno di iscrizione universitaria; possono partecipare gli altri studenti,
iscritti ad anni successivi, che abbiano acquisito tutti i CFU di base e caratterizzanti previsti dai
loro corsi di studio; in ogni caso, per il requisito di accreditamento periodico dei corsi e delle
sedi non può partecipare al test meno del 50% degli studenti di ogni corso di studio che abbiano
acquisito tutti i CFU di base e caratterizzanti, mentre nella valutazione periodica il migliore 50%
(il miglior 75%) del totale degli studenti dell’Università, aventi queste caratteristiche di
acquisizione dei CFU di base e caratterizzanti, deve nel test superare la mediana nazionale per
avere diritto al bonus aggiuntivo ( al superbonus aggiuntivo) del FFO;
b. se iscritti al ciclo unico, debbono obbligatoriamente partecipare al test tutti coloro che hanno
acquisito 120 CFU di base e caratterizzanti previsti dai loro corsi di laurea magistrale a ciclo
unico e si trovano al IV° anno o in un precedente anno di iscrizione universitaria; in ogni caso,
per il requisito di accreditamento periodico dei corsi e delle sedi non può partecipare al test meno
del 50% degli studenti di ogni corso di laurea magistrale a ciclo unico che abbia acquisito 120
CFU di base e caratterizzanti, mentre nella valutazione periodica il migliore 50% (il miglior
75%) del totale degli studenti dell’Università, aventi queste caratteristiche di acquisizione dei
CFU di base e caratterizzanti, deve nel test superare la mediana nazionale per avere diritto al
bonus aggiuntivo ( al superbonus aggiuntivo) del FFO.
I “laureandi” possono accedere al test una sola volta nel ciclo triennale e una sola volta a metà percorso.
Uno studente che abbia partecipato al test è eliminato dal computo successivo del totale della popolazione
studentesca coinvolta nel test stesso. L’identificazione del numero di “laureandi” in ogni corso di studio e in
ogni Università deve riferirsi all’1 di aprile di ogni anno. Per la sperimentazione del 2013, si suggerisce di
raggiungere quote di studenti simili, ma non necessariamente identiche a quelle qui individuate, mentre le
quote stesse qui indicate potranno essere riviste al termine della sperimentazione.
61
TAB 1 - DODICESIMO P1+PP Numero di Crediti in attività formative di base e caratterizzanti minimi previste dai DD.MM. 16 marzo 2007,
D.M. 5 aprile 2007 e D.M. 10 settembre 2010.
Classi di primo livello
Classe Descrizione Classe CFU minimi
Caratterizzanti
CFU
minimi
di
Base
Totale
L-1 Beni culturali 48 42 90
L-2 Biotecnologie 60 30 90
L-5 Filosofia 48 42 90
L-3 Discipline delle arti figurative, della musica, dello spettacolo
e della moda 66 24 90
L-4 Disegno industriale 52 32 84
L-6 Geografia 42 48 90
L-7 Ingegneria civile e ambientale 45 36 81
L-8 Ingegneria dell'informazione 45 36 81
L-9 Ingegneria industriale 45 36 81
L-10 Lettere 48 42 90
L-11 Lingue e culture moderne 66 24 90
L-12 Mediazione linguistica 30 60 90
L-13 Scienze biologiche 42 48 90
L-14 Scienze dei servizi giuridici 51 39 90
L-15 Scienze del turismo 60 30 90
L-16 Scienze dell'amministrazione e dell'organizzazione 48 42 90
L-17 Scienze dell'architettura 64 44 108
L-18 Scienze dell'economia e della gestione aziendale 62 28 90
L-19 Scienze dell'educazione e della formazione 50 40 90
L-20 Scienze della comunicazione 54 36 90
L-21 Scienze della pianificazione territoriale, urbanistica,
paesaggistica e ambientale 50 30 80
L-22 Scienze delle attività motorie e sportive 48 42 90
L-23 Scienze e tecniche dell'edilizia 45 36 81
L-24 Scienze e tecniche psicologiche 60 30 90
L-25 Scienze e tecnologie agrarie e forestali 60 30 90
L-26 Scienze e tecnologie alimentari 60 30 90
L-27 Scienze e tecnologie chimiche 50 40 90
L-28 Scienze e tecnologie della navigazione 45 45 90
L-29 Scienze e tecnologie farmaceutiche 60 30 90
L-30 Scienze e tecnologie fisiche 50 40 90
L-31 Scienze e tecnologie informatiche 60 30 90
L-32 Scienze e tecnologie per l'ambiente e la natura 54 36 90
L-33 Scienze economiche 62 28 90
L-34 Scienze geologiche 51 36 87
L-35 Scienze matematiche 30 45 75
L-36 Scienze politiche e delle relazioni internazionali 50 40 90
L-37 Scienze sociali per la cooperazione, lo sviluppo e la pace 48 42 90
L-38 Scienze zootecniche e tecnologie delle produzioni animali 60 30 90
L-39 Servizio sociale 54 36 90
L-40 Sociologia 63 27 90
L-41 Statistica 40 50 90
L-42 Storia 54 36 90
L-43 Diagnostica per la conservazione dei beni culturali 54 36 90
62
Classi a ciclo unico
Classe Descrizione Classe CFU minimi
Caratterizzanti
CFU
minimi
di
Base
Totale
LMG/01 Classe delle lauree magistrali in giurisprudenza 130 86 216
LM-4
c.u. Architettura e ingegneria edile-architettura (quinquennale) 100 56 156
LM-41 Medicina e chirurgia 180 60 240
LM-42 Medicina veterinaria 130 58 188
LM-46 Odontoiatria e protesi dentaria 180 60 240
LM-13 Farmacia e farmacia industriale 117 66 183
LM-85
bis Scienze della formazione primaria 166 78 244
63
Tab. 2 DODICESIMO P1+PP - Distribuzione per anno di iscrizione e caratteristiche degli studenti iscritti ai corsi di laurea triennali (ad esclusione degli iscritti ai corsi di laurea delle professioni sanitarie) nell’a.a.
2010/2011.
Dati relativi al totale delle università. I dati di Roma La Sapienza sono stati forniti in modo aggregato e sono relativi agli studenti iscritti a cds istituiti ai sensi del DM 270/04.
TAB 2 - Distribuzione per anno di iscrizione e caratteristiche degli studenti iscritti ai corsi di laurea triennali (ad esclusione degli iscritti ai corsi di laurea delle professioni sanitarie) nell'a.a. 2010/2011
Dati relativi al totale delle università. I dati di Roma La Sapienza sono stati forniti in modo aggregato e sono relativi agli studenti iscritti a cds istituiti ai sensi del DM 270/04
DATI RELATIVI AL TOTALE DELLE UNIVERSITA'
Anno di iscrizione
1 2 3 4 5 6 7 8 9 10 TOT
TOT Studenti per anni di iscrizione 277.905 203.200 170.807 116.625 76.223 55.442 40.641 30.396 23.465 22.582 1.017.286
di cui hanno conseguito un numero di crediti
in attività formative di base e caratterizzanti
almeno pari a quello previsto dal corso di
studi cui sono iscritti
747 4.023 32.821 21.861 11.546 6.909 4.318 2.813 1.766 1.502 88.306
% di colonna Anno di iscrizione
1 2 3 4 5 6 7 8 9 10 TOT
TOT Studenti per anni di iscrizione 100,0 100,0 100,0 100,0 100,0 100,0 100,0 100,0 100,0 100,0 100,0
% con almeno un numero di crediti in
attività formative di base e caratterizzanti
pari a quello previsto dal corso di studi cui
sono iscritti
0,3 2,0 19,2 18,7 15,1 12,5 10,6 9,3 7,5 6,7 8,7
% di riga Anno di iscrizione
1 2 3 4 5 6 7 8 9 10 TOT
TOT Studenti per anni di iscrizione 27,3 20,0 16,8 11,5 7,5 5,4 4,0 3,0 2,3 2,2 100,0
% con almeno un numero di crediti in
attività formative di base e caratterizzanti
pari a quello previsto dal corso di studi cui
sono iscritti
0,8 4,6 37,2 24,8 13,1 7,8 4,9 3,2 2,0 1,7 100,0
Anno di iscrizione
Numero di CFU 1 2 3 4 5 6 7 8 9 10 TOT
<90 22 662 3.263 2.561 1.445 831 456 258 217 156 9.871
tra 90 e 120 150 2.469 13.843 11.869 6.533 4.079 2.638 1.670 1.006 866 45.123
>120 573 640 14.936 7.284 3.548 1.999 1.223 884 543 480 32.110
Totale 745 3.771 32.042 21.714 11.526 6.909 4.317 2.812 1.766 1.502 87.104
Distribuzione per anno di iscrizione e CFU conseguiti degli studenti che hanno conseguito un numero di crediti in attività formative di base e caratterizzanti almeno pari a quello
previsto dal corso di studi cui sono iscritti (esclusi i dati di Roma "La Sapienza" che ha fornito i dati aggregati)
64
TAB 2bis - DODICESIMO P1+PP Distribuzione per anno di iscrizione e caratteristiche degli studenti iscritti ai corsi di laurea a ciclo unico nell'a.a. 2010/2011
65
TAB 3 - DODICESIMO P1+PP Distribuzione per anno di iscrizione e caratteristiche degli studenti iscritti ai corsi di laurea (triennali) nell'a.a. 2010/2011 (ad esclusione degli iscritti ai corsi di laurea delle professioni sanitarie)
DATI RELATIVI AL TOTALE DELLE UNIVERSITA'
Anno di iscrizione
1 2 3 4 5 6 7 8 9 10 TOT
TOT Studenti per anni di iscrizione 276.881 202.409 175.486 122.704 81.381 59.495 43.714 32.878 25.639 24.578 1.045.165
di cui con almeno 90 CFU base e
caratterizzanti 1.847 24.708 55.215 33.337 18.687 12.320 8.413 5.905 3.962 3.587 167.981
di cui con almeno 120 CFU base e
caratterizzanti 684 1.198 21.204 10.170 5.079 2.958 1.768 1.305 803 709 45.878
di cui con almeno 90 CFU 4.956 68.849 108.178 81.832 53.111 38.468 28.734 21.686 16.688 15.869 438.371
di cui con almeno 120 CFU 2.476 22.334 82.136 63.939 40.330 28.853 21.447 16.137 12.429 11.719 301.800
% di colonna Anno di iscrizione
1 2 3 4 5 6 7 8 9 10 TOT
TOT Studenti per anni di iscrizione 100,0 100,0 100,0 100,0 100,0 100,0 100,0 100,0 100,0 100,0 100,0
% con almeno 90 CFU base e
caratterizzanti 0,7 12,2 31,5 27,2 23,0 20,7 19,2 18,0 15,5 14,6 16,1
% con almeno 120 CFU base e
caratterizzanti 0,2 0,6 12,1 8,3 6,2 5,0 4,0 4,0 3,1 2,9 4,4
% con almeno 90 CFU 1,8 34,0 61,6 66,7 65,3 64,7 65,7 66,0 65,1 64,6 41,9
% con almeno 120 CFU 0,9 11,0 46,8 52,1 49,6 48,5 49,1 49,1 48,5 47,7 28,9
% di riga Anno di iscrizione
1 2 3 4 5 6 7 8 9 10 TOT
TOT Studenti per anni di iscrizione 26,5 19,4 16,8 11,7 7,8 5,7 4,2 3,1 2,5 2,4 100,0
di cui con almeno 90 CFU base e
caratterizzanti 1,1 14,7 32,9 19,8 11,1 7,3 5,0 3,5 2,4 2,1 100,0
di cui con almeno 120 CFU base e
caratterizzanti 1,5 2,6 46,2 22,2 11,1 6,4 3,9 2,8 1,8 1,5 100,0
di cui con almeno 90 CFU 1,1 15,7 24,7 18,7 12,1 8,8 6,6 4,9 3,8 3,6 100,0
di cui con almeno 120 CFU 0,8 7,4 27,2 21,2 13,4 9,6 7,1 5,3 4,1 3,9 100,0
66
TAB 3 bis - DODICESIMO P1+PP Distribuzione per anno di iscrizione e caratteristiche degli studenti iscritti ai corsi di laurea a ciclo unico nell'a.a. 2010/2011
DATI RELATIVI AL TOTALE DELLE UNIVERSITA'
Anno di iscrizione
1 2 3 4 5 6 7 8 9 10 TOT
TOT Studenti per anni di iscrizione 60.270 49.926 41.393 40.417 37.882 27.538 19.572 14.399 10.402 8.093 309.892
di cui con almeno 90 CFU base e caratterizzanti 2.408 10.343 15.803 20.075 21.260 15.086 10.161 6.972 4.264 2.911 109.283
di cui con almeno 120 CFU base e caratterizzanti 1.821 2.678 8.932 14.618 17.272 12.664 8.446 5.607 3.338 2.195 77.571
di cui con almeno 90 CFU 3.199 17.872 26.367 30.865 31.425 23.332 16.492 11.946 8.421 6.497 176.416
di cui con almeno 120 CFU 2.706 5.612 18.950 26.206 28.700 21.602 15.183 10.926 7.656 5.886 143.427
% di colonna Anno di iscrizione
1 2 3 4 5 6 7 8 9 10 TOT
TOT Studenti per anni di iscrizione 100,0 100,0 100,0 100,0 100,0 100,0 100,0 100,0 100,0 100,0 100,0
% con almeno 90 CFU base e caratterizzanti 4,0 20,7 38,2 49,7 56,1 54,8 51,9 48,4 41,0 36,0 35,3
% con almeno 120 CFU base e caratterizzanti 3,0 5,4 21,6 36,2 45,6 46,0 43,2 38,9 32,1 27,1 25,0
% con almeno 90 CFU 5,3 35,8 63,7 76,4 83,0 84,7 84,3 83,0 81,0 80,3 56,9
% con almeno 120 CFU 4,5 11,2 45,8 64,8 75,8 78,4 77,6 75,9 73,6 72,7 46,3
% di riga Anno di iscrizione
1 2 3 4 5 6 7 8 9 10 TOT
TOT Studenti per anni di iscrizione 19,4 16,1 13,4 13,0 12,2 8,9 6,3 4,6 3,4 2,6 100,0
di cui con almeno 90 CFU base e caratterizzanti 2,2 9,5 14,5 18,4 19,5 13,8 9,3 6,4 3,9 2,7 100,0
di cui con almeno 120 CFU base e caratterizzanti 2,3 3,5 11,5 18,8 22,3 16,3 10,9 7,2 4,3 2,8 100,0
di cui con almeno 90 CFU 1,8 10,1 14,9 17,5 17,8 13,2 9,3 6,8 4,8 3,7 100,0
di cui con almeno 120 CFU 1,9 3,9 13,2 18,3 20,0 15,1 10,6 7,6 5,3 4,1 100,0
top related