ragioni, criteri e modalita’ di realizzazione di · 1 epigrafe al mio professore di econometria,...

RAGIONI, CRITERI E MODALITA’ DI REALIZZAZIONE DI

UN TEST SULLE COMPETENZE EFFETTIVE DI CARATTERE

GENERALISTA DEI LAUREANDI ITALIANI

Fiorella Kostoris Padoa Schioppa

Consiglio Direttivo ANVUR

10 agosto 2012

1

EPIGRAFE

Al mio professore di Econometria, Frank Fisher, che ha provato a trasmetterci la quintessenza di

competenze trasversali quali il critical thinking, il problem solving e l’etica dei risultati quando, nel

consegnarci una volta al mese (difficili) take-home exams da risolvere nella successiva giornata, soleva

premettere 3 considerazioni per quel lasso temporale: in queste 24 ore – scriveva - 1) potete leggere

qualunque libro o articolo, purché non quello XY, che alla pagina Z dà le risposte esatte ai miei quesiti; 2)

potete parlare a chiunque, purché non ai vostri compagni di classe impegnati su queste identiche domande

(e io, che, ventitreenne, a quell’epoca frequentavo con mio marito lo stesso corso e condividevo con lui un

unico tavolo da lavoro in un minuscolo appartamento di una stanza, una efficiency - 1602 - di Westgate

nel campus di MIT , passavo 24 ore senza scambiare con lui nemmeno una parola); 3) infine - aggiungeva

- “ MY BEST HINT for you is THINK ABOUT” . Grazie Frank per non averci insegnato solo una materia

specialistica, sia pure fondamentale.

PREMESSA

Il Decreto Legislativo 19 del 27 gennaio 2012 (d’ora in poi chiamato AVA) porta nel titolo il

richiamo all’art 5, comma 1, lettera a della Legge 240 del 30 dicembre 2010, dove si ricorda la necessità

della “valorizzazione della qualità e dell’efficienza delle Università e conseguente introduzione di

meccanismi premiali nella distribuzione delle risorse pubbliche sulla base di criteri definiti ex ante, anche

mediante accreditamento periodico delle Università”. “Nell’esercizio della delega di cui al comma 1,

lettera a,- recita il comma 3 dello stesso art 5 - il Governo si attiene … ai seguenti principi e criteri

direttivi: a) introduzione di un sistema di accreditamento delle sedi e dei corsi di studio….b) introduzione

di un sistema di valutazione periodica basato su criteri e indicatori stabiliti ex ante, da parte dell’ANVUR,

dell’efficienza e dei risultati conseguiti…..c) potenziamento del sistema di autovalutazione….d)

definizione del sistema di valutazione e di assicurazione della qualità degli atenei in coerenza con quanto

concordato a livello europeo, in particolare secondo le linee guida adottate dai Ministri dell’istruzione

superiore dei Paesi aderenti all’area europea dell’istruzione superiore (EHEA)”.

E’ del tutto evidente che queste norme impongono di rapportare le nostre sull’accreditamento e la

valutazione periodica non solo a quelle definite dall’ENQA, e più in particolare alle Standard and

Guidelines (ESG) adottate in uno di quegli incontri dei Ministri sopra richiamati (a Bergen nel 2005),

bensì a tutte le DUE adottate in quell’anno in quella città (Conferenza dei Ministri Europei Responsabili

dell’Istruzione Superiore, 2005), e nei successivi incontri, di norma biennali, di quegli stessi Ministri, fino

all’ultimo di Bucarest dello scorso 26-27 aprile (Conferenza dei Ministri Europei Responsabili

dell’Istruzione Superiore, 2012). Questo è tanto più opportuno in quanto le ESG, centrate come sono

unicamente sulle procedure, diversamente dalle altre disposizioni europee prese a Bergen nel 2005 e poi

approfondite in norme europee nei 7 anni successivi, nulla hanno da suggerire riguardo agli indicatori e i

parametri necessari per l’accreditamento e la valutazione periodica.

IL COLLEGAMENTO TRA L’ACCREDITAMENTO INIZIALE E

L’ACCREDITAMENTO E LA VALUTAZIONE PERIODICA.

Tra i requisiti dell’accreditamento iniziale, l’ANVUR (documento “Autovalutazione,

Valutazione e Accreditamento del Sistema Universitario Italiano”, 24 luglio 2012, d’ora in avanti

chiamato ANVUR, 2012) ha posto l’obbligo di descrivere nella Scheda Unica Annuale del Corso di

Studio (SUA-CdS), fra gli obiettivi della formazione, anche i risultati di apprendimento attesi definiti

per aree di formazione omogenee, secondo i principi europei inizialmente adottati a Bergen dalla

2

Conferenza dei Ministri Europei Responsabili dell’Istruzione Superiore (2005), qui riportati verbatim (i

grassetti sono miei) nella traduzione italiana (p.2) : “Adottiamo il Quadro Europeo di riferimento per i

titoli dello Spazio Europeo dell’Istruzione Superiore (Overarching Framework for Qualifications- QF

EHEA) comprendente tre cicli, descrittori generici per ciascun ciclo basati sui risultati di apprendimento

attesi (learning outcomes) e sulle competenze acquisite…. Ci impegniamo ad elaborare entro il 2010

Schemi Nazionali di riferimento per i titoli (National Framework for Qualifications, NQF) che siano

compatibili con il Quadro Europeo e ad iniziare tale lavoro entro il 2007”. Secondo le disposizioni di

Bergen del 2005, nel valutare gli esiti dell’apprendimento, non basta, dunque, indicare le intenzioni dei

docenti o le aspettative delle strutture universitarie, bensì è necessario anche individuare gli effettivi

risultati osservati negli studenti (riprendendo così L. Harvey, 2004, che, oltre a citare Adam, 2004 –“

Learning outcomes are concerned with the achievements of the learner rather than the intentions of the

teacher” – offre una tassonomia pressoché completa della vastissima letteratura esistente nel suo “Analytic

Quality Glossary”; si veda in proposito anche Adam, 2008).

Già l’anno successivo esce, sulla scia della Conferenza di Bergen, la Raccomandazione

(2006/962/CE) del Parlamento Europeo e del Consiglio che chiede “che gli Stati Membri sviluppino

l’offerta di competenze chiave per tutti nell’ambito delle loro strategie di apprendimento”, inclusive delle

seguenti 8 (“comunicazione nella madrelingua, nelle lingue straniere, conoscenze in matematica e di base

in scienza e tecnologia, digitale, sociali e civiche, capacità di imparare a imparare, spirito di iniziativa e

imprenditorialità e consapevolezza ed espressione culturale”. Tali concetti sono più volte richiamati

nell’UE per esempio nella Relazione congiunta 2010 del Consiglio e della Commissione sull’attuazione

del programma di lavoro “Istruzione formazione 2010” (2010/C117/01 p.2), dove si afferma che

“l’istruzione e la formazione iniziali dovrebbero favorire lo sviluppo di queste competenze

chiave…L’istruzione e la formazione per gli adulti dovrebbero….sviluppare e aggiornare le competenze

chiave lungo tutto l’arco della vita”. Il che dunque collega strettamente, nell’impostazione europea, la

formazione scolastica, quella universitaria e quella permanente.

Ma è solo nel 2008 che i descrittori generici adottati a Bergen nel 2005, inizialmente e

parzialmente elaborati nel 2004 da un gruppo di 21 esperti della Joint Quality Initiative (più noti con il

nome di Descrittori di Dublino), vengono per esteso e compiutamente declinati nelle norme europee. Nella

Raccomandazione 2008/C111/01 del Parlamento Europeo e del Consiglio (cfr Allegato II, riguardo a

EQF), sono infatti illustrate le “conoscenze, le abilità, le competenze” corrispondenti a 8 livelli di

apprendimento volti a descrivere il Quadro Europeo delle Qualifiche (European Qualifications

Framework EQF). Per semplicità si riportano dal C111 (p.6) le “conoscenze, abilità, competenze”

associate al livello 6, corrispondente all’italiano ciclo triennale universitario. “I risultati

dell’apprendimento relativi al livello 6, corrispondente all’apprendimento al livello 6 del Quadro

Europeo delle Qualifiche, sono: conoscenze avanzate in un ambito di lavoro o di studio che

presuppongano una comprensione critica di teorie e principi (critical thinking, n del r); abilità avanzate che

dimostrino padronanza e innovazione necessarie a risolvere problemi complessi e imprevedibili in un

ambito specializzato di lavoro o di studio (problem solving, n del r); competenze nel gestire attività o

progetti tecnico/professionali complessi assumendo la responsabilità di decisioni in contesti di lavoro o di

studio imprevedibili e nell’assumere la responsabilità di gestire lo sviluppo professionale di persone e

gruppi (decision making, n del r)”. Si raccomanda agli Stati Membri (p.3) “di rapportare i loro sistemi

nazionali delle qualifiche (NQF) al Quadro Europeo delle Qualifiche QF-EHEA, entro il 2010….e di

adottare misure affinché entro il 2012 tutti i nuovi certificati di qualifica, i diplomi…rilasciati dalle

autorità competenti contengano un chiaro riferimento – in base ai sistemi nazionali delle qualifiche –

all’appropriato livello del Quadro Europeo”.

3

Oggi la quasi totalità dei Paesi dell’UE ha implementato in modo efficace questa

Raccomandazione con un NQF adeguatamente rapportato al QF-EHEA; non ancora l’Italia, come

riconosciuto dalla bozza governativa a circolazione limitata del dicembre 2011, predisposta dal Punto

Nazionale di Coordinamento , sul “Rapporto di Referenziazione delle Qualificazioni al Quadro Europeo

EQF” (a p. 81 si trova esplicitamente “considerata l’assenza, al momento, di un esplicito e cogente

Quadro Nazionale delle Qualifiche nel nostro Paese”). Questione d’altronde già ben nota alle Agenzie di

monitoraggio europeo, quali il CEDEFOP, che l’ha esposta nell’ottobre 2011 trattando del “Development

of National Qualification Frameworks in Europe” (CEDEFOP, 2011 a). L’attuale governo tecnico

italiano, tuttavia, forse perché particolarmente consapevole delle lacune e delle opportunità nonché delle

carenze europee in cui versano le nostre Università, sembra deciso ad adeguarsi velocemente alle sopra

ricordate linee guida adottate nello Spazio Europeo dell’Istruzione Superiore, come indica la recente

Legge 28 giugno 2012, n. 92 di “riforma del mercato del lavoro in una prospettiva di crescita”. Infatti, in

particolare i commi 51-61 e 64-68 dell’art 4 sull’apprendimento permanente di tale Legge Fornero si

ispirano proprio allo spirito generale e ad alcuni dettami specifici delle conclusioni dei 47 Ministri

dell’Istruzione Superiore presenti a Bucarest nel 2012, particolarmente quando questi dichiarano (p. 3) che

“per consolidare EHEA è necessaria una implementazione significativa dei risultati effettivi

dell’apprendimento. Lo sviluppo, la comprensione e il pratico utilizzo dei risultati effettivi

dell’apprendimento sono cruciali per il successo degli ECTS….per il QF e per l’assicurazione della

qualità… Chiediamo che nelle istituzioni si stabilisca un più forte legame fra i crediti allo studente e gli

esiti dell’apprendimento, da un lato, e i carichi di lavoro, dall’altro, e che si includa l’effettivo

conseguimento dei risultati dell’apprendimento nelle procedure valutative”.

Di fatto, nel dicembre 2010 in extremis, il MIUR sembra far proprie le linee guida esplicitate in

EHEA nel 2005, nel 2006 e nel 2008, sopra menzionate, con un testo (MIUR, 20 gennaio 2011, “Il Quadro

dei Titoli Italiani”), nel quale Qualifications è tradotto come Titoli e nel quale i 3 descrittori

dell’apprendimento relativi all’italiano ciclo triennale, sopra richiamati nella versione ufficiale della

Raccomandazione 2008/C111/01 (critical thinking, problem solving, decision making), divengono così

esposti (p.7). “I titoli finali del I ciclo possono essere conferiti a studenti che: 1) abbiano dimostrato

conoscenze e capacità di comprensione in un campo di studi di livello post secondario …che,

caratterizzato dall’uso di libri di testo avanzati, include anche la conoscenza di alcuni temi di avanguardia

nel proprio campo di studi; 2) siano capaci di applicare le loro conoscenze…e possiedano competenze

adeguate sia per ideare e sostenere argomentazioni che per risolvere problemi nel proprio campo di studi;

3) abbiano la capacità di raccogliere e interpretare i dati…ritenuti utili a determinare giudizi autonomi,

inclusa la riflessione su temi sociali, scientifici o etici; 4) sappiano comunicare…a interlocutori specialisti

e non specialisti; 5) abbiano sviluppato quelle capacità di apprendimento che sono loro necessarie per

intraprendere studi successivi con un alto grado di autonomia”. Questa altro non è che la traduzione

italiana esatta degli originari Descrittori di Dublino del 2004, cioè di 7 anni prima, non della loro

rielaborazione nelle Raccomandazioni europee del 2006 e del 2008. Questa è la ragione per cui,

correttamente il Centro Europeo CEDEFOP, ancora nella sua “Nota Informativa” del novembre 2011

(CEDEFOP, 2011b, pp. 1-3), nel monitorare “lo sviluppo e l’attuazione dei NQF in 34 Paesi, inclusi i 27

dell’Unione Europea”, ribadisce che “28 Paesi stanno sviluppando o hanno sviluppato NQF completi,

estesi a tutti i tipi e livelli di qualifiche. La Repubblica Ceca, l’Italia, l’ex Repubblica jugoslava di

Macedonia e il Liechtenstein devono ancora decidere l’estensione e l’architettura dei loro quadri… Tutti i

Paesi utilizzano un approccio basato sui risultati dell’apprendimento per definire i descrittori dei livelli”.

Giustamente G. Luzzatto (2012) nota che in Italia “negli anni scorsi le Università per far sopravvivere

l’offerta formativa sono state costrette a occuparsi del soddisfacimento di requisiti meramente

burocratici….La modifica necessaria è una rivoluzione copernicana e in ogni ambiente si sono sempre

manifestate in circostanze analoghe permanenze di concezioni tolemaiche”.

4

Pur nei suoi limiti, conviene, tuttavia, nel definire i criteri e i requisiti per l’accreditamento

iniziale e periodico, far riferimento all’impostazione del MIUR (2011),come appunto stabilito dall’

ANVUR (2012), non solo perché essa è collegata a norme e prassi già operative nelle nostre Università

(per esempio, l’art 1, comma 7, del Decreto del MIUR 16 marzo 2007 – G.U. 6 luglio 2007, n 155 -,

esplicitamente impone che “nel definire gli ordinamenti didattici dei corsi di laurea, le Università

specifichino gli obiettivi formativi in termini di risultati di apprendimento attesi con riferimento al sistema

dei descrittori adottato in sede europea”), ma anche perché nei 5 Descrittori di Dublino (2004) sopra

evocati dal MIUR (2011) vi è in nuce almeno la duplice, importante distinzione (poi approfondita nelle

norme europee prima citate) fra gli esiti, sia attesi, sia acquisiti, dell’apprendimento universitario tanto di

tipo specialistico (l’1 e il 2 sulle conoscenze teoriche e applicate, con problem solving, in un campo di

studi), quanto di tipo generalista, talora chiamati generic o soft skills (dal 3 al 5), in particolare il critical

thinking (3), l’ability to communicate (4), il learning to learn. Perciò l’ANVUR (2012) ha posto

all’interno del capitolo F.2 dedicato all’ “accreditamento periodico delle sedi e dei corsi di studio

universitari” una sezione (F.2.4) riguardante gli “ulteriori criteri, indicatori e parametri per

l’accreditamento periodico delle sedi e dei corsi di studio”, inclusivi di quelli (F.2.4.1) concernenti

“gli esiti degli apprendimenti effettivi”.

Dare piena attuazione agli obiettivi del MIUR (2011) è rilevante non solo per soddisfare i requisiti

di trasparenza, utili alla mobilità interspaziale e intersettoriale e all’occupazione dei giovani laureati

(perciò più volte richiamati nelle norme, a esempio nel DM 17/2010), ma anche per favorire scelte più

consapevoli in tutti gli stakeholders , come suggerito da molti, da ultimo da C. Barone(2012) fra gli

studenti finalmente informati degli esiti in termini di apprendimento previsti ed effettivi dei loro studi, fra

i datori di lavoro in cerca di competenze non adeguatamente finora illustrate dai titoli e dai diplomi

universitari, fra i responsabili scientifici e istituzionali delle strutture universitarie, tesi al

miglioramento dell’offerta formativa.

LE BEST PRACTICES NEI TEST DI COMPETENZE GENERALISTE

Per il momento, nelle Università italiane esistono solo alcune buone prassi sulla enunciazione

degli esiti di apprendimento generalista atteso, che il sito nostrano del Bologna process invita a seguire.

Fra queste viene per esempio segnalata la declinazione che dei 5 Descrittori di Dublino, tradotti dal MIUR

(2011), fa la Facoltà di Economia dell’Università di Padova. Non c’è dubbio che tali buone pratiche

saranno presto estese alla generalità dei nostri Atenei, dati i requisiti per l’accreditamento iniziale stabiliti

dall’ANVUR (2012), come sopra ricordato.

Questa stessa Università di Padova, e altre a essa associate (quali Trento, Verona, Venezia), o altre

ancora in Italia, quali Bologna o alcune non statali (in primis la Bocconi e la LUISS) o per altri versi la

Normale di Pisa, si distinguono ancora di più, secondo chi scrive, per la natura e la qualità dei test di

generic skill, attualmente applicati solo agli accessi alla Facoltà di Economia (e a qualche altra) nei

corsi triennali e magistrali (seguendo i dettami dell’art 6 del DM 270/2004 e successive modiche), ma che

un domani potrebbero trasformarsi in prototipi cui ispirarsi, con strumenti migliorativi, per valutare

attraverso test appropriati gli esiti effettivi di apprendimento generalista alla fine del corso triennale (e

magistrale) di tutte le Facoltà (o ex Facoltà). Tali esiti dovrebbero essere messi a confronto con quelli

dichiarati attesi dal corso di studio o dalla sede universitaria ed eventualmente con le competenze

generaliste manifestate dagli studenti al momento dell’accesso all’Università. Alternativamente,

soprattutto a breve termine, si potrebbe stimare il valore aggiunto prodotto dalla sede universitaria,

depurando i dati grezzi, rilevati nei risultati dei test sulle competenze trasversali, dall’influenza delle

variabili di contesto, socio-economiche individuali o ambientali, come meglio si preciserà nel prosieguo

di questo scritto (così per esempio fa l’OCSE con il test di generic skill di AHELO - Assessing Higher

5

Education Learning Outcome -, ma in AHELO si adottano in aggiunta o in alternativa, sempre su base

volontaria, anche due test di competenze specialistiche, nell’economia e nell’ingegneria, puntando

comunque a valutare non le nozioni bensì le capacità above content; cfr AHELO, 2012).

Più ancora, nel campo degli utili precedenti esistenti, mutatis mutandis, in Italia, bisognerebbe, da

un lato, ricordare i test per gli accessi alle Facoltà italiane a numero chiuso di Medicina e

Odontoiatria, Veterinaria e Architettura, di cui una metà può ritenersi di stampo generalista o piuttosto

di cultura generale, e, da un altro lato, menzionare le esperienze internazionali di test delle

competenze generaliste, che, pur con scopi diversi, si sono già maturate anche nel nostro Paese, come è

il caso dei test dell’OCSE PISA sui quindicenni ( cfr per esempio OECD 2012 a, con il recentissimo

“PISA 2012 Financial Illiteracy Framework”, 7 marzo 2012) e PIAAC sulla formazione permanente della

popolazione adulta (cfr www.oecd.org/piaac).

Ma le best practices straniere, da prendere in Italia in considerazione per il prossimo futuro,

nel campo dei test di competenze generaliste acquisite dagli studenti universitari, sono numerose e

numerose sono ormai le Nazioni che se ne servono da tempo – dal Brasile al Canada, dagli USA alla

Malesia, dal Messico all’Australia, da Hong Kong al Sud Africa; l’Europa in questa linea di frontiera non

è un’antesignana (D. Nusche, 2008), ma sta ora recuperando terreno soprattutto in alcuni Paesi

anglosassoni, scandinavi e in parte in Germania . Ne è consapevole lo stesso Presidente dell’ENQA, A.

Hopbach, quando (“Quality Assurance and Learning Outcomes”, ENQA Workshop Report 17, 2010, p.4,

in Adamson et al, 2010) scrive “che un sondaggio dell’ENQA del 2008 … mostra un cambiamento

significativo all’interno dei sistemi educativi - da un focus sull’insegnamento a uno sull’apprendimento -.

Ma allo stesso tempo quel sondaggio rivela che gli esiti dell’apprendimento hanno solo iniziato a essere

centrali per l’Assicurazione della Qualità delle Agenzie della rete ENQA nelle procedure da esse adottate

circa la valutazione dei programmi e delle strutture universitarie”. Da quel momento si stanno

moltiplicando sia i seminari organizzati dall’ENQA sui learning outcomes (come quello di Dublino del

2012 su “Quality Assurance and Qualifications Frameworks: Exchanging Good Practices”), sia i loro

scritti sull’argomento (come l’ultimo ENQA Workshop Report 18, 2011 su “Quality Assurance in

Lifelong Learning”, in Bengoetxea et al, 2011).

Fra i test mondiali di generic skill per gli studenti universitari, il più diffuso e apprezzato (cfr in

Appendice il position paper NONO P1+PP) sembra essere quello del CLA (Council for Aid to

Education’s Collegiate Learning Assessment), adottato in 450 Università americane, oltre che in Irlanda, a

Hong Kong, in Colombia, a Portorico, in Tailandia , o meglio la sua versione più recente, integrata con

l’apporto di ACER e unificata per tutti i 9 Paesi partecipanti al Generic Skill Strand di AHELO

OCSE - Colombia, Egitto, Finlandia, Korea, Kuwait, Messico, Norvegia, Repubblica Slovacca, USA- :

l’obiettivo dichiarato è di riflettere la distribuzione fra gli studenti universitari delle competenze di

“critical thinking, analytical reasoning, problem solving, ability to communicate” (e non può sfuggire la

quasi totale coincidenza fra questi scopi e quelli del MIUR, 2011) . Ma hanno estesa diffusione e target

simili anche altri test quali il CRT (Critical Reasoning Test) dell’ACER australiano, lo SLE (Scholastic

Level Examination) di Wonderlic Inc., il MAPP dell’ETS di Princeton, il CAAP dell’Agenzia ACT, il

GSA del Governo australiano. Il “Test Validity Study Report” del settembre 2009, promosso dal FIPSE

(Fund for the Improvement of Postsecondary Education), nel mettere a confronto questi e altri test di

generic skill, per un totale di 13, trova che non solo esiste una forte correlazione fra i risultati delle

competenze trasversali accertate nei diversi test, ma in aggiunta che in tutti, salvo nel CAAP sulla

matematica, emergono competenze superiori alla fine rispetto all’inizio degli studi universitari. A

queste due indicazioni similmente giunge nel 2011 il Governo irlandese, dopo aver somministrato nel

2009 a un campione di circa 1000 studenti del primo ciclo universitario (all’ingresso e all’uscita)

contemporaneamente i primi 3 test sopra menzionati, concludendo pertanto (p.2) che “la conoscenza degli

http://www.oecd.org/piaac

6

esiti dell’apprendimento attraverso i test di generic skill è rilevante per l’implementazione del NQF

e per un’assicurazione della qualità orientata ai risultati effettivi dell’apprendimento”. Un’altra

esperienza europea degna di menzione è quella descritta dalla Nordic Quality Assurance Network in

Higher Education (Omar e Liuhanen, 2005), che ha eletto, fra le Università che partecipavano alla gara sul

migliore esempio di quality work fra i Paesi Nordici, il Danese CBS (EVA essendo la corrispondente

Agenzia esterna), perché (p. 63) esso si dimostra eccellente nell’“aiutare gli studenti a sviluppare le loro

competenze critiche, analitiche e di sintesi proprio mentre valuta le loro capacità di comunicare queste

abilità intellettuali di alto profilo”: il che illustra come anche l’autovalutazione e il contributo degli

studenti possano risultare preziosi ai fini descritti.

Fra le best practices straniere di test di generic skill, bisogna annoverare, poi, anche quelli non

rivolti agli studenti, bensì ideati dalle imprese multinazionali (cfr gli atti della conferenza organizzata

da Business International, “La mappatura delle competenze”, 11 maggio 2012) o dalle organizzazioni

produttive all’avanguardia nello scegliere chi assumere e chi promuovere. Solo queste strutture aziendali

sofisticate riescono infatti a soddisfare i bisogni universalmente riconosciuti dai datori di lavoro

come i più importanti (competenze trasversali, generaliste, non specifiche; cfr per esempio Wagner,

2008), attraverso metodologie appropriate gestite al loro interno: istruttivi da questo punto di vista

sono i test di competenze generaliste che da molti decenni usa il Foreign Office inglese per selezionare il

personale all’inizio e durante le diverse fasi della carriera. In Italia, fino a un recente passato, le imprese si

limitavano a lamentarsi del fatto di non trovare fra i prodotti dell’Università quelle competenze che loro

erano utili, tendendo perfino in molti casi a preferire studenti con minori titoli di studio ma più giovani e

pronti a imparare, attraverso la formazione nelle aziende, quanto a queste serviva. La Confindustria (cfr

“Appunti per la discussione: i nuovi laureati; cosa sappiamo della riforma del 3+2 e cosa vorremmo

sapere”, 5 marzo 2012 in Gentili 2012) ha ribadito di recente, con riferimento alla situazione italiana, che

“uno degli aspetti meno soddisfacenti è la scarsa capacità delle Università di differenziare l’offerta

formativa: generalista o professionalizzante?”. Causa forse non secondaria, secondo loro, del rapporto

subottimale di allineamento fra laureati e occupati, rilevato nel 2007 per l’Italia dalla Labour Force Survey

dell’Eurostat sulla popolazione di 25-34 anni (pari al 78,5%, tuttavia superiore alla media della UE a 27,

con il suo 75,3%). Oggi le piccole e medie imprese italiane riconoscono con maggiore lungimiranza i

loro bisogni di competenze generaliste e le domandano all’Università, che deve quindi essere più

capace che in passato a definirle e testarle. Lo testimonia per esempio uno studio della Fondazione Nord

Est, promosso dalla Camera di Commercio di Pordenone (cfr Girardi e Toschi, 2011, pp. 4-5), che chiede

“uno scambio virtuoso tra le imprese che affrontano i mercati emergenti….e l’Università che non di

rimando ma in termini proattivi può garantire un apporto conoscitivo utile ad alimentare i processi di

innovazione aziendale….con competenze nuove…riconducibili ai sistemi di supporto delle decisioni” .

GLI ULTERIORI INDICATORI DEFINITI EX ANTE PER L’ACCREDITAMENTO E

LA VALUTAZIONE PERIODICA

Come noto, l’art 5, comma 3 del Decreto Legislativo AVA afferma che “ l’accreditamento

periodico avviene con cadenza almeno quinquennale per le sedi e almeno triennale per i corsi di studio ed

è basato sulla verifica della persistenza dei requisiti…(iniziali, n del r), su ulteriori indicatori definiti ex

ante dall’ANVUR e sugli esiti della valutazione di cui agli articoli 9 e 10”, dove l’articolo 9 sul

“monitoraggio degli indicatori e l’accreditamento periodico”, ai fini qui illustrati, è rilevante soprattutto

perché per esso “l’ANVUR può avvalersi dell’attività degli esperti della valutazione… e programmare

accertamenti anche mediante visite in loco”, mentre l’articolo 10 sulla “definizione dei criteri e degli

indicatori” per la “valutazione periodica…dei risultati conseguiti dalle singole Università …e da

articolazioni interne nell’ambito della didattica e della ricerca” è fondamentale perché ribadisce (al comma

3) che tali “criteri e indicatori … traducono gli standard, le procedure e le linee guida adottate a

7

livello europeo in parametri oggettivi, volti a misurare in ogni momento l’efficienza e l’efficacia della

didattica e della ricerca messa in atto dai singoli Atenei e a stimolare la competitività e la qualità degli

stessi”; per il comma 6 dello stesso articolo 10, questi “criteri e indicatori sono oggetto di revisione

periodica con cadenza triennale al fine di renderli costantemente coerenti con le linee guida definite

a livello europeo…”, con la programmazione triennale del MIUR e con l’attività di monitoraggio

dell’ANVUR, che, a norma dell’articolo 3 del DPR 76/2010, “valuta la qualità dei processi, i risultati e i

prodotti dell’attività di ….formazione… anche con riferimento alle singole strutture”.

Pertanto, risulta chiaro perché, fra gli ulteriori indicatori e criteri definiti ex ante per

l’accreditamento e la valutazione periodica, l’ANVUR ritenga necessario inserire quelli atti a verificare

ex post l’esito effettivamente ottenuto nell’apprendimento dai laureandi, in forma specialistica per

ogni corso di studio o ogni classe o area disciplinare che li aggrega opportunamente, e in forma

generalista per ogni sede (e, in una certa misura, come si vedrà, anche per ogni corso). Mentre i test

sulle competenze specifiche non possono che essere diversi per corsi o classi o aree disciplinari, il test

generalista, per la sua stessa natura, deve essere eguale per tutti, come indicato nel position paper

PRIMO P1PP, illustrato in Appendice: “se quel che conta di più non è ciò che si impara, ma come si

impara e se tutti i sentieri sono in grado di portare, se percorsi in modo adeguato, alle competenze

trasversali desiderabili sopra evocate, divengono auspicabili prove standardizzate e trasversali, comuni a

tutte le aree”.

In ogni caso, l’apprendimento effettivo, tanto nella componente specialistica che nella

generalista, va confrontato con quello atteso. Vi devono venire coinvolti sia il sistema

dell’autovalutazione, sulla base di metodologie definite con il concorso dei Nuclei di valutazione, anche su

proposta delle Commissioni paritetiche docenti-studenti, tese a definire proposte migliorative in relazione

ai risultati ottenuti nell’apprendimento, da raccordare con quelle definite dall’ANVUR (articoli 12 e 13 del

Decreto Legislativo AVA), sia l’ANVUR stesso che, a norma degli articoli 5 e 9-11, è responsabile della

verifica. L’approccio più articolato, che pare meglio rispettare e potenziare l’autonomia degli Atenei, e che

insieme sembra più efficace e orientato ai desiderata degli stakeholders universitari, potrebbe essere

quello di lasciare ai professori dei corsi di studio, con la collaborazione di altri docenti della stessa e di

altre Università (italiane e straniere), l’individuazione dei test volti a valutare in modo ottimale e

coordinato fra sedi universitarie differenti gli esiti effettivi dell’apprendimento specialistico

(Descrittori di Dublino 1-2), confrontandosi, anche tramite visite in loco, con l’ANVUR su tali

strumenti di valutazione dell’efficacia della didattica, tenendo altresì conto dei tipi e della qualità

dell’occupazione ottenuti dai laureati (posti a confronto con le attese dichiarate dagli Atenei). Potrebbero

in tal senso essere di grande supporto per le nostre Università sia le proposte approfondite, espresse in “A

Tuning Guide to Formulating Degree Programme Profiles” (2010), sia i risultati del test AHELO di

learning outcome emersi fra gli studenti italiani delle Facoltà di Economia (più di un migliaio di

volontari fra i laureandi del primo ciclo), sia quelli osservati con lo stesso test in molte altre Facoltà di

Economia straniere, sia quelli concernenti svariate migliaia di laureandi delle Facoltà di Ingegneria

del mondo, tutte sperimentazioni iniziate dall’OCSE con Tuning-AHELO (2009) e in via di conclusione

nel dicembre 2012 (cfr OECD, 2012 b); sono infine da tenere in seria considerazione anche altre

esperienze internazionali in settori specialistici, di cui importante a livello europeo è quella in cui si

esprime l’accreditamento periodico in Germania attraverso l’Agenzia per l’ingegneria, l’informatica e

le scienze naturali, ASIIN , che tenta di allineare gli esiti nazionali effettivi dell’apprendimento moderno

a quelli rappresentati dai benchmark mondiali, indicati nei Quadri Nazionali delle Qualifiche, come più

volte illustrato da Iring Wasser, CEO di ASIIN, Presidente di CEEN, Vice Presidente di ENAEE e

EQANIE, Chairman di EURACE Label Committee, Direttore del Consiglio Direttivo di INQAAHE.

8

Invece l’esito degli apprendimenti di tipo trasversale o generalista (i soft skills dei Descrittori

di Dublino 3-5) dovrebbe essere verificato grazie a un appropriato test di generic skill dall’ANVUR

stesso. Viste l’ambizione e la complessità di tale compito, un comitato di 10 alti esperti della valutazione

presidierà e accompagnerà la loro implementazione almeno durante tutta una prima fase sperimentale,

che, con inizio immediato, si protrarrà fino alla fine del 2013. Tale comitato prenderà le mosse dalle

posizioni adottate da un iniziale gruppo di lavoro creato per un mese dall’ANVUR, con il compito di

dare risposte a una serie di quesiti urgenti preliminarmente loro richiesti; esso, in meno di un mese (fra il

5 giugno e il 2 luglio 2012), lo ha fatto con grande professionalità, approvando all’unanimità 12 linee

strategiche, illustrate in altrettanti position papers, che, essendo parte integrante del presente scritto,

sono riportati qui in Appendice e attribuiti ai 6 membri del gruppo di lavoro che li hanno specificatamente

redatti, oltre che ad alcuni coautori esterni.

Fra i temi vari discussi in Appendice vi sono quelli di carattere procedurale, per esempio su

quali siano, ai fini della sperimentazione di un test di generic skill, le azioni prioritarie da intraprendere nei

18 mesi a venire e con quale successione temporale (SECONDO P1PP) ; come si debba selezionare entro

il 31 dicembre 2012 con bandi di gara o altri meccanismi adeguati il produttore internazionale di un

siffatto test, rispondente ai requisiti dell’ANVUR, ma in grado di offrire qualche comparabilità

internazionale, e anche come si possano individuare, congiuntamente o disgiuntamente, le Società più

adatte alla traduzione del test, alla sua somministrazione prima in un piccolo focus group, con un

convenient sample, poi fra giugno e luglio 2013, dopo la validazione statistica e linguistica, in un

campione molto più esteso di Università autocandidate a partecipare alla sperimentazione in tutte le loro

classi o aree disciplinari, infine come si identifichino gli esperti o le strutture più capaci di procedere

all’analisi dei dati sui test (OTTAVO P1+PP); quali costi bisogna attendersi per tali attività nel prossimo

triennio, posto che la sperimentazione del 2013 con un test di generic skill dia segnali di robustezza e di

successo e suggerisca la continuazione nel tempo del medesimo approccio, consentendo così economie di

scala (TERZO P1+PP); quali siano le potenziali fonti di finanziamento pubblico e privato di tale rilevante

innovazione per la valutazione della didattica universitaria nel prossimo triennio (QUINTO P1PP e

UNDICESIMO P1+PP). Ma fra i temi riportati in Appendice vi sono anche quelli più centrati sui

contenuti strategici, per esempio su chi siano i laureandi da sottoporre al test generalista (DODICESIMO

P1+PP); come stimare attraverso i risultati osservati nei test individuali degli studenti tanto il livello delle

loro competenze trasversali quanto il valore aggiunto su esse creato dalle sedi universitarie (QUARTO

P1+PP) ; con quali strumenti l’ANVUR possa incentivare l’autovalutazione degli Atenei che volessero

ricorrere anche a test di carattere specialistico e come conseguire l’accordo fra essi rispetto a prodotti di

notevole valore qualitativo (DECIMO P1PP), soprattutto in quei corsi di studio o classi o aree disciplinari

in cui la maggioranza degli accademici pare desiderosa di introdurre tali test (come sembra accadere fra le

Società dei matematici) o in cui il mercato pare in tal senso particolarmente “demanding” (come sembra

succedere nel settore dell’ingegneria). In Appendice sono esposti, infine, temi di natura mista

(contenutistica e insieme procedurale), per esempio su come informare la comunità accademica e gli

altri stakeholders su tali ulteriori criteri di accreditamento basati per la prima volta nella storia del nostro

Paese sull’output e l’outcome, anziché sulle procedure e sugli input (SETTIMO P1PP) e su come formare

(SESTO P1PP) gli Institutional Coordinators -i coordinatori e responsabili locali dei test a livello di ogni

sede e classe, d’ora in avanti chiamati IC- e gli Scorers -SC- volti a valutare i risultati dei test a risposta

aperta con criteri scientifici, e uguali per tutti; obiettivo particolarmente importante, posto che gli SC

giudicheranno non i loro propri studenti, ma stocasticamente quelli di tutte le Università italiane coinvolte

nella sperimentazione, prima, e appartenenti all’universo degli Atenei, successivamente, venendo a loro

volta monitorati nella qualità dello scoring, essendo un 20% casuale della correzione delle loro risposte

corretto anche da un altro SC, sicché, in caso di eventuale, sistematica, differenza del giudizio sulla

risposta da parte di SC diversi, interverrebbero il Lead Scorer Nazionale (LSC) e il National Project

9

Manager (NPM), assistito dal National Project Office, tutti ugualmente da nominare e da formare. Ma,

come da circa 15 anni suggeriscono vari esperti del campo (cfr T. D. Erwin, 1997), le domande a risposta

aperta o “constructed- response”, più significative delle competenze individuali ma più difficili da

valutare, si combinerebbero presumibilmente con altre a risposta chiusa multipla o “multiple choice”, di

semplice e “neutrale” verifica anche per un computer.

Nell’anno accademico 2012-2013 e fino a fine 2013, a titolo sperimentale, questo test di

competenze generaliste non inciderebbe sul giudizio sull’accreditamento e sulla valutazione

periodica, né sulla distribuzione del FFO. Solo a partire dal gennaio 2014, se il test di generic skill

passasse i requisiti di robustezza necessari (come sembra accadere al test CLA di critical thinking et al.,

secondo le esperienze passate in vari Paesi e secondo le verifiche in corso su AHELO nell’OCSE, che le

concluderà tra circa un trimestre), esso entrerebbe in via permanente nel sistema dell’accreditamento e

della valutazione periodica italiana. Le precise percentuali di studenti rilevanti ai fini degli ulteriori criteri

di accreditamento e valutazione periodica, definiti nel successivo paragrafo, sarebbero in ogni caso

rivisitate alla fine della fase di sperimentazione; dopo questa verrebbe anche deciso se, quando e come

estendere ai laureandi delle magistrali gli indicatori “equivalenti”. Poiché gli ulteriori criteri 1) - 2), qui

proposti, presumibilmente costituiscono indicatori anticipatori del successo professionale e dell’

employability dei laureati nel futuro, fin da subito converrebbe combinare l’uso di questi test di

competenze trasversali e generaliste di responsabilità dell’ANVUR non solo con quelli specialistici di

responsabilità decentrata delle Università, sulla cui effettiva implementazione l’ANVUR vigilerà, come

sopra menzionato, ma anche con indicatori statistici desunti dai pareri dei laureati circa l’utilità della loro

laurea triennale a 3, 5, 10, 20 anni dall’acquisizione del titolo (cfr quanto proposto nella Conferenza dei

Ministri Europei Responsabili dell’Istruzione Superiore, 2012, e in Commission on the Future of Higher

Education, “A Test of Leadership: Charting the Future of Higher Education”, 2006); l’opinione degli

studenti nel corso degli studi è, infatti, indicativa solo della pur rilevante customers’ satisfaction,

non della rispondenza di tali studi ai loro bisogni nel mercato del lavoro, di cui nulla o quasi sanno in quel

momento, come evidenziato anche in un recente Tema di Discussione della Banca d’Italia (cfr. Braga et al,

2011), essendo questa peraltro parzialmente distorta dal valore legale del titolo di studio.

In quanto segue, viene presentato un qualche approfondimento esclusivamente sui temi, più

diffusamente descritti in Appendice, riguardanti le tre principali questioni strategiche affrontate dal gruppo

di lavoro istituito dall’ANVUR nel giugno scorso: chi sono i laureandi da sottoporre al test di generic skill

nella fase di sperimentazione che si concluderà nel dicembre 2013; come stimare il valore aggiunto

prodotto dalle Università sul livello delle competenze evidenziato da tale test; come promuovere già nella

fase sperimentale del 2012-2013 l’autovalutazione degli Atenei sulle competenze specialistiche attraverso

appropriati test.

CHI SONO I LAUREANDI DEL PRIMO CICLO UNIVERSITARIO DA SOTTOPORRE

AL TEST DI GENERIC SKILL

In un Paese come l’Italia dove gli studenti universitari talora presentano molti anni di ritardo al

compimento degli studi, e dove è purtroppo frequente la prassi di posticipare il superamento degli esami

più qualificanti ai fini del titolo da conseguire, non è facile definire correttamente e concretamente chi

siano i laureandi, soprattutto tenuto conto che un test su di essi deve essere programmato con un certo

anticipo e non può essere svolto in tempo continuo. Un insieme di simulazioni sull’Anagrafe degli

studenti, di cui alcune riportate nel TERZO P1+PP e soprattutto nel DODICESIMO P1+PP, ha indotto il

gruppo di lavoro “a scegliere come laureandi, ai fini della somministrazione del test generalista, la

popolazione formata dai seguenti studenti di ciascun corso di studio o classe che li aggrega, al netto di

quelli frequentanti i corsi abilitanti nelle professioni sanitarie:

10

a) se iscritti al ciclo triennale, debbono obbligatoriamente partecipare al test tutti coloro che

hanno acquisito tutti i CFU di base e caratterizzanti previsti dai loro corsi di studio e si trovano

al IV° anno o in un precedente anno di iscrizione universitaria; possono partecipare gli altri

studenti, iscritti ad anni successivi, che abbiano acquisito tutti i CFU di base e caratterizzanti

previsti dai loro corsi di studio; in ogni caso, per il requisito di accreditamento periodico dei

corsi e delle sedi non può partecipare al test meno del 50% degli studenti di ogni corso di

studio che abbiano acquisito tutti i CFU di base e caratterizzanti, mentre nella valutazione

periodica il migliore 50% (il miglior 75%) del totale degli studenti dell’Università, aventi

queste caratteristiche di acquisizione dei CFU di base e caratterizzanti, deve nel test superare

la mediana nazionale per avere diritto al bonus aggiuntivo (al superbonus aggiuntivo) del

FFO;

b) se iscritti al ciclo unico, debbono obbligatoriamente partecipare al test tutti coloro che hanno

acquisito 120 CFU di base e caratterizzanti previsti dai loro corsi di laurea magistrale a ciclo

unico e si trovano al IV° anno o in un precedente anno di iscrizione universitaria; in ogni caso,

per il requisito di accreditamento periodico dei corsi e delle sedi non può partecipare al test

meno del 50% degli studenti di ogni corso di laurea magistrale a ciclo unico che abbia

acquisito 120 CFU di base e caratterizzanti, mentre nella valutazione periodica il migliore

50% (il miglior 75%) del totale degli studenti dell’Università, aventi queste caratteristiche di

acquisizione dei CFU di base e caratterizzanti, deve nel test superare la mediana nazionale per

avere diritto al bonus aggiuntivo (al superbonus aggiuntivo) del FFO;

c) i laureandi, come sopra identificati ai punti a) e b), possono accedere al test una sola volta nel

ciclo triennale e una sola volta a metà percorso. Uno studente che abbia partecipato al test è

eliminato dal computo successivo del totale della popolazione studentesca coinvolta nel test

stesso. L’identificazione del numero di laureandi in ogni corso di studio e in ogni Università

deve riferirsi all’1 di aprile di ogni anno.” I laureandi risultanti complessivamente dal gruppo

degli studenti con le sopraddette caratteristiche, appartenenti al ciclo triennale o a metà

percorso del ciclo unico, sono nel seguito chiamati laureandi del primo ciclo universitario.

Così definiti, è bene sapere che nell’anno accademico 2010-2011 i laureandi del ciclo triennale

nelle Università italiane si trovano mediamente per più di 1/3 al terz’anno di iscrizione, per 1/4 al

quart’anno, per una percentuale del 5,2% nel biennio precedente e per una quota pari a 1/3 negli anni di

iscrizione successivi al quarto (quando è anche più difficile reperirli, non essendo essi presumibilmente

più regolarmente frequentanti). I numeri assoluti dei laureandi triennali italiani, così coinvolti nel test

generalista, sono perfettamente comparabili con quelli che nelle scuole secondarie affrontano in Italia le

prove INVALSI o sono soggetti al test PISA dell’OCSE sui quindicenni (ISTAT, “Annuario Statistico

Italiano 2010”, Roma 2011). Se fin dalla fase sperimentale si decidesse di sottoporre al test di generic skill

non solo i laureandi del ciclo triennale ( di cui al punto a), ma anche gli studenti a metà percorso dei corsi

a ciclo unico (di cui al punto b, che non sono propriamente laureandi), verrebbero aggiunti al test ulteriori

25-30.000 studenti, un numero che non dovrebbe spaventare gli Atenei con adeguate dotazioni

informatiche, tanto più che in alcuni di quei corsi già si effettuano test a metà percorso.

Per concludere con una sintesi di quanto sopra affermato, si suggerisce che:

1) per l’accreditamento periodico delle sedi e dei corsi di studio di primo ciclo universitario,

l’accreditamento è negato se le sedi universitarie e in esse ogni corso di studio o classe, al

netto di quelli abilitanti nelle professioni sanitarie, non fanno partecipare al test generalista

(di critical thinking et al. ) annualmente almeno il 50% dei loro laureandi, come sopra

definiti, con l’ obbligo del test da parte dei laureandi iscritti ai primi 4 anni di corso;

2) per la valutazione periodica delle sedi con corsi di studio di primo ciclo universitario,

11

la valutazione dell’Ateneo è positiva, se il risultato di almeno il 50% migliore dei suoi

laureandi supera nel test generalista di critical thinking et al. il livello del secondo

quartile medio nazionale; per conseguire una valutazione periodica ottima, cioè il

massimo livello, anche un ulteriore 25% dei laureandi di una sede universitaria deve

mediamente superare il livello del secondo quartile medio nazionale. Il valore soglia della

mediana nazionale (come di ogni altro centile) è numerico perché deriva dai punteggi

numerici assegnati alle risposte esatte dei test, essendo che tanto nei test a risposta chiusa

quanto in quelli a risposta aperta, c’è 1 punto per ognuna delle risposte corrette fino a un

totale di 40 (se 40 sono le domande assegnate, come talora succede, in un lasso temporale di

circa 90 minuti). Volendo esemplificare, se il miglior 50% medio nazionale di laureandi ha

come punteggio un valore limite di 20 (e dunque maggiore di 20 nei quartili superiori) , gli

Atenei che vedranno il loro miglior 50% di laureandi non superare il valore soglia di 20 non

avranno alcun bonus aggiuntivo dal FFO; quelli che avranno il loro miglior 75% superare il

valore soglia di 20 prenderanno un bonus aggiuntivo massimo; quelli che avranno il loro

miglior 50% di laureandi superare 20, senza che però questa soglia sia superata dal loro

migliore 75% di laureandi, prenderanno un bonus aggiuntivo intermedio ai fini del FFO; non

saranno accreditate le sedi e i corsi che non riusciranno a far partecipare al test nemmeno il

50% dei loro laureandi.

LE VARIABILI DI CONTESTO

Si ritiene opportuno, stando al position paper QUARTO P1+PP qui sintetizzato, di rilevare con il

test di generic skill “tanto il livello delle competenze trasversali, quanto il valore aggiunto in

proposito creato dall’Università”. Il primo è identificato dai dati grezzi ottenuti con il test, mentre un

modo per stimare il secondo, senza dover attendere almeno 3-4 anni necessari al confronto longitudinale

fra le competenze all’ingresso e all’uscita dall’Ateneo, o senza moltiplicare il numero di studenti da

sottoporre contemporaneamente al medesimo test, selezionando sia le matricole che i laureandi, consiste

nel “depurare” i risultati del test sui laureandi con le variabili di contesto, come fatto in AHELO e come

largamente proposto nella letteratura (cfr A. Grisay, 1996). In pratica, si utilizza una regressione

multipla, dove i risultati individuali nel test costituiscono il vettore delle variabili endogene, le variabili di

contesto sono i regressori atti a spiegare la parte di tali risultati che ci si poteva attendere, date certe

caratteristiche specifiche dello studente e della sua famiglia, del corpo docente, della sede, e date

certe caratteristiche ambientali, e la costante stimata della regressione cattura appunto il valore aggiunto

creato dall’ Università, al di là delle aspettative.

Le variabili di contesto che si preferisce usare sono, da un lato, quelle che la teoria e le

esperienze maturate altrove indicano come più significative, dall’altro, quelle che le Università

italiane e il MIUR già raccolgono o sono in grado di raccogliere senza eccessivi aggravi. Fra le prime, si

includono nelle caratteristiche dei laureandi alcuni dati “obiettivi” (come età, genere, madre lingua,

Paese di nascita, tasso di occupazione e tasso di crescita triennale della regione italiana di sua

provenienza), alcuni dati di carattere socioeconomico familiare o personale (occupazione e titolo di

studio del padre e della madre, condizione di fuori sede, di studente lavoratore, di utilizzatore delle

strutture di accoglienza quali il pensionato universitario o di altre forme di diritto alla studio), alcuni dati

di natura meritocratica (voto alla maturità, tipo di scuola secondaria frequentata, risultato, ove

disponibile, del test INVALSI alla fine della scuola secondaria, risultato, ove disponibile, di test di

ingresso all’Università, borse di studio), i quali dati vorrebbero essere una proxy delle capacità dei

laureandi in ingresso e spiegherebbero perché essi sarebbero stati di un certo livello di competenza già

prima di frequentare l’Università. Fra i regressori si prendono poi in considerazione le particolari

caratteristiche della sede universitaria (il numero totale di studenti a tempo pieno e a tempo parziale,

12

italiani e non, il numero di corsi di laurea e di quelli in lingua non italiana, il numero di insegnamenti

offerti e di quelli in lingua non italiana, il titolo di studio più elevato lì conseguibile, il numero di studenti

che nell’anno precedente ha ottenuto tale titolo, la caratteristica /vocazione principale di quella Università

-ricerca, didattica, equilibrio tra le due-, il numero di anni accademici medi nell’ultimo triennio necessari

per completare la laurea di primo e/o di secondo livello e la distribuzione intorno alla media per anni di

frequenza, gli obblighi di frequenza dei corsi e la propedeuticità dei corsi di base e caratterizzanti) e le

particolari caratteristiche del corpo docente (il numero di insegnanti a tempo pieno e a tempo parziale

italiani e non in quell’Ateneo, le funzioni del personale docente - didattica, ricerca, combinazione delle

due -, il grado di eccellenza scientifica della sede, misurato dalla VQR, e quello dei singoli docenti valutati

per l’ abilitazione, con le posizioni relative rispetto alle mediane di settore scientifico disciplinare). Infine,

poiché l’ambiente socioeconomico in cui opera una sede universitaria contribuisce (in positivo o in

negativo) alle motivazioni dei laureandi a concludere gli studi in un certo modo, fra i regressori si

inseriscono anche il tasso di occupazione e il tasso di crescita nel precedente triennio della regione dove è

posizionato l’Ateneo, poiché la dinamicità del mercato del lavoro circostante incentiva i giovani a

terminare presto e bene l’Università.

LE COMPETENZE SPECIALISTICHE

Come sopra esposto, valutare con test appropriati le competenze specialistiche dei laureandi

italiani è compito appartenente principalmente alla sfera dell’autonomia universitaria; l’ANVUR vi entra

solo per svolgere funzioni di coordinamento ex ante e di verifica ex post, anche attraverso visite in loco.

Poiché l’ANVUR, però, è stata sollecitata sul suo stesso sito a promuovere in qualche modo tale

autonoma iniziativa, il DECIMO P1PP, qui sintetizzato, formula alcune proposte concrete di breve

periodo, almeno con riferimento alle aree interessate. Per esse, coinvolgendo sia Atenei che associazioni

scientifiche, sarebbe necessario giungere a individuare “un insieme di macro competenze disciplinari,

di carattere fondamentale, previste come competenze specialistiche di riferimento in uscita dai corsi di

studio”. Bisognerebbe, inoltre, “affidare a gruppi di lavoro misti (psicometristi e disciplinaristi) il compito

di creare e validare item e prove che misurino le competenze specialistiche di cui sopra, in collegamento

anche con opportuni generic skills. Nella costruzione delle prove si dovrebbe cercare di valutare

dimensioni misurate anche in test analoghi utilizzati in altri Paesi per consentire confronti internazionali

(i test GRE e ETS proficiency profile sono buoni esempi di strumenti consolidati che si possono

utilizzare in prima battuta). Ove possibile si dovrebbero instaurare specifiche collaborazioni con altri

Paesi.

Già nel 2013, quando un gruppo di Università autoselezionate sottoporrà i propri laureandi di tutte

le sue Facoltà a un test generalista , bisognerebbe consentire che qualche dipartimento in esse, se lo

desidera, sperimenti anche un test specialistico da acquisire sul mercato o da produrre ad hoc,

purché esso sia lo stesso in analoghi dipartimenti di altre Università e tale test sia considerato

scientificamente valido e sia frutto di una condivisione fra discipline e sedi diverse. Esistono in tal

senso interessi provenienti dalle aree di matematica, fisica e ingegneria. Questo potrebbe arricchire il

senso stesso della sperimentazione del test generalista, nella misura in cui si esaminassero le correlazioni

sugli stessi studenti sottoposti a entrambi i tipi di test (generalista e specialistico).

A partire dal 2014, una volta conclusa una prima fase sperimentale, si potrebbe inserire fra i

criteri premiali di valutazione periodica il numero di corsi di studio aggregati in classi in cui un test

specialistico è sottoposto ad almeno il 50% dei corrispondenti laureandi, purché lo stesso test

specialistico sia adottato in almeno altre 10 classi analoghe di altre 10 Università”.

13

CONCLUSIONE

Il compito che abbiamo di fronte nel misurare le competenze generaliste e specialistiche dei

laureandi italiani attraverso test appropriati costituisce una sfida estremamente complessa e nuova, cui

siamo chiamati dal consesso europeo e mondiale in cui ormai dobbiamo operare. La consapevolezza delle

difficoltà che ci attendono non è però superiore alla convinzione che il percorso da intraprendere va nella

giusta direzione: bisogna cominciare a guardare ai risultati effettivi, internazionalmente comparabili, della

qualità didattica offerta dalle nostre Università. Perciò affrontiamo davvero con entusiasmo questa sfida.

BIBLIOGRAFIA

ACER (2003), Graduate Skills Assessment. Sample Questions, http://www.acer.edu.au/documents/

GSA_SampleQuestions.pdf

Adam S. (2008), “Learning Outcomes Current Developments in Europe: Update on the Issues and

Applications of Learning Outcome Associated in the Bologna Process”, Discussion Paper, Febbraio,

http://www.ond.vlaanderen.be/

hogeronderwijs/bologna/BolognaSeminars/documents/Edinburgh/Edinburgh_Feb08_Adams.pdf

Adamson L. et al. (2010), “Quality Assurance and Learning Outcomes”, ENQA Workshop Report, n. 17,

Marzo, http://www.enqa.eu/files/WSR%2017%20-%20Final.pdf

AHELO (2012), Interim Feasibility Study Report - Executive Summary,

EDU/IMHE/AHELO/GNE(2012)6, Marzo,

http://www.oecd.org/officialdocuments/publicdisplaydocumentpdf/?cote=EDU/IMHE/AHELO/GNE%

282012%296&docLanguage=En

Barone C. (2012), “Contro l’espansione dell’istruzione (e per la sua redistribuzione). Il caso della riforma

universitaria del 3+2”, Scuola Democratica, n. 4, Febbraio, pp. 54-75.

Bengoetxea E. et al. (2011), “Quality Assurance in Lifelong Learning”, ENQA Workshop Report, n. 18,

Febbraio, http://www.enqa.eu/files/LLL_Publication.pdf

Braga M. et al. (2011), “Evaluating Students’ Evaluations of Professors”, Temi di Discussione Banca

d’Italia, n. 825, Ottobre, http://www.bancaditalia.it/pubblicazioni/econo/temidi/td11/td825_11/

en_td825/en_tema_825.pdf

Benjamin L. et al. (2009), “Returning to Learning in an Age of Assessment”, CAE Paper, Agosto,

http://www.collegiatelearningassessment.org/files/ ReturningToLearning.pdf

Benjamin L. et al. (2012), “The Case for Generic Skills and Performance Assessment in the United States

and International Setting”, CAE Occasional Paper, n. 1, Maggio,

http://www.collegiatelearningassessment.org/

files/The_Case_for_Generic_Skills_and_Performance_Assessment_in_the_United_States_and_Interna

tional_Settings.pdf

Business International (2012), La mappatura delle competenze, Roma, Maggio,

http://www.businessinternational.it/events/ed.action?edCode=2544

CEDEFOP (2011a), “Development of National Qualification Frameworks in Europe”, Working Paper, n.

12, Ottobre, http://www.cedefop.europa.eu/EN/Files/6112_en.pdf

CEDEFOP (2011b), “Quadri delle qualifiche in Europa modernizzare l’istruzione e la formazione”, Nota

Informativa, Novembre, http://www.cedefop.europa.eu/EN/Files/9064_it.pdf

http://www.acer.edu.au/documents/

http://www.ond.vlaanderen.be/

http://www.bancaditalia.it/pubblicazioni/



14

CLA (2012), Architecture of the CLA Tasks, CAE (a cura di),

http://www.collegiatelearningassessment.org/files/Architecture_of_the_CLA_Tasks.pdf

Commission on the Future of Higher Education (2006), A Test of Leadership: Charting the Future of

Higher Education, Settembre,

http://www.naspaa.org/accreditation/standard2009/docs/SpellingsCommissionReport09.2006.pdf

Conferenza dei Ministri Europei Responsabili dell’Istruzione Superiore (2005), Comunicato di Bergen,

19-20 maggio, http://www.processodibologna.it/content/index.php?action=read_cnt&id_cnt=6066

Conferenza dei Ministri Europei Responsabili dell’Istruzione Superiore (2012), Comunicato di Bucarest,

26-27 aprile, http://www.processodibologna.it/content/index.php?action=read_cnt&id_cnt=6718

CORE (2010), A Tuning Guide to Formulating Degree Programme Profiles, Bilbao, Groeningen and The

Hague, http://core-project.eu/documents/Tuning G Formulating Degree PR4.pd

Edwin T.D. (1997), “Developing Strategies and Policies for Changing Universities”, in Brown S. (a cura

di), Facing Up to Radical Change in Colleges and Universities, London, Kogan Page, pp. 64 – 74.

ENQA (2005), Standard and Guidelines for Quality Assurance in the European Higher Education Area,

http://www.enqa.eu/files/ENQA%20Bergen%20Report.pdf

Foreign and Commonwealth Office (2011), Business Plan 2011 – 2015, Maggio,

http://www.number10.gov.uk/wp-content/uploads/FCO-Business-Plan1.pdf

FIPSE (2009), Test Validity Study Report, Settembre,

http://www.voluntarysystem.org/docs/reports/TVSReport_Final.pdf

Gentili C. (2011), “Appunti per la discussione: i nuovi laureati. Cosa sappiamo della riforma del 3+2 e

cosa vorremo sapere”, mimeo, Confindustria, Marzo.

Girardi D. e G. Toschi ((2011), Pordenone verso il 2020, Fondazione Nord Est, Quaderni FNE Collana

Ricerche, n. 65, Ottobre, http://www.fondazionenordest.net/UpLoads/Media/Pordenone_2020.pdf

Grisay A. (1997), “Added Value Indicators and the Assessment of Equity Policies: Three Simulations and

One Real Example”, Paper presentato al Seminario sulla giustizia del sistema educativo, Rennes,

Dicembre.

Hambur S. et al. (2002), Graduate Skills Assessment. Stage One Validity Study, ACER, Luglio,

http://www.deewr.gov.au/HigherEducation/Publications/Documents/GradSkillsAssess.pdf

Harvey L. (2004), Analytic Quality Glossary, http://www.qualityresearchinternational.com/glossary/

Istat (2011), Annuario Statistico Italiano, http://www.istat.it/it/archivio/48261

Joint Quality Initiative Group (2004), Shared ‘Dublin’ descriptors for Short Cycle, First Cycle, Second

Cycle and Third Cycle Awards, http://www.udc.es/grupos/cndeuto/docs/Enothe/DublinDescriptors.pdf

Luzzatto G. (2012), “I descrittori di Dublino e le competenze negli ordinamenti didattici italiani”,

Discussion Paper presentato al Convegno CRUI, Marzo.

MIUR (2011), Il quadro dei titoli italiani, Gennaio,

http://www.istruzione.it/alfresco/d/d/workspace/SpacesStore/3762c381-7c18-4c76-b09d-

9d5f32d13456/QuadroTitoli.pdf%20%28

Omar P.L. e A.M. Liuhanen (a cura di) (2005), “A Comparative Analysis of Systematic Quality Work in

Nordic Higher Education Institutions”, Nordic Paper,

http://www.nokut.no/Documents/NOQA/Reports/

Nusche D. (2008), “Assessment of Learning Outcomes in Higher Education: a Comparative Review of

Selected Practices”, OECD Education Working Papers, n. 15, http://dx.doi.org/10.1787/244257272573

OECD (2009), Tuning-AHELO Conceptual Framework of Expected and Desired Learning Outcomes in

Economics, Giugno, http://www.oecd.org/dataoecd/46/33/43160495.pdf

http://www.fondazionenordest.net/UpLoads/Media/Pordenone_2020.pdf

http://www.udc.es/grupos/cndeuto/docs/Enothe/DublinDescriptors.pdf

http://www.nokut.no/Documents/NOQA/Reports/

15

OECD (2012a), PISA 2012 Financial Literacy Framework. Draft Subject to Possible Revision,

http://www.oecd.org/dataoecd/8/43/46962580.pdf

OECD (2012b), Group of National Experts on the AHELO Feasibility Study, Highlights - the AHELO

Feasibility Study: What have we learned so far?, Parigi, Marzo,

http://www.oecd.org/officialdocuments/displaydocumentpdf/

?cote=edu/imhe/ahelo/gne%282012%296&doclanguage=en

Smyth F. e P. Cullen (2011), Assessing the Impact of Higher Education on Learners’ Skills: What Have

We Learned?, Hetac Ireland, Giugno, http://www.heir2011.org.uk/conference-

presentations/presentations/HEIR2011%20Cullen.pdf

Wagner T. (2010), The Global Achievement Gap, New York, Basic Books.

Wasser I. (2011), “Regional Approaches to Learning Outcomes and Their Relevance for Academic and

Professional Mobility in Europe”, Paper presentato ad un Seminario ASEM su Regional Quality

Assurance, Luglio, http://www.asem-education-

secretariat.org/imperia/md/content/asem2/events/2011asemqaseminar/ws3_ wasser.pdf

SITOGRAFIA

ACER – Australian Council for Educational Research: http://www.acer.edu.au/sias

AHELO - Assessment of Higher Education Learning Outcomes: http://www.oecd.org/document/22/

0,3746,en_2649_39263238_40624662_1_1_1_1,00.html

ANVUR - Agenzia Nazionale di Valutazione del Sistema Universitario e della Ricerca:

http://www.anvur.org/

ASIIN - Accreditation Agency for Degree Programmes: http://www.asiin-ev.de/pages/en/asiin-e.-v.php

CAAP - Collegiate Assessment of Academic Proficiency: http://www.act.org/caap/

CAE – Council for Aid to Education: http://www.cae.org/

CBS – Copenhagen Business School: http://www.cbs.dk/

CEDEFOP – European Centre for the Development of Vocational Training:

http://www.cedefop.europa.eu/EN/

CEEN - Economic Project & Policy Consulting GmbH: http://ceen-consulting.com/index.php

CLA – Collegiate Learning Assessment: http://www.collegiatelearningassessment.org/

CORE – Competences in Education and Recognition: http://core-project.eu/

CRT – Critical Reasoning Test: http://www.acer.edu.au/tests/crt

CRUI – Conferenza dei Rettori delle Università Italiane: http://www.crui.it/

EHEA - European Higher Education Area: www.indire.it/.../LDDR%20-

%20I%20due%20EQF_MOIRC.doc

ENAEE European Network for Accreditation of Engineering Education: http://www.enaee.eu/

ENQA - European Association for Quality Assurance in Higher Education: http://www.enqa.eu/

EQANIE - European Quality Assurance Network for Informatics Education: http://www.eqanie.eu/

EQF – European Qualification Framework: http://www.orientamento.it/orientamento/6m.htm

EURACE – Progetto EUR-ACE: http://www.quacing.it/progetto-eurace

EUROSTAT, Labour Force Survey:

http://epp.eurostat.ec.europa.eu/portal/page/portal/labour_market/introduction

http://www.oecd.org/officialdocuments/displaydocumentpdf/%20?cote=edu/imhe/ahelo

http://www.oecd.org/officialdocuments/displaydocumentpdf/%20?cote=edu/imhe/ahelo

http://www.asem-education-secretariat.org/imperia/md/content/asem2/events/2011asemqaseminar/ws3_

http://www.asem-education-secretariat.org/imperia/md/content/asem2/events/2011asemqaseminar/ws3_

http://www.oecd.org/document/22/

http://www.cbs.dk/


http://www.orientamento.it/orientamento/6m.htm

16

FCO – Foreign and Commonwealth Office: http://www.fco.gov.uk/en/

FIPSE – Fund for the Improvement of Postsecondary Education:

http://www2.ed.gov/about/offices/list/ope/ fipse/index.html

GSA – Graduate Skills Assessment: http://www.acer.edu.au/tests/gsa

HETAC – Higher Education and Training Awards Council: http://www.hetac.ie/

INQAAHE - International Network for Quality Assurance Agencies in Higher Education:

http://www.inqaahe.org/

MAPP - Motivational Appraisal of Personal Potential:

http://www.assessment.com/AboutMAPP/AboutUs.asp

NOQA - Nordic Quality Assurance Network in Higher Education: http://www.nokut.no/noqa

NQF – National Framework of Qualification: http://www.nfq.ie/nfq/en/

OECD PIAAC - Programme for the International Assessment of Adult Competencies:

http://www.oecd.org/document/35/0,3746,en_2649_201185_40277475_ 1_1_1_1,00.html

Processo di Bologna: http://www.processodibologna.it

SLE – Scholastic Level Examination: http://www.wonderlic.com/assessments/ability/scholastic-level-

exams

Università degli Studi di Bologna, Facoltà di Economia:

http://www.economia.unibo.it/Economia+Bologna/default.htm

Università degli Studi di Padova, Facoltà di Economia: http://www.economia.unipd.it/

Università degli Studi di Trento, Facoltà di Economia: http://www.unitn.it/economia

Università degli Studi di Verona, Facoltà di Economia: http://www.economia.univr.it/fol/main

Università degli Studi di Venezia, Facoltà di Economia: http://www.unive.it/nqcontent.cfm?a_id=92323

Università Bocconi di Milano, Facoltà di Economia: http://contact.unibocconi.it/trienni/

index2.html?gclid=CNDSmMqV3LACFcUmtAodEggOwA

Università Luiss di Roma, Facoltà di Economia: http://didattica.economiaefinanza.luiss.it/corsi/corsi-

magistrali/economia-finanza/ordinamento-didattico/ordinamento-didattico-aa-2012-2013

APPENDICE

Vi sono riportati i 12 position papers, scritti fra il 5 giugno e il 2 luglio 2012 dai 6 esperti del

gruppo di lavoro nominati per 1 mese dall’ANVUR (identificati da una stelletta) e da eventuali altri

collaboratori esterni, su 12 domande strategiche che erano state loro poste. A tutti l’ANVUR è

profondamente grata .

http://www2.ed.gov/about/offices/list/ope/

http://www.oecd.org/document/35/0,3746,en_2649_201185_40277475_%201_1_1_1,00.html

http://www.economia.unipd.it/

http://contact.unibocconi.it/trienni/

http://didattica.economiaefinanza.luiss.it/corsi/corsi-magistrali/economia-finanza/ordinamento-didattico/ordinamento-didattico-aa-2012-2013

http://didattica.economiaefinanza.luiss.it/corsi/corsi-magistrali/economia-finanza/ordinamento-didattico/ordinamento-didattico-aa-2012-2013

17

PRIMO P1PP Critical thinking, Problem solving e Ability to communicate: competenze trasversali

Roberto Ricci*, Responsabile dell’Area prove INVALSI, con Fiorella Kostoris, ANVUR

Gli sviluppi e i rapidi cambiamenti che hanno interessato negli ultimi due decenni il mondo del

lavoro e le modalità secondo le quali le informazioni sono acquisite ed elaborate hanno reso ancora più

importanti le cosiddette competenze trasversali, intese, prima facie, come la capacità dell’individuo di

affrontare situazioni e contesti sociali, economici e lavorativi non prevedibili a priori, utilizzando quindi in

contesti inediti conoscenze, abilità e competenze acquisite in precedenza. In questo contesto generale il

problem solving, la capacità di comunicare (ability to comunicate) e quella di esercitare il pensiero critico

(critical thinking) rappresentano un obiettivo formativo centrale e strategico per tutti i Paesi avanzati. Tali

capacità consistono principalmente nel comprendere le informazioni a disposizione, sovente parziali e

incomplete, nell’identificarne gli aspetti cruciali e le missing information, nel definire le priorità dati i

vincoli esistenti, nell’evidenziare le interrelazioni semplici e complesse, nel costruire o applicare una

rappresentazione di supporto, e, infine, ma non da ultimo, nel valutare, giustificare e comunicare ad altri la

soluzione alla quale si è giunti (Lesh e Zawojewski, 2007). I responsabili delle risorse umane delle

principali aziende che operano sul mercato globale dichiarano unanimemente che il problem solving,

l’ability to communicate e il critical thinking sono le competenze fondamentali necessarie per un proficuo

inserimento nel mondo del lavoro (Wagner, 2008). Proprio per questo motivo è fondamentale che ciascun

Paese avanzato che voglia garantirsi un’adeguata crescita sociale ed economica si doti di strumenti idonei

per verificare se e in quale misura il proprio sistema formativo, scolastico e universitario, sia in grado di

far emergere le predette competenze, indipendentemente dalla specificità dei percorsi formativi offerti dal

sistema formale o non formale di istruzione.

Se quel che conta di più non è ciò che si impara, ma come si impara e se tutti i sentieri sono in

grado di portare, se percorsi in modo adeguato, alle competenze trasversali desiderabili sopra evocate,

divengono auspicabili prove standardizzate e trasversali, comuni a tutte le aree o macroaree di studio. Esse

presentano il vantaggio che l’oggetto di misurazione non è strettamente riferito alla specificità della

disciplina di riferimento, ma è principalmente legato alle competenze che tutti i processi formativi

universitari devono sviluppare, proprio perché fondamentali per la crescita individuale e collettiva. Prove

di questo tipo privilegiano la misurazione della qualità dell’apprendimento e non tanto dei contenuti

specifici (Benadusi e Di Francesco, 2002). Inoltre, specie in una prima fase di avvio, l’adozione di prove

trasversali può consentire di realizzare un sistema di misurazione in grado di dare adeguato spazio a tutti i

corsi di studio, non solo a quelli di particolari tipologie, come, a esempio, quelle di ambito tecnico-

scientifico con più facili sbocchi immediati nell’attuale mercato del lavoro, e agli studenti di tutti gli

Atenei del Paese. In questa prospettiva è, inoltre, più facile realizzare il fondamentale obiettivo che la

misurazione delle competenze chiave avvenga assicurando la comparabilità internazionale degli esiti della

misurazione stessa. In tal senso l’esperienza della ricerca OCSE-PISA, che, dopo un’interruzione di alcuni

cicli, ha ripreso dal 2012 a valutare esplicitamente il problem solving, rappresenta un esempio

emblematico e sarebbe quindi opportuno e auspicabile che l’eventuale estensione di misure standardizzate

sulle competenze trasversali a livello universitario avvenisse secondo un’impostazione analoga. L’utilizzo

di prove già validate in ambito internazionale consente, inoltre, una sensibile riduzione1 dei tempi di

costruzione delle prove stesse che, se prodotte ex novo, richiederebbero almeno 18-24 mesi. Invece, se si

prendessero prove già esistenti e già calibrate dal punto di vista psicometrico a livello internazionale,

1 L’utilizzo di prove già validate a livello internazionale consentirebbe di ridurre di oltre il 50% i tempi di costruzione delle prove stesse.

18

meglio se già adottate in termini identici da vari Paesi diversissimi per lingua e cultura, le prove sarebbero

già disponibili in un tempo massimo di 9-12 mesi da oggi (cfr SECONDO P1PP). Infatti, eventuali

adattamenti andrebbero limitati solamente all’eliminazione dal test di aspetti culturalmente connotati ed

estranei alla realtà nazionale.

In una prospettiva di medio termine, invece, anche a livello nazionale potrebbere essere promossi

lo sviluppo e il consolidamento di test sulle competenze specifiche esaminate in modo non nozionistico,

ma above content. A tal proposito, le esperienze maturate in contesti analoghi, anche se riferite

all’istruzione pre-universitaria, hanno mostrato l’importanza che gli estensori delle prove abbiano

conoscenza dei fondamenti delle tecniche psicometriche e dei principi di base del test development

(INVALSI, 2011).

Infine, non nell’immediato, ma a medio/lungo termine è possibile in ambito universitario, dove si

utilizzano per i test le strutture informatiche, arrivare in un’ottica di computer delivered test, alla

somministrazione di prove dinamiche e adattative. Una prova dinamica è particolarmente interessante per

la misurazione delle competenze trasversali di problem solving e di critical thinking in quanto essa

consente di proporre situazioni in cui allo studente sono presentate situazioni articolate e reali, potendosi

anche simulare un approccio graduale e cooperativo alla soluzione di problemi inediti.

Riferimenti bibliografici

Benadusi L. e Di Francesco G. (2002), Formare per competenze, Tecnodid, Napoli.

INVALSI (2011). Le caratteristiche tecniche delle Prove INVALSI 2011,

http://www.invalsi.it/snv1011/documenti/Rapporto_tecnico_prove_invalsi_2011.pdf

Lesh R. e Zawojewski J.S. (2007). Problem solving and modeling. In Lester F. (a cura di), The Handbook

of Research on Mathematics Teaching and Learning (seconda edizione), 763-804. Reston, VA: national

Council of Reachers of Mathematics; Charlotte, NC.

Wagner T. (2008). The global achievement gap. Basic Books, Cambridge, MA.

19

SECONDO P1PP Tempi e fasi della sperimentazione

Da Luglio 2012 a Dicembre 2013 (M1= Luglio 2012 - M18 = Dicembre 2013) Emanuela Reale*, CERIS CNR, con Fiorella Kostoris, ANVUR

2012 2013

M1 M2 M3 M4 M5 M6 M7 M8 M9 M10 M11 M12 M13 M14 M15 M16 M17 M18

1 Nomina del Comitato di

garanti per la selezione

internazionale

2 Creazione del Project

Office (cabina di regia

della sperimentazione).

Nomina del NPM, del

NPA, del LSC

3 Scelta delle università

che partecipano alla

sperimentazione

4 Pubblicazione del(i)

bando(i) di gara

(produzione, traduzione,

somministrazione, analisi

dati)

5 Presentazione della

sperimentazione agli

stakeholder

6Individuazione e training

degli IC e degli SC

7 Selezione produttore,

traduttore,somministrato

re, analizzatore dati

8 Raccolta variabili di

contesto nelle università

che partecipano alla

sperimentazione e

altrove

9 Traduzione del test

10 Gestione del test

11 Test preliminare: focus

group nelle università

partecipanti

12 Validazione della

traduzione del test

13 Somministrazione test

nelle università

partecipanti

14 Correzione, controllo,

analisi dati

15 Presentazione esterna

risultati della

sperimentazione

20

TERZO P1+PP Costi previsti per la sperimentazione e per il primo biennio di implementazione

Emanuela Reale* con Fiorella Kostoris

L’ipotesi di larga massima parte da alcune premesse:

- sono indicati solo i costi marginali della sperimentazione; non sono dunque inclusi i costi del

personale coinvolto e i costi di funzionamento delle strutture centrali e periferiche impegnate nella

sperimentazione, nel caso li debbano comunque sostenere;

- i costi sono ripartiti in costi centrali, a carico dell’ANVUR, e costi locali a carico delle Università

che partecipano alla sperimentazione (a oggi, sembrerebbe Padova, Sapienza, Salento, Napoli

Federico II, Bologna).

1. COSTI CENTRALI

1.1 Ufficio o National Project Office per alcune spese afferenti al NPM, NPA, LSC e a qualche esperto.

In questo ammontare è compreso anche il costo relativo allo scoring centrale.

Costo: 100.000 € annui

1.2 ACQUISTO DEL PRODOTTO

Il costo è relativo all’acquisto di un test di “generic skill” già esistente sul mercato, con preferenza per il

Collegiate Learning Assessment CLA, utilizzato nel progetto AHELO/OCSE. Il costo sostenuto per AHELO

OCSE era di circa 180.000 €, inclusivo di tutti i costi di somministrazione, di training e di analisi dei dati, ma

al netto dei costi di traduzione. Si prevede un contratto con possibilità di utilizzo del prodotto per tre anni,

così da coprire anche la fase biennale successiva alla sperimentazione, già a regime. Pertanto l’investimento

iniziale sarà superiore a quello degli anni successivi.

Costo: 250.000 € sul triennio, cui si devono aggiungere circa 20.000 euro per il o per i bandi di gara, a

carico del primo anno di sperimentazione

1.3 TRADUZIONE DEL QUESTIONARIO

Questo costo si riferisce alla traduzione in lingua italiana del test adottato. Potrebbe trattarsi di costo da

coprire attraverso bando specifico, o essere incluso nel “pacchetto” di offerta del prodotto acquistato. La

quota di costo attribuita è per il triennio intorno ai 60.000 € di cui la metà nel primo anno.

Costo: 60.000 € sul triennio

1.4 TRAINING

In primo luogo si tratta dell’attività di training sui LSC e sugli SC legata all’uso del test di generic skill

(somministrazione e correzione dei test prodotti): questo costo è considerato incluso nell’acquisto del

prodotto perché generalmente abbinato alle licenze d’uso. In secondo luogo vi è un training sull’insieme

degli stakeholders e sugli IC per i quali va calcolato un costo di 40.000 € nel triennio di cui la metà nel

primo anno.

Costo: 40.000 € nel triennio

21

1.5 SOMMINISTRAZIONE, DATA CLEANING E DATA QUALITY

Sono incluse le attività di assistenza alla somministrazione del test, di data cleaning e data quality sul dataset

svolte a livello centrale, crescenti nel biennio successivo alla sperimentazione, in ragione del più elevato

numero di studenti sottoposti al test.

€ 60.000 sul triennio

1.6 ELABORAZIONE DEI DATI E RISULTATI FINALI

Esperti chiamati dall’ANVUR per l’elaborazione dei dati e la produzione di risultati analitici in termini di

generic skill rilevati e di estensibilità a regime del test.

Costo: 20.000 € per anno

1.7 INFRASTRUTTURA HARDWARE E SOFTWARE

Questo costo potrebbe essere quasi trascurabile e tutto locale se le strutture usassero le loro dotazioni

informatiche, come è avvenuto in AHELO. Potrebbe divenire più elevato e centralizzato, considerando di

adottare un’infrastruttura informatica di tipo Cloud condivisa (predisposizione dell’architettura software e

utilizzo di una infrastruttura fisica e di competenze già esistenti a livello nazionale, abbattendo dunque i costi

di hardware) e servizi a supporto dell’infrastruttura medesima (progettazione di dettaglio e supporto

all’installazione e configurazione della piattaforma). L’ipotesi di massima si basa su informazioni fornite

dalla Prof.ssa Catarci, Prorettrice all’Università La Sapienza di Roma.

Costo: € 50.000 eventuali, una tantum e allocabili tra costi centrali e costi locali

2. COSTI LOCALI

La somministrazione del test ha come riferimento gli studenti “laureandi” della laurea triennale, escluse le

lauree professionali abilitanti ma inclusi gli studenti a metà percorso del ciclo unico, una popolazione che

nell’universo e a regime riguarderebbe numeri comparabili a quelli di cui si occupa ogni anno l’INVALSI

con i suoi test sugli studenti delle scuole italiane. Sono in corso simulazioni per comprendere più esattamente

quanti studenti universitari riguarderebbe la sperimentazione svolta fra giugno e luglio 2013, anche in

ragione della definizione che stiamo trovando sul concetto di “laureandi”. Per es., se, volendo semplificare

molto (forse troppo), “laureandi” fossero tutti gli studenti della triennale che hanno completato 120 CFU, al

netto di quelli che frequentano i corsi delle professioni sanitarie, il totale sarebbe 45.878 di cui il 46,2%

sarebbe iscritto al terzo anno ; se si aggiungessero anche gli studenti a metà percorso dei corsi a ciclo unico

si aumenterebbe il numero di studenti di 8932 unità (v. tabella allegata).

22

TAB. 1 TERZO P1+PP Distribuzione per anno di iscrizione e caratteristiche degli studenti iscritti ai corsi di laurea triennali nell’a.a.

2010/2011 (ad esclusione degli iscritti ai corsi di laurea delle professioni sanitarie)

DATI RELATIVI AL TOTALE DELLE UNIVERSITA'

Anno di iscrizione

1 2 3 4 5 6 7 8 9 10 TOT

TOT Studenti per anni di iscrizione 276.881 202.409 175.486 122.704 81.381 59.495 43.714 32.878 25.639 24.578 1.045.165

di cui con almeno 90 CFU base e caratterizzanti 1.847 24.708 55.215 33.337 18.687 12.320 8.413 5.905 3.962 3.587 167.981

di cui con almeno 120 CFU base e caratterizzanti 684 1.198 21.204 10.170 5.079 2.958 1.768 1.305 803 709 45.878

di cui con almeno 90 CFU 4.956 68.849 108.178 81.832 53.111 38.468 28.734 21.686 16.688 15.869 438.371


% di colonna

Anno di iscrizione

1 2 3 4 5 6 7 8 9 10 TOT

TOT Studenti per anni di iscrizione 100,0 100,0 100,0 100,0 100,0 100,0 100,0 100,0 100,0 100,0 100,0

% con almeno 90 CFU base e caratterizzanti 0,7 12,2 31,5 27,2 23,0 20,7 19,2 18,0 15,5 14,6 16,1


% con almeno 90 CFU 1,8 34,0 61,6 66,7 65,3 64,7 65,7 66,0 65,1 64,6 41,9

% con almeno 120 CFU 0,9 11,0 46,8 52,1 49,6 48,5 49,1 49,1 48,5 47,7 28,9

% di riga

Anno di iscrizione

1 2 3 4 5 6 7 8 9 10 TOT


di cui con almeno 90 CFU base e caratterizzanti 1,1 14,7 32,9 19,8 11,1 7,3 5,0 3,5 2,4 2,1 100,0


di cui con almeno 90 CFU 1,1 15,7 24,7 18,7 12,1 8,8 6,6 4,9 3,8 3,6 100,0


Distribuzione per anno di iscrizione e caratteristiche degli studenti iscritti ai corsi di laurea a ciclo unico nell’a.a. 2010/2011


Anno di iscrizione

1 2 3 4 5 6 7 8 9 10 TOT

TOT Studenti per anni di iscrizione 60.270 49.926 41.393 40.417 37.882 27.538 19.572 14.399 10.402 8.093 309.892





23

% di colonna Anno di iscrizione

1 2 3 4 5 6 7 8 9 10 TOT




% con almeno 90 CFU 5,3 35,8 63,7 76,4 83,0 84,7 84,3 83,0 81,0 80,3 56,9

% con almeno 120 CFU 4,5 11,2 45,8 64,8 75,8 78,4 77,6 75,9 73,6 72,7 46,3

% di riga Anno di iscrizione

1 2 3 4 5 6 7 8 9 10 TOT






Fonte: Anagrafe Nazionale degli studenti universitari

Si può supporre che la sperimentazione riguardi, data la tipologia delle Università autoproponentesi, circa

20.000 studenti. Si può considerare un costo medio di 5 € a studente per lo svolgimento del test

(predisposizione di un’aula utilizzabile anche in diverse giornate, assistenza, correzione delle domande

aperte del test, scoring locale), in relazione alla dimensione dell’ Ateneo, costo medio che si abbasserebbe

nelle Università più affollate e negli anni a venire.

Costo locale complessivo: 100.000 € nella sperimentazione e 250.000 € nel biennio successivo

RIEPILOGO COSTI (in K€)

COSTI CENTRALI

2013 2014 2015

National Project Office 100 100 100

Bando/i gara 20 - -

Acquisto prodotto 150 50 50

Traduzione del questionario 30 15 15

Training 20 10 10

24

Somministraz D-cleaninig 10 25 25

Elaborazione dati 20 20 20

TOTALE COSTI CENTRALI 350 220 220

COSTI LOCALI

Somministraz e altri costi ammin 100 250 250

TOTALE CENTRALI+LOCALI 450 470 470

Infrastruttura HW e SW 50* - -

*50K eventuali e allocabili tra costi centrali e locali

25

QUARTO P1+PP Variabili di contesto da usare nella stima del valore aggiunto negli esiti

dell’apprendimento generalista

di Fiorella Kostoris con 5 Appendici di Rosalba Natale e Vincenzo Zara*, di Bruno Losito, di Aletta Grisay,

di Vincenzo Zara*, di Giacomo Calzolari.

Tenuto conto della teoria elaborata dagli econometrici (v. per es. documento in Appendice di Giacomo

Calzolari), delle esperienze già realizzate nella stima con variabili di contesto del valore aggiunto creato da

una sede che offre istruzione (v. per es. documenti in Appendice di Bruno Losito e di Aletta Grisay), nonché

delle variabili di contesto già a disposizione degli Atenei (v. per es. in Appendice quanto scritto da Rosalba

Natale e Vincenzo Zara), si ritiene che un modo per rilevare con un test appropriato tanto il livello delle

competenze trasversali, quanto il valore aggiunto in proposito creato dall’Università sia di partire dalla

seguente equazione:

dove

sono i risultati “bruti” del test dell’individuo i, laureando nella sede universitaria su, posizionata

nella regione r, con docenti con caratteristiche do, indicanti il livello delle sue competenze generaliste;

cattura quella parte di effetti fissi dovuti alla qualità della didattica della sede già non catturati da

oppure da nella regione con le caratteristiche e la stima di a costituisce il cosiddetto valore aggiunto

creato dall’Università rispetto a quanto ci si poteva attendere dallo stesso individuo con quelle caratteristiche

in una sede nella regione di quel tipo e con docenti di quel

calibro ;

b, c, d, e indicano la reattività dei risultati di i, coeteris paribus, al vettore delle caratteristiche individuali, a

quello di alcune variabili osservabili riguardanti la sede e i docenti, alle variabili di sviluppo della regione

dove i sta per laurearsi, stimati con i minimi quadrati ordinari nelle ipotesi sotto specificate;

il vettore include i dati individuali “obiettivi” (come età, genere, madre lingua del laureando, Paese di

nascita, tasso di occupazione e tasso di crescita triennale della regione italiana di sua provenienza), quelli di

carattere socioeconomico (occupazione e titolo di studio del padre e della madre, condizione di fuori sede, di

studente lavoratore, di utilizzatore delle strutture di accoglienza quali il pensionato universitario o altre forme

di diritto alla studio ricevute), quelli di natura meritocratica (voto alla maturità, tipo di scuola secondaria

frequentata, risultato, ove disponibile, del test Invalsi alla fine della scuola secondaria, risultato, ove

disponibile, di test di ingresso all’Università, borse di studio), i quali ultimi dati vorrebbero essere una proxy

delle capacità in ingresso di i le quali come tali non sono osservabili e perciò rischiano di essere correlate

tanto a provocando stime distorte, ipotesi qui rigettata;

il vettore include il numero totale di studenti a tempo pieno e a tempo parziale italiani e non

nell’Università, il numero di corsi di laurea triennale e di quelli in lingua non italiana, il numero di

insegnamenti offerti e di quelli in lingua non italiana, il titolo di studio più elevato conseguibile presso

l’Università, il numero di studenti che nell’anno precedente ha ottenuto il titolo di studio più elevato, la

caratteristica /vocazione principale dell’Università (ricerca, didattica, equilibrio tra le due), il numero di anni

accademici medi nell’ultimo triennio necessari per completare la laurea di primo e/o di secondo livello e la

distribuzione intorno alla media per anni di frequenza, gli obblighi di frequenza dei corsi e la propedeuticità

dei corsi di base e caratterizzanti;

26

il vettore include il numero di docenti a tempo pieno e a tempo parziale italiani e non nell’Università, le

funzioni del personale docente (didattica, ricerca, combinazione delle due) nell’Università, il grado di

eccellenza scientifica dell’ Università misurato dai dati della VQR, tenuto conto del numero dei professori

silenti e dei livelli di qualità rilevati, i dati sulla qualità scientifica dei singoli docenti misurati per l’

abilitazione e le loro posizioni relative rispetto alle mediane di settore scientifico disciplinare;

il vettore riporta il tasso di occupazione e il tasso di crescita nel precedente triennio della regione dove è

posizionata la sede universitaria;

è un rumore bianco, perciò di media nulla, assunto ortogonale rispetto ai regressori.

Seguono 5 Appendici al QUARTO P1+PP.

Appendice 1 al QUARTO P1+PP Variabili di contesto usate in AHELO Economics Strand, con

indicazioni in sfondo verde di quelle fra tali variabili di contesto già a disposizione delle Università italiane,

e con altri commenti di Rosalba Natale e Vincenzo Zara.

Le variabili di contesto, usate identicamente in 7 Paesi del mondo partecipanti all’ OECD Economics

Strand (Belgio fiammingo, Egitto, Italia, Messico, Olanda, Federazione Russa, Repubblica Slovacca)

nella valutazione dei risultati del test AHELO sugli studenti laureandi del primo ciclo, in Italia

triennale, di 10 Facoltà di Economia ( Piemonte Orientale, Torino, Milano Bicocca, Bergamo, Udine,

Bologna, Siena, Roma La Sapienza, Roma Luiss, Napoli ), scelte fra le 32 che si auto proponevano, si

basano sull’uso di tre strumenti:

A. questionario studenti;

B. questionario insegnanti;

C. questionario sull’ateneo (rispondono gli Institutional Coordinators).

A. Le variabili considerate per il questionario studenti sono le seguenti.

Sezione 1. La prova AHELO

- rilevanza degli argomenti del test rispetto al proprio corso di studi

- rilevanza degli argomenti del test rispetto al proprio futuro professionale

- impegno/sforzo richiesto per la compilazione del test.

Sezione 2. Il corso di laurea e gli studi

- ore settimanali frequentate (nella maggior parte dei corsi di studio la frequenza non è obbligatoria quindi

questo elemento può compromettere l'attendibilità delle risposte) per diverse attività didattiche (lezioni,

tirocinio (ne i pochi casi in cui è previsto il tirocinio intracurriculare esso si concentra al terzo anno) e

attività pratiche (esistono in un numero di cds veramente residuale), studio e lettura, lavoro retribuito

attinente agli studi in corso, lavoro retribuito non attinente agli studi in corso, partecipazione ad attività

associative e ricreative a livello universitario)

- abilità sollecitate dal corso di studio e dalla attività didattica (memorizzazione, analisi, sintesi e

organizzazione, espressione di giudizi, applicazione, progettazione, lavoro di gruppo)

- giudizio sul proprio rendimento accademico

- prospettive /intenti occupazionali dopo la laurea (sulle prospettive reali lo studente non ha sufficienti

elementi).

Sezione 3. Esperienze e relazioni

- disponibilità del corpo insegnante (fornire commenti e feedback, disponibilità ad aiutare, orientamento)

- organizzazione formale del corso (lezioni, seminari e attività tutoriali, lavoro di gruppo)

27

- partecipazione attiva durante le lezioni (fare domande e partecipare alla discussione)

- utilità professionale dei corsi (ipotizzata dallo studente non reale)

- valutazione generale dell’esperienza di partecipazione al corso.

Sezione 4. Informazioni di carattere demografico (“about you”)

- genere si

- età si

- lingua parlata a casa no

- paese di nascita si

- iscrizione a tempo parziale o totale si (ma non in tutte le Università)

- rapporto tra lezioni in presenza e a distanza no

- titolo di studio madre no

- titolo di studio padre no

- professione madre no

- professione padre no

B. Le variabili considerate per il questionario docenti sono le seguenti.

Sezione 1. Insegnamento e sostegno agli studenti

- promozione dell’eccellenza si

- promozione dell’eccellenza nella ricerca si

- collaborazione con i colleghi per migliorare il proprio insegnamento si

Sezione 2. I suoi studenti

- consigli agli studenti sulle attività didattiche da seguire nell’ultimo anno (accademico o solare)

(preparazione per le lezioni, partecipazione ad attività universitarie extra-curricolari, attività lavorative

retribuite attinenti agli studi effettuati, attività lavorative retribuite non attinenti agli studi effettuati vedi

commenti al punto precedente)

- percentuale di studenti con preparazione insufficiente si

Sezione 3. Informazioni di carattere demografico e professionale (“about you”)

- genere si

- età si

- lingua parlata a casa da censire

- paese di nascita si

- titolo di studio più elevato da censire

- anni di insegnamento (in corsi di laurea di I livello) da censire

- tempo pieno o tempo parziale si

- posizione contrattuale si

- posizione accademica si

- ore dedicate a diverse attività (insegnamento, attività di ricerca-studio-creative, attività professionali

esterne, attività amministrative, altre attività accademiche) da censire con estrema difficoltà

C. Le variabili considerate per il questionario sull’ateneo sono le seguenti.

Sezione 1. Caratteristiche dell’università

- numero totale studenti a tempo pieno si

28

- numero totale studenti a tempo parziale si

- numero studenti a tempo pieno iscritti ai corsi di laurea di I livello nella Facoltà di Economia si

- numero studenti a tempo parziale iscritti ai corsi di laurea di I livello nella Facoltà di Economia si

- percentuale di finanziamenti pubblici dell’Università per ora difficile in considerazione del fatto che la

maggioranza di questi fondi viene incassata dai Dipartimenti e non esiste ancora il bilancio unico.

- lingua principale di insegnamento nei corsi di laurea triennale si

- lingua principale di insegnamento nei corsi di laurea triennale nella Facoltà di Economia si

- corsi di laurea (aree di studio) offerti dall’Università si

- titolo di studio più elevato conseguibile presso l’Università si

- numero di studenti che nell’anno precedente la rilevazione ha conseguito il titolo di studio più elevato

conseguibile presso l’Università si

- titolo di studio più elevato conseguibile nella Facoltà di Economia si

- numero di studenti che nell’anno precedente la rilevazione ha conseguito il titolo di studio più elevato

conseguibile presso la Facoltà di Economia si

- numero domande di iscrizione (è una locuzione sorpassata oramai nessuno fa più la domanda in senso

classico - si potrebbe utilizzare solo per le domande di partecipazione alle prove di accesso o ingresso, le

prime sono quelle per i numeri chiusi, le seconde per i corsi che verificano in ingresso la preparazione dei

candidati ma non hanno limitazioni sulla numerosità di ingressi) ai corsi di laurea di primo livello presso

l’Università

- posti effettivamente disponibili (la domanda ha una logica vincolante solo per i corsi ad accesso limitato,

per gli altri corsi rappresenta solo un valore di riferimento che resta a livello di banca dati OFF del MIUR)

nei corsi di laurea di primo livello presso l’Università

- numero domande di iscrizione (vedi nota sopra) ai corsi di laurea di primo livello presso la Facoltà di

Economia

- posti effettivamente disponibili (vedi nota sopra) nei corsi di laurea di primo livello presso la Facoltà di

Economia

- caratteristica /vocazione principale dell’Università (ricerca, didattica, equilibrio tra le due) si

- presenza di programmi di sostegno agli studenti (recupero, potenziamento, arricchimento) (poichè sono

attività di solito non strutturate e censite diventa una dichiarazione autoreferenziale)

- percentuale di studenti iscritti al primo anno che proseguono gli studi al secondo anno richiesta di indicare

la percentuale + la media approssimativa relativa agli ultimi tre anni (accademico o solare?) (dati già

censiti al Miur attraverso Anagrafe nazionale studenti, comunque sono dati disponibili anche a livello di

Università)

- percentuale di studenti iscritti al primo anno nella Facoltà di Economia che proseguono gli studi al secondo

anno (richiesta di indicare la percentuale + la media approssimativa relativa agli ultimi tre anni

(accademico o solare?) (dati già censiti al Miur attraverso Anagrafe nazionale studenti, comunque sono dati

disponibili anche a livello di Università)

- percentuale di laureati (percentuale media relativa agli ultimi tre anni (accademico o solare?) degli studenti

che si sono laureati entro il 150% del tempo previsto) (dati già censiti al Miur attraverso Anagrafe

nazionale studenti, comunque sono dati disponibili anche a livello di Università)

- percentuale di laureati nella Facoltà di Economia (percentuale media relativa agli ultimi tre anni

(accademico o solare) degli studenti che si sono laureati entro il 150% del tempo previsto) dati già censiti

al Miur attraverso Anagrafe nazionale studenti, comunque sono dati disponibili anche a livello di

Università)

Sezione 2. Informazioni aggiuntive

- anni accademici necessari per completare la laurea di primo livello si

- impegno lavorativo professionale richiesto agli studenti della laurea triennale di economia

29

- attività didattiche previste nel primo anno dei corsi di laurea triennali presso la Facoltà di Economia

(lezioni, seminari e gruppi di studio, lavori di gruppo con supervisione, esperienze di ricerca, (a livello di

1° ciclo è rarissimo che gli studenti siano coinvolti in attività di ricerca) apprendimento individuale assistito

dal computer, lavoro di gruppo on-line, tirocinio (al primo anno non sia fa tirocinio) , studio autonomo

individuale)

- valutazione nei corsi di laurea di primo livello in economia (esami e test, progetti di ricerca (vedi nota

punto precedente) e dissertazioni (rare), compiti, lavoro di gruppo, lavoro in laboratorio, abilità pratiche

(specificare), esposizioni orali, altro)

- accreditamento dei corsi (da parte di ordini professionali) (nel nostro sistema gli ordini sono consultati

preventivamente in sede di approvazione degli ordinamenti - ma non esiste un "accreditamento" dei corsi

da parte degli ordini, inoltre è la Legge che definisce quali siano le lauree con esame di stato e quindi

iscrizione all'ordine.

Sezione 3. Caratteristiche degli studenti

- genere (iscritti all’Università) si

- genere (iscritti a Facoltà di Economia) si

- età (% studenti di più di 25 anni - Università) si da eleborare

- età (% studenti di più di 25 anni –Facoltà di Economia) si da elaborare

- percentuale studenti a distanza (Università) no

- percentuale studenti a distanza (Economia) no

- ubicazione sede universitaria (grande, media, piccola città) si

- ubicazione sede Facoltà di Economia (grande, media, piccola città) si

- percentuale di studenti non italiani (Università) si

- percentuale di studenti non italiani (Economia) si

- studenti residenti nella regione sede dell’Università si

- provenienza studenti iscritti all’università (indirizzi di scuola secondaria superiore tipologia? liceo

classico ... scientifico ecc.. )

- provenienza studenti iscritti alla facoltà di economia (indirizzi di scuola secondaria superiore)

Sezione 4. Caratteristiche del corpo insegnante

- docenti a tempo pieno e a tempo parziale nell’Università si

- docenti a tempo pieno e a tempo parziale nella Facoltà di Economia si

- funzioni del personale docente (didattica, ricerca, combinazione delle due) - Università si

- funzioni del personale docente (didattica, ricerca, combinazione delle due) – Facoltà di Economia si

Nell’ambito di una rilevazione nazionale sarebbe forse opportuno richiedere informazioni aggiuntive e più

precise agli studenti e ai docenti relative a:

- organizzazione delle attività didattiche e di recupero/potenziamento (effettuazione di placement test

di tipo linguistico all’inizio dei corsi di laurea; attività mirate di recupero per gli studenti che non

raggiungono risultati adeguati in questi test; organizzazione di attività seguite da tutor; servizi di

tutoraggio agli studenti - matricole, laureandi ….); nella maggior parte dei casi sono attività non

strutturate e censite diventa una dichiarazione autoreferenziale, fatta eccezione, forse, per i servizi di

tutoraggio sia in ingresso che in uscita.

- frequenza degli studenti nelle diverse attività didattiche, comprese indicazioni su eventuali obblighi

di frequenza, differenziazione dei programmi per frequentanti e non (attenzione non è prevista ed

anzi gli studenti che rilevano tale differenziazione la ritengono lesiva e si rivolgono al garante per gli

studenti) , propedeuticità, …;

- organizzazione dei corsi nei semestri in rapporto al numero di CFU; (questo dato è già censito dal

Miur ma solo per anno)

30

- strutture didattiche e di supporto esistenti presso gli atenei e le facoltà (aule, laboratori, centri

linguistici, …..);

- medie voti di laurea conseguiti; si già ricavabile dall'Anagrafe nazionale studenti

- rapporto iscritti laureati (dato già disponibile a livello nazionale?); si già ricavabile dall'Anagrafe

nazionale studenti

- informazioni di tipo demografico (riprendendo le formulazioni utilizzate nelle indagini comparative

internazionali).

Appendice 2 al QUARTO P1+PP Variabili di contesto nel test PISA di Bruno Losito

A proposito delle variabili di contesto già sperimentate in Italia nei test sulle competenze degli

studenti, si ricordano quelle usate per valutare i risultati sulle competenze generaliste osservabili nelle

indagini comparative internazionali, in particolare in PISA sui quindicenni: essi mettono in evidenza il

peso delle variabili di carattere socio-economico e culturale e la difficoltà di misurare l’impatto delle

variabili di contesto scolastico sui livelli di prestazione degli studenti. Nelle analisi di regressione multipla, le

variabili di tipo socio-economico-culturale spiegano la gran parte della variabilità dei risultati.

Per quanto riguarda l’Italia, alcune evidenze sembrano essere abbastanza consolidate nei vari cicli di PISA.

Queste indicazioni sono sostanzialmente confermate anche dalle indagini IEA, che si riferiscono però a

livelli scolastici più bassi (quarto e ottavo anno di scuola).

A esempio [le percentuali riportate sono quelle registrate nella rilevazione del 2009] :

- le differenze nei livelli di prestazione sono associate alle aree geografiche in cui è suddiviso il Paese

(Nord Est, Nord Ovest, Centro, Sud, Sud e Isole) e con i diversi indirizzi di studio (liceo, istituto

tecnico, istruzione professionale, formazione professionale);

- la varianza all’interno delle scuole è inferiore a quella registrata in media a livello internazionale;

- la varianza tra scuole è, al contrario, superiore a quella registrata in media a livello internazionale (il

62% contro una media OCSE pari al 34%);

- l’indice di livello socio-economico-culturale (ESCS) dei singoli studenti ha un impatto minore di

quello medio registrato a livello internazionale (l’11,8% della varianza totale, mentre nei paesi

OCSE la percentuale di varianza spiegata è pari al 14%);

- l’indice di livello socio-economico-culturale di scuola ha un impatto più forte di quanto si registra a

livello internazionale (in Italia il 43,5% della variabilità dei risultati tra scuole è spiegato dall’indice

PISA di status socio-economico e culturale degli studenti e delle scuole);

- l’indice di livello socio-economico-culturale delle scuole e il tipo di indirizzo di studio spiegano

insieme una percentuale rilevante della varianza (47,5%).

Altre variabili “di sistema” che risultano associate ai risultati conseguiti dagli studenti (sempre in PISA)

sono: la frequenza della scuola dell’infanzia, la struttura “comprensiva” dei sistemi di istruzione. Per quanto

riguarda le variabili di contesto scuola, risultano associati positivamente al livello di prestazione degli

studenti il clima disciplinare di classe e il livello di autonomia delle scuole. La difficoltà di associare in

modo diretto alcune caratteristiche dei contesti scolastici al rendimento degli studenti è confermata anche da

altri studi (a partire da quello di J. S. Coleman,1966, che ha messo in evidenza l’impatto, preponderante,

delle variabili di background familiare degli studenti sugli apprendimenti, attribuendo alle variabili legate

alla scuola la possibilità di spiegare meno del 10% della variabilità totale degli apprendimenti).

Appendice 3 al QUARTO P1+PP con una Nota sul valore aggiunto di Aletta Grisay. Sintesi di Fiorella

Kostoris

1. La misura del valore aggiunto degli istituti di formazione può essere utile per due ragioni:

31

A livello nazionale o regionale, per permettere alle autorità che gestiscono il sistema educativo di

implementare eventuali politiche di incentivi intesi a incoraggiare gli istituti efficienti e a

ristrutturare e migliorare gli inefficienti.

A livello di istituto, per favorire la riflessione e l’auto-valutazione della propria efficacia, grazie ad

indicatori che permettono di confrontare gli esiti del proprio insegnamento a quelli di altri istituti

dello stesso tipo – e quindi per individuare punti forti o deboli dell’insegnamento.

2. Per definizione, un indicatore di valore aggiunto implica la somministrazione di una o più prove

standardizzate in un numero significativo di istituti (di solito un campione rappresentativo o l’intera

popolazione degli istituti esistenti ) e il confronto fra l’outcome (i punteggi effettivamente osservati) e i

risultati attesi tenendo conto di una o più variabili di input, dette variabili di controllo. Si evita così di

attribuire all’efficacia più o meno grande degli istituti quella parte delle differenze di punteggi che non è

dovuta alle differenze di qualità dell’istruzione, ma solo alle eventuali differenze di attitudini e

competenze degli studenti, già presenti al momento della loro iscrizione nei diversi istituti. L’indicatore di

valore aggiunto esprime la differenza fra il punteggio medio ottenuto alla prova dagli studenti dell’istituto

e il punteggio medio “prevedibile” mediante le variabili di controllo.

3. La scelta delle variabili di controllo è particolarmente importante nei Paesi dove esistono forti differenze

fra istituti relativamente alle caratteristiche della popolazione di studenti che li frequenta; le caratteristiche

che sono alla base di queste differenze sono abitualmente associate in modo significativo alla dimensione

misurata dalla prova.

4. Fra le variabili di controllo più comunemente incontrate nella letteratura, si possono citare:

il punteggio a una prova standardizzata passata dagli studenti al momento dell’ammissione

nell’istituto;

il punteggio a una prova d’intelligenza;

le variabili legate al cursus scolastico anteriore che sarebbero suscettibili di tradurre livelli

diversi di competenze;

le variabili legate allo status socio economico e culturale della famiglia.

5. Trattandosi di una misura di valore aggiunto dove la prova porta su aspetti generalistici (critical thinking,

analytical reasoning, problem solving, ability to communicate e simili), va notato che le differenze

osservate si confondono probabilmente in gran parte con le differenze misurate dai test d’intelligenza, di

cui si sa che i risultati sono alquanto stabili nel tempo. Ne risulta, da un lato, che sarebbe quasi certamente

necessario includere un test di QI nella lista di variabili di controllo; e d’altro lato, che le differenze di

valore aggiunto dovuto all’istruzione ricevuta in diversi istituti raggiungerebbero difficilmente una

significatività statistica, anche nell’ipotesi migliore (dove lo studio fosse longitudinale e le misure pre e

post fossero prese all’inizio e alla fine del cursus universitario).

6. Lo status socio economico degli studenti è una variabile che va SEMPRE rilevata, anche se si osserva a

volte una attenuazione della sua relazione con l’apprendimento nei livelli di studio dove la popolazione ha

già subito una forte selezione socio economica, come è spesso il caso all’università. Quando la variabile

non può essere raccolta direttamente per ragioni legali (leggi sulla privacy circa le informazioni personali)

o fattuali (evasione fiscale nelle dichiarazioni dei redditi), si consiglia di ricorrere a “proxy” usate nella

letteratura (a esempio borse di studio, indice socio economico medio del quartiere dove abita lo studente).

7. Ritengo personalmente che il calcolo del valore aggiunto, per le ragioni descritte in Grisay, 1996, debba

tener conto di altri indicatori che lo completano. Consiglierei, in particolare, di raccogliere variabili che

possano dare una idea delle risorse umane e materiali dell’istituto e della qualità dell’insegnamento, in

modo da poter calcolare, a livello di sistema, gli indicatori seguenti :

32

Come si distribuisce la varianza totale del punteggio alla prova (percentuale di varianza “between

schools” e percentuale di varianza “within schools”);

Come si distribuiscono le diverse variabili di controllo della popolazione di studenti (percentuale di

varianza “between schools” e percentuale di varianza “within schools” di ciascuna di esse);

Come si scompone, in una analisi multi-livello, la varianza “between schools” del punteggio alla

prova, e cioè:

a) Quale è la percentuale di varianza “between school” che può essere “spiegata” dalle sole

caratteristiche di input degli studenti?

b) Quale è la percentuale di varianza “between school” che può essere “spiegata” dalle sole

caratteristiche dell’istituto (risorse, insegnamento)?

c) Quale è la percentuale di varianza “between school” che può essere “spiegata” dalla

congiunzione fra le caratteristiche degli studenti e le caratteristiche dell’istituto ?

8. La percentuale di varianza “between schools” dà una idea globale delle disparità di esiti fra istituti.

L’indicatore a) indica fino a che punto queste disparità sono attribuibili strettamente a fenomeni di

aggregazione demografica (gli studenti di diversi ceti sociali, con QI e antecedenti scolastici diversi,

tendono a iscriversi in istituti diversi?). L’indicatore b) rappresenta il valore aggiunto in senso stretto

(fino a che punto istituti diversi ma con studenti simili per le loro caratteristiche di input riescono ad

incidere sugli esiti grazie alle loro migliori risorse e pratiche educative?). L’indicatore c) dà una idea

globale dell’equità o meno del sistema (fino a che punto le differenze di esiti sono dovute al fatto che gli

istituti che offrono le migliori risorse e pratiche educative sono quelli dove vanno a iscriversi gli studenti

migliori e/o di ceto sociale più alto?).

Appendice 4 al QUARTO P1+PP su Le variabili di contesto nella valutazione degli esiti

dell’apprendimento effettivi di Vincenzo Zara

All’interno del sistema AVA, i criteri e gli indicatori per l’accreditamento periodico pongono

notevole enfasi sulla verifica dei risultati di apprendimento effettivi. Per quanto riguarda le competenze

trasversali, i generic skills, tale verifica verrà effettuata attraverso la somministrazione di appositi test,

secondo un modello comune a livello nazionale. La valutazione delle risposte fornite dagli studenti renderà

possibile quantificare il livello di competenza raggiunta per ciascuna delle tre abilità fondamentali previste

(critical thinking, problem solving e ability to comunicate), e gli esiti della valutazione verranno tradotti in

un punteggio da attribuire all’ateneo/corso di studio ai fini dell’accreditamento periodico e/o valutazione

periodica. Il punteggio assegnato dovrà esprimere la capacità dimostrata dalla sede/corso di studio nel

portare le competenze dello studente2 a corrispondere ai risultati dell’apprendimento attesi dichiarati nel

progetto del corso. È aperta la discussione riguardo all’opportunità di prevedere delle “variabili di contesto”,

ossia dei fattori che intervengano sull’esito “grezzo” del test, dando conto dell’eventuale sussistenza di

condizioni, estranee all’operato delle università, che possano avere condizionato il raggiungimento effettivo

dei risultati di apprendimento attesi. L’influenza delle variabili può operare in due direzioni opposte: con

2 E’ in parte semantica la distinzione che si fa fra valore aggiunto (o aumento nelle competenze), ottenuto attraverso le

variabili di contesto o invece attraverso un’analisi longitudinale sugli studenti, valutati una prima volta all’ingresso e

una seconda volta all’uscita dagli studi universitari. In questo secondo modo, si potrebbe meglio stimare l’incremento

effettivo maturato durante il periodo di permanenza all’interno dell’università. Anche in questo caso, tuttavia, si

potrebbero prevedere variabili che agevolino la lettura di risultati apparentemente “anomali”, tenendo conto, ad

esempio, della necessità di dare il giusto riconoscimento a quelle sedi in grado di attrarre i diplomati eccellenti o un

numero elevato di studenti stranieri.

33

funzione incrementale, aumentando il punteggio ottenuto per tenere conto di limitazioni effettive al

conseguimento dei risultati di apprendimento attesi, o con funzione decrementale, riducendo il punteggio, nel

caso di sussistenza di condizioni che limitino il “valore aggiunto” attribuibile alla formazione impartita

dall’università. Si può prevedere inoltre che una stessa variabile assuma funzione incrementale o

decrementale in relazione al valore che le viene associato.

Entrando nello specifico delle variabili possibili, studi del settore evidenziano la rilevanza del

contesto socio-economico di appartenenza; a livello individuale si potrà dunque prestare attenzione a

informazioni quali l’occupazione e il livello di istruzione/titolo di studio del padre e della madre, nonché la

fascia di reddito del nucleo familiare, mentre a livello ambientale si potrà tenere conto del tasso di crescita

dell’area geografica, dal momento che una più concreta possibilità di rapido inserimento lavorativo potrebbe

influire positivamente nella motivazione allo studio, incrementandone/diminuendone l’efficacia. Ulteriori

elementi di cui si potrebbe tenere conto, a livello individuale, sono inoltre la partecipazione a programmi di

mobilità internazionale e a stage/tirocini extra curriculari, l’assunzione di mandato come rappresentante degli

studenti, la condizione di studente fuori sede e quella di studente lavoratore, l’essere portatore di disabilità

specifiche, ecc.

In questa fase di prima applicazione, è opportuno prevedere l’utilizzo di eventuali variabili

desumibili dai dati di cui le Università già dispongono. Rientrano fra questi due informazioni rilevanti, ossia

la scuola di provenienza dello studente in ingresso e il voto di diploma di scuola secondaria; si tratta di dati

la cui rilevazione non presenta difficoltà, dal momento che vengono richiesti obbligatoriamente all’atto

dell’immatricolazione. Diversa è la situazione in merito ad altre informazioni sopra proposte. È necessario

precisare, difatti, che le modalità e i sistemi di gestione delle carriere degli studenti variano enormemente da

sede a sede: ciò significa che informazioni generalmente disponibili nella maggior parte degli atenei,

potrebbero non essere rilevate in altri e persino solo parzialmente rilevate in altri ancora (ad esempio, perché

la rilevazione è vincolata alla volontaria compilazione da parte dello studente). Alcune delle informazioni,

inoltre, potrebbero essere disponibili solo a livello “teorico”, mentre il loro utilizzo effettivo provocherebbe

difficoltà di gestione3. Ne consegue che l’applicazione di determinati fattori correttivi a livello di sede

potrebbe scontrarsi con attendibilità e/o congruenza variabili da istituzione a istituzione.

Si potrebbe ovviare a tale difficoltà prevedendo, per le informazioni che si sceglierà di utilizzare, la

rilevazione delle stesse contestualmente alla somministrazione del test, attraverso la semplice aggiunta delle

apposite voci in testa o in coda ai quesiti delle prove.

Appendice 5 al QUARTO P1+PP con Considerazioni assolutamente preliminari in merito alla

possibilità di valutare il contributo di corsi di studio e atenei alla formazione degli studenti

universitari di Giacomo Calzolari

Premessa

La strada maestra e scevra da possibili critiche è quella che si basa su un panel di dati (ovvero lo

stesso studente appare nei dati in più di una osservazione in istanti temporali diversi), costruito

somministrando a tutti gli studenti un questionario nazionale in ingresso ed un questionario nazionale in

uscita dal corso di laurea. Per il seguito indichiamo questa strada come metodologia I. Ogni alternativa si

espone a critiche di vario tipo che sono illustrate brevemente nel seguito.

3 Fra i dati “individuali” di cui si è suggerito di tenere conto, potrebbero essere utilizzati (perché generalmente rilevati)

la fascia di reddito del nucleo familiare e la condizione di studente fuori sede. Sono a disposizione della sede, ma gestite

da uffici diversi da quelli preposti alla gestione delle carriere degli studenti, le informazioni relative alla mobilità

internazionale, agli stage/tirocini extra curriculari, alle attività come rappresentante degli studenti, alla tipologia di

disabilità di cui si è eventualmente portatori. Solitamente vincolati a dichiarazione volontaria sono invece i dati relativi

ai genitori e alla condizione di studente lavoratore.

34

Incidentalmente si nota che per gli studenti di medicina questa strada richiederebbe solo la

predisposizione del test nazionale in uscita dal momento che il test nazionale in ingresso esiste già per le

graduatorie di ammissione. Pertanto come contesto pilota medicina potrebbe essere utilizzata per approntare

in tempi relativamente veloci la procedura ideale.

Anche se al momento e in tempi brevi la metodologia illustrata qui sopra appare difficile da

implementare, tuttavia pare sensato ed importante cominciare a valutare la strada per implementarla. A

questo proposito è utile notare che si potrebbe utilizzare il test Invalsi in uscita al quinto anno della scuola

secondaria di secondo grado (somministrato quest’anno in tutte le scuole), come test di ingresso

all’università. Pertanto si potrebbe immaginare un test in itinere alla fine del primo anno. Utilizzando la

metodologia I, già alla fine del 2013 si potrebbero avere delle prime indicazioni sull’apporto dei corsi di

laurea o di ateneo almeno per il primo anno di studio, almeno identificando dei corsi di laurea pilota.

Metodologia II

Come soluzione temporanea e di second-best si può provare a utilizzare una regressione multivariata

con effetti fissi di ateneo o di corso di laurea, con la quale controllare per quante più variabili possibili.

Idealmente questo metodo risulterebbe scevro da critiche se si fosse in grado di controllare per tutte le

variabili rilevanti. Per specificare ciò di cui si discute, ci concentreremo sul test generalista in uscita, per

esempio da una laurea triennale in classe economica.4 La popolazione oggetto di studio è quindi quella di

tutti gli studenti laureati in una laurea triennale in classe economica in ogni ateneo nel paese.

La variabile dipendente v_i è l’esito del test in uscita dello studente i. Le variabili esplicative

utilizzate sono le seguenti: Residenza_i: effetto fisso della provincia (o comune) di residenza (normalmente

quello di provenienza dello studente, dal momento che pochissimi fuorisede cambiano residenza); Ateneo_i

o Corso_i: effetto fisso di ateneo o corso di laurea; Regione_i: effetto fisso della regione dell’ateneo (meglio

non usare la provincia perché in una provincia normalmente c’è un solo ateneo); X_i: vettore di variabili di

contesto dello studente i osservabili (titolo di studio di scuola superiore, voto di maturità, titolo di studio

genitori, ecc.). Soggettive_i: vettore di variabili soggettive dello studente i “innate”, come motivazione allo

studio, capacità di apprendimento, abilità cognitive, abilità non cognitive. Ovviamente questo vettore non è

osservabile e quindi non lo si può utilizzare direttamente. Se fosse possibile, risolverebbe il problema della

auto-selezione degli studenti (migliori) negli atenei (migliori). Su questo punto si ritornerà in seguito.

Una possibile regressione è la seguente:

v_i=costante+ alpha*Residenza_i+ beta*Ateneo_i [o Corso_i:]+delta*X_i+[gamma*Soggettive_i+]errore

Il problema di questa regressione è ovviamente, come già illustrato in precedenza, quello delle

variabili non osservabili e quindi omesse correlate con v_i e Ateneo_i, ovvero le variabili soggettive che

influiscono sia sul voto del test sia sulla scelta dell’ateneo dello studente. Se si potesse controllare per tutte

queste variabili (ovvero se fossero invece osservabili), allora il coefficiente beta fornirebbe una stima non

distorta dell’apporto del singolo ateneo o corso di laurea all’esito del test dello studente.

Il meglio che si può fare con questo problema è cercare di aggiungere quante più variabili osservabili

(sensate) è possibile ottenere. Rimane comunque il problema delle capacità “innate” o soggettive del singolo

studente, non osservabili, che implicano una stima distorta di beta.

4 Qui è necessario affrontare il problema del raggruppamento delle classi delle lauree, anche per il test generalista.

35

Una possibile soluzione, attenzione sempre parziale, è quella di prevedere nel test che produce il

voto v_i, una sezione di domande su abilità cognitive, non-cognitive, e motivazionali (talvolta utilizzate in

psicologia ed in economia) che permettano di catturare almeno in parte le caratteristiche soggettive non

osservabili. Ovviamente questo ha senso e rappresenta un tentativo effettivo di soluzione se si pensa che

queste variabili non siano influenzate dall’ateneo o corso di laurea seguito nei tre anni di studio. Una scelta

oculata di queste variabili però sembra percorribile. Si tratta di valutare attentamente quanto si potrebbe fare

in questa direzione, e ciò richiede tempo, ma a titolo di esempio si pensi alla seguente possibilità. Si

immagini che esista un IQ-test universalmente accettato che non viene influenzato (troppo) dagli studi

seguiti, allora questo test potrebbe essere inserito nel test generalista di conclusione degli studi per

“catturare” l’abilità soggettiva dell’individuo i.

In conclusione è utile notare che si potrebbe immaginare di identificare già per il 2013 dei corsi di

laurea pilota per i quali implementare entrambe le metodologie I (nella versione illustrata alla fine del

paragrafo precedente “Premessa”) e metodologia II appena illustrata. Ciò permetterebbe tra l’altro, già per il

2013, di confrontare i due approcci metodologici anche dal punto di vista della complicazione di

implementazione.

36

QUINTO P1PP Accordo di programma ANVUR-MIUR per la valutazione degli esiti

dell’apprendimento: richiesta di Euro 1.500.000

Vincenzo Zara* con Fiorella Kostoris

La legge n. 240/2010 e, successivamente, il decreto legislativo n. 19/2012 hanno posto le basi per

l’avvio del sistema di accreditamento delle Università, concretizzatosi in seguito nel sistema integrato di

Autovalutazione, Valutazione periodica e Accreditamento (AVA) proposto dall’ANVUR. In base ai

documenti recentemente pubblicati dall’Agenzia, fra i criteri per l’accreditamento periodico, che dovrebbe

avviarsi già nell’anno accademico 2013-2014, è data estrema rilevanza alla verifica e valutazione degli esiti

dell’apprendimento effettivamente ottenuti, introducendo una novità assoluta nel contesto universitario

nazionale. Al riguardo, risulta particolarmente innovativa la rilevazione delle competenze trasversali dei

laureandi (critical thinking, problem solving, ability to communicate), la cui valutazione sarà condotta

secondo una procedura comune a livello nazionale mediante la somministrazione di un test di generic skill. A

tal proposito, esistono numerose esperienze consolidate a livello internazionale e in vari Paesi sono già stati

adottati test volti a rilevare il livello di competenza nei generic skills. Tali prodotti sono correntemente

utilizzati e hanno dato dimostrazione di robustezza in vari contesti.

Al fine di consentire l’effettivo avvio delle procedure di accreditamento periodico nei ristretti tempi

indicati, l’acquisto di un test esistente sul mercato, già deciso dall’ANVUR, appare la scelta più ragionevole

e opportuna. L’utilizzo di uno strumento già consolidato su scala internazionale presenta numerosi vantaggi,

fra cui una notevole riduzione dei tempi necessari alla realizzazione delle prove da somministrare, nonché la

possibilità di comparare a livello internazionale i risultati evidenziati nel nostro Paese. Tuttavia, la scelta di

avvalersi di un prodotto già pronto, che ha un proprio notevole costo sul mercato, richiede un insieme di

operazioni, ivi incluse la selezione, la traduzione e l’adattamento del test, che a loro volta comportano vari

costi. Ciò nonostante, è evidente che l’ipotesi di costruire e testare prove ex novo create in Italia

richiederebbe un investimento ben maggiore per conseguire il medesimo livello di qualità e robustezza,

nonché, come già illustrato, tempi molto più lunghi.

Ciò premesso, considerati gli aspetti strategici della rilevazione proposta e gli importanti risvolti in

termini di incremento della qualità, efficienza ed efficacia del sistema universitario, si evidenzia come sia

comune interesse per il MIUR e l’ANVUR procedere alla rapida individuazione di mezzi idonei agli scopi

prima descritti. Tali strumenti, da individuarsi a cura dell’ANVUR, consentiranno l’avvio di una

indispensabile fase di sperimentazione, propedeutica all’adozione e applicazione dei criteri/indicatori per

l’accreditamento periodico che dovrebbe svolgersi e concludersi nel 2013. Data l’ampiezza dei costi che

l’Agenzia dovrebbe sostenere per condurre in maniera celere ed efficiente le suddette operazioni, l’ANVUR,

in qualità di ente pubblico, ritiene indispensabile proporre al MIUR uno specifico accordo di programma,

istituto per definizione volto a “semplificare ed accelerare l’azione amministrativa” in funzione di un’opera,

progetto o intervento sulla cui realizzazione si riscontra il “consenso unanime delle amministrazioni

interessate”5. L’accordo sarà inteso a garantire la sostenibilità finanziaria di tutte le operazioni necessarie alla

messa in opera del test relativo ai generic skills. Dal momento che, ai sensi dell’art. 2, comma 142, del DL n.

262/2006, convertito nella legge n. 286/2006, l’integrazione degli oneri per il funzionamento dell’Agenzia

ricade sul fondo per il finanziamento ordinario delle università e che l’art. 12, comma 7, del DPR n. 76/2010,

stabilisce che il “Ministro, sentita la CRUI, può riservare annualmente per l'Agenzia ulteriori risorse, a valere

sul fondo per il finanziamento ordinario delle università di cui all'articolo 5, comma 1, lettera a), della legge

24 dicembre 1993, n. 537, (…) in relazione alle esigenze della stessa per lo svolgimento delle proprie attività

istituzionali di valutazione”, si ritiene opportuno richiedere al MIUR un impegno finanziario, quantificabile

in euro 500.000/anno, per un totale di euro 1.500.000 nel triennio, a valere sui fondi (€ 67.000.000)

accantonati dal Ministro e rinviati a successivo specifico provvedimento, come riportato fra le premesse al

DM n. 71/2012. Come precisato dall’ANVUR nel proprio parere del 28 marzo 2012, difatti, il programma

5 Cons. Stato, Sez. IV, 6 maggio 2008, n. 2062, in Foro amm.-C.d.S., 2008, 1407.

37

AVA, che pure ricade nell’ambito delle attività istituzionali di valutazione dell’Agenzia, si configura come

un progetto speciale cui dovrebbero essere riconosciuti finanziamenti ad hoc, che allo stato attuale non sono

affatto previsti.

In funzione della stipula dell’accordo in oggetto, l’ANVUR, attraverso i propri esperti, condurrà le

attività relative all’individuazione, acquisto, traduzione e adattamento del test, nonché alla sua

sperimentazione e validazione, e il Ministero si impegnerà a corrispondere la somma necessaria per

l’espletamento delle suddette attività. Modalità e tempistiche dell’erogazione della somma in oggetto

potranno essere definite nel testo dell’accordo, da disciplinare nella forma e secondo le modalità che

verranno successivamente identificate di concerto con il Ministero. Nell’individuazione delle suddette

tempistiche si dovrà tenere conto dell’impellente necessità di avviare la sperimentazione a partire dal

gennaio 2013, in modo da poter disporre entro dicembre dello stesso anno dei dati sugli esiti

dell’apprendimento.

Riferimenti bibliografici

ANVUR, Parere 02 del 28 marzo 2012, “Fondo di Finanziamento Ordinario delle Università per

l’anno 2012”.

ANVUR, “Autovalutazione, Valutazione e Accreditamento del sistema universitario italiano”

(Documento A).

ANVUR, “Criteri e indicatori per i sistemi di accreditamento iniziale e periodico delle sedi e dei

corsi di studio universitari e di valutazione periodica dei risultati degli atenei” (Documento B).

Legge 8 giugno 1990, n. 142, “Ordinamento delle autonomie locali”.

Legge 24 novembre 2006, n. 286, “Conversione in legge, con modificazioni, del decreto-legge 3

ottobre 2006, n. 262, recante disposizioni urgenti in materia tributaria e finanziaria”.

Consiglio di Stato, Sez. IV, 6 maggio 2008, n. 2062, in Foro amministrativo-C.d.S., 2008, 1407.

Decreto del Presidente della Repubblica 1 febbraio 2010, n. 76, “Regolamento concernente la

struttura ed il funzionamento dell'Agenzia nazionale di valutazione del sistema universitario e della ricerca

(ANVUR)”.

Legge 30 dicembre 2010, n. 240, “Norme in materia di organizzazione delle università, di personale

accademico e reclutamento, nonché delega al Governo per incentivare la qualità e l'efficienza del sistema

universitario”.

Decreto Legislativo 27 gennaio 2012, n. 19, “Valorizzazione dell'efficienza delle università e

conseguente introduzione di meccanismi premiali nella distribuzione di risorse pubbliche sulla base di criteri

definiti ex ante anche mediante la previsione di un sistema di accreditamento periodico delle università e la

valorizzazione della figura dei ricercatori a tempo indeterminato non confermati al primo anno di attività, a

norma dell'articolo 5, comma 1, lettera a), della legge 30 dicembre 2010, n. 240”.

Decreto Ministeriale MIUR 16 aprile 2012, n. 71, “Decreto criteri di Ripartizione del Fondo di

Finanziamento Ordinario (FFO) delle Università per l’anno 2012”.

38

SESTO P1PP La formazione per la valutazione degli esiti effettivi dell’apprendimento


In seguito all’applicazione del sistema di Autovalutazione, Valutazione periodica e Accreditamento

(AVA) dell’ANVUR, verranno rese operative in tempi molto brevi le procedure per l’accreditamento e la

valutazione periodica. Questo implicherà l’adozione su scala nazionale di modalità comuni per la verifica e

la valutazione degli esiti dell’apprendimento effettivamente ottenuti; ciò comporterà la messa in moto di una

macchina organizzativa di notevoli proporzioni. Il funzionamento appropriato ed efficace di tale macchina è

legato in buona misura al grado di preparazione di coloro che saranno gli “addetti ai lavori” in maniera

diretta (Institutional Coordinators – IC e Scorers – SC). È indispensabile che IC e SC siano opportunamente

formati per conoscere e comprendere appieno le modalità di organizzazione, preparazione, somministrazione

e correzione/valutazione delle prove. Il corretto svolgimento del test è presupposto essenziale affinché la

regolarità e l’attendibilità dei risultati non vengano compromesse.

Occorre ricordare, inoltre, che la partecipazione alle prove di una quota non minoritaria di

“laureandi” costituisce indicatore per l’accreditamento periodico e che il mancato accreditamento comporta

la sospensione del corso di studio. Anche per questo motivo, sembra opportuno che il periodo di formazione

e addestramento sia inteso al fine di chiarire le implicazioni e le possibili ricadute legate all’applicazione di

questo tipo di valutazione che si effettua per la prima volta nelle università italiane. Il programma di

formazione di IC e SC è uno strumento che potrebbe essere in grado di trasmettere non soltanto gli aspetti

tecnici specifici, ma anche contenuti e nozioni strategiche che consentano di comprendere e comunicare ad

altri pienamente la nuova prospettiva o la nuova etica dei risultati, sviluppando un diverso concetto di

didattica universitaria, centrata sullo studente e sul diritto di questi a ricevere una formazione che consenta in

maniera effettiva il raggiungimento ex post di quelle competenze dichiarate nelle intenzioni del progetto

formativo del corso, ex ante.

Si può ipotizzare, dunque, di strutturare la formazione in termini modulari, prevedendo un adeguato

numero di moduli “specifici” (che dovrebbero includere alcune simulazioni), preceduti da moduli “teorici”.

Le attività formative de visu potrebbero ragionevolmente essere organizzate in tre giornate: una metà della

prima per gli aspetti teorici, una giornata e mezzo per gli aspetti tecnici, particolarmente complessi per gli SC

che dovranno apprendere da un rubrics come valutare le risposte aperte del test e un’ultima da dedicare a

simulazioni, chiarendo eventuali dubbi dei partecipanti. Le persone cui la formazione è diretta, che devono

essere individuate dalle sedi entro il 30 aprile 2013, possono essere opportunamente convocate a Roma per

frequentare il corso nella sede dell’ANVUR nella decade centrale di maggio 2013: si consentirebbe così a IC

e SC di essere operativi già nella seconda metà di maggio, rendendo possibile l’avvio della sperimentazione

vera e propria entro la fine dello stesso mese, come preventivato.

L’attività in aula potrebbe infine essere seguita da un periodo di follow up a distanza in modo da

affiancare e supportare la fase sperimentale: ciò consentirebbe da un lato di venire a conoscenza ed

eventualmente risolvere tempestivamente problemi/dubbi da parte delle istituzioni coinvolte nella

sperimentazione e dall’altro di seguire in tempo reale i primi effetti dell’applicazione del test.

39

SETTIMO P1PP Campagna di informazione sulla valutazione degli esiti dell’apprendimento


Il modello AVA rappresenta una novità sostanziale nel sistema universitario italiano. Gli Atenei

dovranno confrontarsi con procedure e meccanismi nuovi, e l’adempimento di quanto richiesto dal modello

richiederà la modifica di numerosi assetti. Ancora non è dato sapere quali saranno gli effetti dell’adozione di

un sistema per la assicurazione della qualità uniforme a livello nazionale, a maggior ragione in

considerazione del fatto che le tempistiche ristrette non agevolano la spontanea maturazione di una “cultura

della qualità”, requisito necessario e indispensabile per il corretto funzionamento di tutto l’apparato ideato

dall’ANVUR. In assenza di una matura consapevolezza dell’importanza di assicurare un’offerta formativa di

qualità, l’applicazione del modello rischia di essere vissuta come un mero elenco di nuovi obblighi e vincoli

da soddisfare; il che contrasterebbe l’effettivo instaurarsi di una cultura del miglioramento continuo. La

situazione è particolarmente delicata per quanto riguarda la valutazione degli esiti dell’apprendimento

effettivi, che costituisce una delle novità introdotte dal modello AVA. Suscita qualche dubbio l’ipotesi che

possa verificarsi una spontanea e proficua ricezione di modalità e procedure legate a questa valutazione, che

pure rappresenta un aspetto focale nell’accreditamento periodico.

E’ dunque opportuno provvedere all’adozione di iniziative volte a favorire una adeguata

informazione di tutti gli stakeholders. Si può prevedere l’organizzazione a cura dell’ANVUR di seminari con

la partecipazione di esperti della valutazione, da tenere a campione in alcune Università individuate quali

poli di aggregazione territoriale. La partecipazione sarà aperta sia a varie componenti della comunità

universitaria selezionate dalle sedi sulla base di criteri specificati dall’Agenzia, sia ad altri stakeholders

interessati alla nuova prospettiva dei risultati sulle competenze trasversali (in primo luogo alle imprese). Con

riguardo al primo gruppo, sembra certamente opportuno coinvolgere almeno i presidenti dei consigli di corso

di studio, i membri delle commissioni paritetiche docenti-studenti, il Nucleo di Valutazione di Ateneo,

nonché il personale tecnico-amministrativo che svolge ruoli chiave nell’organizzazione e gestione dei corsi

di studio. L’argomento dei seminari costituisce un punto nodale nel contesto del riassetto universitario

generale innescato dalla legge 240/10 e dell’indirizzo ad una formazione universitaria guidata da criteri di

qualità; si dà quindi per implicita la partecipazione motivata dei docenti designati. Si può invece prevedere di

stimolare il coinvolgimento del personale T/A attraverso il riconoscimento di crediti formativi professionali,

dal momento che l’attività in questione può rientrare nell’aggiornamento professionale obbligatorio previsto

dalla normativa. Analogamente, la partecipazione dei rappresentanti degli studenti può essere agevolata

dall’eventuale riconoscimento della frequenza in termini di CFU, eventualmente da riconoscere nell’ambito

delle attività a libera scelta dello studente o nelle “altre attività formative” specificamente previste

dall’ordinamento didattico. Fondamentale appare la partecipazione dei membri delle commissioni

paritetiche, che svolgono un ruolo centrale alla luce delle nuove funzioni previste dalla normativa recente. Si

può immaginare che la partecipazione ai suddetti seminari sia da considerare indispensabile ai fini

dell’eleggibilità dei membri nella commissione; a questo fine, l’ANVUR può rendere pubblici i nominativi

dei partecipanti nel proprio sito.

40

OTTAVO P1+PP Modalità di acquisizione, traduzione, somministrazione, analisi dei dati relativi a un

test di competenze generaliste

Annamaria Poggi* con Fiorella Kostoris

Nelle tre parti in cui è diviso questo scritto si trovano illustrati:

1. alcuni aspetti procedurali nell’ottica del regolamento dell’ANVUR ( DPR 76/2010);

2. le possibili modalità di acquisizione del test

3. 3 allegati: i primi due si riferiscono a due esperienze internazionali già in atto (CLA e VSA) e un

terzo contiene un breve vademecum che regola le gare pubbliche (contenuto in un file a parte).

1. Fondamento normativo a operare e vincoli procedurali

L’art. 3, comma 2, lett. a) del DPR 76/2010 fonda la competenza a operare dell’ANVUR . Costituisce

oggetto di sua valutazione “l’efficienza e l’efficacia dell’attività didattica sulla base di standard qualitativi

di livello internazionale, anche con riferimento agli esiti dell’apprendimento da parte degli studenti ed al

loro adeguato inserimento nel mondo del lavoro”. Lo stesso articolo poco sopra afferma che “per le

questioni didattiche è promosso il coinvolgimento attivo degli studenti e dei loro organismi di

rappresentanza e delle commissioni paritetiche”.

Dunque, è opportuna la proposta Kostoris 2012, allegata al resoconto sommario della riunione del 13 giugno

2012 di questo gruppo di lavoro, che intende coinvolgere le commissioni paritetiche e i Nuclei di

Valutazione nelle decisioni e nell’attuazione dei test specialistici gestiti dagli Atenei, di concerto con

l’ANVUR. In quel che segue, vengono invece approfondite le questioni concernenti il test generalista.

2. Procedura amministrativo-contabile

Ai sensi della legge istitutiva, l’ANVUR ha autonomia amministrativa e contabile, “anche in deroga alle

disposizioni sulla contabilità dello Stato”.

Il Regolamento di contabilità all’art. 38, primo comma, conferisce “piena autonomia negoziale” all’ANVUR

che può stipulare “contratti e convenzioni di qualsiasi genere, ad eccezione di quelli aleatori e per

operazioni speculative”. Al comma 5 si precisa che la “determinazione a contrattare, la scelta della forma di

contrattazione, le modalità essenziali del contratto e dei capitolati d’oneri sono stabiliti dal Consiglio

dell’Agenzia” e al comma 6: “Il contratto è stipulato in forma scritta e anche con scambio di corrispondenza

secondo l’uso del commercio. La competenza alla stipula dei contratti è del Presidente o di un suo

delegato”.

Il Regolamento per la fornitura dei beni e servizi asserisce che l’acquisizione di beni e servizi in economia

(tra cui sono compresi anche i “prodotti informatici e siti web, software e gestione di licenze e contratti”,

nonché i “servizi di consulenza, studi, ricerca, indagini e rilevazioni”) è consentita per importi inferiori a

200.000 euro al netto di IVA. L’affidamento è disposto con “gara informale” richiedendo almeno 5

preventivi (se sussistono in tale numero “soggetti idonei”), con lettera di invito. L’individuazione avviene

sulla base delle ricerche di mercato. La richiesta ai fornitori dei preventivi/offerte può essere effettuata con

qualsiasi mezzo (lettere, fax, posta elettronica certificata). I contratti sono sottoscritti dal Direttore.

41

Bisognerà dunque procedere alla:

1. determinazione da parte del Consiglio Direttivo delle specifiche azioni necessarie alla

sperimentazione del test generalista sui “laureandi”, già decisa per il 2013 dal Consiglio nella sua

seduta del 23 maggio 2012 (es numero e tipologia di università, modalità di campionatura);

2. individuazione da parte del Consiglio Direttivo (o del comitato a ciò delegato) dei soggetti che sul

mercato offrono il pacchetto in prima battuta complessivo (produzione, traduzione,

somministrazione, etc.) e dei servizi aggiuntivi occorrenti ;

3. lettera di invito a partecipare a una gara informale, consistente cioè nel poter definire

progressivamente il pacchetto di servizi o il servizio richiesto, anche attraverso scambio di

corrispondenza multiplo;

A questo punto possono verificarsi due ipotesi:

a. effettuazione della gara informale, consistente nella scelta del o dei contraenti per la fornitura del

servizio se si sta nell’importo che lo consente;

b. altrimenti occorre andare a gara “formale” (v. vademecum Allegato 3, ma la notizia più rilevante

ai nostri fini è che non ci sono termini prescrittivi da rispettare, purché i termini fissati siano

“congrui”)

4. determinazione a contrattare e procedura (a seconda dell’importo) da parte del Consiglio Direttivo e

nomina del responsabile del procedimento che, insieme al Direttore, conduce questa fase;

5. predisposizione del contratto (nel caso di importo sotto soglia) o della gara (in alternativa).

Allegato 1 (CLA)

We invite you to participate in an assessment that will help your school learn how well your students are

learning how to think critically, reason analytically, solve problems, and write well. You will also be

participating in an ongoing national project building a database of information about teaching higher order

skills to prepare students for college, and for life.

The acquisition of higher order skills is made more urgent today as the Information Age places added

pressure on our educational system. While some critics fault secondary institutions for graduating students

unready for college and others place the onus on higher education, both need to and can do better. Indeed, all

agree on what counts most: the ability to access, structure, evaluate, and use information rather than only

accrue facts.

Helping students to develop higher order skills (e.g., critical thinking, analytic reasoning, problem solving,

and written communication) is central to the missions of all colleges, universities and high schools. While

these institutions also foster other key competencies, such as artistic expression, civic engagement,

moral/ethical reasoning, and environmental stewardship, of paramount importance is helping students to

develop intellectual curiosity and a lasting desire for learning. It is within this context that many colleges and

universities have participated in the Collegiate Learning Assessment (CLA), an ongoing project that

incorporates a breakthrough learning assessment approach. The CLA approach is to measure an institution's

contribution, or value-added, to the development of higher order skills, including the effects of changes to

curriculum and instructional methods.

The CLA is now available to high schools as the College and Work Readiness Assessment (CWRA), to

measure how students perform on constructed response tasks that require an integrated set of critical

thinking, analytic reasoning, problem solving, and written communication skills. The CWRA is delivered

entirely over the Internet in a proctored setting.

42

PARTICIPATING IN THE CWRA

All high schools test freshmen in the fall and seniors in the spring. This assessment provides several

estimates of change between freshmen and senior years. By following the freshmen for the remaining three

years, schools may track the progress of each successive freshman class. Also, the CWRA allows you to

compare the performance of seniors at your school to (a) the performance of seniors at other high schools

with similar-ability students and (b) similar-ability college freshmen in our national sample of colleges and

universities.

The CWRA can be conducted with all the students in a small school or with representative samples in larger

schools and allows you to gauge where and when the greatest gains are occurring, both taking a cross-

sectional look at the relative performance of different grades that year and by tracking the performance of

individual students over time.*

The CWRA provides results after each class is tested. After freshmen are tested in the fall, the CWRA

reports results that compare your freshman class's performance to freshman classes at other participating

schools. After your seniors are tested in the spring, the CWRA reports your students' estimated growth

between freshman and senior years. The CWRA also includes comparisons of your seniors to college

freshmen and other high school seniors.

FREQUENTLY ASKED QUESTIONS

How do we give the test?

The tests are taken on-line, proctored by your faculty. Testing time is 105 minutes. Proctor training and

technical support is provided.

How many students do we test and when?

Testing the entire class is recommended. For large classes, a representative sample of at least 100 students

may be tested. The freshman class tests in the fall (mid August – late October) and other classes test in the

spring (early February – mid April).

What data about our students do we provide?

To control for entering academic ability and predict college readiness, we need either SAT or ACT scores for

seniors. For comparisons across high schools, CAE will provide a short equivalent assessment measure

(SLE).

What results do we get from the annual study?

You will receive Institutional Reports and Student Data Files. All results are kept in strict confidence.

Institutional Reports provide important signals of overall and comparative performance at the school level.

Student Data Files can be linked to locally-collected data (e.g., course-taking patterns, grades, portfolio

assessments, participation in extracurricular activities, etc.).

How much does it cost to participate in the CWRA study?

$40 per student. (For schools testing fewer than 100 students per class, minimums may apply; contact us for

more information.)

How can we get more information or sign up?

Contact Chris Jackson at (212) 217-0845 [email protected]

mailto:[email protected]

43

Allegato 2 VOLUNTARY SYSTEM OF ACCOUNTABILITY (VSA)

Beginning in summer 2011, the Voluntary System of Accountability gathered information from participating

institutions and key stakeholders on the efficacy of its four‐year student learning outcomes pilot project to

determine the next steps for this signature element within the College Portrait. As part of the process, the

National Institute for Learning Outcomes Assessment (NILOA) was asked to conduct an independent

evaluation and provide recommendations. NILOA drew on a variety of data sources for its evaluation,

including focus groups, interviews with leaders from the policy arena and regional accreditation agencies,

institutional surveys, analyses of results from the VSA‐conducted survey of participating institutions,

College Portrait database statistics and Google Analytics.

The major conclusion from the NILOA evaluation was that the VSA College Portrait student learning

outcomes pilot was an effective response to the challenges that emanated from the Spellings Commission

and related pressures for accountability, but is not sufficient in its current form going forward. The NILOA

report recommended the VSA be transformed from a “compliance focused vehicle to a platform through

which institutions can speak to and engage their publics through evidence‐based story telling.”

Other recommendations and findings from the NILOA evaluation include the following.

“Should the VSA College Portrait be continued?” With some exceptions, the overall response was

affirmative, suggesting “mend it, don’t end it” regarding the value of the VSA and the College

Portrait.

Strongly recommended that the VSA College Portrait expand the range of accepted assessment tools and

approaches. “The standardized tests of student learning originally approved for inclusion in the pilot lack

credibility and acceptance within a broad sweep of the higher education community and serves to undermine

institutional participation in the VSA.”

The VSA College Portrait should be recast as a state‐of‐the‐art electronic communication tool targeted for

specific audiences. “The student learning outcomes section attracts very fewviewers. The information posted

and the manner in which it is presented do not reflect the needs and interests of users.”

The VSA should consider expanding the types of institutions allowed to participate to include all

postsecondary institutions, public and private, community colleges and others. Using the information from

the NILOA report, a technical work group of higher education assessment, institutional research, and

measurement professionals was convened by the VSA in March and April of 2012 to consider alternative

measures for reporting student learning outcomes and put together a set of recommendations for the VSA

Board.

The Student Learning Outcomes Technical Work Group unanimously affirmed the importance of including

student learning outcomes in the VSA; however, they or the group emphasized the importance of conveying

to the public, legislators, and faculty that the ideal measure of student learning outcomes does not exist. An

ideal measure would address the accountability concerns of external audiences, provide practical and useful

information for improving curriculum, and offer important information to consumers for college selection.

The VSA Oversight Board met on May 17‐18 and endorsed the core recommendations of the WorkGroup.

The VSA Board also discussed at length the audience and purpose of the VSA College Portrait and

concluded that a shift in focus from a college search tool to a consumer information tool was desirable and

necessary.

In July, a Communications Task Force and the College Portrait Support Team will meet to develop reporting

templates for expanded options and strategies to more effectively display outcomes information to meet the

needs of the intended audiences.

44

Summary of VSA Board Decisions

Purpose and Audience

The VSA College Portrait will continue to emphasize the straightforward, reliable presentation of

institutional information for consumers – “no rankings, no spin … just the facts!” The College Portrait will

be re‐focused from a “college selection and recruitment tool” to a “consumer information tool for institutions

to demonstrate the effectiveness and value of their educational programs.” The primary audiences will be

consumers (including students and families), state officials, policy makers, and accreditors.

Student Learning Outcomes Options

The options for the measurement and reporting of student learning outcomes within the VSA will be

expanded in two primary areas.

The number of instruments will be increased from the three current tests ‐ CAAP, CLA, and ETS

Proficiency Profile ‐ to include the AAC&U VALUE rubrics and the GRE General Test.

The reporting options for each of the instruments will be expanded to include both valueadded

and benchmarking.

The instruments and reporting methods approved by the VSA Board offer participating institutions

new alternatives for fulfilling VSA requirements, not new requirements.

A. Approved Instruments

Institutions will select from one of the following instruments to fulfill the VSA student learning outcomes

requirement beginning with the 2012‐13 College Portrait data cycle.

1.CAAP (current option)

2.CLA (current option)

3.ETS Proficiency Profile (current option)

4.GRE (new option)

5.VALUE Rubrics (new option)

Written Communication

Critical Thinking

B. Approved Reporting Options

1. VSA institutions will pick one of the following options for reporting institutional outcomes based on the

instrument selected from the list in B.

Report value‐added (learning gains) between entering and exiting students as compared to other

institutions. (current option)

o Applicable instruments: CAAP, CLA, ETS PP

Report distribution of senior scores as compared to criteria/proficiency level benchmarks.

o Applicable instruments: CAAP, ETS PP

Report distribution of scores as compared to normative distributions.

o Applicable instruments: CLA, GRE

Report distribution of student scores across the common proficiency levels of the

VALUE rubrics.

2. VSA institutions will be required to report additional contextual information within one or

more of the following areas.

How do outcomes reflect institutional goals or benchmarks?

45

o Applicable instruments: CAAP, CLA, ETS PP, GRE, VALUE rubrics

How has institutional performance changed over time?

o Applicable instruments: CAAP, CLA, ETS PP, GRE, VALUE rubrics

Distribution of scores as compared to normative distributions

o Applicable instruments: CAAP, ETS PP

How does the institution’s outcomes compare to those of peer institutions?

Contact: Christine Keller ([email protected])

Allegato 3 LE GARE

Istruzioni per l'uso

Linee guida per l'esecuzione delle procedure finalizzate all'assegnazione di commesse per campagne ed

iniziative di comunicazione e promozione da parte della Pubblica Amministrazione.

unicom

Unione Nazionale Imprese di Comunicazione

SOMMARIO:

Premessa

Principi generali

Il brief

Lettera di incarico Prima Fase (strategica)

Lettera di incarico Seconda fase (creativa)

Premessa

La "GARA" non è certamente lo strumento migliore per individuare un partner in grado di fornire un

supporto di creatività, capacità progettuale e servizi nell'ambito delle attività di comunicazione della

Pubblica Amministrazione.

Tuttavia, in presenza di una legislazione che prevede, per iniziative che comportino determinati investimenti

(1), l'obbligo di accedere a tale procedura, riteniamo opportuno fornire alcune indicazioni in ordine alle

modalità operative da utilizzare in occasione di gare promosse dalle Pubbliche Amministrazioni.

Le modalità suggerite sono ispirate a regole ed a principi finalizzati a salvaguardare dignità, ruoli ed

interessi economici delle parti, oltre, naturalmente, a garantire efficacia alla procedura stessa.

(1) La procedura di appalto di pubblici servizi di cui al D.Lgs. n. 163/2006 è applicabile per appalti di servizi

mailto:[email protected]

46

pubblicitari di rilevanza comunitaria (art. 28 D.Lgs. n. 163/2006). Per l' affidamento di iniziative di importo

inferiore si applica l' art. 5 del D.P.R. n. 403/2001.

Principi generali

Trasparenza

Alle imprese invitate a partecipare alla gara d'appalto dovranno essere preventivamente comunicati i

nominativi di tutte le imprese coinvolte nella procedura di gara.

Numero di partecipanti

La legge vigente non consente di predeterminare il numero massimo di imprese coinvolte. L'unica possibilità

per ridurre ragionevolmente tale numero, si lega alla facoltà di introdurre parametri discriminanti compatibili

con la legislazione vigente. Tali parametri dovranno essere sia di natura quantitativa che qualitativa, ma

dovranno caratterizzarsi come mirati a perseguire l'interesse della PA, e quindi della collettività, ed a

salvaguardare i diritti e la dignità delle imprese partecipanti alla gara.

A titolo di esempio indichiamo alcune possibili discriminanti:

- criteri di territorialità (si richiede un'ubicazione dell'impresa funzionale alle esigenze

dell'Amministrazione)

- criteri di qualità (ad es. Certificazione del Sistema di qualità aziendale)(2)

- capacità economica (rapportata all'effettivo valore dell'appalto)(3)

- consistenza della struttura(4)

- documentata competenza professionale(5)

- iscrizione ad una Associazione che vincoli all'adesione al Codice di Autodisciplina.

(2) Si veda il riferimento al controllo della qualità richiamato dalla lettera b) dell' art. 42 D.Lgs. n. 163/2006.

(3) Da dimostrarsi secondo i criteri di cui all' art. 41 D.Lgs. n. 163/2006 e all' art. 4 D.P.R. n. 403/2001.

(4) V. art. 42, lettera g) D.Lgs. n. 163/2006 e art. 4 D.P.R. n. 403/2001.

(5) V. art. 42, lettere a) - e) D.Lgs. n. 163/2006 e art. 4 D.P.R. n. 403/2001.

Modalità operative

La procedura di gara deve prevedere due distinte fasi:

a. Fase strategica

In questa prima fase le imprese ammesse alla procedura sottoporranno al committente una nota propedeutica

(relazione) contenente le indicazioni relative alla strategia di comunicazione. Tale relazione dovrà risultare

chiaramente esplicativa delle proposte che verranno successivamente elaborate. Il documento dovrà anche

contenere l'indicazione dell'ammontare dei compensi richiesti.

47

b. Fase creativa

Nella seconda fase le imprese che avranno superato il vaglio della fase strategica, saranno chiamate ad

effettuare la presentazione vera e propria. Le modalità di tale presentazione (grado di finalizzazione, tipo di

supporti richiesti, declinazioni, ecc.) verranno indicate nel momento in cui le imprese selezionate saranno

invitate a partecipare alla seconda fase dell'operazione.(6)

Tempi

I tempi concessi per l'elaborazione dei progetti dovranno essere congrui e rapportati alla complessità

dell'operazione (7). Il lasso di tempo che il committente vorrà riservarsi per la valutazione degli elaborati

dovrà essere chiaramente indicato all'interno del brief e confermato nella lettera di mandato.

Criteri di valutazione delle proposte

Ogni committente è naturalmente libero di adottare propri criteri di valutazione (salvi, naturalmente, i

vincoli di legge) e, quindi, di esprimere scelte soggettive. Tuttavia, al fine di garantire trasparenza alle

operazioni, è necessario fornire un'indicazione preventiva rispetto alla tipologia ed alla relativa incidenza dei

parametri considerati (punteggio attribuito): approccio strategico, congruità rispetto alle strategie

complessive dell'impresa, creatività, profilo economico della proposta, ecc.

Rimborsi

L'elaborazione di un progetto articolato di comunicazione richiede un grosso impegno e determina costi

rilevanti a carico dell'impresa di comunicazione. Per questo si ritiene indispensabile che l'amministrazione

committente definisca, per ogni gara, un rimborso spese su base forfettaria. Tale rimborso spetterà

esclusivamente alle imprese di comunicazione che avranno effettuato entrambe le presentazioni (strategica e

creativa) avendo superato con successo la prima fase.

Questo modus operandi comporterà alle imprese di comunicazione una gestione meno onerosa della pro-

pria operatività, con un'inevitabile ricaduta positiva sull'ammontare dei compensi richiesti, e, quindi, con un

beneficio significativo a vantaggio delle imprese committenti.

(6) La fase strategica può coincidere con la domanda di partecipazione alla gara, nelle procedure ristrette (licitazione

privata, appalto concorso e trattativa privata con pubblicazione del bando).

(7) Sia pure nel rispetto dei termini previsti dall'art.70 del D.Lgs. n. 163/2006.

Il brief

Informazioni generali sull'Amministrazione

• Documentazione sulle precedenti iniziative

• Gamma e articolazione dei prodotti/servizi richiesti

• Obiettivi e strategie di ordine generale

• Stile e format di comunicazione (qualora siano stati predefiniti)

Caratteristiche dell'intervento richiesto

48

• Tipologia dell'intervento richiesto

• Target di riferimento

• Obiettivi di comunicazione

• Risorse economiche previste

• Eventuali vincoli e limitazioni (di carattere tecnico e/o economico)

• Grado di sviluppo e di evoluzione del progetto

• Tempi e modalità di presentazione

Lettera di incarico Prima Fase

(strategica) (8)

Spett.le Agenzia ……….. Data .

Egregi Signori,

con riferimento vostra domanda di partecipazione al nostro Bando n ., vi comunichiamo che la sottoscritta Amministrazione Pubblica provvederà all'assegnazione dell'incarico mediante procedura di gara.

Oltre la vostra azienda parteciperanno alla consultazione le seguenti imprese:

1.

2.

3. .

Non appena espletate le operazioni preliminari, vi daremo notizia di eventuali rinunce, sostituzioni o implementazioni.

Vi richiediamo pertanto di produrre un elaborato che dovrà consistere in una relazione che ci consenta di valutare la correttezza dell'approccio strategico e le linee guida essenziali del progetto e dovrà contenere tutte le notizie che riterrete utili alla comprensione ed alla valutazione della congruità della Vostra proposta. Il documento dovrà obbligatoriamente essere corredato, pena l'esclusione dalla gara, delle indicazioni relative all'ammontare dei compensi richiesti.

Il termine per la presentazione di tale documento è fissato al ...

Prima di tale data provvederemo a concordare luogo e data della presentazione.

Le decisioni in ordine alla scelta dei progetti strategici da noi ritenuti più consoni alle nostre aspettative verranno comunicate in data . a mezzo lettera raccomandata. A tutte le imprese partecipanti saranno resi noti gli esiti della consultazione.

Non appena completata la prima fase della procedura, provvederemo a sollecitare la partecipazione alla seconda fase (Fase creativa) delle imprese le cui proposte saranno risultate coerenti con le nostre esigenze.

Durante la fase di studio e di elaborazione dei progetti la vostra azienda si impegna a:

49

- mantenere il più scrupoloso riserbo in ordine alle informazioni ricevute

- conservare con cura e, ove richiesto, restituire tutto il materiale fornito a supporto delle informazioni trasmesse.

Da parte nostra, riconosciamo che tutti i diritti sul progetto presentatoci Vi appartengono. Ci impegniamo, pertanto, ad astenerci dall' utilizzo del materiale non scelto, che restituiremo entro il più breve termine.

Vi chiediamo di volerci ritornare copia della presente, opportunamente sottoscritta. La sottoscrizione di questo documento costituisce impegno alla partecipazione alla gara ed accettazione delle condizioni indicate. Qualora, dopo aver sottoscritto tale documento, per le ragioni più diverse, la vostra impresa decidesse di rinunciare alla partecipazione, sarete tenuti a darcene tempesti- va comunicazione entro e non oltre il ..

L’Amministrazione L’impresa di comunicazione

(per accettazione)

(8) Da integrare, eventualmente, con i contenuti della lettera di invito a presentare offerte, di cui all'art. 67 del D.Lgs n. 163/2006

Lettera di incarico Seconda Fase

(creativa)

Spett.le Agenzia…… Data…………….

Egregi Signori,

con riferimento al vostro progetto strategico ., abbiamo il piacere di comunicarvi che la proposta da Voi presentata è risultata in linea con le nostre attese. Vi invitiamo pertanto a voler predisporre la presentazione delle proposte creative.

Oltre la vostra azienda sono state invitate a partecipare a questa fase della procedura le seguenti imprese:

1.

2.

3.

Il termine di consegna degli elaborati è fissato al ...

Prima di tale data provvederemo a concordare luogo e data della presentazione.

Gli elaborati a supporto della presentazione (Fase creativa) dovranno essere costituiti da:

.......................................................................................................................................................................................................................................................................

.......................................................................................................................................................................................................................................................................

Le decisioni in ordine alla scelta del progetto da noi ritenuto più consono alle nostre esigenze verrà comunicata in data . a mezzo lettera raccomandata. A tutte le imprese partecipanti saranno resi noti gli esiti della consultazione.

L'ammontare dell'indennizzo spettante alle imprese che avranno, su nostra richiesta, presentato gli elaborati relativi alle due fasi nei tempi e nelle modalità previste, è fissato in Euro + IVA.

50

Durante la fase di studio e di elaborazione dei progetti la vostra azienda si impegna a:

- mantenere il più scrupoloso riserbo in ordine alle informazioni ricevute

- conservare con cura e, ove richiesto, restituire tutto il materiale fornito a supporto delle informazioni trasmesse.

Da parte nostra, riconosciamo che tutti i diritti sul progetto presentatoci Vi appartengono. Ci impegniamo, pertanto, ad astenerci dall' utilizzo del materiale non scelto, che restituiremo entro il più breve termine.

Vi chiediamo di volerci ritornare copia della presente, opportunamente sottoscritta. La sottoscrizione di questo documento costituisce impegno alla partecipazione alla gara ed accettazione delle condizioni indicate. Qualora, dopo aver sottoscritto tale documento, per le ragioni più diverse, la vostra impresa decidesse di rinunciare alla partecipazione, sarete tenuti a darcene tempesti- va comunicazione entro e non oltre il ..

La rinuncia, comunque motivata, a prescindere dallo stato di avanzamento del lavoro di preparazione degli elaborati, implica la perdita di ogni diritto a rimborsi o ad indennizzi.

L’Amministrazione L’impresa di comunicazione

(per accettazione)

51

Sintesi aggiornata e corretta del NONO P1+PP “Prove per la valutazione dei generic skills”

Guido Amoretti*e Gabriele Anzellotti* con Fiorella Kostoris.

Questo P1+PP sintetizza quanto riportato nel NONO P1+PP al quale si rimanda per un approfondimento

dei temi, tenendo conto tuttavia degli aspetti non completi o non corretti qui superati.

I test per la “misura” degli apprendimenti a livello universitario sono stati sviluppati e vengono somministrati

per ottenere indicatori:

a) del livello di conoscenze e competenze specifiche e di tipo generale raggiunto da un singolo studente al

termine del college, e della sua capacità di affrontare gli studi successivi (graduate studies);

b) della qualità complessiva degli studenti che escono da un college, anche a livello di singolo corso di

laurea o gruppo di corsi di laurea (school);

c) del valore aggiunto prodotto da un college, definito in diversi modi tenendo conto del livello di

conoscenze e competenze degli studenti in uscita e del livello in entrata.

Una estrema sintesi dei principali test oggi disponibili, con particolare riferimento ai test di generic skills, si

trova nella Tabella 1. Qui sotto facciamo alcuni commenti sui test più interessanti per gli obiettivi che si

pone ANVUR.

Il test CLA http://www.collegiatelearningassessment.org/index.html è a risposta aperta ed è quello che pare

consentire di valutare competenze complesse in modo più vicino a situazioni reali. Inoltre è somministrato

on-line, e questo comporta diversi vantaggi, in particolare la disponibilità dei prodotti in formato digitale.

D’altra parte la correzione del test richiede un costo, che i test a scelta multipla non hanno. Un opportuno

bilanciamento tra prove a risposta aperta e quesiti a scelta multipla potrebbe essere opportuno. Il sistema

CLA non è nato primariamente per il ranking dei college, ma per fornire ai docenti e ai responsabili dei

programmi di studio elementi di informazione e comparazioni con opportuni benchmarks, utili per

migliorare i percorsi formativi. Il sistema CLA comprende inoltre materiali e performance tasks che possono

essere usati in classe dagli studenti per migliorare le proprie competenze.

Il test AHELO http://www.oecd.org/document/22/0,3746,en_2649_39263238_40624662_1_1_1_1,00.htm

somministrato da OECD concerne generic skills o alternativamente competenze specialistiche (di economia

e ingegneria). Per la parte generalista, AHELO utilizza un test del tipo CLA ma con un mix di domande a

risposta aperta e a risposta multipla appositamente costruite da CAE e da ACER. Il relativo Framework e la

validazione sono in corso.

HETAC (Dublino) ha condotto uno studio pilota sulla valutazione dell’effetto dell’educazione universitaria

sui generic skills

http://www.hetac.ie/docs/Assessing_the_impact_of_HE_on_Learners_Generic_Skills_04042011.pdf .

Questo studio iniziale ha utilizzato una combinazione di prove di tipo CLA e di tipo GSA, nonché una breve

prova prodotta da Wonderlic. Lo studio dà interessanti indicazioni e peraltro riconosce anche con precisione

le limitazioni dei risultati ottenuti.

Il sistema VSA - Voluntary System of Accountability utilizza diversi dei test indicati in tabella per fornire

dati sui learning outcomes e sui valori aggiunti dei colleges. Una valutazione del sistema, con interessanti

indicazioni sui miglioramenti da apportare, tra cui l’uso di test di conoscenze specifiche, si trova in

http://www.voluntarysystem.org/docs/reports/VSAEvaluation_NILOA030712.pdf

http://www.collegiatelearningassessment.org/index.html

http://www.oecd.org/document/22/0,3746,en_2649_39263238_40624662_1_1_1_1,00.htm

http://www.hetac.ie/docs/Assessing_the_impact_of_HE_on_Learners_Generic_Skills_04042011.pdf


52

Tabella 1 - NONO P1+PP Tavola sinottica di alcune delle batterie di test per la misurazione delle generic skills.

Test Produttore Nazionalità Tipologia somministrazione Subtest 1 Subtest 2 Subtest 3 Subtest 4

CAAP –

Collegiate

Assessment of

Academic

Proficiency

ACT -

American

College Testing

U.S.A.

Multiple-choice

tranne Writing

Essay

Carta e matita

40 min. per subtest

Critical

Thinking

Science

Reading

Writing skills

Writing essay

(One section

with two

separately timed

tasks)

Mathematics

CLA –

Collegiate

Learning

Assessment

CAE–Council

for Aid to

Education

U.S.A. Open-ended,

performance task

Via Web – 90

minuti + 75 min.

Critical

Thinking

Analytic

Reasoning

Problem

solving

Analytic Writing

Tasks Communication

ETS

Proficiency

Profile

ETS –

Educational

Testing Service

U.S.A. Multiple-choice

Via Web – 2 ore

complessive

divisibili in 2

sessioni

Critical

Thinking Reading Writing Mathematics

GSA –

Graduate

Skills

Assessment

ACER –

Australian

Council for

Educational

Research

Australia

Written

Communication

open-ended

I restanti

Multiple-choice

Carta e matita

1 ora Written

Communication e 2

ore i restanti

Critical

Thinking

Problem

solving

Written

Communication

Interpersonal

Understanding

GRE –

Revised

General Test

ETS –

Educational

Testing Service

U.S.A.

Multiple choice,

Multiple answer,

sample select in

passage

Via Web 95 min.

Verbal

Reasoning(Two

sections)

Quantitative

Reasoning

(Two sections)

Analytical

Writing (One

section with two

separately timed

tasks)

----------------

AHELO

(utilizza CLA)

+ ACER

CAE – Council

for Aid to

Education e

ACER

U.S.A. e

Australia

Mix

Open-ended +

Multiple Choice

Via Web – 90

minuti + 75 min.

Critical

Thinking

Analytic

Reasoning

Problem

solving

Analytic Writing

Tasks Communication

HETAC

(utilizza CLA ,

CRT e SLE)

CAE; ACER;

WONDERLIC

U.S.A. e

Australia

Multiple-choice

Open-ended 3 ore via WEB

Critical

Reasoning Test

(ACER)

Scolastic Level

Examination

[Cognitive

Abilities]

WONDERLIC

Analytic Writing

Tasks (CAE)

53

NONO P1+PP “Valutazione prodotti internazionali esistenti sul mercato per un test di generic skill”

Guido Amoretti* e Gabriele Anzellotti*

1. I test per la valutazione dei risultati di apprendimento (learning outcomes)

I test per la valutazione degli apprendimenti a livello universitario hanno una lunga storia [R.Shavelson,

2007], che si è sviluppata soprattutto nei paesi di cultura anglosassone e con riferimento al college. Una

sintesi dei principali test oggi disponibili si trova nella Tabella 1.

I test sono stati sviluppati e vengono somministrati per ottenere indicatori:

d) del livello di conoscenze e competenze specifiche e di tipo generale raggiunto da un singolo

studente al termine del college, e della sua capacità di affrontare i successivi graduate studies;

e) della qualità complessiva degli studenti che escono da un college, anche a livello di singolo corso di

laurea o gruppo di corsi di laurea;

f) del valore aggiunto prodotto da un college, definito in diversi modi tenendo conto del livello di

conoscenze e competenze degli studenti in uscita e del livello in entrata.

Alcuni test sono specificamente intesi per valutare competenze generali (generic skills), altri test intendono

misurare conoscenze e competenze specifiche (specific skills) in alcuni campi. I test di generic skills sono

intesi per essere utilizzati in modo trasversale per tutte le aree di studio.

2. Le prove di valutazione delle competenze generali (generic skills) e il miglioramento continuo

dell’apprendimento.

La produzione di prove di assessment delle generic skills (in particolare quelle di critical thinking) è stata

rilevante tra la metà degli anni ’80 e la fine del secolo scorso (vedi p.e. Ennis, 2009). Il dibattito teoretico e

pragmatico si è successivamente spostato dalla definizione delle generic skills e dalla loro misura alla

possibilità di migliorare le generic skills e alle metodologie per raggiungere tale obiettivo.

Le rassegne recenti (p.e. Sobocan e Groarke, 2009) non mettono in dubbio la possibilità di misurare abilità

come il critical thinking ma mettono in guardia dal considerare i risultati dei test come misure assolute e

definitive. Viene inoltre sottolineata l’importanza di un addestramento specifico dei docenti sulle tecniche

di insegnamento capaci di incrementare negli allievi le generic skills.

In questa direzione vanno dichiaratamente alcuni test tra i più diffusi e innovativi, tra cui il Collegiate

Learning Assessment – CLA http://www.collegiatelearningassessment.org/ un sistema di valutazione delle

competenze degli studenti, realizzato dal Council for Aid to Education (CAE) http://www.cae.org/ per

fornire alle istituzioni di undergraduate education degli Stati Uniti strumenti utili per il miglioramento

continuo della qualità dei percorsi formativi e dell’apprendimento. Il CLA è particolarmente attento a dire e

ribadire (ad esempio [R.Benjamin et al., 2009]) che il suo obiettivo principale non è l’accountability, ma il

supporto alle istituzioni (colleges), a livello di school, per il miglioramento continuo della formazione,

anche attraverso lo sviluppo professionale dei docenti (faculty), grazie ai materiali di lavoro su critical

thinking, problem solving e ability to communicate da esso prodotti per i test e poi utilizzati per il lavoro

con gli studenti.

3. L’accountability attraverso le misure di learning outcomes

Nel 2006 alcune associazioni di colleges degli Stati Uniti hanno iniziato il Il Voluntary System of

Accountability (VSA), un sistema per l’accountability dell’istruzione superiore6, nell’ambito del quale

6 http://www.voluntarysystem.org/docs/background/DiscussionPaper3_Aug06.pdf


http://www.cae.org/

http://www.voluntarysystem.org/docs/background/DiscussionPaper3_Aug06.pdf

54

alcuni dati sui learning outcomes e i valori aggiunti dei colleges, in forma opportuna, sono resi pubblici e

si possono comparare .

Per misurare i learning outcomes, il VSA ha utilizzato come prove di uscita i test CLA, CAAP, ETS

proficiency profile. Il CLA nei suoi documenti mette tuttavia in guardia nei confronti di una confusione tra

CLA e VSA:

... The first difference is the overall purpose. The VSA by design focuses on

assessment for accountability; the CLA, by contrast, has always been driven by a

commitment to assessment for improvement. These are not wholly incompatible,

but they are nevertheless distinct. It is important to note here that the VSA utilizes

just one of the components of our program: CLA Testing. Furthermore, VSA

requires only institution-level results; the in-depth sampling and sub-group

analyses encouraged by CLA are not part of the VSA’s recommended protocol.

Moreover, participating in CLA in the Classroom, the analytical research or the

other policy work of the CLA goes above and beyond the VSA. This is not to say

that the VSA should incorporate those elements into the College Portrait. The

mission of their program is quite specific. However, when the work of CLA and

VSA get mistakenly conflated, it may be easy to overlook the fact that the CLA

involves far more than just institution-based assessment.

L’uso delle misure di learning outcomes come base per un ranking dei college presenta numerose difficoltà,

che sono in particolare messe in evidenza da un recente report del National Institute for Learning Outcomes

Assessment - NILOA sul VSA


Dallo stesso rapporto emerge anche che la limitazione alle generic skills è fortemente criticata e porta la

maggioranza delle università a non riconoscersi nel sistema di valutazione VSA, pur essendo i colleges

complessivamente favorevoli all’idea di avere un sistema di valutazione e di comparazione dei risultati di

apprendimento. In seguito a tale rapporto il VSA è intenzionato ad aggiungere il GRE (in opportune

versioni) tra i test utilizzati in uscita.

4. Applicazione in Italia dei test di learning outcome, per il miglioramento del sistema di istruzione

e per l’accountability

Anche in Italia gli studenti e i docenti, per dirigere e migliorare il proprio lavoro, hanno bisogno di definire

precisamente i propri obiettivi di breve e lungo termine, e hanno bisogno di strumenti e punti di riferimento

per sapere in che posizione sono e come si stanno muovendo rispetto agli obiettivi. Questo vale sia nella

scuola, sia nell’università.

Avere un Quadro di riferimento per il sapere che è obiettivo di un corso di laurea (o di una classe di corsi di

laurea) e avere strumenti per una valutazione (possibilmente una misura) dei risultati di apprendimento è

utile certamente in primo luogo per gli studenti e per i docenti, al fine di orientare il proprio lavoro. Inoltre

è utile per i responsabili dei corsi di laurea, al fine di progettare il percorso di studio e modificarlo

opportunamente per migliorare i risultati. Infine può essere utile per l’accountability e per l’accreditamento

dei corsi di laurea e degli atenei.

La costruzione dei suddetti Quadri di riferimento e dei relativi strumenti di misura, e la loro diffusione

nell’uso comune delle scuole, delle università, dei docenti e degli studenti è un’impresa enorme, che deve

avvenire in un contesto internazionale e che richiederà molto tempo.

Occorre ragionare su cosa è possibile e ragionevole fare nel breve termine.

A questo fine sembra opportuno avere una strategia su diversi piani:


55

- acquisto immediato di una prova di generic skills sul mercato internazionale, scegliendo in

particolare tra quelle che hanno la potenzialità di essere usate per il miglioramento continuo della

formazione universitaria;

- traduzione e somministrazione sperimentale della prova in alcuni atenei interessati, con il

coinvolgimento dei docenti e degli studenti, in modo da rendere ben chiare le caratteristiche

misurate e da rendere possibile per gli atenei di agire per il loro miglioramento;

- accompagnamento con azioni di coordinamento per la realizzazione e la somministrazione di prove

di specific skills, in alcune aree disciplinari, possibilmente in un contesto internazionale, anche al

fine di metterne i risultati in relazione con quelli delle prove per le generic skills;

- sperimentazione limitata di prove di specific e generic skills in ingresso, i cui risultati sono da

collegare a quelli delle prove in uscita, al fine di comparare diversi metodi di misura del valore

aggiunto: longitudinale, cross-sectional, mediante altri test e variabili di contesto.

Lo studio di fattibilità non dovrebbe pertanto limitarsi alla verifica del funzionamento della traduzione

italiana e dell’organizzazione di somministrazione, correzione, analisi dei risultati, ma dovrebbe mirare a

comparare diversi tipi di test e di misure di valore aggiunto. E inoltre dovrebbe avere una specifica

attenzione per sviluppare una modalità di utilizzazione delle prove da parte di studenti, docenti, atenei, utili

ai fini del miglioramento della formazione universitaria. Soltanto in questo modo si possono ottenere

effettivi duraturi benefici e si può passare a una fase di utilizzazione dei learning outcomes come elementi

per l’accreditamento e la valutazione dei corsi di laurea.

[R.Benjamin et al. , 2009] Returning to Learning in an age of assessment

http://www.collegiatelearningassessment.org/files/ReturningToLearning.pdf

[Ennis R.H. (2009).An annotated list of critical thinking tests,University of Illinois UC.

[R. Shavelson , 2007] A Brief History of Student Learning Assessment

http://www.cae.org/content/pdf/A_Brief_History_of_Student_Learning_Assessment_%28Shavelson-

2007%29.PDF

[SobocanJ, GroarkeL. (Eds.). 2009]. Critical thinking education and assessment: Can higher order thinking

be tested? London, ON: The Althouse Press.

http://www.collegiatelearningassessment.org/files/ReturningToLearning.pdf

http://www.cae.org/content/pdf/A_Brief_History_of_Student_Learning_Assessment_%28Shavelson-2007%29.PDF

http://www.cae.org/content/pdf/A_Brief_History_of_Student_Learning_Assessment_%28Shavelson-2007%29.PDF

56

DECIMO P1PP A proposito delle prove che misurano le competenze specialistiche

Guido Amoretti*, Gabriele Anzellotti*, Luciano Benadusi con Fiorella Kostoris

Il sapere di livello universitario comprende necessariamente conoscenze, abilità, linguaggi e

competenze settoriali, che in diverse situazioni hanno una rilevanza decisiva. Se abbiamo una malattia o se

dobbiamo costruire un ponte, generic skills, per quanto elevate, non saranno sufficienti. Secondo alcuni

critici radicali (per esempio gli psico-pedagogisti Crahay e Rey), l’approccio delle sole competenze

trasversali porterebbe a sminuire la densità cognitiva dei processi di apprendimento, a legittimare

pedagogicamente una destrutturazione dell’idea di conoscenza aprendo sempre più la strada al crescente

facilismo negli studi. D’altra parte la somministrazione di test sulle competenze specialistiche, specie se i

risultati fossero collegati all’attribuzione del FFO, potrebbe comportare da parte degli Atenei e dei docenti

universitari resistenze anche maggiori rispetto ai test di competenze trasversali.

Una posizione equilibrata consiste nell’ottenere che la qualità delle conoscenze e delle competenze

specialistiche possedute dai laureandi, opportunamente intrecciate alle competenze trasversali, diventi una

variabile cruciale per la stima della qualità dell’apprendimento nei diversi corsi di studio, aggregati per

classi, come proposto dall’Università di Bologna (v. sito ANVUR, 8 giugno 2012). Di conseguenza, va

fatto ogni sforzo affinché diventi effettivamente operativa nel meccanismo dell’autovalutazione la proposta

dell’ANVUR, illustrata nel documento B dell’AVA, di combinare a un test di generic skill unico per tutte le

sedi, a cura dell’ANVUR, alcuni test di carattere specialistico a cura degli Atenei, di concerto con

l’ANVUR. Tuttavia, la maturazione di questi due diversi tipi di test , tanto nei prodotti esistenti sul

mercato, quanto nella consapevolezza del mondo accademico, non è la stessa e questo spiega perché, allo

stato attuale, solo la partecipazione al test generalista da parte delle Università è criterio di accreditamento

periodico, secondo l’impostazione dell’ANVUR; allo stesso tempo e per identici motivi, sono oggetto di

valutazione periodica delle attività formative, accanto ad altri 22 indicatori, solo gli esiti dei test di

competenza trasversale o generalista. Ma su un orizzonte più lungo si auspica che ai fini dei requisiti per

l’accreditamento periodico, sia obbligatorio che almeno una quota congrua dei laureandi sia dagli Atenei

sottoposta, nei corsi di studio opportunamente aggregati per classi, a test di tipo specialistico, oltre che al

test generalista. A lungo termine, si auspica inoltre che anche gli esiti dei test specialistici siano tenuti in

considerazione ai fini della valutazione periodica delle attività formative.

Molti problemi nel campo dei test specialistici devono essere nel breve termine affrontati e risolti,

una volta affermata l’importanza di trovare accordi, area per area, classe per classe, all’interno di una stessa

Università e fra Università differenti, su opportuni quadri di riferimento di competenze specialistiche, al

fine di promuovere la costruzione di un sistema di strumenti (prove strutturate) grazie ai quali ottenere

indicatori appropriati sui risultati dell’ apprendimento.

Grazie a tali strumenti gli studenti e i docenti universitari potrebbero discutere concretamente gli

obiettivi e i contenuti degli insegnamenti e dei corsi di studio. Inoltre i responsabili dei corsi potrebbero

confrontare i risultati ottenuti tra diversi Atenei, in diversi Paesi. Questo metterebbe in evidenza l’utilità

della valutazione in primo luogo per il miglioramento continuo dello studio e dell’insegnamento.

Inizialmente l’utilizzazione delle prove sarebbe volontaria (probabilmente i migliori fra gli Atenei

e al loro interno fra i Dipartimenti sarebbero subito interessati) e avrebbe lo scopo di mettere a punto e

tarare gli strumenti, oltre che di fornire elementi utili per l’autovalutazione e la programmazione dei corsi di

studio. Nel caso che, almeno in alcune aree e coinvolgendo un certo numero di Atenei, si riuscisse

effettivamente a elaborare misure significative, di validità condivisa, delle competenze specialistiche

insieme a quelle trasversali, le prove potrebbero essere estese e i risultati potrebbero con maggiore facilità

essere adottati nell’intero sistema universitario. L’acquisto di test specialistici in ambito internazionale

avrebbe il pregio della rapidità di attuazione e della sicura possibilità di comparazione con altri sistemi.

D’altra parte, una delle motivazioni principali per la realizzazione delle prove è il loro uso per il

57

miglioramento continuo da parte dei diversi soggetti interessati, ma tale uso richiede la condivisione a

livello degli Atenei e dei docenti, nonché la disponibilità di molti esempi pubblici di prove, cose che non è

detto si ottengano (o che si ottengano rapidamente) acquistando le prove.

In estrema sintesi ecco alcune iniziative che si propongono per il breve periodo:

Almeno per alcune aree interessate, coinvolgendo alcuni Atenei e associazioni scientifiche,

costituire gruppi di lavoro, che individuino un insieme di macro competenze disciplinari, di

carattere fondamentale, previste come competenze specialistiche di riferimento in uscita dai corsi di

studio

Affidare a gruppi di lavoro misti (psicometristi e disciplinaristi) il compito di creare e validare item

e prove che misurino le competenze specialistiche di cui sopra, in collegamento anche con

opportuni generic skills. Nella costruzione delle prove si dovrebbe cercare di valutare dimensioni

misurate anche in test analoghi utilizzati in altri Paesi per consentire confronti internazionali (i test

GRE e ETS proficiency profile sono buoni esempi di strumenti consolidati che si possono utilizzare

in prima battuta). Ove possibile si dovrebbero instaurare specifiche collaborazioni con altri Paesi.

Già nel 2013, quando un gruppo di Università autoselezionate sottoporrà i propri laureandi di tutte

le sue Facoltà a un test generalista , consentire che qualche dipartimento in esse, se lo desidera,

sperimenti anche un test specialistico da acquisire sul mercato o da produrre ad hoc, purché esso sia

lo stesso in analoghi dipartimenti di altre Università e tale test sia considerato scientificamente

valido e sia frutto di una condivisione fra discipline e sedi diverse. Esistono in tal senso interessi

provenienti dalle aree di matematica, fisica e ingegneria. Questo potrebbe arricchire il senso stesso

della sperimentazione del test generalista, nella misura in cui si esaminassero le correlazioni sugli

stessi studenti sottoposti a entrambi i tipi di test (generalista e specialistico).

A partire dal 2014, una volta conclusa una prima fase sperimentale, si potrebbe inserire fra i criteri

premiali di valutazione periodica il numero di corsi di studio aggregati in classi in cui un test

specialistico è sottoposto ad almeno il 50% dei corrispondenti laureandi, purché lo stesso test

specialistico sia adottato in almeno altre 10 classi analoghe di altre 10 Università.

58

UNDICESIMO P1PP Finanziamenti privati di un test di generic skill per l’Università italiana: ipotesi

di co-finanziamento Ministero-Fondazioni

Annamaria Poggi* con Fiorella Kostoris

Le convinzioni su cui si fonda questo paper sono fondamentalmente due, l’una all’altra collegate. La

prima è che l’introduzione di test volti a misurare le abilità dei laureandi debba diventare una costante del

sistema in quanto strumento che, con altri, possa essere utilizzato per misurare la qualità dell’offerta

formativa delle nostre università. La seconda è che certamente l’aspetto della qualità dell’offerta formativa

che si riverbera sulle competenze trasversali dei laureati è un obiettivo che il sistema universitario condivide

con almeno altri due attori: il sistema industriale e quello delle Fondazioni bancarie. Tralasciando il primo

che potrebbe avere obiettivi “partigiani” o comunque collegati a specifiche aree di sviluppo della conoscenza

occorrerebbe, invece, fermare la propria attenzione sul secondo, molto più di quanto finora si è fatto. E’

indubbio, infatti, che nel nostro Paese la cultura di un sostegno privato al sistema universitario da parte delle

Fondazioni bancarie è molto arretrata poiché su di essa pesa una pregiudiziale ideologica molto forte e,

soprattutto, la falsa convinzione che un sistema è pubblico solo se è interamente finanziato dallo Stato.

In realtà il sistema delle Fondazioni bancarie è, per quanto ci riguarda particolarmente interessante

almeno per due motivi. In primo luogo perché tutte le 88 Fondazioni attualmente esistenti hanno tra i loro

scopi il finanziamento (a vario titolo) all’istruzione scolastica e universitaria. In secondo luogo perché esse

coprono l’intero territorio italiano e, attraverso l’ACRI, potrebbero diventare un unico interlocutore

dell’ANVUR.

Nel 16° Rapporto annuale dell’ACRI, come in quelli precedenti, viene confermato che tra i 21 settori

di intervento ammessi dalla legge, 7 sono quelli su cui si concentra la maggior parte delle erogazioni delle

Fondazioni. L’istruzione superiore universitaria si colloca al quarto posto (dopo l’arte e le attività culturali,

l’assistenza sociale e la ricerca) per investimenti. I soggetti beneficiari di tali erogazioni debbono essere

sempre soggetti che perseguono finalità non lucrative di pubblico interesse. Tra questi, sulle stime effettuate,

nell’ultimo Rapporto il 14, 6% è stato rivolto a enti pubblici non territoriali tra cui scuole, università, ecc…

Nel Rapporto si dice altresì che una quota “stabile” è destinata alle amministrazioni centrali del settore in cui

si investe. Sempre nel 16° Rapporto si da conto di un tipo di iniziative che hanno ricevuto dall’ACRI un forte

impulso negli ultimi anni. Si tratta di iniziative realizzate in concorso tra Fondazioni di origine bancaria in

una prospettiva di interventi di sistema coordinati che si sviluppano in un orizzonte pluriennale. Si tratta di

progetti di ampio respiro, di valenza spesso nazionale, rispetto ai quali l’approccio comune si presenta come

un fattore di maggior successo oltreché di efficienza e razionalizzazione degli interventi: dove impegni

separati di più soggetti sullo stesso problema esporrebbero al rischio di frammentazione e dispersione delle

utilità prodotte. Per quanto riguarda il settore Istruzione superiore, il Rapporto sottolinea che vi operano con

investimenti 83 delle 88 Fondazioni, sicuramente le maggiori 5 e cioè: Compagnia di San Paolo, Fondazione

Cassa di risparmio, Monte dei Paschi di Siena e Fondazione Verona e Belluno.

Sul punto si ritiene utile riportare il seguente estratto (Pagg. 16/17):

“ Per quanto riguarda gli interventi nella formazione universitaria le Fondazioni si pongono soprattutto

nell’ottica di sostenere l’istruzione specialistica di eccellenza. Favorire quindi un più ampio accesso

all’istruzione universitaria, con particolare attenzione alle aree e alle fasce più deboli, e sostenere il

miglioramento dell’offerta didattica, diventano priorità assolute di intervento. Alcune Fondazioni hanno

scelto di operare nell’ambito dell’innovazione e delle nuove tecnologie, sapendo che la rapida diffusione dei

media pone alla scuola e alle università la sfida di utilizzo dei nuovi strumenti. Ecco quindi la fattiva

collaborazione delle Fondazioni con le istituzioni scolastiche e universitarie, nella convinzione che il

processo formativo non possa prescindere dal contributo fornito dalle nuove tecnologie, per la capacità

59

delle stesse di ampliare le opportunità, anche favorendo il superamento delle problematiche connesse alle

disabilità di tipo intellettivo, motorio o di linguaggio, e delineare più efficaci strategie di conoscenza. Un

ulteriore terreno di impegno delle Fondazioni, particolarmente significativo in presenza dell’attuale crisi

economica delPaese, è quello delle attività formative che preparino e orientino in modo più specifico al

mondo del lavoro. Puntare, infatti, sulla formazione professionale dei giovani, sviluppando competenze

adeguate alle esigenze della società e tali da favorire l’accesso ai settori produttivi, attiene a una peculiare

linea strategica delle Fondazioni che individua nell’investimento sulle nuove generazioni un essenziale

presupposto per qualunque ipotesi di soluzione della crisi economica di oggi, e il miglior viatico per il

miglioramento del tessuto sociale e civile della comunità. Anche nel 2010 il settore Educazione, Istruzione e

Formazione si conferma al quarto posto nella graduatoria generale per importi assegnati, con 148,2 milioni

di euro (8,5% in meno del 2009) e 4.252 interventi. Come evidenziato nella Tab 4.7, l’Istruzione superiore

(comprendente l’istruzione universitaria e para-universitaria e le specializzazioni post-universitarie), si

attesta al primo posto nella graduatoria dei comparti interni con il 37% dei contributi erogati e l’11,6%del

numero di interventi (erano 28,9% e 13,8% nel 2009). Il comparto segna un progresso molto significativo

rispetto al 2009 facendo registrare un incremento molto consistente anche in valore assoluto (da 46,8 a 54,9

milioni di euro), ancor più significativo in quanto in controtendenza rispetto all’andamento generale del

settore (a dimostrazione della valenza anticongiunturale che le Fondazioni attribuiscono all’investimento in

alta formazione)”.

Dunque, come si potrebbe procedere?

L’ANVUR potrebbe proporre all’ACRI un progetto di sviluppo del sistema universitario attraverso il co-

finanziamento di azioni tese al miglioramento dell’offerta formativa, all’interno delle quali collocare anche i

test di competenze generaliste, oltre che specialistiche.

60

DODICESIMO P1+PP Chi e quanti sono i “laureandi” cui far affrontare il test di generic skill

Fiorella Kostoris e Alessio Ancaiani.

Si possiedono evidenze di tre tipi sulle quali basare l’informazione sul numero di “laureandi” della

triennale, al netto di coloro che frequentano i corsi abilitanti (nelle materie sanitarie), cui eventualmente

aggiungere gli studenti a metà percorso dei corsi a ciclo unico. Tali dati esistono sia per l’Italia nel suo

complesso, sia per le varie Università, sia per quel loro sottoinsieme che, attualmente sembra con più

probabilità essere candidato alla sperimentazione del 2013. A oggi l’Anagrafe nazionale degli studenti

riporta per l’anno accademico 2010-2011 i dati delle Tabelle 1,2,3, ma sono in corso integrazioni da parte di

quegli Atenei (come la Sapienza di Roma) o di quei corsi di studio che non hanno ancora trasmesso al

CINECA le loro informazioni (pur già esistenti nella forma richiesta).

Il primo data set (Tabella 1) illustra il numero di CFU di base e caratterizzanti, minimi indispensabili

per classe, a norma dei DDMM 16 marzo 2007 (attuativi del DM 270/2004).

Il secondo data set (Tabelle 2 e 2 bis) individua la distribuzione per anni di iscrizione degli studenti

che hanno completato nelle Università e nelle loro classi e Facoltà gli effettivi CFU di base e

caratterizzanti (questi ultimi, ovviamente, sono in numero molto superiore nei corsi a ciclo unico).

Il terzo data set (Tabelle 3 e 3 bis) riguarda la distribuzione per anni di iscrizione degli studenti che

hanno completato nelle Università e nelle loro classi e Facoltà almeno 90 o almeno 120 CFU di base

e caratterizzanti.

Un’analisi attenta di queste Tabelle induce a scegliere come “laureandi”, ai fini della somministrazione del

test generalista, la popolazione formata dai seguenti individui:

a. se iscritti al ciclo triennale, debbono obbligatoriamente partecipare al test tutti coloro che hanno

acquisito tutti i CFU di base e caratterizzanti previsti dai loro corsi di studio e si trovano al IV°

anno o in un precedente anno di iscrizione universitaria; possono partecipare gli altri studenti,

iscritti ad anni successivi, che abbiano acquisito tutti i CFU di base e caratterizzanti previsti dai

loro corsi di studio; in ogni caso, per il requisito di accreditamento periodico dei corsi e delle

sedi non può partecipare al test meno del 50% degli studenti di ogni corso di studio che abbiano

acquisito tutti i CFU di base e caratterizzanti, mentre nella valutazione periodica il migliore 50%

(il miglior 75%) del totale degli studenti dell’Università, aventi queste caratteristiche di

acquisizione dei CFU di base e caratterizzanti, deve nel test superare la mediana nazionale per

avere diritto al bonus aggiuntivo ( al superbonus aggiuntivo) del FFO;

b. se iscritti al ciclo unico, debbono obbligatoriamente partecipare al test tutti coloro che hanno

acquisito 120 CFU di base e caratterizzanti previsti dai loro corsi di laurea magistrale a ciclo

unico e si trovano al IV° anno o in un precedente anno di iscrizione universitaria; in ogni caso,

per il requisito di accreditamento periodico dei corsi e delle sedi non può partecipare al test meno

del 50% degli studenti di ogni corso di laurea magistrale a ciclo unico che abbia acquisito 120

CFU di base e caratterizzanti, mentre nella valutazione periodica il migliore 50% (il miglior

75%) del totale degli studenti dell’Università, aventi queste caratteristiche di acquisizione dei

CFU di base e caratterizzanti, deve nel test superare la mediana nazionale per avere diritto al

bonus aggiuntivo ( al superbonus aggiuntivo) del FFO.

I “laureandi” possono accedere al test una sola volta nel ciclo triennale e una sola volta a metà percorso.

Uno studente che abbia partecipato al test è eliminato dal computo successivo del totale della popolazione

studentesca coinvolta nel test stesso. L’identificazione del numero di “laureandi” in ogni corso di studio e in

ogni Università deve riferirsi all’1 di aprile di ogni anno. Per la sperimentazione del 2013, si suggerisce di

raggiungere quote di studenti simili, ma non necessariamente identiche a quelle qui individuate, mentre le

quote stesse qui indicate potranno essere riviste al termine della sperimentazione.

61

TAB 1 - DODICESIMO P1+PP Numero di Crediti in attività formative di base e caratterizzanti minimi previste dai DD.MM. 16 marzo 2007,

D.M. 5 aprile 2007 e D.M. 10 settembre 2010.

Classi di primo livello

Classe Descrizione Classe CFU minimi

Caratterizzanti

CFU

minimi

di

Base

Totale

L-1 Beni culturali 48 42 90

L-2 Biotecnologie 60 30 90

L-5 Filosofia 48 42 90

L-3 Discipline delle arti figurative, della musica, dello spettacolo

e della moda 66 24 90

L-4 Disegno industriale 52 32 84

L-6 Geografia 42 48 90

L-7 Ingegneria civile e ambientale 45 36 81

L-8 Ingegneria dell'informazione 45 36 81

L-9 Ingegneria industriale 45 36 81

L-10 Lettere 48 42 90

L-11 Lingue e culture moderne 66 24 90

L-12 Mediazione linguistica 30 60 90

L-13 Scienze biologiche 42 48 90

L-14 Scienze dei servizi giuridici 51 39 90

L-15 Scienze del turismo 60 30 90

L-16 Scienze dell'amministrazione e dell'organizzazione 48 42 90

L-17 Scienze dell'architettura 64 44 108

L-18 Scienze dell'economia e della gestione aziendale 62 28 90

L-19 Scienze dell'educazione e della formazione 50 40 90

L-20 Scienze della comunicazione 54 36 90

L-21 Scienze della pianificazione territoriale, urbanistica,

paesaggistica e ambientale 50 30 80

L-22 Scienze delle attività motorie e sportive 48 42 90

L-23 Scienze e tecniche dell'edilizia 45 36 81

L-24 Scienze e tecniche psicologiche 60 30 90

L-25 Scienze e tecnologie agrarie e forestali 60 30 90

L-26 Scienze e tecnologie alimentari 60 30 90

L-27 Scienze e tecnologie chimiche 50 40 90

L-28 Scienze e tecnologie della navigazione 45 45 90

L-29 Scienze e tecnologie farmaceutiche 60 30 90

L-30 Scienze e tecnologie fisiche 50 40 90

L-31 Scienze e tecnologie informatiche 60 30 90

L-32 Scienze e tecnologie per l'ambiente e la natura 54 36 90

L-33 Scienze economiche 62 28 90

L-34 Scienze geologiche 51 36 87

L-35 Scienze matematiche 30 45 75

L-36 Scienze politiche e delle relazioni internazionali 50 40 90

L-37 Scienze sociali per la cooperazione, lo sviluppo e la pace 48 42 90

L-38 Scienze zootecniche e tecnologie delle produzioni animali 60 30 90

L-39 Servizio sociale 54 36 90

L-40 Sociologia 63 27 90

L-41 Statistica 40 50 90

L-42 Storia 54 36 90

L-43 Diagnostica per la conservazione dei beni culturali 54 36 90

62

Classi a ciclo unico

Classe Descrizione Classe CFU minimi

Caratterizzanti

CFU

minimi

di

Base

Totale

LMG/01 Classe delle lauree magistrali in giurisprudenza 130 86 216

LM-4

c.u. Architettura e ingegneria edile-architettura (quinquennale) 100 56 156

LM-41 Medicina e chirurgia 180 60 240

LM-42 Medicina veterinaria 130 58 188

LM-46 Odontoiatria e protesi dentaria 180 60 240

LM-13 Farmacia e farmacia industriale 117 66 183

LM-85

bis Scienze della formazione primaria 166 78 244

63

Tab. 2 DODICESIMO P1+PP - Distribuzione per anno di iscrizione e caratteristiche degli studenti iscritti ai corsi di laurea triennali (ad esclusione degli iscritti ai corsi di laurea delle professioni sanitarie) nell’a.a.

2010/2011.

Dati relativi al totale delle università. I dati di Roma La Sapienza sono stati forniti in modo aggregato e sono relativi agli studenti iscritti a cds istituiti ai sensi del DM 270/04.

TAB 2 - Distribuzione per anno di iscrizione e caratteristiche degli studenti iscritti ai corsi di laurea triennali (ad esclusione degli iscritti ai corsi di laurea delle professioni sanitarie) nell'a.a. 2010/2011

Dati relativi al totale delle università. I dati di Roma La Sapienza sono stati forniti in modo aggregato e sono relativi agli studenti iscritti a cds istituiti ai sensi del DM 270/04


Anno di iscrizione

1 2 3 4 5 6 7 8 9 10 TOT


di cui hanno conseguito un numero di crediti

in attività formative di base e caratterizzanti

almeno pari a quello previsto dal corso di

studi cui sono iscritti

747 4.023 32.821 21.861 11.546 6.909 4.318 2.813 1.766 1.502 88.306


1 2 3 4 5 6 7 8 9 10 TOT


% con almeno un numero di crediti in

attività formative di base e caratterizzanti

pari a quello previsto dal corso di studi cui

sono iscritti

0,3 2,0 19,2 18,7 15,1 12,5 10,6 9,3 7,5 6,7 8,7


1 2 3 4 5 6 7 8 9 10 TOT


% con almeno un numero di crediti in

attività formative di base e caratterizzanti

pari a quello previsto dal corso di studi cui

sono iscritti

0,8 4,6 37,2 24,8 13,1 7,8 4,9 3,2 2,0 1,7 100,0

Anno di iscrizione

Numero di CFU 1 2 3 4 5 6 7 8 9 10 TOT

<90 22 662 3.263 2.561 1.445 831 456 258 217 156 9.871

tra 90 e 120 150 2.469 13.843 11.869 6.533 4.079 2.638 1.670 1.006 866 45.123

>120 573 640 14.936 7.284 3.548 1.999 1.223 884 543 480 32.110

Totale 745 3.771 32.042 21.714 11.526 6.909 4.317 2.812 1.766 1.502 87.104

Distribuzione per anno di iscrizione e CFU conseguiti degli studenti che hanno conseguito un numero di crediti in attività formative di base e caratterizzanti almeno pari a quello

previsto dal corso di studi cui sono iscritti (esclusi i dati di Roma "La Sapienza" che ha fornito i dati aggregati)

64

TAB 2bis - DODICESIMO P1+PP Distribuzione per anno di iscrizione e caratteristiche degli studenti iscritti ai corsi di laurea a ciclo unico nell'a.a. 2010/2011

65

TAB 3 - DODICESIMO P1+PP Distribuzione per anno di iscrizione e caratteristiche degli studenti iscritti ai corsi di laurea (triennali) nell'a.a. 2010/2011 (ad esclusione degli iscritti ai corsi di laurea delle professioni sanitarie)


Anno di iscrizione

1 2 3 4 5 6 7 8 9 10 TOT


di cui con almeno 90 CFU base e

caratterizzanti 1.847 24.708 55.215 33.337 18.687 12.320 8.413 5.905 3.962 3.587 167.981


caratterizzanti 684 1.198 21.204 10.170 5.079 2.958 1.768 1.305 803 709 45.878




1 2 3 4 5 6 7 8 9 10 TOT


% con almeno 90 CFU base e

caratterizzanti 0,7 12,2 31,5 27,2 23,0 20,7 19,2 18,0 15,5 14,6 16,1

% con almeno 120 CFU base e


% con almeno 90 CFU 1,8 34,0 61,6 66,7 65,3 64,7 65,7 66,0 65,1 64,6 41,9

% con almeno 120 CFU 0,9 11,0 46,8 52,1 49,6 48,5 49,1 49,1 48,5 47,7 28,9


1 2 3 4 5 6 7 8 9 10 TOT








66

TAB 3 bis - DODICESIMO P1+PP Distribuzione per anno di iscrizione e caratteristiche degli studenti iscritti ai corsi di laurea a ciclo unico nell'a.a. 2010/2011


Anno di iscrizione

1 2 3 4 5 6 7 8 9 10 TOT

TOT Studenti per anni di iscrizione 60.270 49.926 41.393 40.417 37.882 27.538 19.572 14.399 10.402 8.093 309.892






1 2 3 4 5 6 7 8 9 10 TOT




% con almeno 90 CFU 5,3 35,8 63,7 76,4 83,0 84,7 84,3 83,0 81,0 80,3 56,9

% con almeno 120 CFU 4,5 11,2 45,8 64,8 75,8 78,4 77,6 75,9 73,6 72,7 46,3


1 2 3 4 5 6 7 8 9 10 TOT




