impacte del programa educat en l’adquisició de ... · origen de l’estudi i evolució de...
TRANSCRIPT
Dr. Toni MoraDr. Josep Oriol Escardíbul
Impacte del programa eduCATen l’adquisició de competències de
l’alumnat de secundaria a Catalunya
Impacte del programa eduCAT en l’adquisició de competències de l’alumnat de secundària a Catalunya
Dr. Toni Mora (Universitat Internacional de Catalunya)Dr. Josep-Oriol Escardíbul (Universitat de Barcelona) © Copyright 2016Universitat Internacional de CatalunyaImmaculada, 2208017 Barcelonawww.uic.es Primera edició: Desembre 2016 Edita: ACV Edicionswww.acvglobal.com
ISBN: 978-84-15003-65-6Dip. Legal: B 25262-2016
Impacte del programa eduCAT
en l’adquisició de competències
de l’alumnat de secundària
a Catalunya
Dr. Toni Mora (Director)Dr. Josep Oriol Escardíbul
Índex
Pròleg 4
1. Introducció 6 1.1. Objecte concret de l’estudi 6 1.2. Origen de l’estudi i evolució de l’enfocament 7 1.3. Estructura de l’informe 92. Tecnologies a les aules 10 2.1. Descripció del programa eduCAT 10 2.2. Literatura relacionada 113. Base de dades 15 3.1. Descriptius dels resultats a les proves d’avaluació de competències 16 3.1.1. Cohort 2008-2009 18 3.1.2. Cohort 2009-2010 21 3.1.3. Cohort 2010-2011 22 3.1.4. Cohort 2011-2012 23 3.2. Altres comparatives rellevants 24 3.3. Comparativa de resultats després de la vinculació de dades 28 3.4. Disseny de la mostra 30 3.5. Enquesta als centres escolars de secundària 304. Estratègia d’estimació 47 4.1. Estratègia economètrica 47 4.2. Equació a estimar 49 4.3. Problemes de selecció dins el programa eduCAT 515. Resultats 586. Breus conclusions d’aquest informe 607. Bibliografia 62
Annex A. Enquesta adreçada als directors de centres escolars 64
5
Pròleg
4
Pròleg
L’estudi que teniu a les mans, sobre l’impacte del programa eduCAT en l’adquisició de competències bàsiques per part dels alumnes de secundària, aporta una mirada nova i complementària a altres estudis i recerques realitzats al nostre país sobre l’impacte tecnològic en l’àmbit educatiu.
La bibliografia acadèmica i institucional sobre el procés d’incorporació de les tecnologies digitals als centres educatius és força extensa. No en va aquest procés té un recorregut de més de tres dècades al nostre país, al llarg de les quals l'anàlisi de les iniciatives en aquest camp així com la seva avaluació han estat objecte de diversos estudis i recomanacions.
Entre els estudis previs cal destacar, pel seu abast i profunditat, el Projecte Internet Catalunya (PIC), realitzat pel grup de recerca IN3 de la UOC durant els anys 2002-2003. L’objectiu d’aquesta recerca va ser identificar i caracteritzar els efectes de la introducció d'Internet a les escoles catalanes d’educació primària i secundària. Aquesta anàlisi va mostrar les formes d'utilització de la xarxa en l’àmbit escolar i en quina mesura contribueixen a l'aparició, en els centres educatius, d'una nova cultura adaptada a les necessitats de la societat del coneixement. L’estudi es va focalitzar en el procés d'incorporació i l’impacte d'Internet en tres grans àmbits: les pràctiques pedagògiques, l'organització escolar i la relació dels centres educatius amb la comunitat educativa. Aquesta recerca va incloure un balanç del que va representar el Programa d’Informàtica Educativa (PIE), el primer pla institucional per introduir les tecnologies digitals als centres educatius de Catalunya, desplegat entre els anys 1986 i 2001. Les conclusions i recomanacions d’aquest treball van ser tingudes en compte en algunes actuacions posteriors.
Una altra modalitat d’estudis el representen les estadístiques de la Societat de la Informació als centres docents, que el Departament d’Ensenyament publica anualment des del curs 2004-2005. Amb aquestes dades, que inclouen un ampli recull d’indicadors, que abasten tant aspectes d’infraestructures com d’usos educatius, hom pot seguir l’evolució i expansió de les tecnologies digitals als centres al llarg de la darrera dècada.
Un tercer conjunt de documents de referència sobre les TIC educatives el constitueixen els estudis comparatius en l'àmbit internacional. Especialment rellevant va ser la participació de Catalunya en l’estudi internacional “Second Information Technology in Education Study (SITES) 2006”, en el qual van participar 22 països amb l’objectiu d’analitzar l'ús pedagògic de les TIC en les àrees de matemàtiques i de ciències en els centres de secundària. Les dades i conclusions es poden trobar en el document “Les TIC a l’ESO. Resultats i conclusions de l’estudi SITES 2006 a Catalunya” publicat pel Consell Superior d’Avaluació de l’any 2009 i disponible en línia.
Aquests estudis transversals d’ampli abast s’han vist complementats amb altres treballs de recerca de caire qualitatiu i etnogràfic, que s’han centrat a descriure i analitzar determinats processos i interaccions dins l’aula quan s’apliquen innovacions tecnològiques de diferent naturalesa.
Per contrast amb els treballs esmentats, l’enfocament de la recerca que teniu a les mans, aborda la qüestió de la incorporació de les tecnologies digitals als centres educatius des de la perspectiva de l’Economia de l’Educació, fins ara inèdita a casa nostra. Aquesta mirada assimila el procés educatiu a un procés de producció, un enfocament que permet analitzar les polítiques públiques des de l’òptica cost-benefici.
Coincideixo plenament amb els autors que la implantació de les tecnologies digitals al sistema educatiu és un fet irreversible. Les evidències que es desprenen del rigorós estudi estadístic que s’ha dut a terme en aquest treball, tot i les cauteles manifestades pels autors, no qüestionen els aprenentatges sobre, i amb, les tecnologies digitals en el context escolar, sinó que plantegen la necessitat de reflexionar sobre el disseny, la implementació i l’avaluació de les polítiques d’innovació tecnològica en educació.
L’estudi ens fa evident que qualsevol política d’innovació necessita un plantejament previ rigorós, basat en l’evidència coneguda i preveient, des de l’inici, mecanismes d’avaluació adequats als objectius de l’actuació i que permetin mesurar com s’ha implementat, si ha produït millores i si és viable la seva continuïtat.
Vull acabar aquesta breu presentació felicitant els doctors Toni Mora i Oriol Escardíbul per la seva aportació. Al meu parer aquest treball aporta evidències i instruments que contribuiran a enriquir i millorar les futures polítiques i actuacions en aquest àmbit.
Jordi VivancosCap de l’Àrea de Tecnologies per a l’Aprenentatge i el ConeixementDepartament d’Ensenyament
6 7
Introducció
1. Introducció
El món actual ens envolta, cada cop més, de noves tecnologies de la informació i la comunicació (TIC) en tots els àmbits (familiar, laboral, etc.). En aquest sentit, l’escola no és pas una excepció i des de fa anys han entrat elements tecnològics a les aules per quedar-s’hi. Mentre els estudiants assimilen fàcilment tots aquests canvis, hi ha reticències a aplicar les TIC a l’aula per part dels agents que formen part del sistema educatiu (docents, famílies, administració), que dubten de la utilització en l’aprenentatge a l’aula d’eines associades habitualment al lleure.
El nostre informe pretén aportar certa llum sobre l’impacte de la introducció de les noves tecnologies dins les aules. En fer-ho, no ho abordem des d’un punt de vista pedagògic, sinó des de l’aportació que pot fer l’economia de l’educació, que assimila el procés educatiu a un procés de producció. Els inputs comunament considerats són els recursos escolars, la qualitat del professorat, les característiques personals dels estudiants i de les seves famílies, mentre que els resultats del procés (outputs) es corresponen amb les consecucions de l’estudiant (puntuacions, anys d’escolarització, no abandonar els estudis, etc.). La rellevància d’aquesta àrea és considerable perquè anàlisis empíriques generen sovint decisions de política educativa.
A més, l’economia de l’educació ha pres la iniciativa d’emprar estudis que evidenciïn causalitat entre els inputs i els resultats educatius, de manera que es pugui concloure que un determinat input (una política educativa, per exemple) genera un efecte sobre un determinat output (el fracàs escolar, per exemple) i no simplement que existeixen associacions o correlacions entre totes dues. Per poder evidenciar causalitat, els estudis de l’àrea d’Economia de l’Educació utilitzen majoritàriament tècniques de tipus quantitatiu i, específicament, metodologies economètriques avançades (molt sovint amb la utilització d’experiments aleatòriament controlats). Aquestes tècniques quantitatives convé que es complementin amb anàlisis qualitatives, que permeten incloure altres variables i extreure informació rellevant sobre el procés de producció educatiu i els determinants del rendiment acadèmic i l’aprenentatge (Dobbie i Fryer, 2011).
1.1. Objecte concret de l’estudi
L’objectiu principal d’aquest estudi és determinar quin va ser l’impacte del programa eduCAT2.0 en el rendiment educatiu dels alumnes de secundària a Catalunya.
Per poder dur a terme aquesta anàlisi necessitem una mesura adequada del rendiment educatiu. Evidentment, les puntuacions obtingudes a cada centre escolar per part dels estudiants de secundària no poden constituir la nostra unitat de mesura del rendiment, atès que aquesta mesura no és estrictament comparable, alhora que experimenta un biaix, provocat pels centres
escolars que tendeixen a puntuar de manera menys estricta (el que la literatura anomena grade inflation). Les raons poden ser diverses, com ara ser menys estrictes en l’assimilació dels continguts curriculars o simplement tenir predisposició (ja dins el batxillerat) que els estudiants treguin més bones puntuacions en la part de la nota d’accés a la universitat que correspon als centres educatius. Per aquesta raó, utilitzarem les puntuacions obtingudes en les proves d’avaluació de competències que el Consell Superior d’Avaluació del Sistema Educatiu duu a terme quan es finalitza la primària (sisè de primària) i quan s’acaba la secundària (quart d’ESO). Utilitzarem els resultats de les proves d’avaluació degudament estandarditzades atès que, com que són proves diferents, les puntuacions obtingudes tampoc no són estrictament comparables.
El nostre interès no és pas el d’analitzar l’impacte de l’ús de les tecnologies en el rendiment educatiu, sinó el de mesurar quin ha estat l’impacte del programa eduCAT que la Generalitat de Catalunya va introduir en el curs 2009-2010. El nom inicial va ser d’eduCAT1x1 però el curs següent es van introduir alguns canvis i es va anomenar eduCAT2.0. Per poder fer aquesta anàlisi seria necessari disposar d’informació relativa a l’equipament de què disposen tots els centres escolars a Catalunya.
En qualsevol cas, voldríem assenyalar la rellevància d’estudiar l’impacte de qualsevol pràctica educativa i, en especial, les polítiques públiques. Sovint es destinen molts recursos sense saber si els programes són cost-efectius. De fet, si més no els programes més costosos haurien de dissenyar-se de manera adequada per ser avaluats per investigadors aliens al projecte que es duu a terme.
1.2. Origen de l’estudi i evolució de l’enfocament
Quan es descriu un estudi sempre s’ha de ser honest i mostrar quin ha estat l’objectiu inicial d’anàlisi i les vicissituds que hagin pogut succeir al llarg de la recerca. La primera proposta d’estudi feta al Departament d’Ensenyament es va dur a terme durant el mes de març de 2011, quan el programa eduCAT1x1 encara estava operatiu. Durant el transcurs de les converses posteriors aquest programa va ser substituït pel programa eduCAT2.0 i finalment cancel·lat a finals del curs 2011-2012. La proposta de recerca es va adreçar al Dr. Joan Mateo, com a president del Consell Superior d’Avaluació del Sistema Educatiu.
L’estudi sempre ha estat una iniciativa pròpia de l’equip que formem el Dr. Oriol Escardíbul (Universitat de Barcelona) i el Dr. Toni Mora (Universitat Internacional de Catalunya). Es va concretar mitjançant l’establiment d’un conveni de recerca entre el Departament d’Ensenyament, l’Institut d’Estadística de Catalunya i la Universitat Internacional de Catalunya. Aquest conveni va ser signat el 15 de setembre de 2014.
8 9
Inicialment, l’Idescat havia de fer front a la selecció d’una mostra representativa de centres escolars i posteriorment vincular les dades dels estudiants amb característiques parentals.Així, a finals de gener de 2015 l’Idescat va acordar amb els investigadors quina havia de ser la mostra que calia seleccionar.
Durant l’any 2015 van tenir lloc diverses reunions, tant amb el Consell Superior d’Avaluació del Sistema Educatiu com amb l’Àrea de Tecnologies per a l’Aprenentatge i el Coneixement del Departament d’Ensenyament per tal de tirar endavant el projecte. L’estudi no havia tingut mai suport en termes de finançament fins que el Dr. Toni Mora va tenir la possibilitat de dirigir la Càtedra Eurest d’Economia Pública: Avaluació de Polítiques Sanitàries i Educatives de la Universitat Internacional de Catalunya. No hem rebut finançament del Departament d’Ensenyament, ja que aquesta recerca no ha estat mai un encàrrec del Departament.
Quan preparàvem la recerca van sorgir certes incidències que han condicionat l’enfocament final de l’estudi. En primer lloc, bona part de la informació relacionada amb els centres escolars i el professorat d’aquests centres no està disponible. En segon lloc, l’estructuració de la informació al Departament dificulta el seguiment dels alumnes al llarg del sistema educatiu, de manera que resulta difícil vincular les puntuacions obtingudes en les proves de competències al final de la primària amb les del final de la secundària obligatòria pel que fa als alumnes. Aquesta informació és imprescindible per assolir els objectius del nostre estudi i s’ha pogut obtenir mitjançant un sistema de vinculació “artesanal” basat en l’ús d’algoritmes de recerca.
Així, l’estudi farà servir els resultats dels estudiants per analitzar l’impacte del programa eduCAT, però l’anàlisi es fa tenint en compte variacions en l’àmbit agregat (és a dir, dels centres escolars de secundària). Atesa la manca d’informació, tant de les característiques dels centres escolars com del professorat de secundària, ja indicada, vam decidir dur a terme una enquesta a la mostra seleccionada per l’Idescat sobre característiques dels centres que haguessin pogut variar durant el període analitzat que afectessin el rendiment acadèmic, així com sobre les dotacions en termes d’infraestructures tecnològiques. És important assignar l’efecte del programa eduCAT al programa en si mateix i no a causa de totes les mesures o variacions que van succeir en el mateix període. Malgrat les dificultats per obtenir informació rellevant, creiem que el treball aporta llum sobre l’impacte del programa.
Finalment, volem agrair la total disponibilitat dels membres de l’Àrea de Tecnologies per a l’Aprenentatge i el Coneixement del Departament d’Ensenyament, en especial del Sr. Jordi Vivancos i la Sra. Laia Sánchez, així com les facilitats concedides pel Sr. Joan Estruch, del Consell Superior d’Avaluació del Sistema Educatiu.
En especial, agraïm el suport del Sr. Joan Mateo i del Sr. Jordi Vivancos per haver cregut en aquesta recerca des del principi. Alhora, volem donar les gràcies a l’Idescat, en especial a
Introducció
la Sra. Cristina Rovira i la Sra. Mònica Gasull, per la seva disponibilitat en tot moment per decidir la mostra, així com la possibilitat no assolida finalment de lligar dades relatives als alumnes amb característiques parentals.
1.3. Estructura de l’informe
Aquest informe s’estructura de la manera següent: la segona secció descriu el programa que es pretén avaluar; la tercera secció descriu les dades disponibles i exposa el disseny de la mostra i l’enquesta realitzada; la quarta secció assenyala l’estratègia economètrica d’estimació, mentre que la cinquena mostra els resultats obtinguts, i la darrera conclou l’informe.
1110
2. Tecnologies a les aules
En aquest apartat, en primer lloc es descriu el programa eduCAT. Posteriorment, es mostra evidència empírica sobre l’eficàcia de programes similars, i l’ús de les tecnologies de la informació i la comunicació, en general, sobre el rendiment acadèmic dels estudiants.
2.1. Descripció del programa eduCAT
El programa eduCAT va néixer com a EduCAT1x1. Va ser un projecte promogut i gestionat pel Departament d’Educació de la Generalitat de Catalunya, que es va iniciar el curs 2009-2010. Es va finançar amb fons del Ministeri d’Educació del programa “Escuela 2.0”, però la Generalitat de Catalunya va tenir autonomia per dissenyar i aplicar el programa (Alonso-Cano et al., 2014). Principalment, el programa preveia dur a terme tres actuacions interrelacionades:
•Proporcionaral’alumnatordinadorsportàtilscomaeinapersonaldetreball. •Alscentrespúblics,dotarlesaulesambpissarresdigitalsinteractivesixarxalocal Wi-Fi, alhora que preveia subvencionar les connexions a Internet de les aules. •Substituirprogressivamentelsllibresdetextenpaperperllibresdetextelectrònics gratuïts per a l’alumnat.
El programa eduCAT1x1 es va iniciar amb una participació prevista de 527 centres escolars de secundària (123 el darrer semestre de 2009 i la resta el primer semestre de 2010), que suposaria un total de 53.375 alumnes participants repartits en un total de 2.000 aules. Preveia la incorporació de 63.836 ordinadors portàtils i formació per a 13.947 docents. Al llarg del curs següent s’hi van anar incorporant alguns centres més. Els recursos anaven destinats, preferentment, als ensenyaments del primer cicle de l’ESO. Aquesta era la recomanació del Departament d’Ensenyament, tot i que la decisió final quedava en mans de cada centre. En alguns es va començar amb grups de segon o tercer d’ESO, i d’altres van decidir incorporar simultàniament més d’un curs al projecte.
El pressupost destinat va ser de 808.750 euros. Les partides econòmiques del programa eduCAT1x1 eren finalistes i anaven destinades a ordinadors per a l’alumnat: es finançava la meitat del cost i l’altra meitat (150 euros) la pagaven les famílies o, en cas de necessitat econòmica, l’ajut cobria el cost íntegre del dispositiu; també s’adquirien ordinadors per al centre escolar, equipament d’aules, PDI, Entorn Virtual d’Aprenentatge (EVA), continguts digitals, adequació de la xarxa Wi-Fi i línies de comunicacions.
A partir del curs 2011-2012 es va iniciar el programa eduCAT2.0 com a continuació del programa eduCAT1x1. Aquest nou programa preveia dues modalitats:
Tecnologies a les aules
•ModalitatA:seguircomesfeiaalprograma1x1(lesfamíliespaguenunapartdelcostdel’ordinador i en són propietàries).•ModalitatB:elcentreéspropietaridel’ordinador.AquestaéslamodalitatpreferidapelDepartament d’Ensenyament.
Durant aquell curs, 84 centres escolars es van acollir a la modalitat B, que implicava aportar un ordinador per cada dos alumnes. La resta de centres van continuar amb la modalitat anterior (modalitat A). Els 22 centres que durant aquest curs 2011-2012 van abandonar el programa van deixar de rebre els ajuts, però aquest fet no implicava explícitament que deixessin de continuar aplicant el model 1x1. El curs 2012-2013 el Ministeri d’Educació de l’Estat espanyol va deixar de subvencionar el programa i es va acabar la dotació econòmica del programa.
2.2. Literatura relacionada
Existeix un debat sobre si l’ús de les TIC a l’aula afavoreix l’aprenentatge o serveix per distreure els estudiants del procés d’aprenentatge. De fet, la revisió d’estudis internacionals presenta resultats dispars, si bé entre els estudis que analitzen programes similars al que nosaltres avaluem predomina la manca d’efecte sobre el rendiment dels estudiants (vegeu-ne una revisió a Escardíbul i Mediavilla, 2016).
Els articles relacionats que avaluïn programes anomenats OLPC (One Laptop per Child), com ara l’eduCAT, són certament escassos. Cal concretar que existeix una recerca molt extensa sobre els impactes a comunitats reduïdes, com les relatives al lloc on van sorgir aquests primers tipus de programes (a Maine, EUA). Habitualment, aquests estudis permeten inferir causalitat (poder afirmar que un programa OLPC causa un determinat efecte en el rendiment dels estudiants) perquè utilitzen assajos aleatoris controlats, és a dir, es fan assignacions aleatòries de subjectes d’investigació que permeten disposar de l’existència d’un grup al qual s’aplica la política (anomenat grup de tractament) i un grup que no rep la política (anomenat de control), que són estadísticament equivalents. Ara bé, el problema és que usualment el nombre d’escoles que s’emprava en aquests experiments era certament escàs. Així, més enllà de l’anàlisi d’aquesta experiència als Estats Units, la literatura és escassa en relació amb els efectes de polítiques educatives que introdueixen portàtils a les escoles i, a més, les tècniques d’anàlisi no són gaire rigoroses. Aquesta situació, però, no va impedir que les iniciatives anessin multiplicant-se (Penuel, 2006). De fet, al voltant del 2011 ja es comptaven uns 40 països amb aquestes iniciatives arreu del món. Segons, Beuermann et al. (2015) s’havien introduït uns 50 projectes fins al 2015.
1312
En relació amb els treballs relacionats amb OLPC, a continuació mostrem evidències, per a l’Amèrica Llatina, d’estudis que van més enllà de mostrar simples relacions estadístiques.
En un estudi per a països en vies de desenvolupament, Carrillo, Onofa i Ponce (2011) avaluen l’impacte d’un projecte al municipi de Guayaquil (Equador) que va proveir assistència per ordinador en matemàtiques i llengües mitjançant tècniques experimentals a estudiants de primària. L’estudi només va trobar un impacte positiu en matemàtiques. Per la seva part, De Melo, Machado i Miranda (2014) avaluen el Pla Ceibal, a l’Uruguai, un programa que proporcionava un ordinador portàtil a tots els alumnes en l’àmbit nacional, i mostren que després de dos anys de la implementació no s’observaren efectes ni en matemàtiques ni en capacitat verbal. Els autors interpreten que la causa d’aquesta no efectivitat va ser la manca de formació dels docents i que els ordinadors es van utilitzar de manera ordinària per cercar informació. Un altre treball que analitza un programa d’introducció d’ordinadors portàtils és el de Cristia et al. (2012). Aquests autors analitzen un programa d’introducció d'ordinadors a 319 escoles públiques en comunitats rurals pobres del Perú. Els autors no troben cap efecte del programa. Ara bé, cal tenir en compte que bona part de les escoles tractades no tenien accés a Internet i que el professorat no va rebre formació.
Finalment, Barrera-Osorio i Linden (2009) van conduir un experiment durant dos anys per tal d’avaluar en 97 escoles colombianes, i un total de 5.201 estudiants, l’impacte de l’aportació de fons privats per a ordinadors a escoles públiques per tal de millorar les competències en llengües. L’estudi no hi troba cap efecte. Els autors assenyalen que malgrat incorporar ordinadors i formar el professorat, en cap moment es van incorporar les noves tecnologies al currículum. De fet, indiquen que la manca d’èxit del programa s’associa al mateix ús dels ordinadors, ja que el programa es va dedicar més a ensenyar els alumnes a utilitzar-los que al mateix ensenyament de matèries.
Fora d’Amèrica, emprant una base de dades relativa a un programa similar a un OLPC per a escoles desafavorides a la Xina, Mo et al. (2013) analitzen 13 escoles de Beijing i mostren que el programa va tenir un impacte positiu quant als coneixements informàtics i l’autoestima dels estudiants i que, alhora, va provocar una disminució de les hores dedicades a mirar la televisió. Val a dir, però, que la mostra és relativament curta (300 estudiants de tercer curs de primària), que tan sols mesura l’efecte sobre la població immigrant i que les connexions a les llars són escasses.
En general observem que els impactes són quasi sempre nuls. En aquest sentit, cal significar que un aspecte clau resulta el tema de la incorporació del professorat a aquestes noves pràctiques docents, que poden mostrar reticències a aplicar les TIC a les aules, ja que la comunitat educativa fa molts anys que empra altres tipus de pràctiques docents (Alonso-Cano et al., 2014). Així, Slater, Davies i Burgess (2012) assenyalen que els professors són molt rellevants en el procés educatiu i que, per tant, qualsevol estudi n’ha de tenir present
Tecnologies a les aules
el paper. Sobre això, Area (2010) indica que la implantació de TIC a les escoles espanyoles ha comportat canvis organitzatius, però no necessàriament una innovació pedagògica en les pràctiques docents. De fet, Sigalés et al. (2008) conclouen que una part del professorat percep que les seves competències docents amb les TIC no els permet aprofitar l’alt grau del potencial educatiu d’aquestes tecnologies; de fet, alguns no creuen en l’ús de les TIC com a eines per a l’estudi i l’aprenentatge.
Hi ha estudis relacionats col·lateralment amb els programes OLPC. En primer lloc, algunes recerques se centren en la utilització de programari específic en assignatures concretes. Sobre això, en l’anàlisi d’un experiment que introduïa professors addicionals per als estudiants que anaven endarrerits, a quart curs de primària a Mumbai i Vadodara (Índia), Banerjee et al. (2007) evidencien que l’assistència per ordinador en matemàtiques va incrementar el rendiment acadèmic dels estudiants. Alhora, Barrow, Markman i Rose (2009), per a tres districtes urbans d’EUA, troben impactes positius de la utilització de programari en àlgebra; aquests impactes són superiors a les classes més nombroses i en les que presentaven més absentisme. Contràriament, Campuzano et al. (2009) evidencien impactes mixtos mitjançant l’ús de diferents programaris un cop es fa el seguiment d’aquests programaris en un segon any. Finalment, Rouse i Krueger (2004) van estudiar l’impacte als Estats Units d’un conegut programa per millorar les competències en llengües (anomenat Fast ForWord) en estudiants amb dificultats d’aprenentatge. Els autors mostren que si bé podrien haver millorat determinats aspectes relacionats amb els coneixements lingüístics, no van suposar tampoc una millora rellevant en l’assimilació d’habilitats de lectura.
En segon lloc, hi ha estudis que centren l’atenció en l’impacte de programes que proveïen l’ús d’ordinadors a les llars dels alumnes. En aquest sentit, Malamud i Pop-Eleches (2011) assenyalen que un programa a Romania va provocar efectes negatius sobre el rendiment educatiu dels estudiants, malgrat va millorar-ne les competències en l’ús dels ordinadors. Vigdor, Ladd i Martínez (2014) també evidencien impactes negatius a escoles públiques de Carolina del Nord. Malgrat això, Fairlie i Robinson (2013) no van evidenciar cap mena d’impacte significatiu en el rendiment acadèmic en matemàtiques i competències verbals a Califòrnia, com tampoc Angrist i Lavy (2002), en el cas d’Israel. Finalment, Beuermann et al. (2015) evidencien un increment en l’ús de les eines tecnològiques a les llars de 14 escoles a Lima (Perú), amb un perfil baix de rendiment, un cop es van proveir 1.000 ordinadors aleatòriament; tanmateix, els professors van constatar una certa tendència que els esforços dels estudiants decaiguessin alhora que els coneixements no van rebre cap mena d’impacte per la utilització d’aquestes eines.
Finalment, altres estudis se centren en la despesa en noves tecnologies. Machin, McNally i Silva (2007) estudien l’impacte de la despesa en tecnologia al Regne Unit en el rendiment acadèmic de l’alumnat aprofitant variacions en l’aplicació dels patrons de finançament segons el districte escolar al qual pertany el centre. Els autors detecten un impacte positiu en
15
Base de dades
14
les puntuacions de ciències i anglès, però no pas en matemàtiques. Així mateix, Leuven et al. (2007) avaluen un programa de suport per comprar ordinadors i programes informàtics a escoles desfavorides d’educació primària als Països Baixos i no constaten cap efecte sobre els resultats dels estudiants en llenguatge i matemàtiques. D’altra banda, Goolsbee i Guryan (2006) assenyalen que una inversió pública destinada a incrementar les connexions a Internet, a Califòrnia, va ser realment efectiva, ja que va beneficiar escoles d’un elevat grau de complexitat, però tampoc no va alterar el rendiment acadèmic dels estudiants.
En resum, l’impacte dels programes d’implantació de les TIC en el procés d’aprenentatge no és concloent. Ara bé, en programes tipus OCPC, la majoria d’estudis mostren la manca d’efecte sobre el rendiment dels estudiants. Així mateix, es constaten més resultats positius en l’aprenentatge dels estudiants dels programes de suport TIC (software específic, en especial) desenvolupat a les aules i més impactes negatius dels programes centrats en actuacions a les llars dels alumnes. Així mateix, s’observa la necessitat d’implicar el professorat en qualsevol programa d’implantació de TIC perquè tingui èxit.
Ara bé, a llarg termini, però, cal tenir present que la introducció d’ordinadors podria tenir conseqüències positives en el rendiment educatiu a la universitat (Fairlie i London, 2012) o al mercat de treball (Oosterbeek i Ponce, 2011).
3. Base de dades
El nombre de centres escolars que ofereixen estudis de secundària obligatòria són 1.057. Per a la nostra recerca, alguns d’aquests centres no han estat considerats, atès que no són estrictament centres de secundària (sinó que proporcionen formació a hospitals, en l’àmbit de la justícia, etc.). A continuació, informem de les dades per a la cohort de 2010. Aquest és el segon any d’implantació del programa eduCAT, però el primer en què s’han incorporat ja la majoria de centres participants.
Després del cribratge de centres necessari, esmentat anteriorment, van quedar 1.029 centres, dels quals un total de 604 (el 59%) van participar en el programa eduCAT, mentre que 21 van abandonar el programa en algun moment. En relació amb la titularitat del centre, 519 són públics (59,9% del total de centres). Creuant les dades de participació al programa i la titularitat del centre escolar, observem que el 47% dels centres de titularitat privada i un 70% dels de titularitat pública van participar en el programa eduCAT. Del total de centres que no van abandonar el programa (583), 501 corresponen a la modalitat A (la inicial) i 82 escoles es van acollir a la modalitat B. El nombre de centres escolars que es van afegir al programa durant el curs acadèmic 2009-2010 va ser de 231, mentre que la resta ho van fer durant el curs següent (2010-2011).
El Departament d’Ensenyament de la Generalitat de Catalunya classifica els centres escolars segons el grau de complexitat, que es defineix en funció de si es troben en entorns socials i econòmics desafavorits. De fet, el Departament classifica les escoles de complexitat màxima en funció, entre d’altres, d’indicadors de context socioeconòmic desafavorit en l’entorn on s’ubica el centre educatiu, el nivell socioeconòmic i professional de les famílies dels alumnes, el nombre d’alumnes amb necessitats educatives específiques i l’alumnat nouvingut segons l’àrea geogràfica de procedència. Així doncs, per al total de centres dels quals coneixem el grau de complexitat, aquesta és la distribució: alt (140), mitjà (719) i baix (168).
A continuació, mostrem amb el diagrama següent quina va ser la implementació del programa eduCAT i com va afectar les diferents cohorts sobre les quals disposem d’informació:
Diagrama 1. Implementació del programa eduCAT i afectació en cohorts
2008 2009 2010 2011 2012 2013 2014 2015 2016
1a cohort3a cohort
4a cohort
2a cohort
16 17
Base de dades
3.1. Descriptius dels resultats a les proves d’avaluació de competències
Les proves del Consell Superior d’Avaluació del Sistema Educatiu de les quals disposem d’informació es corresponen als cursos següents de sisè de primària: 2008-2009, 2009-2010 i 2010-2011. I les proves corresponents a aquests alumnes quan arriben a quart d’ESO, corresponen als cursos: 2012-2013, 2013-2014 i 2014-2015. Les proves fan referència a una agregació de diferents competències assolides en llengües (català, castellà i anglès) i matemàtiques. No obstant això, en el curs 2008-2009 els alumnes de sisè de primària no van ser avaluats de les competències de llengua anglesa. Tot seguit, detallem breument com són aquestes proves realitzades al final de la primària i la secundària.
Sisè de primària
L’objectiu principal de la prova és comprovar quin és el nivell d’assoliment de les competències bàsiques de l’alumnat quan acaba l’educació primària. La prova està formada per quatre quaderns: competència lingüística en llengua catalana, competència lingüística en llengua castellana, competència lingüística en llengua estrangera i competència matemàtica. L’alumnat de la Vall d’Aran té un quadern de competència lingüística en llengua occitana de l’Aran.
Els quaderns de competència lingüística en llengua catalana, castellana i llengua occitana de l’Aran avaluen la comprensió lectora mitjançant textos, preguntes, un dictat i una redacció. El quadern de competència lingüística en llengua estrangera (anglès o francès) avalua la comprensió oral, a més de la comprensió lectora i la capacitat d’escriure. El quadern de competència matemàtica conté activitats que parteixen d’estímuls o situacions problema que impliquen el domini del llenguatge i del raonament matemàtic, així com de diferents tipus de contingut del currículum de l’àrea de matemàtiques.
La competència lingüística dona un pes del 60% a la comprensió lectora i el 40% a l’expressió escrita. En el cas de la llengua estrangera la comprensió lectora representa un
Per avaluar l’eficàcia del programa hauríem de disposar de nivells de competències abans de començar la secundària i en acabar-la, que és el nivell educatiu en què es va implementar. Justament, aquesta és la situació en què ens trobem, ja que disposem de dades relatives al nivell de competències de l’alumnat tot just acabar la primària (sisè de primària) i en el darrer any de la secundària (quart d’ESO). A banda d’aquesta informació relativa al nivell de competències, tan sols disposem del gènere, l’edat i l’escola en què cursen els estudis de secundària. Pel que fa al centre escolar disposem d’algunes variables addicionals, com ara la mida de l’escola, el grau de complexitat i el municipi on radiquen.
50% de la puntuació final; l’expressió escrita, un 15% i la comprensió oral, un 35%. En la prova matemàtica les diferents àrees avaluades representen un percentatge força similar en la nota final.
La puntuació es desenvolupa en una escala de 0 a 100 punts. Els resultats són força estables en el temps (des que es van iniciar les proves, el 2009).
Quart d’ESO
L’objectiu principal de la prova és mesurar el grau d’assoliment de les competències i els coneixements bàsics de l’alumnat quan acaba l’educació obligatòria. S’avaluen les competències comunicatives en llengua catalana i castellana, llengua estrangera (majoritàriament anglès, però també francès en alguns casos), així com la competència matemàtica.
Com en el cas de l’avaluació a primària, la competència lingüística dona un pes del 60% a la comprensió lectora i el 40% a l’expressió escrita. En canvi, en el cas de la llengua estrangera la comprensió lectora representa un 40%, i l’expressió oral i escrita, un 15%. En la prova matemàtica les diferents àrees avaluades representen els percentatges següents: numeració, càlcul i espai, i forma i mesura, un 50%; canvi, relacions i estadística, un 50%. La puntuació també es desenvolupa en una escala de 0 a 100 punts i és força estable en el temps, després d’una pujada a partir del segon any de les proves (es van iniciar el 2012).
Per a una extensiva explicació de com es fa el càlcul de les diferents puntuacions cal adreçar-se a qualsevol dels extensos informes que elabora el Consell Superior d’Avaluació del Sistema Educatiu per a cadascuna de les proves (vegeu CSASE, 2016).
A continuació mostrem descriptius per a cadascuna de les cohorts (2008-2009 vs. 2012-2013; 2009-2010 vs. 2013-2014; 2010-2011 vs. 2014-2015, així com 2011-2012 vs. 2015-2016). Mostrarem els resultats de forma gràfica, de manera que es podrà apreciar la distribució de les puntuacions originals així com l’heterogeneïtat. Farem comparacions entre diferents distribucions: diverses competències dins el mateix curs o la mateixa competència a primària en comparació amb la puntuació obtinguda a secundària. Per poder dur a terme aquestes comparatives és necessari estandarditzar les puntuacions.1 En els resultats estandarditzats, els valors a prop de zero impliquen que l’alumne va obtenir una puntuació propera a la mitjana de la seva cohort, mentre que els valors positius indiquen que es trobava per sobre de la puntuació mitjana un determinat nombre de vegades la desviació estàndard.
1. Una puntuació s’estandarditza de la manera següent: al valor individual de la competència, s’hi resta el valor mitjà de la cohort en aquesta competència i es divideix per la seva desviació estàndard (mesura de dispersió absoluta). D’aquesta manera, s’obté una puntuació sense unitats de mesura que permet la compa-rabilitat amb altres puntuacions i amb altres distribucions de resultats.
18 19
Base de dades
La millor manera que creiem que hi ha de descriure gràficament la informació és mostrant quina és la distribució dels resultats, mitjançant l’estimació de kernels2 per evidenciar les freqüències (densitats de les distribucions que no és equiparable a freqüències). Evidentment, aquesta variable, tal com succeeix amb moltes altres del nostre entorn socioeconòmic, mostra un elevat grau d’asimetria (el mateix passa amb els salaris, per exemple). És a dir, presenten cues llargues de les distribucions i pocs valors concentrats en les puntuacions superiors.
2. L’estimació no paramètrica de funcions de densitat, mitjançant el mètode Kernel, és una manera d’estimar una funció de densitat que no segueix una distribució coneguda (normal, binomial, exponencial, Poisson, etc.). El que fa és construir una funció de densitat (forma de la distribució) al voltant dels valors mostrals, per tant, dibuixa la forma a partir de les freqüències que observa al voltant de cada valor de la distribució.
3.1.1. Cohort 2008-2009
La figura 1a mostra les distribucions per a les puntuacions obtingudes a sisè de primària per un total de 59.063 alumnes, que van concloure la primària durant el curs 2008-2009. Les dades relatives a aquesta cohort per al final de la secundària presenten un total de 57.603 alumnes en el curs 2012-2013. S’observa que les distribucions es troben centrades en diferents valors segons la prova de competències de què es tracti. A partir del primer gràfic sembla que les puntuacions de matemàtiques superen la resta i que els pitjors resultats són en les de castellà. De fet, la nota mitjana va ser, en una escala de 0 a 100: matemàtiques (78,02), català (76,84) i castellà (74,65). Comprovant si existeixen diferències estadísticament significatives entre aquests valors, la resposta seria positiva. És a dir, els nivells de competències serien diferents segons la matèria analitzada. Això implica que quan s’avalua l’impacte del programa, cal distingir en funció de la competència.
Malgrat això, aquestes puntuacions no són estrictament comparables, ja que són exàmens diferents amb distribucions diferents (per tant, mitjanes i desviacions distintes). Per aquest motiu, hem de comparar les distribucions dels valors estandarditzats, ja que cadascuna de les puntuacions presenta mitjanes i desviacions estàndard diferents (mesura de dispersió absoluta de les puntuacions). En aquest cas, s’observa en la figura 1b que la distribució de matemàtiques encara es desvia positivament si es compara amb la resta de matèries.
Posteriorment, calculem la correlació de Pearson entre les diferents puntuacions a nivell individual. Cal recordar que aquesta mesura de correlació ens indica el grau d’associació entre diferents variables. Valors propers a la unitat indiquen una elevada correlació, és a dir, qui ho fa bé en una matèria ho fa bé en l’altra.
Valors per microdades propers a 0,7 ens indiquen que els graus de correlació/associació són elevats malgrat que es troben encara distants de la unitat. Els càlculs per a les dades poblacionals d’aquesta cohort són elevats entre castellà i català (0,76), mentre que la relació
entre les llengües i les matemàtiques és més feble: castellà-matemàtiques (0,63) i català-matemàtiques (0,66). Per tant, els alumnes que tenen una alta competència en un idioma la tenen en un altre, mentre que no han de tenir-la necessàriament en matemàtiques.
La figura 1c també ens indica, mitjançant una anàlisi descriptiva preliminar, que existeixen diferències en funció del sexe de l’alumnat. En general, els nois mostren més heterogeneïtat en les diferents proves excepte en la de matemàtiques (com s’observa en el gràfic, l’interval de puntuacions és menor) i la seva puntuació mediana (línia recta dins la caixa) se situa sempre per sota de la que obtenen les noies, a excepció també de la competència de matemàtiques.
Finalment, calculem les correlacions entre aquestes puntuacions agregant les observacions en l’àmbit de centre escolar (figura 1d). El gràfic mostra cercles amb valors anonimitzats pels centres amb una dimensió ponderada per a cadascun en funció de la dimensió del centre escolar de primària (nombre d’alumnes que es van presentar a les proves). El nombre de dades és sensiblement menor (2.072 centres de primària). Els valors de les correlacions obtinguts assenyalen que els centres que treuen puntuacions mitjanes elevades en una de les matèries també ho fan en la resta de les competències avaluades: castellà i català (0,84), castellà-matemàtiques (0,73) i català-matemàtiques (0,80).
Figura 1. Distribucions de les puntuacions de primària: cohort que va iniciar ESO el curs 2008-2009
1a. Puntuacions 6è primària 1b. Puntuacions estandarditzades 6è primària
0.0
1.0
2.0
3Fu
ncio
ns d
ensi
tat 2
009
0 20 40 60 80 100
Matemàtiques 2009 Castellà 2009 Català 2009
0.1
.2.3
.4.5
Func
ions
den
sita
t 200
9
−6 −4 −2 0 2
Matemàtiques 2009 Castellà 2009 Català 2009
20 21
Base de dades
A continuació calculem les distribucions de resultats de les diferents proves d’avaluació per aquesta mateixa cohort un cop han arribat al curs final de la secundària obligatòria. Contràriament a les distribucions estimades per al 2009, les obtingudes per al 2013 mostren diferències ostensibles (figura 2a). Mentre que les avaluacions de competències de castellà i català presenten distribucions similars a les anteriors, les de matemàtiques i anglès presenten una forma que constitueix distribucions platicúrtiques, és a dir, molt menys apuntades que la distribució normal i presenten valors força similars de densitat al llarg de la distribució. Un cop s’han normalitzat (figura 2b), se soluciona ostensiblement el problema d’assimetria, però sembla que les dues distribucions (anglès i matemàtiques) són bimodals (presenten dos valors modals) i, per tant, implicarien diferències extremes en aquestes avaluacions i crearien dos grups d’alumnat molt diferenciats.
Aquestes disparitats es corroboren mitjançant la visualització dels diagrames de caixa (figura 2c), en què podem observar que les caixes són ostensiblement més grans per a aquestes dues avaluacions de competències (matemàtiques i anglès). D’altra banda, aquests gràfics tornen a evidenciar que les noies treuen puntuacions mitjanes més elevades en comparació amb els nois a totes les avaluacions, a excepció de les proves de matemàtiques.
Si bé les correlacions a nivell agregat continuen sent elevades (figura 2d), cosa que implica que les escoles que treuen un rendiment superior en alguna matèria ho facin en totes, individualment les correlacions són ara menors en alguns casos. Així, la puntuació de castellà i de matemàtiques correlaciona en menor grau (0,59) i la resta es troben just per sobre de 0,63, a excepció de la correlació entre català i castellà (0,71), que presenta correlacions més elevades.
Nota: elaboració pròpia.
2040
6080
100
Noi Noia
excludes outside values
Català Castellà Matemàtiques
123
4
56 7
89 10
1112
13
1415
16
17
18
1920
2122
23 2425
26
2728 29
30
31
32
33
34
35363738 39
40
41
42
434445
4647
48
495051
5253
545556
5758
59
6061
6263 64
656667
6869
70
7172
7374
7576
77
78
79
80
81
82 8384
85
8687
88
89
90
91
92
93
94
95
96
97
98
99100
101
102
103
104
105
106107
108
109
110111
112113 114115
116
117
118
119
120
121122
123124
125
126127
128129 130131132
133134135
136
137 138139140
141
142143
144
145146
147
148 149
150151
152153154
155
156157
158159160
161162
163164165 166
167
168169
170171
172173
174
175176
177178179180
181
182
183184 185186
187
188
189
190
191
192193194 195196197
198
199
200
201
202203204205206
207
208
209210
211
212
213
214
215216
217
218
219
220
221
222
223224
225226
227
228229 230231232233
234235236
237238239240
241
242243244
245
246
247
248
249
250
251252
253254
255256257
258259
260
261
262263
264265266267
268269270 271
272
273274275276
277
278
279280
281
282283284
285286
287
288
289
290
291292
293294
295 296
297
298 299
300301
302303
304305
306
307308
309
310
311
312
313
314315316
317318
319
320
321
322
323324
325
326
327
328
329330331
332333
334335
336
337338
339
340
341
342
343
344
345346347348349350
351
352353
354
355356
357358359
360
361 362
363
364
365366367
368369 370
371372
373 374
375376
377378
379
380
381
382
383384385
386
387
388
389
390
391
392
393
394
395396
397
398
399400
401
402
403 404
405
406407 408409410 411412 413
414
415
416417
418419
420
421422
423424
425
426
427428429
430431
432
433
434435436
437
438
439
440441
442
443
444
445446
447448 449
450451 452 453
454455
456
457
458
459
460
461
462463
464
465
466467
468
469470
471472
473
474 475
476
477
478
479480
481
482
483
484
485
486
487488489
490491492
493494
495
496
497
498499
500501502503 504
505
506507
508
509
510511
512513514
515
516517
518
519520521
522523524
525526
527
528 529
530531
532
533
534
535536 537
538539
540541542
543544
545
546
547
548
549550
551
552 553
554
555
556557
558
559560
561
562
563 564565
566
567568569 570
571
572573
574
575
576577
578
579
580
581
582
583584
585586 587588
589
590
591592
593
594
595
596
597598599
600
601
602
603604605
606
607
608
609
610611
612613 614615
616
617
618619620
621
622
623
624625
626627
628629
630
631
632 633
634
635636
637
638
639
640 641
642643
644
645
646647648
649
650651
652
653
654 655656657
658659
660661662
663
664665666
667
668
669
670
671
672673
674675676
677
678
679
680
681682
683
684685
686687
688689
690691692
693
694695 696
697698
699700
701702
703704
705706
707708709 710
711712713
714
715
716717
718
719
720
721
722
723
724725
726727
728729730
731732
733734
735736
737
738
739
740
741
742
743744745
746
747
748749
750751752
753 754
755
756
757758
759
760761
762
763764
765766
767
768
769
770
771772773
774
775776
777778779
780
781
782783
784
785786
787
788
789790
791
792793794
795 796797
798799
800
801 802803
804805
806
807
808 809
810
811
812 813814
815816817
818819
820821
822
823824825
826 827828829
830831832833
834
835
836837
838
839
840
841842
843
844
845
846
847
848849
850
851
852853
854
855
856
857858 859
860861
862863864
865
866
867868
869870
871
872
873
874875
876877
878
879
880
881
882
883884885
886887
888
889
890
891 892893 894
895
896897898 899
900
901902903
904 905
906
907
908909910
911
912
913914
915
916
917
918
919
920921
922923
924
925
926
927
928 929930931
932933
934935 936
937
938
939
940941
942943 944
945
946947
948
949
950951
952
953
954955
956
957958959
960
961
962
963
964
965
966
967
968969970
971972
973974
975976
977
978979
980
981982
983
984985 986
987988989990991
992
993
994
995
996997
998
999
10001001
1002
1003
1004
100510061007
1008
1009
1010
1011
1012
10131014
1015
1016
1017 1018
1019
1020 1021
1022
1023
1024
1025102610271028
1029
1030
1031
10321033
10341035
103610371038
1039
104010411042
10431044
1045
10461047
1048
1049
10501051
10521053
1054
1055
1056
1057
1058
10591060
10611062
1063
1064
106510661067
1068
1069
10701071
1072
1073
10741075 10761077
10781079 1080
1081
10821083
1084
1085
1086
1087
10881089
1090
1091
1092
1093
1094
1095
1096
10971098
1099
110011011102
1103
1104
1105
1106
11071108
11091110
11111112
1113
1114
11151116
1117
1118
111911201121
1122
1123
112411251126
1127
1128
1129
113011311132
1133
11341135
11361137
1138
1139
114011411142
114311441145
1146
1147
1148
114911501151
1152
11531154
1155
1156
11571158
1159
11601161
11621163
1164
1165 1166
1167
1168
116911701171
11721173
11741175
1176
1177
1178
1179
11801181118211831184
1185
1186
11871188
1189
119011911192
1193
1194
1195
1196
1197
1198
1199
1200
1201120212031204
1205
1206120712081209
121012111212
12131214
121512161217
12181219
1220
12211222
122312241225
1226
12271228
12291230
1231
12321233
1234
1235
1236
12371238
1239
1240
12411242
12431244
1245 12461247
1248
12491250
1251
1252
1253
1254
1255
1256
12571258
1259
12601261
12621263
1264 1265
1266
12671268
12691270
1271127212731274
1275
1276
1277
127812791280
12811282
1283
1284
12851286
12871288
1289
12901291
12921293 1294
1295
1296
12971298
1299 13001301
1302
130313041305
1306
1307
1308
13091310
1311 1312
1313 1314
1315
1316
1317
1318
13191320
13211322
1323
13241325
13261327
13281329
1330
133113321333
1334 1335133613371338
1339
1340
1341
134213431344
1345
1346 13471348 1349
1350
1351135213531354
1355
1356 1357
1358
1359
1360 1361
1362
13631364
1365
1366
13671368
136913701371
1372
1373
13741375
1376
1377
1378
1379
1380 1381
1382
138313841385
13861387
13881389
1390
1391
1392
1393
13941395
13961397
139813991400
1401 1402
1403
1404
1405
1406
1407
14081409
141014111412
1413
1414
14151416
141714181419
1420
14211422
1423
1424 14251426
1427
1428
1429
14301431
1432
1433
1434
1435
1436
1437
1438
1439
1440
14411442
1443
144414451446
1447
14481449
14501451
14521453
14541455
145614571458
1459
1460
1461
14621463
14641465
1466
1467
1468
14691470
147114721473
1474
14751476
147714781479
1480
14811482
14831484
1485
148614871488
1489
1490
1491
1492
14931494
149514961497
1498
1499
1500
1501
1502
1503
15041505
15061507
1508
1509
15101511
1512
1513
1514
1515
15161517
151815191520
1521
1522
15231524
1525
1526
1527
15281529
15301531
1532
1533
1534
1535
1536
1537
15381539
1540
1541
15421543
15441545
15461547 154815491550
15511552
1553
1554
15551556
1557
1558
1559 156015611562
15631564
1565
1566
1567
1568
1569
15701571
157215731574
15751576
1577
1578
1579
1580
1581
1582
1583
1584
1585
1586
15871588
1589
1590
1591
1592
1593
1594
15951596
1597
1598
1599
1600
16011602
160316041605
16061607
1608
1609
1610
1611
1612
16131614
16151616
161716181619
1620 1621
1622
1623
1624
16251626
1627
16281629
1630
163116321633
1634
16351636 1637 16381639
1640
1641
164216431644
16451646
1647
1648
1649
165016511652
16531654
1655
1656
16571658
1659
16601661
1662
16631664
16651666
1667
16681669 1670
1671
1672
1673
16741675
1676
16771678
1679
1680
1681
1682
1683
1684
1685
1686
16871688
16891690
16911692
169316941695
1696
169716981699
1700
1701
17021703
1704
1705
1706
17071708
170917101711
1712
1713
1714 1715
1716
1717
1718
1719
1720
17211722
1723
17241725
17261727
1728
1729
1730
17311732
1733
1734
17351736
1737
173817391740
17411742
1743
1744
1745
174617471748
1749
17501751
1752
1753
1754
1755 1756
1757
1758
17591760
1761
1762
1763
1764
1765
1766
1767
17681769
17701771 1772
1773
1774
1775
1776
1777
1778
17791780 1781
17821783 1784
17851786
1787
1788
1789
1790
1791
17921793
179417951796
179717981799
1800
180118021803
1804
180518061807
1808
18091810
1811
1812
18131814
18151816
18171818
181918201821
18221823
1824
1825
1826
1827
1828 1829
1830
1831
1832
1833
1834
1835
1836
1837
1838
1839 18401841
18421843
1844
1845
1846
18471848
1849
185018511852 1853
1854
185518561857
18581859
1860
18611862
1863
1864
1865
1866
1867
1868
1869
18701871
1872
1873
18741875187618771878
1879
1880
1881
1882
1883
1884
1885
1886
1887
18881889
18901891
1892
18931894
18951896
1897
1898
1899
19001901
1902
19031904
1905
1906
1907
1908
1909
1910
1911191219131914
19151916
1917
1918
19191920 19211922
1923
1924
192519261927
1928
192919301931
1932
1933
1934
19351936
19371938 1939
1940
1941
1942
19431944
1945
1946194719481949
1950
1951
1952
19531954
1955
19561957
1958
195919601961
1962
19631964
196519661967
19681969
1970
1971
1972
1973
19741975
1976
1977
1978
1979
1980
19811982
1983
1984
1985
1986
19871988
1989
199019911992
1993
1994
1995
1996
1997
19981999
20002001
2002
2003
2004
2005
2006
20072008
20092010
2011
2012
2013
2014
2015
2016
201720182019
2020
2021
2022
20232024
2025
2026
2027
2028
2029
2030
2031
2032
2033
2034
2035
2036
2037
2038
2039
20402041
20422043
2044
2045
20462047
204820492050
20512052
2053
2054
205520562057
2058
20592060
2061
2062
2063
2064
2065
20662067
2068
20692070
2071
2072
2040
6080
100
Cat
alà
20 40 60 80 100Matemàtiques
1c. Puntuacions 6è primària en funció del sexe 1d. Correlació nivell agregat centre de primàriaFigura 2. Distribucions de les puntuacions de secundària: cohort que va iniciar ESO el curs 2008-2009
2a. Puntuacions 4t ESO 2b. Puntuacions estandarditzades 4t ESO
0.0
1.0
2.0
3.0
4Fu
ncio
ns d
ensi
tat 2
013
0 20 40 60 80 100
Anglès 2013 Matemàtiques 2013Castellà 2013 Català 2013
Func
ions
den
sita
t
0.1
.2.3
.4.5
Func
ions
den
sita
t 201
3
−6 −4 −2 0 2
Anglès 2013 Matemàtiques 2013Castellà 2013 Català 2013
2c. Puntuacions 4t ESO en funció del sexe 2d. Correlació nivell agregat centre de secundària
Nota: elaboració pròpia.
3.1.2. Cohort 2009-2010
Per a la segona cohort, la dels que van acabar la primària el curs 2009-2010, disposem d’informació per a un total de 59.329 alumnes a primària i un total de 57.954 alumnes que van finalitzar la secundària durant el curs 2013-2014. Per a aquesta cohort no mostrem gràfics que resulten redundants, atès que certs patrons es repeteixen. Malgrat això, sí que mostren les distribucions de les puntuacions.
Especial atenció mereix la distribució dels resultats d’anglès al final de la primària, atès que va ser la primera vegada que es va avaluar i, per tant, cal observar si la distribució torna a ser bimodal com en el cas de la secundària per a la cohort anterior. Els resultats de la figura
020
4060
8010
0
Noi Noia
excludes outside values
Català Castellà Anglès Matemàtiques
1
2
3
4 56
7
8
9
10
1112
13
14
15
1617
18
19
20
21
22
23
24
25
26
27
28
2930
31
32
33
34
35
36
373839
40
4142
43
44
4546
47
4849
50
51 525354
5556
57
58
59
60
61
62
63 64
6566
67
686970
71
72
73
74
75
7677
78 79
808182
8384
85
8687
88
8990
91 9293
94
95
96
9798
99
100
101
102
103 104
105
106
107108
109
110111112
113
114115
116
117
118
119
120
121122
123
124
125
126127
128129130131
132133
134135
136 137
138139
140 141
142
143
144145146
147
148 149
150
151
152
153
154
155
156
157
158
159
160
161
162163
164
165
166
167168
169
170
171172173
174
175
176
177178
179
181182183
184
185
186
187188
189
190
191192193
194
195196
197
198
199
200
201
202203
204205
206207
208
209210
211
212
213
214
215216217
218
219
220
221222223
224
225226
227
228
229 230231 232
233
234
235
236237238
239240241
242243244
245
246
247
248
249
250251
252
253254
255256
257
258
259260
261
262263
264
265
266267268 269 270
271
272
273
274 275276
277278 279
280
281282283 284
285286
287
288289
290
291
292
293
294295 296
297
298299
300 301302303
304
305
306
307
308
309310311
312
313
314
315316
317318 319320321
322
323324
325
326327328
329
330
331
332333
334
335336
337
338339
340
341
342343344345
346 347348
349
350351 352
353
354
355356
357358
359360
361
362
363364
365366
367
368369
370371
372
373374 375376
377
378
379380381
382383
384
385
386
387
388389
390
391392
393
394
395
396397
398
399
400401
402
403
404
405
406
407408
409
410 411
412 413
414
415
416
417
418
419
420
421
422
423
424
425
426
427
428
429
430
431432433434
435
436
437
438
439
440
441
442443 444
445
446
447448
449
450
451452 453
454
455456
457
458459
460
461 462
463
464465
466
467
468
469
470
471
472
473
474475
476477
478 479
480481
482
483
484
485
486
487
488
489
490491
492
493
494
495496
497
498
499 500
501
502
503
504
505
506
507508
509
510511
512
513
514515516
517518
519
520
521
522
523
524525
526
527
528529530 531532 533
534
535
536
537
538
539
540
541
542543544545
546
547
548549550
551
552
553 554
555
556557558
559 560
561562
563564
565
566
567
568569
570
571
572573
574
575
576
577
578
579
580
581582
583
584
585586
587
588
589590591
592593594
595
596
597
598599
600
601602603 604
605
606
607
608
609
610
611
612
613614
615
616617
618619
620621
622
623
624
625
626
627
628
629
630
631
632
633
634
635636
637
638639
640
641642
643
644
645 646647
648649
650651
652653654
655
656657658659
660
661662663
664 665
666
667
668
669
670
671672 673674
675
676
677
678
679
680
681
682
683
684685
686
687
688
689
690
691
692
693
694
695
696
697
698
699
700
701702
703
704
705
706
707
708
709
710
711712
713714
715
716717
718
719
720
721
722
723
724
725 726
727
728
729
730 731
732
733
734735 736
737738
739740 741
742
743744745 746747 748
749750
751
752
753
754755
756
757758
759
760
761762
763
764765766 767768
769
770
771
772
773774
775
776777
778779780
781
782
783
784
785
786787
788
789
790 791
792
793
794795
796797798
799800
801802
803
804
805
806
807
808
809
810
811
812
813
814815816
817
818819
820
821
822
823824
825826
827828
829830
831832
833
834835
836
837
838
839 840
841
842
843
844845846
847
848
849
850
851
852
853854
855
856857
858
859
860861
862
863
864865866867
868869
870
871
872
873
874
875876
877878
879880881
882883
884
885
886887
888 889890 891
892
893
894
895
896
897
898
899
900901
902903
904
905
906907
908
909
910
911912913914
915916
917
918
919
920
921
922
923
924
925
926
927
928
929930
931932
933 934
935
936
937
938939 940
941942 943
944 945
946947948
949
950
951952
953954
955956
957
958
959
960961
962963964
965966
967968
969
970971
972973
974
975976977
978
979980
981982
983
984
985
986987
988
989
990
991992
993
994
995
996
997
998999
1000
1001
1002
1003
1004
1005
1006
1007
1008
1009
4060
8010
0C
atal
à
20 40 60 80 100Matemàtiques
22 23
Base de dades
3a. Puntuacions 6è primària 3b. Puntuacions estandarditzades 6è primària
3c. Puntuacions 4t ESO 3d. Puntuacions estandarditzades 4t ESO
3.1.3. Cohort 2010-2011
Per a la tercera cohort considerada, la dels que van acabar la primària el curs 2010-2011, disposem d’informació per a un total de 62.289 alumnes a primària i un total de 59.967 alumnes que van finalitzar la secundària el curs 2014-2015. Per a aquesta cohort tampoc no mostrem gràfics que resultin repetitius. De nou s’observa que els nivells de competències assolits són força diferents a la secundària en comparació amb la primària. Alhora, les
0.0
1.0
2.0
3Fu
ncio
ns d
ensi
tat 2
010
0 20 40 60 80 100
Anglès 2010 Matemàtiques 2010Castellà 2010 Català 2010
0.2
.4.6
Func
ions
den
sita
t 201
0
−6 −4 −2 0 2
Anglès 2010 Matemàtiques 2010Castellà 2010 Català 2010
0.0
1.0
2.0
3.0
4Fu
ncio
ns d
ensi
tat 2
014
0 20 40 60 80 100
Anglès 2014 Matemàtiques 2014Castellà 2014 Català 2014
0.1
.2.3
.4.5
Func
ions
den
sita
t 201
4
−6 −4 −2 0 2
Anglès 2014 Matemàtiques 2014Castellà 2014 Català 2014
Nota: elaboració pròpia.
Figura 3. Distribucions de les puntuacions de primària/secundària: cohort que va iniciar ESO el curs 2009-2010
3a ens indiquen que torna a evidenciar-se una certa bimodalitat, que no existeix a la resta de matèries a la primària. El fet es corrobora en la figura 3b, estandarditzant els valors i, de nou, les puntuacions de secundària de matemàtiques tornen a presentar bimodalitat com en el cas de la cohort anterior. Els patrons tornen a repetir-se a secundària (figures 3c i 3d).
4a. Puntuacions 6è primària 4b. Puntuacions estandarditzades 6è primària
competències assolides en anglès i matemàtiques tornen a evidenciar una certa bimodalitat que no era present a la primària (vegeu la figura 4).
Figura 4. Distribucions de les puntuacions de primària/secundària: cohort que va iniciar ESO el curs 2010-2011
0.1
.2.3
.4.5
Func
ions
den
sita
t 201
1
−6 −4 −2 0 2
Anglès 2011 Matemàtiques 2011Castellà 2011 Català 2011
0.0
1.0
2.0
3.0
4Fu
ncio
ns d
ensi
tat 2
011
0 20 40 60 80 100
Anglès 2011 Matemàtiques 2011Castellà 2011 Català 2011
4c. Puntuacions 4t ESO 4d. Puntuacions estandarditzades 4t ESO
0.0
1.0
2.0
3.0
4Fu
ncio
ns d
ensi
tat 2
015
0 20 40 60 80 100
Anglès 2015 Matemàtiques 2015Castellà 2015 Català 2015
0.1
.2.3
.4.5
Func
ions
den
sita
t 201
5
−6 −4 −2 0 2
Anglès 2015 Matemàtiques 2015Castellà 2015 Català 2015
Nota: elaboració pròpia.
3.1.4. Cohort 2011-2012
Per a la darrera de les cohorts analitzades, els estudiants que van acabar la primària el curs 2011-2012, disposem d’informació per a un total de 65.736 alumnes a primària i un total de 61.270 alumnes que van finalitzar la secundària el curs 2015-2016. De nou, no mostrem resultats gràfics redundants. S’observa que els nivells de competències assolits són força heterogenis si es compara la secundària amb la primària. Alhora, les competències assolides en anglès i matemàtiques tornen a evidenciar una certa bimodalitat que tan sols s’havia observat en anglès a la primària (vegeu la figura 5).
24 25
Base de dades
5a. Puntuacions 6è primària 5b. Puntuacions estandarditzades 6è primària
5c. Puntuacions 4t ESO 5d. Puntuacions estandarditzades 4t ESO
3.2. Altres comparatives rellevants
La figura 6 mostra les distribucions de resultats agregats en l’àmbit de centre escolar de secundària per les competències assolides a quart d’ESO. Mentre que les puntuacions de català són bastant similars, malgrat que empitjoren per un cert nombre d’escoles situades al voltant de la mitjana per a la cohort del 2015, en relació amb els anys anteriors, els resultats de castellà tendeixen a experimentar el contrari. És a dir, la distribució del 2015 sembla que es desplaça cap a la dreta, amb la qual cosa mostra una millora en les puntuacions agregades. En relació amb l’anglès, s’observen diferències entre les diferents distribucions pertanyents a les diferents cohorts analitzades, de manera que es tendeix a la bipolaritat i a millorar en els cursos acadèmics més recents. Finalment, les distribucions relatives als resultats de matemàtiques, agregades en l’àmbit de centre escolar, empitjoren per a les cohorts que fan els exàmens el 2015 i 2016, tot i que cal assenyalar que mostra més homogeneïtat que les distribucions de les cohorts relatives als anys anteriors.
Figura 5. Distribucions de les puntuacions de primària/secundària: cohort que va iniciar l’ESO el curs 2011-2012
0.0
1.0
2.0
3.0
4Fu
ncio
ns d
ensi
tat 2
012
0 20 40 60 80 100
Anglès 2012 Matemàtiques 2012Castellà 2012 Català 2012
0.2
.4.6
Func
ions
den
sita
t 201
2
−6 −4 −2 0 2
Anglès 2012 Matemàtiques 2012Castellà 2012 Català 2012
0.0
1.0
2.0
3.0
4Fu
ncio
ns d
ensi
tat 2
016
0 20 40 60 80 100
Anglès 2016 Matemàtiques 2016Castellà 2016 Català 2016
0.1
.2.3
.4.5
Func
ions
den
sita
t 201
6
−6 −4 −2 0 2
Anglès 2016 Matemàtiques 2016Castellà 2016 Català 2016
Nota: elaboració pròpia.
Competències en català Competències en castellà
Competències en anglès Competències en matemàtiques
Nota: elaboració pròpia.
Figura 6. Comparativa de les puntuacions de secundària (4t ESO) per les diferents cohorts agregades en l’àmbit de centre escolar
0.1
.2.3
.4.5
−6 −4 −2 0 2Valors estandarditzats català secundària
2013 2014 2015 2016
0.1
.2.3
.4.5
−6 −4 −2 0 2Valors estandarditzats castellà secundària
2013 2014 2015 2016
0.1
.2.3
.4.5
−4 −2 0 2Valors estandarditzats anglès secundària
2013 2014 2015 2016
0.1
.2.3
.4
−4 −2 0 2Valors estandarditzats matemàtiques secundària
2013 2014 2015 2016
A continuació exposem les diferències entre centres públics i privats de secundària per a cadascuna de les competències a les proves relatives a quart d’ESO. Els resultats han estat degudament estandarditzats per poder ser comparats i s’han agregat en l’àmbit de centre escolar. En el cas de les proves de català, si es compara entre la primària i la secundària, cal fer constar que les distribucions es distancien encara més entre centres de titularitat pública (pb a la figura X) i privada (pv), alhora que els resultats dels alumnes en centres públics presenten més heterogeneïtat. És a dir, les distàncies entre les puntuacions assolides segons la titularitat dels centres (públic/privat) es fan més grans al llarg de la secundària.
26 27
Base de dades
Figura 7. Distribució de les puntuacions de català per centres escolars segons titularitat i cohort
Primària Secundària
Primària Secundària
Nota: elaboració pròpia.
Nota: elaboració pròpia.
En relació amb les proves de castellà, s’observa que s’amplien les diferències existents ja al final de la primària entre centres de titularitat pública i privada, alhora que a la secundària totes les distribucions passen a ser més heterogènies.
0.2
.4.6
−6 −4 −2 0 2Valors estandarditzats català primària
2009pv 2009pb 2010pv 2010pb2011pv 2011pb 2012pv 2012pb
0.2
.4.6
−6 −4 −2 0 2Valors estandarditzats català secundària
2013pv 2013pb 2014pv 2014pb2015pv 2015pb 2016pv 2016pb
Figura 8. Distribució de les puntuacions de castellà per centres escolars segons titularitat i cohort
0.2
.4.6
−6 −4 −2 0 2Valors estandarditzats castellà primària
2009pv 2009pb 2010pv 2010pb2011pv 2011pb 2012pv 2012pb
0.2
.4.6
−6 −4 −2 0 2Valors estandarditzats castellà secundària
2013pv 2013pb 2014pv 2014pb2015pv 2015pb 2016pv 2016pb
Nota: elaboració pròpia.
Primària Secundària
Per concloure amb les proves de llengües, les distribucions relatives als resultats obtinguts en llengua anglesa evidencien, de nou, les diferències entre centres públics i privats, si bé sembla que les distribucions amplien les distàncies. Cal assenyalar que el 2009 no va haver-hi proves al final de la primària relatives a aquesta matèria.
Figura 9. Distribució de les puntuacions d’anglès per centres escolars segons titularitat i cohort
0.2
.4.6
.81
−6 −4 −2 0 2Valors estandarditzats anglès primària
2010pv 2010pb 2011pv2011pb 2012pv 2012pb
0.2
.4.6
.8
−4 −2 0 2Valors estandarditzats anglès secundària
2013pv 2013pb 2014pv 2014pb2015pv 2015pb 2016pv 2016pb
En relació amb les puntuacions de les proves de matemàtiques, la situació és totalment diferent de les anteriors. Al final de la primària es pot observar que les distribucions són molt similars entre elles, si bé les diferències segons titularitat apareixen al final de la secundària. També cal fer constar que la distribució de l’escola privada no mostra tantes diferències com en el cas de les llengües. Així mateix, la distribució presenta més homogeneïtat dintre d’aquest tipus de centres escolars.
28 29
Base de dades
Primària Secundària
3.3. Comparativa de resultats després de la vinculació de dades
La taula 1 mostra les discrepàncies entre els valors mitjans referents a les distribucions originals i les que resulten després de fer les vinculacions de dades entre avaluacions de primària i secundària, és a dir, les diferències en puntuacions entre el total de la població i la mostra que fa el seguiment dels alumnes de sisè de primària a quart d’ESO (que anomenem vinculació a la taula 1). El nombre d’observacions de secundària que van poder ser vinculades per a la cohort 2009-2013 va ser del 79,2%; per a la cohort 2010-2014, un 78,5%, així com un 77,7% per a la cohort 2011-2015 i un 78,1% per a la cohort 2012-2016.
Tal com s’aprecia a la taula 1, el nombre d’alumnes de primària és superior al de secundària (al voltant d'uns 2.000 estudiants) per a cadascuna de les cohorts analitzades. En relació amb els percentatges no vinculats, al voltant del 20%, cal esmentar que vam decidir repassar manualment tots els registres no vinculats després de passar diversos algoritmes de vinculació. Ho vam fer així atès que vam detectar que els identificadors havien estat transcrits de manera incorrecta o diferent en algun dels anys o simplement s’havien introduït identificadors addicionals. Aquesta revisió va permetre afegir prop d’un 4% dels registres no vinculats. La resta simplement no constaven a les llistes de secundària o no havien fet totes les proves de primària.
Les raons per no poder vincular alguns registres serien quatre, principalment. La primera estaria relacionada amb els trasllats d’alguns alumnes a altres comunitats o països, atès que bona part dels registres no localitzats eren d’origen immigrant. La segona raó ve determinada
0.2
.4.6
.8
−6 −4 −2 0 2Valors estandarditzats matemàtiques primària
2009pv 2009pb 2010pv 2010pb2011pv 2011pb 2012pv 2012pb
0.2
.4.6
−4 −2 0 2Valors estandarditzats matemàtiques secundària
2013pv 2013pb 2014pv 2014pb2015pv 2015pb 2016pv 2016pb
Nota: elaboració pròpia.
Figura 10. Distribució de les puntuacions de matemàtiques per centres escolars segons titularitat i cohort
en el sentit contrari, és a dir, alumnes que són nous per raons d’immigració, provinents d’altres llocs. Una tercera causa és que simplement els alumnes van decidir, o se’ls va recomanar, repetir curs. En aquest sentit, atès que tenim diverses cohorts posteriors, en algun dels casos, vam intentar vincular dades amb aquestes cohorts posteriors, però certament amb poc percentatge d’èxit. Finalment, hi hauria alumnes que, malgrat l’obligatorietat de la secundària fins als 16 anys, quedarien no escolaritzats. En qualsevol cas, els alumnes no localitzats per qualsevol de les raons anteriors haurien de mostrar valors de nivells de competències inferiors a la primària. Per aquesta raó, les puntuacions mitjanes dels alumnes que han estat vinculats entre la primària i la secundària són superiors a la dels no vinculats.
Taula 1. Dades individuals. Comparativa vinculació i població original
Població
6è primària
Vinculació
6è primària
Població
4t ESO
Vinculació
4t ESO
Cohort 2009-2013
Cohort 2010-2014
Cohort 2011-2015
Català
Castellà
Matemàtiques
Anglès
76,84 (14,90)
74,65 (15,94)
78,02 (15,13)
---
79,54 (13,42)
77,40 (14,48)
80,79 (13,36)
---
76,59 (14,22)
76,04 (14,06)
68,38 (22,73)
69,81 (22,31)
78,95 (12,48)
78,05 (12,67)
72,08 (20,84)
73,68 (20,50)
Català
Castellà
Matemàtiques
Anglès
73,65 (15,78)
71,19 (16,12)
78,23 (20,82)
71,38 (20,82)
75,76 (14,76)
73,19 (15,33)
80,37 (14,39)
74,35 (19,57)
77,14 (13,77)
76,39 (12,44)
69,10 (19,55)
66,86 (21,89)
79,34 (12,19)
78,06 (11,33)
72,05 (18,20)
70,42 (20,43)
Català
Castellà
Matemàtiques
Anglès
77,19 (14,21)
73,58 (15,32)
80,91 (14,52)
80,59 (15,35)
79,06 (13,25)
75,45 (14,52)
82,71 (13,45)
82,17 (14,65)
76,29 (14,91)
75,15 (14,40)
69,28 (20,65)
68,66 (18,19)
78,30 (13,64)
77,06 (12,99)
71,18 (17,06)
72,37 (19,24)
Cohort 2012-2016
Català
Castellà
Matemàtiques
Anglès
79,67 (14,96)
76,62 (14,55)
80,27 (17,65)
74,30 (16,45)
81,65 (13,83)
78,43 (13,55)
82,39 (16,29)
76,45 (15,48)
76,90 (14,32)
76,62 (13,19)
68,30 (18,07)
71,17 (19,72)
78,61 (13,24)
77,91 (12,38)
70,29 (17,34)
73,48 (18,48)
Nota: es mostren valors mitjans i desviacions estàndard entre parèntesis.
30 31
Base de dades
3.4. Disseny de la mostra
Tal com hem comentat en l’apartat introductori, l’Idescat va seleccionar la mostra necessària de centres escolars atenent les característiques de l’estudi. Sobre un total de 1.057 centres (287.061 alumnes) del curs 2012-2013 es van excloure els que no complien els requeriments de manera acumulativa: 45 centres no presenten el nombre d’alumnes (hospitals, centres dependents de l’Administració de justícia, centres exclusius de formació professional, etc.), 4 no presenten grau de complexitat i 2 no aporten informació relativa a la participació (o no participació) en el programa eduCAT. Per tant, la població final va ser de 286.395 alumnes, conglomerats en 1.006 centres escolars. Per elaborar la mostra es van establir diferents estrats en què la mostra és representativa de la població. Els estrats es van correspondre amb la titularitat, la mida del centre (definida en termes de nombre d’alumnes), la participació en eduCAT i el grau de complexitat (social) del centre. Per definir una estratificació segons la mida del centre es va prendre el valor de tall de 240 estudiants, proper a la mediana. Finalment, constaven 36 combinacions d’estrats possibles, dels quals 8 es trobaven buides atès que els centres que abandonen són pocs. Per aquesta raó es van seleccionar complementàriament 25, 13 o 5 combinacions d’estrats (grups per als quals cal garantir representativitat estadística).
Per a cadascuna de les possibles estratificacions es van emprar vuit tipus de mostreig en funció de considerar els paràmetres com a mitjanes o proporcions amb dos tipus d’afixacions (proporcional o per variància mínima) per tal de garantir el menor error possible quan se seleccionés la mostra. Com que els alumnes es troben conglomerats en centres escolars, es van corregir els errors i les mostres efectives segons el factor de correlació intracentres.
El nombre d’estrats va ser finalment de cinc per al total de 1.057 centres escolars de secundària: abandonament del programa eduCAT (12 centres), centres privats que no van participar en el programa eduCAT (274), centres privats que sí que hi van participar (229), escoles públiques que no van participar en el programa eduCAT (182), centres públics que sí que van participar en el programa eduCAT (360). Finalment, d’aquests estrats van ser seleccionats 276 centres escolars (sobre un total de 1.057 centres), dels quals 122 no van participar en el programa eduCAT (grup de control en l’anàlisi empírica) i 154 que sí que ho van fer.
3.5. Enquesta als centres escolars de secundària
L’estudi empíric que es desenvolupa necessita una certa informació relacionada amb els centres per no assumir que, per exemple, una millora en el rendiment acadèmic prové del programa eduCAT, quan realment ha tingut lloc per una política adoptada pel centre escolar (per exemple, relativa als mètodes d’ensenyament, al professorat, a un canvi en la composició social de l’alumnat, etc.). Totes aquestes variables que reflecteixen canvis en les característiques dels centres podrien afectar el rendiment mitjà del centre en acabar la
secundària i no estarien relacionades amb el desenvolupament del programa eduCAT. Així mateix, en relació amb les tecnologies, tampoc no podem assumir que l’única incidència prové del programa eduCAT. Podria haver-hi centres escolars de secundària que, malgrat que no hagin participat en el programa i que no formin part del grup de control, haurien emprat noves tecnologies a les aules fora del programa. D’altra banda, alguns centres podrien haver destinat percentatges superiors de despesa en productes tecnològics.
Per totes aquestes raons, la recerca empírica exigeix dur a terme una enquesta als directors dels centres escolars i capturar totes les variacions durant el període de secundària que podrien haver tingut alguna conseqüència en el rendiment acadèmic mitjà dels estudiants de l’escola, així com conèixer de primera mà quin havia estat el desenvolupament del programa eduCAT. Aquí va resultar primordial invertir recursos per poder fer un seguiment de les respostes dels directors, i més tenint en compte la dimensió final de la mostra, decidida de manera conjunta amb l’Idescat.
En l’annex d’aquest informe mostrem l’enquesta que finalment es va adreçar en línia i en paper als directors i directores dels centres de secundària. Per elaborar l’enquesta vam tenir el suport del Sr. Jordi Vivancos, cap de l’Àrea de Tecnologies per a l’Aprenentatge i el Coneixement del Departament d’Ensenyament de la Generalitat de Catalunya, a qui agraïm la col·laboració.
L’enquesta conté preguntes relatives a tres blocs ben definits. En aquest sentit, és del tot rellevant preguntar als centres escolars sobre el desenvolupament del programa eduCAT sense que se sentin preguntats sobre el programa en si. Així s’evita el que es coneix en economia com a Hawthorne effect, és a dir, alteracions en les respostes (respostes incorrectes) o en el comportament en sentir-se preguntat o observat. Per tant, es feien preguntes sobre l’escola i les TIC sense preguntar directament sobre el programa. Nosaltres ja sabem quines escoles han participat, o no, en l’eduCAT.
En primer lloc, hi ha un bloc relatiu a la dotació i l'ús de les tecnologies al centre escolar sobre cadascun dels cursos que considerem, tot tenint en compte les cohorts sobre les quals disposem d’informació. En concret es pregunta sobre: el percentatge de despesa del centre dedicat a les TIC, si va haver-hi incidències en diversos àmbits (connectivitat, fiabilitat dels dispositius i qualitat dels llibres de text digitals), en quins cursos van ser introduïts els elements tecnològics de manera regular a les aules (ordinadors portàtils, tauletes, llibres electrònics i programari específic) i una pregunta final oberta en què havien d’indicar-se els usos habituals d’aquests dispositius.
El segon bloc de qüestions feia referència a preguntes sobre el professorat i la docència. Concretament, es preguntava sobre el nombre d’hores de mitjana que s’havia impartit formació específica en TIC al professorat en llengües i matemàtiques, la mitjana d’edat
32 33
Base de dades
del professorat en aquestes matèries i si s’havien produït canvis en la manera d’ensenyar (addicionalment calia especificar-los en cas afirmatiu). Finalment, el darrer bloc preguntava sobre característiques de l’alumnat: absentisme, estudiants d’origen estranger i abandonament dels estudis d’ESO.
L’enquesta es va enviar a tots els centres escolars de secundària de Catalunya a principi d’abril de 2016 i es va contractar un domini per tal que els directors de centre poguessin respondre en línia. A més, es va contractar personal de suport per respondre dubtes dels directors, encoratjar-los i tractar les respostes. En acabar el procés de recollida de dades de l’enquesta via paper o aplicació en línia, el total de respostes que van ser rebudes es va concretar en 693, de les quals 446 van respondre la versió completa de l’enquesta i 247 la versió reduïda (en què tan sols s’incorporaven les preguntes 1 i 3-8 del qüestionari que consta en l’annex). Atès que el nombre de respostes va superar el necessari, segons la mostra dissenyada per l’Idescat, vam procedir a comparar les característiques de la mostra final i la població. En aquest sentit, no s’observen diferències rellevants entre els centres escolars enquestats i el total de població de centres.
Figura 11. Percentatge de despesa en TIC segons curs acadèmic
3.2 35.5 26.8 15.8 9.8 8.9
4.1 37.1 26.5 15.1 8.5 8.7
4.8 37.8 28.4 13.5 9.8 5.7
5.0 38.9 25.2 14.6 10.3 5.9
6.4 36.4 21.1 14.4 11.2 10.5
7.1 35.0 20.1 14.2 11.4 12.1
12.1 35.5 19.5 12.8 9.2 11.0
0 20 40 60 80 100Segons curs acadèmic
2015−2016
2014−2015
2013−2014
2012−2013
2011−2012
2010−2011
2009−2010
Percentatges de despesa en TIC
0% 1−5% 6−10%11−15% 16−20% > 20%
Nota: elaboració pròpia.
En la figura 11 es pot observar com entre els cursos 2009-2010 i 2015-2016 ha disminuït en 9 punts (del 12,2% al 3,2%) el percentatge de centres que no destinen recursos del pressupost a la despesa en TIC. Tal com es mostra en la figura 11, el percentatge de despesa més habitual en TIC se situa entre l’1%-5% del pressupost (en aquest interval trobem entre un 35,1% i un 39% dels centres segons el curs). A continuació se situen els centres que destinen entre un 6%-10% de la despesa, que són un 19,3% (curs 2009-2010) i un 26,8% (curs 2015-2016) dels centres. Posteriorment se situa l’interval de despesa del pressupost de l’11%-15%, fet pel 12,8% dels centres el curs 2009-2010 i el 15,6% el 2015-2016 (en aquest cas augmenta el percentatge a mesura que avancen el cursos). En referència al percentatge de despesa del 16%-20% observem com passa del 9,2% (curs 2009-2010) al 8,5% (curs 2014-2015). Finalment, cal indicar que el percentatge de despesa superior al 20% té els nivells més elevats els dos primers cursos, un 11% el curs 2009-2010 i un 12,2% el curs 2010-2011, però després disminueix fins al 5,7% del curs 2013-2014 i, posteriorment, torna a augmentar en els dos últims anys (fins a arribar a un 8,9% dels centres). En resum, al llarg del període, el més habitual ha estat invertir en TIC entre l’1%-5% del pressupost i, seguidament, el 6%-10% (tots dos intervals suposen sempre, conjuntament, més de la meitat de les escoles).
34 35
Base de dades
Figura 12. Tipus de limitacions en l’ús de les TIC als centres
29.6 5.0 9.3 10.0 13.9 32.1
35.2 5.9 9.8 9.5 14.3 25.2
42.0 7.3 11.4 8.2 10.7 20.5
48.4 4.5 11.8 10.0 8.6 16.6
52.3 5.0 11.8 11.4 6.8 12.7
52.7 4.5 8.2 15.7 6.6 12.3
55.0 2.0 5.7 15.2 6.8 15.2
0 20 40 60 80 100Segons curs acadèmic
2015−2016
2014−2015
2013−2014
2012−2013
2011−2012
2010−2011
2009−2010
Tipus de limitacions en l’ús de les TIC als centres
Connectivitat Fiabilitat dispositiuQualitat llibres Formació docentsAltres No n’hi va haver
Nota: elaboració pròpia.
Com es pot observar en la figura 12, d’entre els factors que han dificultat l’ús de les TIC als centres, la connectivitat n’és la causa més freqüent, malgrat que n’ha disminuït la incidència al llarg dels cursos (ha passat d’un 55,1% el curs 2009-2010 a un 29,7% el curs 2015-2016). És a dir, el curs 2009-2010, un de cada dos centres tenia problemes de connectivitat i el curs 2015-2016, un de cada tres. S’observa també que la formació dels docents com a factor limitant va reduint-se significativament al llarg dels cursos (el curs 2009-2010 un 15,3% dels centres ho indiquen com a problema, mentre que aquest percentatge baixa al 9,8% el curs 2015-2016). Així mateix, s’observa com la fiabilitat dels dispositius ha variat al llarg del temps, si bé ha estat una incidència menor en tot el període considerat (el percentatge màxim de queixa és del 7,3% dels centres). Un fet similar succeeix amb la limitació pel que fa a la qualitat dels llibres electrònics, si bé els centres ho indiquen com un problema important (el percentatge de centres descontents arriba a l’11,8% el curs 2012-2013). Finalment, podem destacar que, conforme avancen els anys, el percentatge de centres que indiquen no tenir limitacions en l’ús TIC es dobla, i passa d’un 15,3% el curs 2009-2010 a un 32,2% el curs 2015-2016.
Nota: elaboració pròpia.
Figura 13. Percentatges d’utilització d’ordinadors
53.9 1.3 2.0 0.6 42.2
53.1 1.6 2.0 1.6 41.6
54.6 1.9 3.6 1.6 38.3
52.5 3.8 4.5 3.1 36.1
0 20 40 60 80 100Segons curs acadèmic
2012−2013
2011−2012
2010−2011
2009−2010
Percentatges d’utilització d’ordinadors
0% 25% 50% 75% 100%
Les figures de la 13 a la 17 mostren informació sobre l’ús que feien els centres de diferents elements TIC, en cadascun dels quatre cursos considerats. En els gràfics, 100% indica que un centre ha fet servir una determinada eina TIC en els quatre anys considerats. Per analogia, 50% vol dir que el centre ha fet servir ordinadors dos dels quatre anys considerats i 0%, que no n’ha fet servir mai. Val a dir que, en general, es nota una certa polarització en l’ús de les TIC, ja que els percentatges predominants es troben al 100% i al 0% (amb l’excepció de l’ús de tauletes, que ha estat molt minoritari).
En l’anàlisi de cada element TIC específic, en la figura 13 es mostra el percentatge d’utilització d’ordinadors com a eina habitual per al desenvolupament de les classes als quatre cursos de l’ESO per a les quatre cohorts analitzades. Com s’observa en la figura, l’evolució en el temps és força estable respecte al percentatge de centres que no en fan ús (52,9% del total de centres el curs 2009-2010 i 54,5% el curs 2012-2013). En canvi, augmenta significativament el percentatge de centres que fan un ús permanent de les TIC (passa del 35,7% el primer any al 41,7% el darrer). És molt menor, en tot el període, el percentatge de centres que fan un ús parcial dels ordinadors.
36 37
Base de dades
Figura 14. Percentatges d’utilització de portàtils al centre
40.9 2.3 4.5 2.8 49.5
36.4 4.1 4.1 4.7 50.8
35.1 3.8 6.0 6.4 48.8
40.3 3.8 7.1 9.8 39.0
0 20 40 60 80 100Segons curs acadèmic
2012−2013
2011−2012
2010−2011
2009−2010
Percentatges d’utilització de portàtils al centre
0% 25% 50% 75% 100%
Nota: elaboració pròpia.
En la figura 14 s’observa com la utilització de portàtils als centres en tots els cursos de l’ESO ha anat augmentant clarament fins a la cohort del 2011-2012 (va passar del 39,2% al 51%) i es va produir una petita disminució en la del 2012-2013 (49%). D’altra banda, la no utilització de portàtils en cap dels quatre cursos de l’ESO ha anat variant, d’un 40% en la cohort del 2009-2010, que ha disminuït 6 punts en la del 2010-2011 (34,8%), i ha augmentat en la cohort del 2011-2012 (36,1%) i en la del 2012-2013 (41%). Així mateix, es veu també una reducció dels que utilitzen els portàtils en un, dos o tres cursos de l’ESO. Es passa, en el cas dels que l’utilitzen només durant un any, del 3,7% al 2,2%; dels que només l’utilitzen dos dels quatre cursos, del 7,2% al 4,6%, i dels que l’utilitzen en tres de cada quatre cursos, del 9,8% al 2,8%.
Nota: elaboració pròpia.
Figura 15. Percentatges d’utilització de tauletes/iPads
89.5 2.3 3.8 1.5 2.9
92.9 2.3 2.2 1.2 1.5
95.3 2.0 1.5 0.4 0.7
96.5 2.0 1.0 0.3 0.1
0 20 40 60 80 100Segons curs acadèmic
2012−2013
2011−2012
2010−2011
2009−2010
Percentatges d’utilització de tauletes/iPads
0% 25% 50% 75% 100%
Com es pot observar en la figura 15, la utilització d’iPads/tauletes és bastant reduïda. Tot i això, es pot observar com ha anat augmentant el percentatge de centres que n’utilitzen durant algun dels quatre anys de l’ESO, de 3,5% en la cohort del 2009-2010 al 10,4% en la cohort del 2012-2013. Pel que fa al nombre de centres que no n’utilitzaven en cap dels quatre cursos, ha disminuït d’un 96,5% en la cohort del 2009-2010 a un 89,6% en la del 2012-2013.
38 39
Base de dades
Nota: elaboració pròpia.
Figura 16. Percentatges d’utilització de llibres electrònics
60.7 3.1 2.3 4.5 29.4
59.2 3.1 4.1 4.2 29.4
56.3 4.8 6.1 5.4 27.4
59.2 4.8 7.1 8.2 20.7
0 20 40 60 80 100Segons curs acadèmic
2012−2013
2011−2012
2010−2011
2009−2010
Percentatges d’utilització de llibres electrònics
0% 25% 50% 75% 100%
La figura 16 mostra com la utilització de llibres electrònics, durant els quatre cursos de l’ESO per a cada cohort, augmenta gairebé 9 punts, i passa d’un 20,6% en la cohort del 2009-2010 a un 29,5% en la cohort del 2012-2013. D’altra banda, el gràfic mostra un lleuger augment dels centres que no utilitzen, en cap dels quatre cursos de l’ESO, els llibres electrònics (el percentatge passa del 59,3%, en la cohort del 2009-2010, al 60,9% en la del 2012-2013).
Pel que fa als centres que utilitzen els llibres electrònics en un de cada quatre cursos disminueix d’un 4,7% en la cohort del 2009-2010 a un 2,9% en la del 2012-2013. El mateix succeeix en aquells casos que fan servir els llibres en dos dels quatre cursos (passa del 7,2% en la cohort del 2009-2010 al 2,3% en la cohort del 2012-2013) i els que en fan servir en tres dels quatre cursos (es redueix del 8,2% en la cohort del 2009-2010 al 4,3% en la del 2012-2013).
Nota: elaboració pròpia.
Figura 17. Percentatge d’utilització de software específic als centres
60.7 3.1 2.3 4.5 29.4
59.2 3.1 4.1 4.2 29.4
56.3 4.8 6.1 5.4 27.4
59.2 4.8 7.1 8.2 20.7
0 20 40 60 80 100Segons curs acadèmic
2012−2013
2011−2012
2010−2011
2009−2010
Percentatges d’utilització de llibres electrònics
0% 25% 50% 75% 100%
En la figura 17 s’observa com augmenta el percentatge de centres que utilitzen un software específic al centre durant els quatre cursos d’ESO. Així, s’incrementa en 10 punts el percentatge, que passa d’un 20,7% per als alumnes que van iniciar l’ESO el curs 2009-2010, a un 30% per a la cohort del 2012-2013. D’altra banda, els centres que no utilitzen cap software específic en els quatre cursos de l’ESO disminueixen, d’un 67,1% de la cohort del 2009-2010 a un 64,2% de la cohort del 2012-2013.
Percentatges significativament més baixos es constaten en el nombre de centres que només utilitzen un software en algun dels anys considerats.
40 41
Base de dades
Nota: elaboració pròpia.
Figura 18. Usos habituals dels dispositius
45.3 54.7
7.1 92.9
15.0 85.0
21.7 78.3
8.0 92.0
38.0 62.0
43.5 56.5
46.6 53.4
0 20 40 60 80 100Segons curs acadèmic
Accés llibres digitals
Recursos Internet
Recursos generats professorat
Creació alumnat
Cerca informació
Comunicació/col·laboració
Llibres digitals comercials
Avaluació
Usos habituals dels dispositius
No Sí
La figura 18 ens mostra els usos habituals dels dispositius. Els més comuns són els recursos oberts d’Internet (92,5%) i els menys habituals, les activitats d’avaluació (53,4%).
Entre aquests dos usos es troba la cerca d’informació (91,8%), els recursos generats pel professorat (85,2%), la creació de materials per l’alumnat (77,4%), les activitats de comunicació i col·laboració (61,4%), els llibres digitals comercials (56,4%) i l’accés a llibres digitals (54,6%).
Nota: elaboració pròpia.
Figura 19. Hores de formació del professorat
37.0 39.1 19.5 3.5 0.9
32.3 42.3 21.4 3.3 0.7
31.2 42.1 22.6 3.3 0.9
26.3 43.7 25.3 4.0 0.7
26.7 40.8 26.9 4.9 0.7
25.3 39.4 29.2 5.1 0.9
32.9 34.6 26.2 5.1 1.2
0 20 40 60 80 100Segons curs acadèmic
2015−2016
2014−2015
2013−2014
2012−2013
2011−2012
2010−2011
2009−2010
Hores de formació del professorat
Cap formació Fins a 15 h 16 h − 30 h31 h − 60 h > 60 h
Com mostra la figura 19, majoritàriament els centres van proporcionar fins a 15 hores de formació en TIC al professorat per curs. Així, la formació de fins a 15 hores va passar del 34,7% dels centres, el curs 2009-2010, al 43,8% el curs 2012-2013, però va disminuir progressivament a partir d’aquell curs, fins a un 38,9% el 2015-2016. Els centres que no van donar cap formació en TIC van constituir prop d’un terç del total, si bé amb un mínim del 25,3% el curs 2010-2011 i un màxim del 37,1% el curs 2015-2016. El percentatge de centres que proporcionen nivells de formació superior a les 15 hores s’ha reduït en el temps de manera important, en especial a partir del curs 2013-2014.
42 43
Base de dades
Nota: elaboració pròpia.
Figura 20. Franja d’edat mitjana del professorat
5.8 59.9 32.7 1.6
5.6 50.3 41.8 2.3
5.8 50.6 41.8 1.9
9.3 65.7 24.8 0.2
0 20 40 60 80 100Segons curs acadèmic
Matemàtiques
Català
Castellà
Anglès
Franja d’edat mitjana del professorat
25−35 36−45 46−55 56−65
La figura 20 mostra els percentatges d’edat del professorat per assignatures. Com mostra el gràfic, l’assignatura d’anglès té el percentatge més alt de professorat més jove, entre 25-35 anys (9,3%). La resta d’assignatures se situen en un percentatge de quasi el 6%. En les quatre assignatures hi predomina la franja d’edat 36-45 anys, en què la més nombrosa és la d’anglès (65,8%). La següent franja d’edat correspon a 46-55 anys, en què es troba el professorat de català i castellà amb un 41,9% i 41,6%, respectivament.
Finalment la franja entre 56-65 anys té una representació molt baixa, amb un màxim del 2,3%, que correspon al professorat de català.
Nota: elaboració pròpia.
Figura 21. Canvis en el procés d’ensenyament-aprenentatge
13.5 20.2 66.3
13.3 19.5 67.2
15.1 18.8 66.0
16.7 17.0 66.3
21.2 14.9 64.0
27.4 14.2 58.4
42.3 13.3 44.4
0 20 40 60 80 100Segons curs acadèmic
2015−2016
2014−2015
2013−2014
2012−2013
2011−2012
2010−2011
2009−2010
Canvis en el procés d’ensenyament−aprenentatge causades per l’ús de les TIC
No canvis Canvis no TIC Canvis TIC
La figura 21 indica quins canvis s’han produït en el procés d’ensenyament-aprenentatge en el temps. En tots el cursos, s’observa que més d’un 44,1% de centres declaren que han tingut canvis a causa de les TIC, però s’han produït menys canvis causats per les TIC durant el curs 2009-2010 (44,3%) i més en el curs 2014-2015 (66,2%). Pel que fa als canvis no produïts per les TIC, el percentatge se situa entre el 13,3% el curs 2009-2010 i el 20,3% el curs 2015-2016. Finalment, un 42,4% el curs 2009-2010 indica que no hi ha hagut canvis i es va reduint progressivament fins al curs 2015-2016 (13,8%). Per tant, els cursos recents han estat anys de canvis en el procés d’ensenyament-aprenentatge per a la pràctica totalitat de centres, ocasionats en bona mesura per la introducció de TIC.
44 45
Base de dades
Nota: elaboració pròpia.
Figura 22. Nivell d’absentisme als centres
30.5 62.9 5.0 0.7 0.7 0.2
29.1 64.1 4.0 1.7 0.7 0.2 0.2
29.3 64.3 3.3 0.91.7 0.2 0.2
31.2 62.6 3.5 1.2 1.2 0.2
32.9 59.3 4.7 1.4 0.9 0.5 0.2
33.1 57.2 6.4 1.4 1.2 0.5 0.2
34.3 55.3 6.9 1.7 0.9 0.2 0.7
0 20 40 60 80 100
Segons curs acadèmic
2015−2016
2014−2015
2013−2014
2012−2013
2011−2012
2010−2011
2009−2010
Nivell d’absentisme als centres
0% 1%−5% 6%−10% 11%−15%16%−20% 21%−25% > 25%
La figura 22 analitza el nivell d’absentisme, que és nul en gairebé un terç dels centres escolars. Quan hi ha absentisme, es dona en percentatges baixos (1%-5% dels alumnes). Així ho indiquen entre el 55%-64% dels centres (en funció dels cursos). Els nivells superiors d’absentisme afecten pocs centres, en especial per sobre del 10% d’alumnes (en cap dels cursos suposa més d’un 1,5%).
Nota: elaboració pròpia.
Figura 23. Percentatge de població d’origen estranger
5.7 43.7 17.5 12.3 8.4 8.4 4.0
5.9 41.1 19.1 12.5 7.6 8.8 5.1
5.9 41.0 17.2 13.3 9.3 8.1 5.2
6.2 38.9 19.1 12.4 8.9 8.9 5.7
7.4 39.0 19.1 11.9 7.7 9.4 5.5
9.2 36.9 19.2 12.7 8.2 8.5 5.2
9.7 34.8 18.9 11.3 7.8 9.0 3.1 5.4
0 20 40 60 80 100Segons curs acadèmic
2015−2016
2014−2015
2013−2014
2012−2013
2011−2012
2010−2011
2009−2010
Percentatge de població d’origen estranger
0% 1%−5% 6%−10% 11%−15%16%−20% 21%−30% 31%−40% > 40%
La figura 23 considera la població d’origen estranger. El gràfic ens mostra com gairebé no hi ha centres sense alumnes estrangers, en especial els darrers cursos considerats (conforme avancen els anys, el percentatge passa d’un 9,7%, el curs 2009-2010, al 5,7% el curs 2015-2016). El percentatge més important se situa en nivells entre 1%-5% de l’alumnat d’origen estranger (el percentatge de centres passa d’un 34,6% el curs 2009-2010 a un 43,8% el 2015-2016). La resta de nivells es manté força estable en el temps. El percentatge de centres en cada categoria acostuma a ser més baix a mesura que augmenta el percentatge d’alumnat d’origen estranger.
47
Estratègia d'estimació
46
Nota: elaboració pròpia.
Figura 24. Percentatge d’abandonament escolar als centres
24.1 51.7 10.8 5.4 5.7 1.9 0.5
21.5 50.7 12.5 5.7 5.9 2.8 0.9
22.6 49.3 10.4 8.3 4.7 2.4 2.4
23.8 47.6 9.9 7.8 6.1 3.1 1.7
0 20 40 60 80 100Segons curs acadèmic
Cohort 2012−2013
Cohort 2011−2012
Cohort 2010−2011
Cohort 2009−2010
Percentatge d’abandonament escolar als centres
0% 1%−5% 6%−10% 11%−15%16%−20% 21%−25% > 25%
La figura 24 mostra el percentatge d’abandonament escolar segons les cohorts considerades. Tal com indica el gràfic, el percentatge de no abandonament escolar és força estable (entre el 21,5% i el 24,1%). La majoria de centres tenen un abandonament de l’1% al 5% del total d’alumnes. El percentatge de centres en aquesta categoria ha augmentat lleugerament, d’un 47,5% en la cohort del 2009-2010 a un 51,8% en la del 2012-2013. Es donen en pocs centres nivells d’abandonament escolar més alts. Així mateix, el percentatge de centres en cada categoria acostuma a ser més baix a mesura que augmenta el percentatge d’abandonament escolar considerat.
4. Estratègia d’estimació
En aquest apartat es mostra l’estratègia d’estimació per obtenir els resultats. Atès que es vol avaluar una política pública, resulta molt rellevant aplicar tècniques economètriques que permetin inferir causalitat, és a dir, no només relacionar l’aplicació del programa eduCAT amb els resultats dels estudiants, sinó poder concloure que el programa va tenir un determinat efecte. De manera resumida, a continuació s’explica l’estratègia desenvolupada. Aquest resum pot ser útil especialment per als qui no tenen un coneixement profund de les tècniques economètriques.
En l’anàlisi empírica volem aplicar tècniques similars als experiments mèdics, és a dir, analitzar el grau d’èxit del programa eduCAT comparant dos grups: els que van participar al programa i els que no. Per fer-ho caldria haver-ho previst quan es va dissenyar i implementar el programa. Com que no ha estat així, hem d’intentar aplicar tècniques que permetin fer una anàlisi similar. Si comparem l’evolució del rendiment acadèmic dels alumnes als centres abans i després d’aplicar-se el programa podrem veure si precisament el programa ha contribuït a millorar-ne els resultats. És una tècnica economètrica anomenada diferències en diferències. Ara bé, per poder-se aplicar, calen dues condicions: d’una banda, que no hi hagi biaix de selecció en la participació en el programa (és a dir, que el grup que hi va participar i el grup que no ho va fer presentin característiques similars); d’altra banda, que les tendències en els resultats dels alumnes siguin paral·leles (així, qualsevol desviació de nivell és causada per la política analitzada). Malauradament, en el nostre cas no es dona cap de les dues condicions anteriors. Per tant, vam decidir aplicar una tècnica anomenada d’emparellament, en què es comparen individus que han seguit el programa amb individus que no l’han seguit i que presenten diverses característiques observables similars.
En aquest cas, es genera un grup amb el qual es poden comparar les persones que van participar en el programa. Així, s’intenta veure l’efecte del programa eduCAT en grups d’individus similars. Ara bé, seran similars en les característiques “observables”, és a dir, per a les quals tenim informació (com el sexe de l’alumne, el tipus de centre, etc.). Amb aquesta tècnica podem suposar causalitat, ja que comparem individus “iguals”, si bé amb la cautela que són “iguals” només en determinades característiques. A continuació, l’apartat 4.1 presenta l’estratègia economètrica en detall; l’apartat 4.2, l’equació a estimar i, finalment, l’apartat 4.3 mostra els problemes d’estimació existents i la resolució.
4.1. Estratègia economètrica
Ens plantegem l’anàlisi economètrica tenint present que disposem de dades d’estudiants pertinents a centres escolars abans i després de la implementació del programa eduCAT. La solució idònia passa per fer un experiment similar als que s’han dut a terme en ciències
48 49
Estratègia d'estimació
experimentals o assajos clínics. Cal tenir present que els experiments en ciències socials, i específicament en educació, han guanyat molt de terreny durant els darrers anys. En conseqüència, es comparen escoles que han participat en el programa eduCAT (grup tractat) amb escoles que no hi han participat (grup control), i s’enregistra el comportament dels escolars de tots aquests centres escolars abans del programa i després.
El problema fonamental és que mai no observaríem el resultat contrafactual, és a dir, quina puntuació haurien tret els estudiants de centres escolars que no han participat en el programa eduCAT. En qualsevol cas, l’aleatorització (assignació aleatòria dels centres al programa) ens permetria estimar els efectes del tractament. Per tant, hi ha dues comparacions per fer: una abans i després del programa i l’altra, entre escoles amb programa i sense. Tècnicament, aquest mètode de la doble comparativa s’anomena diferències en diferències. La selecció d’escoles i l’assignació als dos grups s’hauria de fer a l’atzar per evitar biaixos de selecció.
Així doncs, el mètode d’estimació que, en principi, empraríem (diferències en diferències) requereix una assignació a l’atzar de les escoles per evitar biaixos de selecció. En el nostre cas, implica fer comparances entre el grup de control i tractament abans de la implementació del programa eduCAT.
En primer lloc, en la taula 2 mostrem quines van ser les taxes de participació que observem en el nostre estudi. Concretament, del 62% d’individus dins el programa, un 36% hi van entrar el segon any (curs 2010-2011) i un 26%, el curs acadèmic inicial. Majoritàriament, la modalitat adoptada va ser la A amb un 50% dels casos i un 10% van adoptar la modalitat B. Finalment, un 2% d’individus van estudiar a centres escolars que van abandonar el programa eduCAT.
Taula 2. Individus segons participació
eduCAT 2009-2010
eduCAT 2010-2011
eduCAT modalitat A
eduCAT modalitat B
Van abandonar eduCAT
Individus vinculats
0,25 (0,44)
0,36 (0,48)
0,50 (0,50)
0,10 (0,30)
0,02 (0,14)
236.753
Mitjana (desv.)
4.2. Equació a estimar
En aquesta secció exposem el model de diferències en diferències que estimaríem. Malgrat que ja hem esmentat el tema del biaix de selecció, primer presentem aquest primer model, que té en compte l’estructura de dades de panell. En concret, estimarem l’equació següent:
(1)
en què Pijt representen les puntuacions de cada centre individu i al centre escolar j en el període
t. El terme constant (αi0) indica la puntuació inicial de l’estudiant (en t = 0) i d
t representa
l’evolució del temps, ja que tenim dades de panell. E representa si l’escola ha participat en el programa eduCAT. Així, mentre λ representa els efectes del temps i γ les diferències inicials en les puntuacions segons la participació en el programa, l’associació del programa eduCAT amb el rendiment acadèmic en t =1 vindria capturada per δ. Llavors, x
it considera totes les
característiques individuals (edat i gènere) mentre que xjt són les característiques a nivell de
centre escolar (titularitat, grau de complexitat i grandària), que estan relacionades amb el rendiment acadèmic. m
i0 és una variable dicotòmica que representa els valors no vinculats
entre els dos exàmens oficials.
Un cop prenem les primeres diferències (restem els valors entre el període posterior i l’anterior per totes les parts de l’equació) la variable a explicar seria l’evolució de la puntuació de la prova al final de primària (sisè de primària) i de secundària (quart d’ESO), mentre que tots els valors que són fixos desapareixerien (el sexe de l’alumne, el tipus d’escola, etc.). Per tant, el model permetria observar els efectes de les variables que han variat en el temps i que hem pogut recollir a partir de l’enquesta. Així, cal assenyalar que els professors, els recursos dels centres escolars, la grandària de les classes, etc., malgrat que són rellevants si assumim que són invariables durant el període considerat, queden eliminats mitjançant la tècnica economètrica i, per tant, no cal que siguin introduïts a les regressions. Afortunadament aquest fet facilita molt el nostre cas, ja que disposem d’informació reduïda.
A continuació ho mostrem gràficament. Tal com succeeix en el nostre cas, disposem de dos períodes (t = 0 i t = 1) i partim d’una situació en què el grup de control i tractament presenten una tendència a disminuir, d’acord amb la complexitat superior de les proves de secundària, però en què el grup de control parteix de puntuacions superiors. El primer gràfic suposa que les tendències dels dos grups (control i tractament) són paral·leles en el temps. Llavors, prenent diferències, entre el resultat de secundària i el de primària i entre el grup tractament i el grup control, obtenim l’efecte del tractament: (N
T1-N
T0)-(N
C1-N
C0).
Evidentment, aquesta diferència seria l’efecte del tractament si podem assumir que les tendències són paral·leles; d’altra manera, estaríem sobreestimant l’efecte del tractament tal com succeeix en el segon gràfic.
50 51
Estratègia d'estimació
Evolucions paral·leles Evolucions no paral·leles
Català Castellà
Nota: elaboració pròpia.
Figura 25. Evidència gràfica dels efectes d’un programa
Figura 26. Puntuacions mitjanes estandarditzades agregades en l’àmbit de centre escolar
Control
Efecte Tractament=
Notes
NC0
NT0
NC1
NT1
t0 t1
(NT1 NT0) (NC1 NC0)
Tractament
Temps
−.05
0.0
5.1
.15
.2(m
ean)
z_c
at
2009 2010 2011 2012 2013 2014 2015 2016cohort
control0 tractat0 control1 tractat1
Tractat/Control evolució competències català
Control
Notes
NC0
NT0NC1
NT1
t0 t1
Tractament
Tractament estimat
Temps
Efecte Tractament real
−.1
0.1
.2.3
(mea
n) z
_cas
t
2009 2010 2011 2012 2013 2014 2015 2016cohort
control0 tractat0 control1 tractat1
Tractat/Control evolució competències castellà
Per aquest motiu, mostrem de manera gràfica quina és l’evolució dels dos grups (control i tractament) en funció del temps. Malgrat que no tenim un elevat nombre de períodes disponibles, sembla que s’aprecien diferències en relació amb la tendència dels diferents continguts avaluats durant el període anterior a la implementació del programa. Per tant, podem afirmar que els dos grups no presenten tendències paral·leles i que la tècnica per emprar no pot ser la de diferències en diferències.
Matemàtiques Anglès
Nota: elaboració pròpia.
−.1
0.1
.2.3
(mea
n) z
_mat
2009 2010 2011 2012 2013 2014 2015 2016cohort
control0 tractat0 control1 tractat1
Tractat/Control evolució competències matemàtiques
−.1
0.1
.2(m
ean)
z_a
ng
2010 2011 2012 2013 2014 2015 2016cohort
control0 tractat0 control1 tractat1
Tractat/Control evolució competències anglès
4.3. Problemes de selecció dins el programa eduCAT
Malauradament, però, la participació en el programa eduCAT no va ser aleatòria, i no sabem les raons que hi van fer participar unes escoles sí i unes altres no. L’única informació disponible és que hi va participar un nombre més alt d’escoles de titularitat pública. Així doncs, en qualsevol cas, cal dur a terme una comparativa entre les característiques del grup de control i el de tractament en el període inicial per validar que els grups siguin estrictament comparables.
La taula 3 mostra si finalment hi va haver diferències en les puntuacions inicials mitjanes dels individus que pertanyen als centres escolars seleccionats dins el grup mostral, segons pertanyin al grup tractat (participació dins el programa eduCAT) o al grup assignat com a control (no van participar en el programa eduCAT). Aquesta descriptiva la repetim per a totes les cohorts de les quals disposem de dades. Tal com es pot apreciar, existeixen diferències estadísticament significatives en totes les puntuacions. Per tant, estem davant d’un problema que s’anomena biaix de selecció, ja que les escoles que hi van participar presentaven característiques determinades, en concret, una puntuació mitjana més baixa en totes les proves avaluades. Aquest fet complicarà força l’estratègia economètrica, que ens permet avaluar l’impacte del programa eduCAT, ja que els resultats dels models en diferències estarien esbiaixats.
52 53
Estratègia d'estimació
Taula 3. Diferències en les puntuacions segons participació en el programa
Assignatura Tractat Control Diferència
Assignatura Tractat Control Diferència
Assignatura Tractat Control Diferència
Assignatura Tractat Control Diferència
Cohort que comença secundària 2007-2008
Cohort que comença secundària 2009-2010
Cohort que comença secundària 2008-2009
Cohort que comença secundària 2010-2011
Població (t = 1) Català 2012Castellà 2012Anglès 2012Matemàtiques 2012
72,19 (14,78)73,39 (15,00)66,50 (22,13)62,96 (24,99)
73,97 (14,07)75,48 (13,84)70,02 (21,19)66,33 (24,19)
-1,78 ***
-2,09 ***
-3,52 ***
-3,37 ***
Individus vinculats (t = 0)
Català 2010Castellà 2010
75,38 (15,00)72,71 (15,47)
6,38 (14,34)73,95 (15,06)
-1,00 ***
-1,23 ***
Individus vinculats (t = 0)
Català 2011Castellà 2011Anglès 2011Matemàtiques 2011
78,79 (13,42)74,88 (14,63)81,57 (14,72)82,46 (13,58)
79,51 (12,98)76,37 (14,29)83,12 (14,49)83,11 (13,24)
-0,72 ***
-1,48 ***
-1,55 ***
-0,66 ***
Anglès 2010Matemàtiques 2010
73,41 (19,75)80,08 (14,52)
75,88 (19,18)80,84 (14,16)
-2,47 ***
-0,76 ***
Individus vinculats (t = 0)
Català 2009Castellà 2009Matemàtiques 2009
78,56 (14,03)76,33 (15,19)79,63 (14,01)
79,86 (13,19)77,75 (14,22)81,18 (13,12)
-1,31 ***
-1,43 ***
-1,55 ***
Població (t = 1) Català 2013Castellà 2013Anglès 2013Matemàtiques 2013No vinculat 2013
74,33 (15,06)73,84 (14,76)65,36 (22,93)64,40 (23,47)0,23 (0,42)
77,36 (13,85)76,79 (13,73)71,33 (21,89)69,74 (22,31)0,20 (0,40)
-3,03 ***
-2,96 ***
-5,97 ***
-5,34 ***
0,03 ***
Població (t = 1) Català 2014Castellà 2014Anglès 2014Matemàtiques 2014No vinculat 2014
76,52 (14,15)75,82 (12,68)65,53 (22,17)68,18 (19,76)0,22 (0,42)
78,18 (13,06)77,33 (11,96)69,08 (21,23)70,64 (19,10)0,20 (0,40)
-1,67 ***
-1,51 ***
-3,55 ***
-2,47 ***
0,02 ***
Població (t = 1) Català 2015Castellà 2015Anglès 2015Matemàtiques 2015No vinculat 2015
75,77 (15,07)74,46 (14,63)68,02 (20,87)67,87 (18,40)0,19 (0,39)
77,13 (14,59)76,26 (13,94)71,32 (20,11)69,95 (17,78)0,18 (0,38)
-1,36 ***
-1,81 ***
-3,30 ***
-2,08 ***
0,01 ***
Nota: mostrem la mitjana i desviació estàndard entre parèntesis. ***, ** i * representen les diferències
estadísticament significatives a l’1%, 5% i 10% entre el grup tractat i el de control per a cadascuna de les
cohorts.
Assignatura Tractat Control Diferència
Cohort que comença secundària 2011-2012
Individus vinculats (t = 0)
Català 2012Castellà 2012Anglès 2012Matemàtiques 2012
1,38 (14,01)8,07 (13,72)75,87 (15,45)82,04 (16,55)
82,08 (13,53) 78,99 (13,25) 77,37 (15,48) 82,96 (15,85)
-0,71 ***
-0,91 ***
-1,50 ***
-0,92 ***
Població (t = 1) Català 2016Castellà 2016Anglès 2016Matemàtiques 2016No vinculat 2016
76,51 (14,52)76,09 (13,43)70,18 (20,02)67,58 (18,25)0,16 (0,37)
77,53 (13,97) 77,48 (12,75) 72,76 (19,11) 69,45 (17,72)
0,16 (0,37)
-1,02 ***
-1,39 ***
-2,59 ***
-1,87 ***
0,00
En l’àmbit de centre, les diferències també són ostensibles (vegeu la taula 4). Així, va haver-hi una participació alta de centres escolars públics amb una grandària superior a la del grup de control i amb disparitat segons el grau de complexitat del centre escolar.
Taula 4. Diferències en l’àmbit de centre escolar segons tractament:cohort 2009
Titularitat públicaGrandària centre ESOAlta complexitatMitjana complexitatBaixa complexitat
0,60 (0,49)***
296,94 (123,94)***
0,15 (0,36)0,11 (0,32)***
0,74 (0,44)***
0,36 (0,48)251,56 (127,77)
0,12 (0,32)0,24 (0,43)0,64 (0,48)
Nota: mostrem la mitjana i desviació estàndard entre parèntesis. ***, ** i * representen les diferències
estadísticament significatives a l’1%, 5% i 10% entre el grup tractat i el de control.
Tractat Control
Tanmateix, a mode d’exemple per a les assignatures de català i matemàtiques per a les dues primeres cohorts, testem de forma gràfica si les distribucions són diferents, ja que malgrat que són mitjanes molt similars podria ser que hi hagués heterogeneïtat en les distribucions. Tant els gràfics com els tests no paramètrics calculats (Kolmogorov-Smirnov per dues mostres) ens indiquen de nou que el grup de control actua de manera diferent del grup que va participar en el programa eduCAT (vegeu la figura 27). Malgrat que només es mostra per a aquestes dues cohorts per les puntuacions obtingudes en català i matemàtiques, hem procedit a calcular els tests per a totes les cohorts i totes les distribucions de resultats.
54 55
Estratègia d'estimació
Figura 27. Comparativa distribucions de les puntuacions estandarditzades segons participació en el programa eduCAT
Català Matemàtiques
Nota: elaboració pròpia.
0.5
11.
5
−3 −2 −1 0 1Notes estandarditzades
2009no 2009si 2010no 2010si
0.5
11.
5
−2 −1 0 1Notes estandarditzades
2009no 2009si 2010no 2010si
Finalment, ens vam preocupar de si va existir una distribució geogràfica determinada en la distribució de centres que van participar en el programa. La figura 28 mostra una distribució geogràfica força similar entre el grup tractat i el de control.
Figura 28. Distribució geogràfica grups de control/tractament
Població
Població Mostra Idescat
Nota: els cercles verds corresponen a les escoles que hi van participar, mentre que els vermells formen part
del grup de control.
21 − 1005 − 214 − 53 − 42 − 31 − 20 − 1No data
Distribució geogràfica escoles eduCAT
19 − 1165 − 194 − 53 − 42 − 31 − 20 − 1No data
Distribució geogràfica escoles no eduCAT
56 57
Estratègia d'estimació
La taula següent mostra quins són els resultats d’estimar les característiques que s’associen a la decisió dels centres de participar dins el programa eduCAT. Tal com pot apreciar-se, els factors que van influenciar en aquesta decisió van ser: la titularitat pública de l’escola, el grau de complexitat i la grandària del centre. D’altra banda, els resultats no sembla que estiguin associats a la participació un cop es tenen en compte la resta de característiques que van tenir incidència en aquesta participació.
Taula 5. Tractament en funció de característiques escolars: regressió lineal
La categoria base és l’alt grau de complexitat i la cohort de 2009. S’ha calculat una regressió logística amb
estructura de panell. ***, ** i * representen diferències estadístiques significatives a l’1%, 5% i 10%. No s’hi
han incorporat les puntuacions d’anglès, ja que aquesta competència no va ser avaluada per la primera
cohort, ni les de castellà, per evitar multicol·linealitat amb les de català.
Atesos els problemes esmentats anteriorment sobre el biaix de selecció, així com la violació del supòsit de tendències paral·leles, ens plantegem emprar tècniques d’estimació per emparellament (anomenades matching) per poder estimar l’equació (1). Explicat de manera senzilla, aquesta tècnica busca un grup de control idoni, és a dir, que s’assembli al grup tractat. Així, per a cada individu tractat es busca un individu de característiques similars que serveixi de control. En el procés, resulta determinant establir quines característiques es trien (el que anomenem observables). Per exemple, per veure si una beca millora el rendiment acadèmic, es comparen les puntuacions de grups d’individus molt similars en termes de gènere, condició socioeconòmica, residència, etc., en què l’única diferència observable és que uns han rebut beca i altres no. En el nostre cas, hem considerat característiques d’emparellament
Wald Chi2 (p-valor)
Titularitat públicaGrandària del centre
% NoiesMitjana d’edat
0,552 (0,16) ***
0,002 (0,00) ***
0,477 (0,43)0,637 (0,52)
Grau de complexitatBaix
Mitjà-0,762 (0,27) ***
-0,105 (0,20)
Cohort 2010Cohort 2011
1,719 (0,08) ***
1,713 (0,08) ***
3.069533,04 (0,00)
Puntuacions estandarditzades en t = 0Català
MatemàtiquesCastellà
0,148 (0,19)0,267 (0,17)-0,200 (0,16)
Individuals no vinculats
Constant
Grandària mostral (N · t)
-9,867 (6,16)0,143 (0,32)
les característiques observables que tenen relació amb el fet de la participació en el programa i que no estan determinades pel tractament, com ara la titularitat del centre, la grandària del centre escolar i el grau de complexitat. De fet, vam ser extremadament cautes, ja que vam obligar a un perfecte emparellament amb els individus de les mateixes característiques tot tenint en compte el gran nombre d’observacions que tenim individualment.
58 59
Resultats
5. Resultats
Els resultats d’estimar l’impacte del programa eduCAT a l’equació (1) mitjançant el mètode d’emparellament es mostren en la taula 6. En l’anàlisi s’han emprat dades individuals, amb un total de 299.604 observacions. Cal tenir present que els valors de la taula són els efectes del programa eduCAT sobre la mitjana de resultats de les proves en diferents competències. Totes les regressions consideren variables pel que fa a l’estudiant, el centre escolar (tant les subministrades pel Departament d’Ensenyament com a partir de l’enquesta pròpia feta pels investigadors), la cohort a la qual pertany cada individu, els resultats de les competències en la resta de matèries i els efectes fixos en l’àmbit de l’escola (que representa la idiosincràsia de cada centre).
Tal com es mostra en la taula 6, l’efecte del programa eduCAT resulta negatiu (i és estadísticament significatiu). És a dir, la implementació del programa va tenir conseqüències negatives en l’adquisició de competències de l’alumnat en totes les matèries avaluades. L’impacte és similar per a cada competència i s’estima al voltant de -0,21. Això suposa una reducció d’uns 3,7 punts en la nota mitjana obtinguda pels alumnes en el conjunt de proves de competències (en concret, la reducció és de 3,1 punts en català, 2,9 en castellà, 4,4 en anglès i 4,2 en matemàtiques). En termes relatius, el programa genera una disminució global de quasi el 5,1% de la nota mitjana (4,1% a català, 3,8% a castellà, 6,4% en anglès i 6,2% a matemàtiques). Per ordre de magnitud, el programa redueix més els resultats en l’avaluació de català (-0,220), seguit de castellà (-0,212), matemàtiques (-0,210) i, finalment, anglès (-0,204). Per tant, podem concloure que, d’una banda, el programa eduCAT ha incidit negativament en l’adquisició de competències dels alumnes a final de la secundària. D’altra banda, però, cal assenyalar que l’impacte no sembla gaire important en termes quantitatius.
Taula 6. Estimacions efectes del programa eduCAT mitjançant tècniques d’emparellament
Català Castellà Anglès Matemàtiques
Impacte del programa
Resta de competències
Variables individuals
Sí
Sí
Sí
Sí
Sí
Sí
Sí
Sí
NoisNoies
-0,257 (0,01) ***
-0,181 (0,01) ***
-0,222 (0,01) ***
-0,196 (0,01) ***
-0,232 (0,01) ***
-0,175 (0,01) ***
-0,229 (0,01) ***
-0,209 (0,01)
Variables escolarsCohort específica
Efectes fixos escola
SíSíSí
SíSíSí
SíSíSí
SíSíSí
*** Representa la significació estadística a l’1%.
-0,220 (0,00) *** -0,212 (0,00) *** -0,204 (0,00) *** -0,210 (0,00) ***
Taula 7. Estimacions efectes del programa eduCAT mitjançant tècniques d’emparellament: incorporació de la informació provinent de les enquestes
Impacte del programa -0,231 (0,00) *** -0,238 (0,01) ***
Informació de l’enquesta No Sí
N 198,778 118,421
*** Representa la significació estadística a l’1%.
*** Representa la significació estadística a l’1%.
Taula 8. Efectes heterogenis del programa eduCAT segons el nivell de competències de l’alumnat a sisè de primària
Enquestades
Català Castellà Anglès Matemàtiques
NoisNoies
-0,257 (0,01) ***
-0,181 (0,01) ***
-0,222 (0,01) ***
-0,196 (0,01) ***
-0,232 (0,01) ***
-0,175 (0,01) ***
-0,229 (0,01) ***
-0,209 (0,01) ***
Resta de competències
Variables individuals
Variables escolarsCohort específica
Efectes fixos escola
Sí
Sí
SíSíSí
Sí
Sí
SíSíSí
Sí
Sí
SíSíSí
Sí
Sí
SíSíSí
A continuació vam replicar la taula anterior per la mostra de centres escolars que van contestar les enquestes (693 centres). Tan sols mostrem els resultats per a les proves de competències en català, malgrat que el patró es va repetir per a la resta de competències. La primera columna mostra l’efecte del programa per a la mostra seleccionada sense incorporar cap informació provinent de l’enquesta. La segona columna afegeix aquesta informació. Tal com es pot observar en la taula 7, en tots dos casos, l’efecte és similar i alhora pràcticament idèntic al que es descriu en la taula 6. Aquest fet dona robustesa als resultats anteriors un cop es té en compte la informació addicional.
Un segon resultat interessant és saber si el programa eduCAT té un impacte diferent en funció del gènere dels estudiants. La taula 8 en mostra diversos resultats. En primer lloc, l’impacte és estadísticament significatiu tant en nois com en noies. En segon lloc, en totes les proves d’avaluació l’impacte és sempre més elevat en el cas dels nois que de les noies, en especial en català i anglès. En conseqüència, es constata que l’impacte negatiu és quantitativament menor en les noies.
60 61
Breus conclusions d’aquest informe
6. Breus conclusions d’aquest informe
Hi ha un debat sobre si l’ús de TIC a l’aula afavoreix l’aprenentatge dels estudiants, ja que l’evidència empírica internacional presenta resultats dispars, si bé predominen els estudis en què els programes d’introducció d’ordinadors a les escoles no genera cap efecte sobre el rendiment dels estudiants.
En aquest informe hem volgut participar en el debat analitzant l’impacte del programa eduCAT, relacionat amb el foment de l’ús de les TIC entre els estudiants de secundària a Catalunya. En breu, el programa eduCAT va aportar ordinadors i va millorar les eines TIC existents a les aules dels centres que van participar-hi. El programa va néixer el curs 2009-2010 com a EduCAT1x1 i va ser un projecte promogut i gestionat pel Departament d’Educació de la Generalitat de Catalunya.
En l’estudi es consideren els nivells de competències assolits pels estudiants de secundària a Catalunya. En concret, hem emprat dades de les proves del Consell Superior d’Avaluació del Sistema Educatiu corresponents als cursos següents de quart d’ESO: 2012-2013, 2013-2014 i 2014-2015. Així mateix, per tenir en compte la mateixa capacitat dels estudiants hem inclòs en l’anàlisi les avaluacions d’aquests alumnes quan cursaven sisè de primària: anys 2008-2009, 2009-2010, 2010-2011. Les proves fan referència a diferents competències assolides en llengües (català, castellà i anglès) i matemàtiques. Alhora, disposem de dades provinents d’una enquesta dissenyada per l’equip investigador, que van respondre 693 centres escolars, i que permeten conèixer amb més detall la implantació de les TIC als centres.
Els resultats de l’anàlisi economètrica mostren que el programa eduCAT va incidir negativament en l’adquisició de les competències analitzades, en una magnitud força similar per a cadascuna d’aquestes. Així, els alumnes en centres escolars que van implantar el programa han tingut, de mitjana, una reducció de tres punts en les proves de competències, que suposa una disminució del 5,1% de la nota mitjana. Per tant, s’observa un efecte negatiu del programa, si bé sembla que no és gaire important en termes quantitatius. Per gènere, l’impacte és menor en el cas de les noies que dels nois (especialment en català i anglès).
La implantació d’eines tecnològiques a les aules (catalanes i de la resta del món) no sembla que estigui en discussió. De fet, la tendència, en el temps, ha estat, i continua sent, incrementar l’ús d’ordinadors i altres eines relacionades amb les TIC als centres escolars. Per tant, en un context d’implantació i extensió de les TIC a les aules i entre l’alumnat, els resultats obtinguts obliguen a certes reflexions. En primer lloc, pot resultar rellevant el tipus de programa per aplicar: entrega d’ordinadors als alumnes o als centres, haver de compartir, o no, els ordinadors, ús d’altres eines TIC, etc. En segon lloc, serà important la manera d’implantar qualsevol programa. En aquest sentit, s’ha de tenir en compte tant quina és la situació inicial (disponibilitat d’ús de la xarxa TIC, condicions físiques dels centres, formació específica
del professorat, grau de compromís dels agents, etc.) com la manera com l’Administració impulsora aplica el programa. Finalment, no es pot donar per descomptat que un programa d’inversió en TIC tindrà èxit i, en conseqüència, cal monitoritzar apropiadament totes les accions empreses. En particular, la implantació de qualsevol programa ha de preveure un sistema d’avaluació que permeti saber l’efecte causal del programa. D’aquesta manera, es podran corregir efectes adversos que puguin sorgir i promoure accions que afavoreixin l’adquisició de competències i el procés d’ensenyament-aprenentatge.
Abans de concloure volem assenyalar les limitacions que presenta l’estudi. En primer lloc, les dades de les quals disposem no són experimentals, per tant, resulta més complicat demostrar la causalitat dels efectes observats. En relació amb aquest tema, la metodologia utilitzada permet inferir causalitat, però se sustenta en determinats supòsits. En segon lloc, hauria d’haver-hi més informació disponible en relació amb els alumnes i els centres escolars. Així, l’anàlisi de regressió plantejada pot no haver inclòs determinades variables o factors rellevants per manca d’informació sobre això. L’enquesta pròpia ajuda, en part, a reduir aquesta mancança, però no l’elimina. En tercer lloc, l’estudi ha calculat l’impacte sobre competències avaluades. Per tant, no es pot afirmar res quant a les conseqüències del programa avaluat sobre competències no avaluades (altres matèries), les competències no cognitives (entre d’altres, el treball en equip, la implicació de l’alumnat o les competències de recerca) o el grau d’assimilació de les noves tecnologies.
En qualsevol cas, l’estudi presentat és una primera aproximació que permet establir vincles entre l’aplicació d’un programa educatiu públic (l’eduCAT) i els resultats acadèmics dels estudiants, a partir del qual altres investigacions poden desenvolupar anàlisis complementàries.
62 63
Biografia
7. Bibliografia
Alonso-Cano, C., Romeu-Fontanillas, T. & Guitert-Catasús, M. (2014) Los Entornos 1x1 en Cataluña. Entre las expectativas de las políticas educativas y las voces del profesorado. Educar, 50(1), 0041-64. Angrist, J. & Lavy, V. (2002) New evidence on classroom computers and pupil learning. The Economic Journal, 112(482), 735-765. Area, M. (2010) El proceso de integración y uso pedagógico de las TIC en los centros educativos. Un estudio de casos. Revista de Educación, 352, 77-97. Banerjee, A.V., Cole, S., Duflo, E. & Linden, L. (2007) Remedying education: evidence from two randomized experiments in India. The Quarterly Journal of Economics, 122(3), 1235-1264. Barrera-Osorio, F. & Linden, L.L. (2009) The use and misuse of computers in education: evidence from a randomized experiment in Colombia. World Bank Policy Research WP Series, Núm. 4836. Barrow, L., Markman, L. & Rouse, C.E. (2009) Technology’s edge: the educational benefits of computer-aided instruction. American Economic Journal: Economic Policy, 1(1), 52-74. Beuermann, D.W., Cristia, J., Cueto, S., Malamud, O. & Cruz-Aguayo, Y. (2015) One Laptop per Child at home: Short-term Impacts from a Randomized Experiment in Peru. American Economic Journal: Applied Economics, 7(2), 53-80. Campuzano, L., Dynarski, M., Agodini, R. & Rall, K. (2009) Effectiveness of reading and mathematics software products: findings from two student cohorts. National Center for Education Evaluation and Regional Assistance, NCEE 2009-4041. Carrillo, P.E., Onofa, M. & Ponce, J. (2011) Information technology and student achievement: Evidence from a randomized experiment in Ecuador. Inter-American Development Bank WP, Núm. 223. Cristia, J., Ibarrarán, P., Cueto, S., Santiago, A. & Severín, E. (2012) Technology and child development: Evidence from the one laptop per child program. IZA DP Núm. 6401. CSASE (2016). Avaluacions del Consell. Barcelona: Consell Superior d’Avaluació del Sistema Educatiu. http://csda.gencat.cat/ca/arees_d_actuacio/avaluacions-consell/ De Melo, G., Machado, A. & Miranda, A. (2014) The impact of a one laptop per child program on learning: evidence from Uruguay. IZA DP, Núm. 8489. Dobbie, W. & Fryer Jr, R.G. (2011) Getting beneath the veil of effective schools: Evidence from New York City. National Bureau of Economic Research, Núm. 17632. Escardíbul, J.O. & Mediavilla, M. (2016) El efecto de las TIC en la adquisición de competencias. Un análisis por tipo de centro educativo. Revista Española de Pedagogía, 264, 89-107. Fairlie, R.W. (2005) The effects of home computers on school enrollment. Economics of Education Review, 24(5), 533-547.
Fairlie, R.W. & London, R.A. (2012) The effects of home computers on educational outcomes: evidence from a field experiment with community college students. The Economic Journal, 122(561), 727-753. Fairlie, R.W. & Robinson, J. (2013) Experimental evidence on the effects of home computers on academic achievement among schoolchildren. American Economic Journal: Applied Economics, 5(3), 211-240. Goolsbee, A. & Guryan, J. (2006) The impact of Internet subsidies in public schools. The Review of Economics and Statistics, 88(2), 336-347. Leuven, E., Lindahl, M., Oosterbeek, H. & Webbink, D. (2007) The effect of extra funding for disadvantaged pupils on achievement. The Review of Economics and Statistics, 89(4), 721-736. Machin, S., McNally, S. & Silva, O. (2007) New technology in schools: is there a payoff? The Economic Journal, 117(522), 1145-1167. Malamud, O. & Pop-Eleches, C. (2011) Home computer use and the development of human capital. The Quarterly Journal of Economics, 126(2), 987-1027. Mo, D., Swinnen, J., Zhang, L., Yi, H., Qu, Q., Boswell, M. & Rozelle, S. (2013) Can one-to-one computing narrow the digital divide and the educational gap in China? The case of Beijing migrant schools. World Development, 46, 14-29. Oosterbeek, H. & Ponce, J. (2011) The impact of computer use on earnings in a developing country: evidence from Ecuador. Labour Economics, 18(4), 434-440. Penuel, W.R. (2006) Implementation and effects of one-to-one computing initiatives: a research synthesis. Journal of Research on Technology in Education, 38(3), 329-348. Rouse, C.E. & Krueger, A.B. (2004) Putting computerized instruction to the test: a randomized evaluation of a “scientifically based” reading program. Economics of Education Review, 23(4), 323-338. Sigalés, C., Mominó, J., Meneses, J. & Badia, A. (2008) La integración de Internet en la educación escolar española: Situación actual y perspectivas de futuro. Barcelona, Universitat Oberta de Catalunya. Slater, H., Davies, N.M. & Burgess, S. (2012) Do teachers matter? measuring the variation in teacher effectiveness in England. Oxford Bulletin of Economics and Statistics, 74(5), 629-645. Vigdor, J.L., Ladd, H.F. & Martinez, E. (2014) Scaling the digital divide: home computer technology and student achievement. Economic Inquiry, 52(3), 1103-1119.
64 65
Annex. Enquesta adreçada als directors de centres escolars
Annex. Enquesta adreçada als directors de centres escolars
Em dirigeixo a vostè amb la finalitat de sol·licitar la participació del seu centre escolar en una enquesta adreçada a les escoles de secundària de Catalunya. El qüestionari fa referència a la implantació de les TIC als centres escolars, ja que l’estudi analitza l’impacte de les TIC en el rendiment acadèmic dels estudiants de matemàtiques i llengües (a partir de les proves de competències que fa el Consell Superior d’Avaluació del Sistema Educatiu). Per aquest motiu, tan sols demanem la implementació en aquestes matèries. Els centres escolars han estat escollits aleatòriament per l’Institut d’Estadística de Catalunya (Idescat).
QÜESTIONARI DIRECCIÓ CENTRES ESCOLARS
PREGUNTES sobre les TIC: Aquest apartat de qüestions està dissenyat per avaluar elements relacionats amb les TIC. Hi ha preguntes adreçades als cursos de l’ESO i d’altres de relatives al conjunt del centre.
1. Especifiqui el “codi centre” numèric assignat pel Dept. d’Ensenyament:
2. Especifiqui, aproximadament, el % de despesa en TIC (pissarra digital, ordinadors, xarxa Wi-Fi, contractació de serveis informàtics, etc.) sobre el total de despesa al centre:
0% 1%-5% 6%-10% 11%-15% 16%-20% 20%Curs 2009-2010
Curs 2010-2011
Curs 2011-2012
Curs 2012-2013
Curs 2013-2014
Curs 2014-2015
Curs 2015-2016
Connecti-vitat
Fiabilitatdispositiu
Qualitat llibres
Formaciódocents
AltresNo n’hiha hagut
Curs 2009-2010
Curs 2010-2011
Curs 2011-2012
Curs 2012-2013
Curs 2013-2014
Curs 2014-2015
Curs 2015-2016
3. Especifiqui per al seu centre escolar quins considera que han estat els factors limitants per aplicar l’ús de dispositius digitals a les aules durant els cursos següents?
Ordinadors PortàtilsTauletes/
iPadsLlibres
electrònicsSoftwareespecífic
Cap enaquest curs
Curs 2009-2010 (1r ESO)
Curs 2010-2011 (2n ESO)
Curs 2011-2012 (3r ESO)
Curs 2012-2013 (4t ESO)
Ordinadors PortàtilsTauletes/
iPadsLlibres
electrònicsSoftwareespecífic
Cap enaquest curs
Curs 2010-2011 (1r ESO)
Curs 2011-2012 (2n ESO)
Curs 2012-2013(3r ESO)
Curs 2013-2014 (4t ESO)
Ordinadors PortàtilsTauletes/
iPadsLlibres
electrònicsSoftwareespecífic
Cap enaquest curs
Curs 2011-2012 (1r ESO)
Curs 2012-2013 (2n ESO)
Curs 2013-2014 (3r ESO)
Curs 2014-2015 (4t ESO)
4. Especifiqui en quin d’aquests cursos s’han utilitzat els dispositius següents com a eina habitual per al desenvolupament de les classes per la promoció que va iniciar 1r d’ESO el curs 2009-2010:
5. Especifiqui en quin d’aquests cursos s’han utilitzat els dispositius següents com a eina habitual per al desenvolupament de les classes per la promoció que va iniciar 1r d’ESO el curs 2010-2011:
6. Especifiqui en quin d’aquests cursos s’han utilitzat els dispositius següents com a eina habitual per al desenvolupament de les classes per la promoció que va iniciar 1r d’ESO el curs 2011-2012:
66 67
Annex. Enquesta adreçada als directors de centres escolars
Ordinadors PortàtilsTauletes/
iPadsLlibres
electrònicsSoftwareespecífic
Cap enaquest curs
Curs 2012-2013 (1r ESO)
Curs 2013-2014 (2n ESO)
Curs 2014-2015 (3r ESO)
Curs 2015-2016 (4t ESO)
Llibres de text digitals comercials
Recursos oberts d’Internet
Recursos generats pel professorat del centre
Accés a llibres de text digitals
Cerca i consulta d’informació
Activitats de comunicació i col·laboració
Activitats d’avaluació
Activitats creació dels alumnes (recerca, podcast, presentacions multimèdia...)
Especifiqui’n d’altres
7. Especifiqui en quin d’aquests cursos s’han utilitzat els dispositius següents com a eina habitual per al desenvolupament de les classes per la promoció que va iniciar 1r d’ESO el curs 2012-2013:
8. En aquest període, quins han estat els usos habituals d’aquests dispositius al seu centre escolar? Marqui totes les respostes que corresponguin.
PREGUNTES sobre professorat i docència:
9. Quantes hores de formació específica en TIC ha rebut de mitjana el professorat de llengües (català, castellà i anglès) i matemàtiques a l’ESO?
Cap formació
Fins a 15 h 16 h -30 h 31 h - 60 h > 60 h
Curs 2009-2010
Curs 2010-2011
Curs 2011-2012
Curs 2012-2013
Curs 2013-2014
Curs 2014-2015
Curs 2015-2016
10. Quina és la franja d’edat en què se situa la mitjana d’edat dels professors de llengües i matemàtiques a l’ESO durant els darrers set cursos escolars (des de 2009-2010 fins a 2015-2016)
11. Especifiqui a quins cursos s’han produït canvis o no en la manera d’ensenyar a l’aula elsalumnes d’ESO:
12. En el cas d’haver-se produït canvis en la manera d’ensenyar, si us plau, especifiqui quins han estat:
25-35 36-45 46-55 56-65 > 60
Llengua catalana
Llengua castellana
Llengua anglesa
Matemàtiques
No s’hanproduït canvis
Canvis no causats
Canvis a causade les TIC
Curs 2009-2010
Curs 2010-2011
Curs 2011-2012
Curs 2012-2013
Curs 2013-2014
Curs 2014-2015
Curs 2015-2016
68
PREGUNTES sobre l’alumnat:
13. Especifiqui quin ha estat, aproximadament, el percentatge d’absentisme al conjunt de l’ESO al seu centre escolar segons el curs:
0% 1%-5% 6%-10% 11%-15% 16%-20% 21%-25% > 25%Curs 2009-2010
Curs 2010-2011
Curs 2011-2012
Curs 2012-2013
Curs 2013-2014
Curs 2014-2015
Curs 2015-2016
0% 1%-5% 6%-10% 11%-15% 16%-20% 21%-25% > 25%Curs 2012-2013
Curs 2013-2014
Curs 2014-2015
Curs 2015-2016
0% 1%-5% 6%-10% 11%-5% 16%-0% 21%-30%
31%-40%
> 40%
Curs 2009-2010
Curs 2010-2011
Curs 2011-2012
Curs 2012-2013
Curs 2013-2014
Curs 2014-2015
Curs 2015-2016
14. Especifiqui quin ha estat, aproximadament, el percentatge d’alumnat d’origen estranger a l’ESO al seu centre escolar segons el curs:
15. Especifiqui quin ha estat, aproximadament, el percentatge d’alumnes que no acaben l’ESO al seu centre escolar segons el curs:
Aquest estudi avalua l’impacte del programa eduCAT (de la Generalitat de Catalunya) en l’adquisició de competències dels alumnes de secundària. EduCAT va consistir en la introducció i ús d’ordinadors portàtils a les aules en el procés d’ensenyament-aprenentatge. El mètode d’anàlisi s’intenta assimilar als assajos clínics, amb un grup de tractament (centres escolars on s’implanta el programa) i un grup de control (on no s’implanta).
Els resultats mostren que la implantació de l’eduCAT va tenir conseqüències negatives en l’adquisició de competències de l’alumnat en totes les matèries avaluades (català, castellà, anglès i matemàtiques). L’impacte, però, no és quantitativament important: suposa una reducció d’un 5,1% en la nota mitjana obtinguda pels alumnes en el conjunt de proves. Aquest impacte negatiu va ser sempre més elevat en el cas dels nois que de les noies.
Un gra de sorra més en el procés de conèixer quins factors incideixen en l’aprenentatge i en l’avaluació de les polítiques públiques al nostre país.