quaderns de qualitat. 1 · nombre significatiu dels comen - taris i suggeriments que rebia es -...

QUADERNS DE QUALITAT. 1

La qualitat, garantia de millora.

AQU Catalunya, 2010

© Agència per a la Qualitat del Sistema Universitari de Catalunya

Via Laietana, 28, 5a planta08003 Barcelona

© del primer article, Joan Manuel del Pozo.© del segon article, Sebastián Rodríguez (coordinador),

Àngels Sahuquillo, Esteve Arboix i Magda Staniewicz.© del tercer article, AQU Catalunya.

Disseny i maquetació: Josep Turon i Sasha CristòfolCorrecció lingüística i traducció: Natàlia Morell

Impressió: Treballs Gràfics, SATiratge: 2.800Primera edició: agost 2010ISBN: 978 - 84 - 693 - 4100 - 0Dipòsit legal: B-24.785-2010

Es permet la reproducció total o parcial del document sempre que se citiel títol de la publicació i l’Agència per a la Qualitat del Sistema Universitaricom a editora.Se permite la reproducción total o parcial del documento siempre que secite el título de la publicación y la Agència per a la Qualitat del SistemaUniversitari de Catalunya como editora.

Disponible també en versió electrònica:Disponible también en versión electrónica:

<www.aqu.cat>

PRESENTACIÓ

PRÒLEG

L’AVALUACIÓ DEL CONEIXEMENT HUMANÍSTIC I SOCIAL

RESULTATS DE L’ESTUDI SOBRE EL PERFIL DE MÈRITS PER A

L’ACREDITACIÓ DEL PROFESSORAT LECTOR I AGREGAT

EN LES ÀREES D’HUMANITATS I CIÈNCIES SOCIALS

CONCLUSIONS GLOBALS DEL TALLER

7

9

13

33

53

PRESENTACIÓN

PRÓLOGO

LA EVALUACIÓN DEL CONOCIMIENTO HUMANÍSTICO Y SOCIAL

RESULTADOS DEL ESTUDIO SOBRE EL PERFIL DE MÉRITOS PARA LA

ACREDITACIÓN DEL PROFESORADO LECTOR Y AGREGADO

EN LAS ÁREAS DE HUMANIDADES Y CIENCIAS SOCIALES

CONCLUSIONES GLOBALES DEL TALLER

67

69

73

93

113

sumari

sumario

presentaciópròleg

7

PRESENTACIÓ

Des que vaig accedir a la pre-sidència d’AQU Catalunya, unnombre significatiu dels comen-taris i suggeriments que rebia es-taven relacionats amb alguns cri-teris d’avaluació de la recercadel professorat universitari en elsàmbits de les Humanitats i lesCiències Socials. Les crítiquesqüestionaven de manera generalalguns criteris d’avaluació ques’han anat aplicant en diferentsorganismes d’avaluació, autonò-mics i estatals. Per tant, la pro-blemàtica va més enllà de l’agèn-cia que presideixo i, moltprobablement, més enllà de l’a-valuació mateixa.

Tradicionalment, tot i els es-forços per objectivar els criterisd’avaluació, els àmbits de lesHumanitats i les Ciències Socialsno han gaudit de l’ampli consensque hauria de regir l’avaluació deles disciplines que engloben. Al-guns dels motius que ho expli-quen són el fet que aquests àm-bits no disposen d’indicadorsd’impacte tan acceptats interna-cionalment com altres àmbitscientífics, i també el difícil encaixentre un enfocament internacio-

nal i una projecció en l’entornmés proper. Finalment, cal dirque la constatació d’un graud’insatisfacció superior en l’ava-luació d’aquests àmbits res-pecte d’altres havia de ser per simateixa un motiu de reflexió.

Amb el propòsit de contribuira aquest debat, es va organitzar,amb la col·laboració de l’Agènciade Gestió d’Ajuts Universitaris ide Recerca (AGAUR) i amb el su-port de la Universitat de Barce-lona, el Taller «L’avaluació de larecerca en Humanitats i Cièn-cies Socials», que s’emmarcavadins l’XI edició dels Tallers de re-flexió i debat d’AQU Catalunyaamb les universitats catalanes,que va tenir lloc els dies 28 i 29de gener de 2010.

Aquest Taller ha estat, si mésno per a AQU Catalunya, un delsexemples més significatius de re-flexió i diàleg de la comunitatcientífica i acadèmica catalana,en un tema que ha suscitat ungran interès.

joaquim prats cuevas president d’aqu catalunya

presentació

8

QUADERNSDEQUALITAT. 1

L’objectiu del Taller era do-ble: d’una banda, reflexionar so-bre l’avaluació de la recerca enels àmbits de les Humanitats iles Ciències Socials i, de l’altra,identificar propostes que promo-guessin un consens més amplisobre aquesta avaluació.

Des del començament, l’en-focament i l’estructura del Tallerperseguien l’humil propòsit degenerar un entorn propici per es-coltar la veu de la comunitat cien-tífica i acadèmica. Més de 300persones van assistir al Taller i,entre ponències i contribucions,gairebé 60 hi van exposar en veualta les seves reflexions. Totes lespersones que hi van participarvan tenir l’oportunitat de parlar,de ser escoltades, de fer aporta-cions i d’establir un diàleg cons-tructiu amb els seus homòlegs.

La suma de les idees, de lesreflexions, en resum, de lesintel·ligències, va donar com a re-sultat la identificació d’un seguitd’aportacions assenyades, quepel seu interès i repercussió me-reixen ser considerades a favorde la millora d’aquest procés d’a-valuació. Les contribucions es-pecífiques per àrees de coneixe-ment que es van fer durant elTaller van quedar recollides enles conclusions per grups de tre-ball, disponibles al web d’AQUCatalunya, i les que eren com-partides per la majoria de grupses van integrar en el documentfinal d’aportacions del Taller, queaquí es presenta.

Les propostes plantejadesvan orientades principalment aun perfeccionament de l’avalua-ció. Per això és indispensableque les agències d’avaluació,d’àmbit català i espanyol, ensposem d’acord a millorar el mo-del, ja que la coherència del sis-tema és un requisit per al seubon funcionament.

El compromís que AQU Ca-talunya ha agafat, prenent coma punt de partida les conclusionsdel Taller, és promoure un debatmés ampli en l’àmbit català i es-panyol, per tal d’articular un sis-tema d’avaluació més ajustat ales especificitats de les àrees hu-manístiques i socials. Ho devema totes aquelles persones quehan invertit el seu temps desin-teressadament a participar en elTaller i que hi han fet aportacions,amb la il·lusió que permetin avan-çar en la millora de l’avaluació dela recerca en aquests àmbits. //

9

PRÒLEG

És una característica del sis-tema universitari espanyol queles avaluacions prèvies als pro-cessos de selecció de professo-rat i les avaluacions de mèrits lesrealitzin les agències per a la qua-litat de les universitats. A la restad’Europa són les universitats lesque les assumeixen, ja que con-sideren que és una funció pròpiagestionar la qualitat del seu pro-fessorat. No és la meva intencióobrir ara aquest debat, però tam-poc no voldria transmetre que elnostre model és universal.

En tot cas, i a més a més dedur a terme la tasca assignadaamb les màximes garanties dequalitat, el valor que podem afe-gir les agències és fer avançarels diferents elements que confi-guren el procés d’avaluació, perassegurar-ne l’equanimitat entots els àmbits.

Però parlar de qualitat sensemesurar variables no té sentit. Sino coneixem el que tenim i nodisposem de referents, difícil-ment sabrem cap on hem d’anari, encara menys, com podem mi-llorar-ho.

El Taller “L’avaluació de larecerca en Humanitats i Cièn-cies Socials” ha estat una bonaexperiència on el professorat iels investigadors catalans hanpogut compartir i posar en comúpropostes per millorar el procésd’avaluació d’unes disciplinesque, per la seva pròpia singulari-tat, no disposen d’uns referentstan parametritzats com altresàmbits científics. En definitiva,per començar un procés de mi-llora que, pel seu abast i la sevacomplexitat, requereix un con-sens global entre el professorat,les universitats i totes les agèn-cies d’avaluació.

El llibre que teniu a les mansté dos propòsits. El primer és re-collir en un document les princi-pals aportacions que s’hi van fer,i el segon és iniciar una reflexióglobal que condueixi a la implan-tació de mesures concretes permillorar el procés d’avaluació iper incrementar el consens so-bre els criteris i referents utilit-zats.

josep anton Ferré viDal Director d’aqu catalunya

pròleg

10


En el primer capítol del llibretrobareu la transcripció de la po-nència inaugural feta pel Dr. JoanManuel del Pozo, que va emmar-car el Taller en una dissertació fi-losòfica sobre l’avaluació del co-neixement humanístic i social.

El segon capítol conté un re-sum dels resultats globals del’estudi que està finalitzant AQUCatalunya sobre el perfil de mè-rits per a l’acreditació de profes-sorat agregat i lector dels àmbitsd’Humanitats i de Ciències So-cials. L’Agència ha fet un bui-datge de 4.800 currículums,amb l’objectiu d’aportar informa-ció sobre el perfil de les personessol·licitants i, així, contribuir a feraflorar referents de qualitat exis-tents.

Finalment, el tercer i darrercapítol és el document que sin-tetitza les principals aportacionsque es van recollir en les conclu-sions dels set grups de treballI

(que es poden consultar íntegra-ment al web <http://www.aqu.cat/activitats/tallers_jornades/ta-ller_2010/conclusions.html>).Aquest document estructura lesaportacions que s’hi van fer, totdistingint entre les que afectenla política d’avaluació i les quefan referència a la mateixa ava-luació. I acaba amb un decàlegde les propostes que s’hauriende dur a terme.

L’acció final que apareix aldecàleg és incrementar la coor-dinació entre les agències queavaluem la recerca. Desitgemque les reflexions d’aquest llibresiguin un bon punt de partida peraugmentar la coordinació entreles agències, amb l’objectiu demillorar el procés d’avaluació deles àrees de coneixement huma-nístiques i socials. //

I Els assistents al Taller es van distribuiren set grups per reflexionar sobre unesqüestions plantejades prèviament:Grup 1: Filosofia, Història, Art,Antropologia i Geografia; Grup 2:Filologia, Traducció i Interpretació;Grup 3: Educació; Grup 4: Economia iEmpresa, Ciències Polítiques iSociologia; Grup 5: Psicologia; Grup 6:Dret; Grup 7: Biblioteconomia iDocumentació, i Comunicació.

joan manuel Del pozo Álvarez

l’avaluació Del coneiXement

HumanÍstic i social

13

L’AVALUACIÓ

DELCONEIXEMENTHUMANÍSTIC

ISOCIAL

L’objectiu d’aquesta ponència és emmarcar el procés de reflexiód’aquestes Jornades d’AQU Catalunya sobre els procediments d’a-valuació de la recerca en l’àmbit dels coneixements humanístics i so-cials. A la funció de marc no li escau presentar un catàleg de criterisd’avaluació o de barems de mesura que poguessin considerar-seplausibles per obtenir un consens sobre l’avaluació de la recerca hu-manística i social, funció que en tot cas s’ha de considerar derivadao cloenda del conjunt de treballs i debats que aquí s’han de produir.Com a ponència marc, l’objectiu buscat és proporcionar bases dereflexió a partir de les quals es pugui legitimar, per mitjà de totes lesaltres aportacions, alguna mena de conclusions que estableixin odeixin apuntades línies i principis que, quan serà el moment, puguinajudar a afinar els processos amb els quals sigui avaluada aquella re-cerca.

El corpus d’aquesta ponència se centrarà, doncs, en dues refle-xions. La primera, destinada a fer-se càrrec del context en què esprodueix la nostra anàlisi, per comprendre millor el procés en el qualens trobem com a responsables de la producció i transmissió de l’a-nomenat coneixement humanístic i social. Proposo com a epígrafd’aquesta part la interrogació següent: “Crisi de l’universalisme científici de la seva seguretat epistemològica?” La interrogació no és només

PLANTEJAMENT GENERAL

joan manuel Del pozo Álvarez*

l’avaluació Del coneiXementHumanÍstic i social

1

* Doctor en Filosofia per la Universitatde Barcelona i professor de Filosofia ala Universitat de Girona

14

QUADERNSDEQUALITAT

retòrica, sinó que es dirigeix sincerament al reco-neixement d’un panorama de confusió real sobreel paper d’una suposada ciència universal que, ar-rencant del segle XVIII però especialment des delsegle XIX, va actuar com a paradigma legitimadorde l’hegemonia intel·lectual i política de l’anome-nada societat occidental. Ho faré amb l’ús de laterminologia i en diàleg amb moltes de les ideesdel sociòleg i historiador Immanuel Wallerstein, dela Universitat de Yale, autor d’un petit assaig degran interès —també des d’altres perspectives, amés de la nostra— publicat el 2006 i traduït a Va-lència el 2008 amb el títol L’universalisme europeu.La retòrica del poder.1

La segona part del corpus central, òbviamentarticulada amb aquesta primera, és una reflexió so-bre les característiques que donen valor al conei-xement humanisticosocial, valor que encara s’hade guanyar el reconeixement de la majoria de ciu-tadans, i la presento sota l’epígraf “Valoració delconeixement humanístic i social”. Precisament ambla idea de valoració pretenc fer el pas, perquèsón sinònims de gran proximitat, al concepte quecentra aquestes Jornades, que no és cap altre queel d’avaluació. Per descomptat, tots dos concep-tes són sinònims, però els usos d’aquests concep-tes són ben diferents. Ja avanço que per valoracióentendré el reconeixement de l’interès i l’acceptaciósocial del treball investigador humanístic i social —o la seva mancança—, mentre que per avaluacióentendré, naturalment, el que pertoca: ponderaciótècnica de la qualitat més alta o més baixa delsnostres treballs de recerca als efectes legals, ad-ministratius i econòmics que corresponguin.

La darrera part de la ponència farà la transicióentre tots dos conceptes, valoració i avaluació,amb l’intent d’oferir, tal com diu literalment l’epígrafque hi poso, “Alguns principis o criteris per a l’ava-luació de la recerca humanística i social”.

La meva aspiració és que el conjunt de les tresparts que ara comencen serveixi com a punt dereferència per al debat i, en el millor dels casos,com a fonamentació d’algunes de les línies accep-tables i àmpliament consensuables dels procedi-ments d’avaluació de la recerca feta en els nostresàmbits de coneixement. //

per valoració entendré elreconeixement de l’interès il’acceptació social del treballinvestigador humanístic isocial, mentre que peravaluació entendré el quepertoca: ponderació tècnica dela qualitat més alta o mésbaixa dels nostres treballs derecerca als efectes legals,administratius i econòmics quecorresponguin

1 I. Wallerstein, L’universalisme europeu. La retòricadel poder (València: Publicacions de laUniversitat de València, 2008).

15

L’AVALUACIÓ


ISOCIAL

Wallerstein situa encertadament l’inici de l’escissió del coneixe-ment humà — el que després s’ha convertit, principalment, en el tòpicde la “separació de les dues cultures” (conferència de Snow a Cam-bridge, 1959), la humanisticosocial i la cientificotècnica— en el segleXIX, quan el que en diem ciència natural consolida els seus mètodesempírics i comença a obtenir resultats d’aplicabilitat tècnica cadacop més espectaculars. Això li dóna suport i prestigi social i, deretruc, reconeixement i progressiva assignació de recursos per partdels governs, que hi veuen grans potencialitats de tota mena.

Diu Wallerstein:2 “Quin era el debat epistemològic subjacent aaquesta separació [...]? Els científics mantenien que només per mitjàdels seus mètodes —la recerca empírica basada en hipòtesis verifi-cables i/o que hi conduïa— es podia arribar a la ‘veritat’ (una veritatuniversal). Els estudiosos del camp de les humanitats impugnavenamb força aquesta pretensió. Aquests insistien en el paper de la pe-netració o intuïció analítica, de la sensibilitat hermenèutica o de l’em-patia del Verstehen [entendre, comprendre] com a camí cap a la ve-ritat. Els humanistes al·legaven que el seu tipus de veritat era méspregona i tan universal com la que és subjacent a les generalitzacionsdels científics, que tot sovint veien com a precipitades. Però el queés més important, els estudiosos de les humanitats donaven moltaimportància al paper central dels valors, del bé i de la bellesa en larecerca del coneixement, mentre que els científics afirmaven que laciència era neutra respecte dels valors, i que dels valors mai no se’npodia dir que foren vertaders o falsos. Per consegüent, deien, elsvalors se situaven fora del camp de preocupacions de la ciència.”

La justificació formal i visible, la discussió sobre la major o menorvalidesa dels mètodes respectius, en realitat amagava una disputade fons molt rellevant: l’objecte propi i últim dels coneixements res-pectius. En el cas de la ciència natural, la determinació de regularitatsen forma de lleis de la naturalesa, que constituïa la determinació de

CRISI DE L’UNIVERSALISMECIENTÍFIC I DE LA SEVASEGURETATEPISTEMOLÒGICA?

2 Op. cit., pàg. 89-90.

2

16


la veritat; en el cas dels coneixements humanisti-cosocials, l’establiment del que és bo i bell, delque té valor per a la vida. Es produïa un trencamentd’un antic principi filosòfic segons el qual unum,verum et bonum —et pulchrum— convertuntur, ésa dir, l’ésser i les seves propietats transcendentalssón intercanviables: la unitat, la veritat, la bondat ila bellesa. I la primera era la unitat, que era tant devalor ontològic —l’ésser és u— com epistemològic—el coneixement de l’ésser, lògicament, també ésu. Un principi d’abast ontològic i epistemològicmolt respectable —dogmatismes i escolasticismesa part— es deixava de banda i es naturalitzava inormalitzava, sobretot per via de facto, una divisióradical entre veritat (cientificonatural) i valor (hu-manisticosocial). El procés, a partir d’aquí, ha estatuna baixada imparable i accelerada pel pendentde la divisió i subdivisió fins a l’infinit d’àrees auto-constituïdes de coneixement, cadascuna de lesquals tendeix a l’autarquia existencial amb la cor-responent, sovint més suposada que real, auto-suficiència epistemològica.

No es tracta de discutir la possibilitat que el co-neixement evolucioni autònomament, fins i tot capa la fragmentació, però justament, si es valoritza laseva capacitat evolutiva i transformadora, s’ha deprendre nota de les darreres —per ara— de les sevestransformacions —la penúltima, podríem dir, la deles anomenades ciències socials—, que, posadesen una mena de mig camí equidistant de les velleshumanitats i de les més modernes ciències empíri-ques, s’esperava que optessin per un o un altredels paradigmes epistemològics. Doncs bé, agrans trets pot afirmar-se que, sense clamorosesunanimitats, l’economia, la ciència política i la so-ciologia van inclinar-se cap al terreny empíric, men-tre que la història, l’antropologia i les ciències jurí-diques s’apropaven més clarament al modelhumanístic. Wallerstein mateix constata3 que, ambtot i això, les fronteres, a partir de la segona meitatdel segle XX, es van anar fent progressivament mésborroses. L’última fase evolutiva és, des del 1968,la crisi institucional de les estructures del coneixe-

ment modern paral·lela a la crisi estructural del “sis-tema-món” —en la seva terminologia—, que portaa qüestionar fortament la divisió entre totes duescultures, tant des de dins de les ciències naturalscom des de les humanitats.4 Com a expressió com-plementària d’aquest qüestionament, les mateixesciències socials s’esmicolen i es fragmenten i in-crementen el panorama general de dubtes i per-plexitats.

La institució universitària, per la seva banda,creix intensament durant la segona meitat del segleXX per acollir la gran eclosió de demanda social deformació i coneixement i, alhora, de multiplicacióinterna d’oferta d’estudis nous i de possibilitats derecerca. Però, com a conseqüència de la insufi-ciència financera creixent per l’encariment progres-

el coneixement tendeix amesurar-se per la seva capacitat

de produir riquesa, cosa que lipermet també obtenir-ne de

nova, però li fa perdreautonomia; al mateix temps,

altres instàncies, empresarials oinstitucionals, generen cada copmés recerca, amb la qual cosa la

universitat va deixant de ser elque semblava que havia de ser

sempre, la font gairebé única deproducció de coneixement

3 Op. cit., pàg. 93.

4 Ibid.

17

L’AVALUACIÓ


ISOCIAL

siu dels serveis, necessita entrar en una certa lògicade mercat, i de creació i explotació de patents ifórmules diverses d’explotació del valor econòmicque pot crear, cosa que tendeix a externalitzar laproducció i l’explotació del nou coneixement. Elconeixement tendeix a mesurar-se per la seva ca-pacitat de produir riquesa, cosa que li permettambé obtenir-ne de nova, però sens dubte li faperdre autonomia; al mateix temps, altres instàn-cies, empresarials o institucionals, generen cadacop més recerca, amb la qual cosa la universitatva deixant de ser el que semblava que havia de sersempre, la font gairebé única de producció de co-neixement. Cal fer esment de la universitat perquèés quasi exclusivament en ella on encara es con-serva l’activitat de recerca i ensenyament huma-nístic i social; són les àrees on la “mercantilització”de la producció de coneixement és menys fàcil imenys intensiva, tret d’una branca de produccióentre literària i artística, que és la dels mitjans decomunicació, que té vida pròpia i un poder creixentcompletament al marge de les institucions acadè-miques. No ens desvia, però, del fil principal de l’a-nàlisi.

Justament dèiem que l’“última” fase de l’evo-lució del coneixement apareix cada cop més for-tament lligada a una crisi que inclou, curiosament,un cert qüestionament de la cèlebre “divisió entreles dues cultures”. En l’àmbit cientificonatural, elsestudis sobre la complexitat i, en l’àmbit humanis-ticosocial, el que Wallerstein en diu “estudis cultu-rals” conviden a revisar la suposada suficiènciaepistemològica autònoma de cadascun dels dosmons.

En l’àmbit cientificonatural els estudis sobre lacomplexitat apunten cap a un refús del determi-nisme lineal que prevalia des de Newton fins a Ein-stein;5 la física quàntica seria l’expressió més clarade la superació de la simplicitat causalista i lineal.En l’àmbit humanisticosocial els anomenats “estu-dis culturals” tendiran a desestabilitzar una vellainèrcia cap als cànons universals de bellesa i denormes eticojurídiques sobre el bé; l’eurocentrismedels valors humanistes es reconeix cada cop méscom una forma intolerable d’universalització impo-sitiva d’un sistema de valors —d’home blanc, occi-dental i de grups ètnics dominants— que evident-

és que algú pot defensar que una àrea de coneixement especialitzada pot tenirsentit per ella mateixa?, o que la selecció d’un fragment de realitat és alguna cosamés que una estratègia funcional que només es justifica si s’acaba negant persuperació, és a dir, reconeixent que, en tant que fragment d’una totalitat, només tésentit referida a la totalitat?, és a dir, vinculada, lligada, articulada, finalmentunificada


18


ment era i és tan legítim com havia d’haver estatentès i sobretot ha de ser entès com a particular.

A més, tant els estudis sobre la complexitatcom els estudis culturals arribaven a la conclusióque la distinció epistemològica entre totes duescultures no té sentit, intel·lectualment parlant, i queva en detriment de la recerca del coneixement útil,6

que no és altre que el que serveix unitàriament a larealitat humana i natural única. Edgar Morin, entremolts altres, fa temps que clama pel restabliment

integrada en— la totalitat?, és a dir, vinculada, lli-gada, articulada, finalment unificada.

En la línia de reconèixer la immensitat del reptesobre la naturalesa del coneixement humà, avuiimitat amb gran eficàcia per les màquines d’intel·li-gència artificial cada cop més potents, és bo derecordar l’anècdota, reportada per George Steiner,arran d’una jugada d’escacs:8 “Fa uns mesos, l’or-dinador Deep Blue guanya contra el campió mun-dial d’escacs Kasparov. [...] Sembla que en les ano-

d’estructures articuladores i reunificadores de ladiversitat fragmentada dels coneixements, que no-més serveix a la fragmentació de l’autocomprensiói, per tant, a la total incomprensió dels fenòmens,no tan sols humans i socials, sinó fins i tot naturals;sobretot des que coneixem que la física més avan-çada ha assumit definitivament el principi de la mo-dificació de l’observació i l’experimentació naturalsper la influència indefugible de l’observador, queno és altre que l’ésser humà. Morin sosté raona-blement que “les disciplines són plenament justifi-cades intel·lectualment a canvi que assegurin uncamp de visió que reconegui i concebi l’existènciade vincles i solidaritats”.7 És que algú pot defensarque una àrea de coneixement especialitzada —siguide l’àmbit que sigui— pot tenir sentit per ella ma-teixa?, o que la selecció d’un fragment de realitatés alguna cosa més que una estratègia funcionalque només es justifica si s’acaba negant per supe-ració, és a dir, reconeixent que, en tant que frag-ment d’una totalitat, només té sentit referida a —i

el repte humanisticosocial és gran, almenys fins que un sistema perfecte i tancat—netament indesitjable— no ens resolgui les grans qüestions de la vida: les queafecten l’educació d’éssers que ens creiem lliures, la responsabilitat de viure,l’exercici dels drets i, fins i tot, les possibles conseqüències penals de les nostresaccions. perquè si no hi ha llibertat, no hi ha responsabilitat i, si no hi haresponsabilitat, no hi ha culpa, i, finalment, si no hi ha culpa, no hi ha pena o càstiglegítim


7 E. Morin, La tête bien faite (París: Éd. du Seuil,

1999).

8 G. Steiner, La barbarie de la ignorancia (Madrid: ElTaller de Mario Muchnik, 2000), pàg. 9.

19

L’AVALUACIÓ


ISOCIAL

Des de la pràctica de la desitjable“socialcientificització” del móncientificonatural es pot produir uncorrent d’influència inversaigualment desitjable per al saberhumanisticosocial, per exemple eldel gran rigor metodològic propidels processos investigadorscientificonaturals

tacions de Kasparov sobre aquesta partida hi haun moment realment extraordinari: la màquina es-pera dos minuts a fer un moviment, més o menyscom uns cent mil anys a l’escala del cervell elec-trònic! I fa una jugada mai no vista abans, mai en-tesa, que és la que li dóna la victòria. I Kasparovassenyala: ‘Vaig entendre que no calculava, pen-sava!’ És aterridor. Li ho explico a un dels meuscol·legues de Cambridge i aquest em replica: ‘Quit’ha dit que el pensament no és un càlcul?’ I si tin-gués raó? Encara més aterridor!”

Sense voler sobrevalorar l’anècdota, la reflexióque conté és interessant pel que apunta: la fronteraentre processos neurològics regits per la determi-nació o processos neurocognitius indeterminats ooberts —lliures, en terminologia forta— és una fron-tera cada cop més imprecisa. I té plantejaments ireptes interessants a tres bandes: o tots els pro-cessos són determinats, però no els dominem, i lallibertat és una vana il·lusió (tot és càlcul, no hi hapensament); o tots els processos són lliures, peròens agrada trobar regularitats estadístiques queconvertim precipitadament però erròniament enlleis fixes (tot és pensament i realitat física oberta,no hi ha determinacions fisicomatemàtiques insu-perables); o existeix el doble principi, que semblael més habitualment assumit, de determinació i dellibertat, però cal reconèixer que la imbricació ésmolt creixent i forta o que la diferenciació no ésclara.

En tots tres casos el repte humanisticosocialés gran, almenys fins que un sistema perfecte i tan-cat —que, d’altra banda, ens sembla netament in-desitjable— no ens resolgui inequívocament bé lesgrans qüestions de la vida: les que afecten l’edu-cació d’éssers que ens creiem lliures —i, per tant,educables de diferents maneres—, la responsabilitatde viure, l’exercici dels drets i, fins i tot, les possiblesconseqüències penals —i la legitimitat de les penesmateixes— de les nostres accions, perquè, si no hiha llibertat, no hi ha responsabilitat i, si no hi ha res-ponsabilitat, no hi ha culpa, i, finalment, si no hi haculpa, no hi ha pena o càstig legítim.

Aquestes darreres consideracions ens tornena situar amb més força davant d’aquella darrerafase de l’evolució de tot el coneixement científic:l’extrema complexitat i indeterminació, reconegudades del sector científic positiu o natural, i el reptedels cànons estables i suposadament universalsde valors, quan la mateixa capacitat de pensar-losi la llibertat de practicar-los semblen més radical-ment qüestionables.

20


Dèiem que en la recerca del coneixement real-ment útil —no només utilitari— per a la vida dels hu-mans, tant en la línia cientificonatural com en la hu-manisticosocial, apareix la necessitat d’unatransversalitat epistemològica i una metodologiacompartida en la producció i la difusió del saberde totes classes que incorporin factors caracterís-tics de les ciències socials —a desgrat, fins i tot, dela seva mateixa desorientació i fragmentació—, comara la contextualització, el reconeixement de la plu-ralitat d’identitats, el respecte i adaptació a les men-talitats i, finalment, la valoració dels vectors de po-der. D’això, Wallerstein en diu la “social-cientificització de tot el coneixement”.9 Seria erroniinterpretar que es pretén una “reducció” de la cièn-cia natural a la ciència social, com ha estat un errorinterpretar que la ciència social podia ser reduïda

a ciència natural. En aquest esforç de transversa-lització epistemològica, el corrent d’intercanvi potser de gran riquesa: justament des de la pràcticade la desitjable “socialcientificització” del món cien-tificonatural es pot produir un corrent d’influènciainversa igualment desitjable per al saber humanis-ticosocial, per exemple el del gran rigor metodolò-gic propi dels processos investigadors cientifico-naturals —no tan sols una ridícula imitació superficialde terminologies i formes de presentació, que ésel que sovint ha passat quan s’ha volgut sortir deles vies metodològiques pròpies, normalment benaplicades.

Wallerstein considera que l’universalisme cien-tífic ja no és inqüestionable; que ha estat l’últim, elmés modern dels universalismes de matriu euro-pea, i que com a tal ha servit de legitimador delpoder en l’època contemporània, però que, comhem vist, ha estat desbordat des de dins mateixtant per la ciència natural com per les humanitatsi les ciències socials, tot fent entrar en crisi les es-tructures profundes de la producció i difusió delconeixement. En paraules seves,10 “les estructuresdel coneixement han entrat en un període d’anar-quia i de bifurcació, de la mateixa manera que elmodern sistema-món en el seu conjunt. El desen-llaç d’aquesta crisi i bifurcació és igualment inde-terminat. Crec que l’evolució de les estructuresdel coneixement és simplement una part —i unapart significativa— de l’evolució del modern sis-tema-món. La crisi estructural de l’un és la crisi es-tructural de l’altre. La batalla pel futur es lliurarà entots dos fronts”.

Una part, sens dubte mínima si es considera aescala global, de la batalla es reflecteix directamenten els sistemes d’avaluació de la recerca. Pateixenalmenys dos problemes: pretenen tenir una certesai una seguretat que ja han perdut els fonamentsepistemològics mateixos dels àmbits de coneixe-ment respectius i pretenen una uniformitat que jafa temps que han perdut els sistemes de coneixe-ment. //

els sistemes d’avaluació de larecerca pateixen almenys dosproblemes: pretenen tenir unacertesa i una seguretat que jahan perdut els fonamentsepistemològics mateixos delsàmbits de coneixementrespectius i pretenen unauniformitat que ja fa temps quehan perdut els sistemes deconeixement

9 Wallerstein, op. cit., pàg. 99.

10 Ibid.

21

L’AVALUACIÓ


ISOCIAL

Una condició prèvia, òbviament no formal, per a la legitimació del’avaluació acadèmica de la recerca humanisticosocial és precisamentla seva valoració social prèvia: encara que valoració i avaluació sóntermes sinònims, perquè tots dos signifiquen essencialment “apre-ciació de valor”, l’ús real de l’un i de l’altre queda fortament marcatper la connotació intel·lectual, ètica i social en el cas de valoració i perla connotació més quantitativa, administrativa i econòmica en el casd’avaluació. I ja fa temps que sabem que l’ús del llenguatge és mésimportant que el llenguatge mateix, perquè és el llenguatge dins dela vida, no dins dels diccionaris (tan respectables, útils i fins i tot apas-sionants, d’altra banda).

Doncs bé, cal valoritzar l’extraordinària eficàcia —de la qual hemde gaudir i ens hem d’alegrar sense reserves— que ha demostrat laciència natural en l’obtenció de derivacions tècniques i d’aplicacionsútils a mil aspectes de la vida de la gent: això ha carregat de legitimaciól’impuls de la seva recerca i l’avaluació dels resultats i les transferènciesde coneixement que aquella recerca fa constantment per a la millorade la producció econòmica, de la salut i del benestar material de totsnosaltres.

No s’esdevé el mateix amb el coneixement —que en podem in’hem de dir científic— de naturalesa humanisticosocial, del qual notan sols no s’aprecien aplicacions gaire útils a la productivitat i el ben-estar de la gent, sinó que sovint es considera un saber purament or-namental, prestigiat només per antigues connotacions elitistes i pro-bablement malgastador de recursos. La seva valoració social és forçamés baixa, parlant en termes molt generals, que la valoració socialde l’interès de la ciència natural i la tècnica.

Cal, doncs, reflexionar sobre com el coneixement humanistico-social mereix ser valorat. Un problema que de segur que ens quedaràpendent és com es difon i es fa arribar a la societat aquesta valoracióque, en els espais acadèmics, no necessita una defensa especial.Però, si més no, és un punt de partida l’esforç de formular les basesde la seva valoració, que és el que intentem fer tot seguit.

VALORACIÓ DEL CONEIXEMENTHUMANÍSTIC I SOCIAL

cal reflexionar sobre comel coneixementhumanisticosocial mereixser valorat. un problemaque de segur que ensquedarà pendent és comes difon i es fa arribar ala societat aquestavaloració que, en elsespais acadèmics, nonecessita una defensaespecial

3

22


Una consideració prèvia és que cal assumir elsinconvenients de la inevitable simplificació que su-posa un únic concepte, el de coneixement huma-nisticosocial o de les ciències humanes; els terrenysde les humanitats i les ciències socials són, en al-guns casos, notablement diferents, però també éscert que, per sota de les diferències, hi ha un tronccomú molt fort en metodologies, llenguatges i plan-tejaments —centrats en el fenomen humà i social,que és únic, marcat singularment perquè té coma referent principal la llibertat amb què aquest fe-nomen es desplega.

Podríem dir, sense afany d’establir cap grantesi, però sí una delimitació ben neta, que, mentreque el coneixement cientificonatural —amb reservade les evolucions més recents al·ludides anterior-ment— es regeix per la cerca de les determinacionsque configuraran les esmentades lleis de la natu-ralesa, el coneixement humanisticosocial es regeixper la comprensió de la naturalesa indeterminada—o poc determinada—, és a dir, lliure, tant de l’indi-vidu com de la societat humana i la seva evolució.En un costat, doncs, la naturalesa física i les sevesdeterminacions; en l’altre, la naturalesa humana ila seva indeterminació. Quins són els resultats dela tasca de recerca científica —és a dir, metodolò-gica i crítica— a banda i banda? La descoberta deregularitats naturals en un costat; la comprensióde la complexa obertura i els sentits plurals de l’e-xistència individual i social en l’altre. Conseqüènciesprevisibles per a l’avaluació: distància enorme entreles qualitats d’un producte i l’altre i, per tant, ne-cessària distància entre els procediments per a l’a-preciació—reconeixement de valor— de l’un i del’altre.

Quin és el valor socialment destacable del co-neixement humanisticosocial? Justament, comavançàvem, l’autocomprensió com a éssers hu-mans en la nostra dimensió constitutiva, lliure: és adir, la comprensió del llenguatge i la producció lite-rària, del pensament i la producció filosòfica, de lasensibilitat i l’art, dels canvis en el temps i la història,

de l’ús de l’espai i la geografia, del consens nor-matiu i el dret, de l’organització complexa i variabledel moviment econòmic i les articulacions socials.Òbviament, algú pot dubtar del valor d’aquestacomprensió, que és un grau superior de la puraexplicació descriptiva perquè tendeix a la captacióde sentit; són les persones que es pregunten perquè les coses han de tenir sentit, és a dir, quetambé els preocupa —no tan sols què és, sinó perquè— el sentit de les coses, però no ho saben oestan distretes amb el comandament a distànciade mil i un aparells.

L’escriptor brasiler Mario Quintana va establirsentenciosament: “Els fets són un aspecte secun-dari de la realitat.” L’agosarament és notable, peròés una lliçó condensada de bona metafísica. Quèconstitueix la realitat és una pregunta —humanís-tica— de gran profunditat i especial interès —molt“realista”, a més. Una resposta de molt poca pro-funditat —i poc realista— és que la realitat la consti-tueixen els fets, tot i que probablement seria majo-ritàriament signada, i sobretot signada sensepensar-hi gaire. Perquè, si s’hi pensa una mica, re-sulta que la vida humana es desplega sobretot grà-cies a les projeccions simbòliques i interpretativesque fem dels fets; o, dit d’una altra manera, els fetshumans —si hem de donar relleu als fets— són fetslingüístics, simbòlics, estètics, eticopolítics, que in-tenten ordenar i encaixar el conjunt de sensacionssubjectives o emocionals i el conjunt no menysmagmàtic de “fets” materials o externs en una xarxade comprensió o de sentit que ens els faci assimi-lables per viure.

El coneixement humanisticosocial és precisa-ment el que intenta construir les xarxes simbòliquesi hermenèutiques per a aquella comprensió. Aquestconeixement es mou principalment en el territoriintangible però imprescindible dels símbols, les pa-raules, les idees, els valors, les normes convencio-nals o l’habilitat i la potència hermenèutica, i cons-titueix el que alguns n’han dit un veritable softpower, un poder lleuger, que no pesa materialment,

23

L’AVALUACIÓ


ISOCIAL

Diu Christian Salmon,12 un escriptor molt atentals actuals mitjans de comunicació: “El ressorgi-ment dels mites en la nostra societat contemporà-nia es confirma molt especialment en períodes d’in-seguretat mundialitzada que estimula la nostrarecerca de la veritat, de sentit per a la vida, tant demàgia com de misteri.” Ho diu en una obra que,en el títol, inclou l’expressió terrible —adoptada deles tecnologies informàtiques— “formater les es-prits”. La seva tesi és que la construcció, òbviamentsimbòlica, de mites i narracions és una poderosamàquina de, ni més ni menys, “formatar els espe-rits”, és a dir, construir-ne els marcs d’intel·ligibilitati, a través d’això, determinar-los, controlar-los. I enel text citat destaquem que és precisament en èpo-ques com la nostra, de forta inseguretat en tots elsordres, quan més “els esperits” necessiten “la re-cerca de veritat i de sentit per a la vida, tant comde màgia i misteri”; és a dir, o bé ens “formata l’es-perit” la recerca de veritat i sentit o la de màgia imisteri.

però que influeix decisivament en la vida individuali col·lectiva.

Escoltem algunes opinions ben recents, i nopas d’humanistes de vella escola —dignes huma-nistes, d’altra banda—, sinó ben contemporanis icompromesos amb els conflictes de l’època. Unautor gens suspecte d’especulativisme simbolistade cap mena, ocupat sobretot en temes durs d’e-conomia i societat contemporània, Timothy GartonAsh, que es defineix a si mateix com a “historiadordel present”, deia en un article11 de premsa: “Unatercera presa de consciència fonamental és la quehem de fer en revisar les pautes per les quals ensguiem. Quants diners més, quantes coses més ne-cessitem? És el mateix tenir-ne prou que tenir-nemassa? [...] Podríem passar amb menys? Què ésveritablement important per a vostè? Què contri-bueix més a la seva felicitat individual?” Els motsclau són tres: “presa de consciència” —o compren-sió d’un sentit—, “revisar les pautes per les qualsens regulem” —interpretació de la millor norma pos-sible— i “felicitat personal” —l’objectiu últim de lavida humana, segons la primera ratlla de la vellaÈtica aristotèlica—; és a dir, problemes de coneixe-ment humanístic que es plantegen sobretot, comdiu dramàticament el títol del seu article, quan elmón està destrossat.

el valor socialment destacable del coneixement humanisticosocial ésl’autocomprensió com a éssers humans en la nostra dimensió constitutiva, lliure: és a dir, la comprensió del llenguatge i la producció literària, del pensament i laproducció filosòfica, de la sensibilitat i l’art, dels canvis en el temps i la història,de l’ús de l’espai i la geografia, del consens normatiu i el dret, de l’organitzaciócomplexa i variable del moviment econòmic i les articulacions socials

11 T. Garton Ash, “La felicidad en un mundo hecho trizas”,

El País, 4 de gener de 2009.

12 Ch. Salmon, Storytelling, la machine à fabriquer des

histoires et à formater les esprits(París: La Découverte, 2007), pàg. 41.

24


És en part el que es dedueix de la contesta queel sociòleg Zygmunt Bauman, que ens ha desco-bert la liquiditat de la condició de la nostra civilitza-ció, feia en una entrevista:13 “El que fa aquesta as-piració de saber [el futur] encara més acuitant ésque la inestabilitat aterradora de tots i cada un delsaspectes de la nostra vida quotidiana coincideixamb el declivi de la confiança en les autoritats. Lallista de promeses incomplertes i expectatives frus-trades és cada dia més llarga, i de sota les runesde la decepció pocs polítics n’emergeixen il·lesos isense taca. Però els científics tampoc no es defi-neixen gaire millor, i quan es produeix una desco-berta tots tendim a preguntar qui és que finançaaquella recerca, qui hi ha al darrere. Tenint encompte el baix nivell de les idees que els expertsgeneren, no és estrany que la gent miri cap a altresfonts de saber que no han tingut ocasió de provari de sortir-ne decebuts, és a dir, cap a gurus i altresautoproclamats profetes, cap a predicadors de co-neixement alternatiu... I em temo que si la gent faaixò caurà també en una frustració molt gran.”

El savi analista ens assenyala alguns punts queconnecten fortament amb el que estem dient: pri-mer, remarca un vell apotegma filosòfic i humanís-tic, “per naturalesa tots aspirem a saber”, en relacióamb el qual tot seguit constata la decepció con-temporània tant de les autoritats polítiques —capnovetat— com de les científiques, la qual cosa ens

interpel·la directament, no tant pel perill que cap la-boratori compri amb sumes astronòmiques un hu-manista que li justifiqui un medicament banal comperquè el coneixement humanisticosocial de qua-litat —critica el “baix nivell de les idees que els ex-perts generen”— és el que més singularment, mésespecíficament, més competentment, pot aparèi-xer —en el context de decepció— per evitar la derivade la gent cap a la temptació del “coneixement al-ternatiu” —o, com deia Salmon, “la màgia i el mis-teri”.

Els falsos formatats, els coneixements alterna-tius vagament esotèrics, la màgia, al capdavall lamanipulabilitat de les persones i les societats, no-més són corregibles per l’aportació intensiva deconeixement humanisticosocial, és a dir, de pen-sament crític, les característiques bàsiques del qualsón: la formació de criteris més que l’acumulacióinformativa, la capacitat autocorrectiva i modèstiaepistemològica i un elevat sentit tant del contextcom dels processos evolutius de totes les realitats.

el coneixement humanisticosocial esmou principalment en el territori

intangible però imprescindible delssímbols, les paraules, les idees, elsvalors, les normes convencionals o

l’habilitat i la potènciahermenèutica, i constitueix un poder

lleuger, que no pesa materialment,però que influeix decisivament en la

vida individual i col·lectiva

13 Z. Bauman entrevistat per CarmeVinyoles a Presència, núm. 1924, 9-15de gener de 2009.

25

L’AVALUACIÓ


ISOCIAL

el coneixement humanisticosocialpot i ha d’aportar a la societat

alguns elements essencials per a lavida individual i col·lectiva. en

primer lloc, sentit de la llibertat,anàlisi de les seves condicions,

límits i possibilitats; en segon lloc,claus de sentit i d’interpretació; entercer lloc, dotació de sentit crític iautocrític; i, finalment, consciència

de la construcció necessàriamenthistòrica de l’ésser i la societat,

ciència inclosa

és en èpoques com lanostra, de fortainseguretat en tots elsordres, quan més “elsesperits” necessiten “larecerca de veritat i desentit per a la vida, tantcom de màgia i misteri”

Aquest coneixement humanisticosocial, lesciències humanes si es vol —perquè com a conei-xement metòdic, autocrític i contrastat són ciènciade la millor—, pot i ha d’aportar a la societat algunselements essencials per a la vida individual i col·lec-tiva. En primer lloc, sentit de la llibertat, anàlisi deles seves condicions, límits i possibilitats, perquèjustament busca comprendre el fenomen humà,essencialment lliure: estudiar la persona, doncs,és estudiar precisament la seva condició d’ésserlliure. En segon lloc, claus de sentit i d’interpretació:s’ha definit la nostra època com l’època de lescomplexitats més grans i, per tant, la de més ne-cessitat de sentit i de capacitat hermenèutica perno perdre’ns-hi i per gestionar-les degudament. Entercer lloc, dotació de sentit crític i autocrític, com

a derivació de l’anterior, que ens situa justament alcostat de les altres ciències —mai en confrontació,perquè tot el saber científic, al final, és un únic saberi ja comença a ser hora de superar l’aberració deles “dues cultures”. I, finalment, consciència de laconstrucció necessàriament històrica de l’ésser ila societat, ciència inclosa: Ken Bain, en un estudisobre professors universitaris,14 constatava que elsmillors professors de totes les àrees de coneixe-ment compartien almenys una característica, latransmissió permanent del sentit històric de la cons-titució dels coneixements que impartien.

Una de les deficiències més greus del “formatat”dels esperits contemporanis és el presentisme ofins i tot l’instantaneïsme amb què tendim a perce-bre els fets, tot associant la noció de passat a lanoció de caducat, quan, com deia Javier Cercasfa pocs dies al seu article d’un dominical de diari,15

“el passat és el present o la matèria de la qual ésfet el present”. Això ens hauria de portar a canviarla denominació de la periodificació del temps i sub-

14 K. Bain, Lo que hacen los mejores profesoresde universidad (València: Publicacionsde la Universitat de València, 2006).

26


stituir les dues nocions de passat i de present —elqual es presenta gairebé com a enemic i excloentdel passat— per l’única de “present continu”, demanera que s’entengui que en realitat el que sem-bla “passat” està passant i és tan nostre i actualcom la respiració que ara mateix estem fent. O queja és hora de valorar que Plató, Galileu o Marx sónestrictament contemporanis nostres, del nostre“present continu”, perquè el nostre present és fet,entre d’altres, de les seves aportacions.

15 J. Cercas, “¡Otra bendita novela sobre la guerracivil!”, El País Semanal, núm. 1737, 10

de gener de 2010, pàg. 8.

Aquesta és la valoració que fa la societat deles ciències humanes? Lamentablement, almenysd’una manera generalitzada, no. Aquesta és lavaloració que hauríem de ser capaços de gua-nyar-nos, perquè sabem que és vàlida, perquèsom capaços de justificar-la acadèmicament, peròsom també capaços de percebre, justament persentit històric i de context, el “fora de joc” en quèens ha situat una evolució de la societat, de l’e-conomia, dels mitjans de comunicació i, finalment,de les mateixes estructures acadèmiques que faque, menystinguda la nostra valoració, tinguemfins i tot dificultats a l’hora de fer la nostra pròpiaavaluació. //

27

L’AVALUACIÓ


ISOCIAL

Valorar i avaluar són sinònims de notable proximitat, dèiem; i hau-ríem de mirar, com a principi, que la valoració que ens sembla quemereix el coneixement humanisticosocial no es vegi contradita fron-talment per la seva submissió a una avaluació on les seves caracte-rístiques no solament no siguin ben ponderades, sinó que siguin finsi tot ignorades. En cap cas no es tracta de resistir-se ni tan sols deposar en dubte la conveniència de l’avaluació, el respecte a les ex-igències del servei públic al qual ens devem, la seva justícia i fins i totnecessitat sistèmica. Sí que es tracta, en canvi, de reflexionar i generarprocessos de diàleg i d’obtenció de procediments tan consensuatscom sigui possible perquè l’avaluació no es degradi en un procésdogmàtic o ideològic —que emmascari falsament la realitat— ni en unreduccionisme quantitativista que estigui en neta contradicció ambla naturalesa dels coneixements avaluats.

No era objectiu —i de cap manera no seria recomanable inventar-se’l en aquests moments finals— entrar en l’anàlisi detallada de lesmodalitats i mesures avaluadores possibles; com a mínim, però, sem-bla que podríem apuntar principis o criteris mínims i genèrics queemmarquessin d’una manera més concreta el debat sobre els pro-cediments d’avaluació de la recerca humanisticosocial.

Aquests criteris pretenen ser coherents i derivats del fil de l’expo-sició. Els raonaments, doncs, es donen per fets i em limito a fer unsmínims enunciats simples.

L’avaluació de la recerca humanisticosocial no és reductible a altresrespectables i respectades formes d’avaluació de recerca; la seva sin-gularitat, fins i tot, ha de permetre una varietat interna notable.

Els criteris de mesura quantitativa i mecànica haurien de ser sem-pre subordinats a criteris qualitatius i de ponderació argumentada.

ALGUNS PRINCIPIS O CRITERISPER A L’AVALUACIÓDE LA RECERCA HUMANÍSTICAI SOCIAL

en cap cas no es tractade resistir-se ni tan solsde posar en dubte laconveniència del’avaluació, el respecte ales exigències del serveipúblic al qual ens devem,la seva justícia i fins i totnecessitat sistèmica

4

28


mental tant en l’àmbit cientificonatural com, no caldir-ho, en l’humanisticosocial. Un elemental sentitde l’autonomia de la producció de coneixement—de qualsevol classe— ens ha de fer reclamar laponderació del seu valor, situada a una gran dis-tància del seu rendiment productiu; altrament, es-taríem postulant el predomini del mercat sobre laciència, la qual cosa, evidentment, té molt d’ideo-lògic i res de científic. Conservo uns apunts d’unaintervenció del professor Joan Subirats, en unesjornades de política universitària de fa uns anys, enquè argumentava que l’increment de la intervencióde criteris de “mercat segons indicadors” dónacom a resultat, com va passar al Regne Unit durantels governs tories, la pèrdua del paper del profes-sorat universitari substituït pel de “treballador deresultats” sense identificació institucional universi-tària. Tinguem-ho present.

Hem apreciat també, amb Wallerstein, una dar-rera fase evolutiva de tots els coneixements cap aun cert —i també confús— retrobament d’una certaunitat, després de la tendència a la superació delcausalisme linealista en la ciència natural i dels cà-nons suposadament universals en el món huma-nístic. Aquesta constatació, que podria llegir-sesimplificadament com una homogeneïtzació, hade ser llegida, en canvi, al meu parer, com unaconstatació del “pluralisme” inherent a la produccióde coneixement en el món contemporani. Enefecte, en la mesura que s’atenua el determinisme

La valoració de les aportacions individuals hade ser especialment rellevant, atès que les pràcti-ques de recerca són essencialment individuals perla naturalesa dels coneixements: reflexius, analítics,crítics i, sovint, fins i tot creatius.

La recerca —i eventualment la transferència—feta en publicacions no homologades internacio-nalment, sobretot si és vinculada a aspectes terri-torials o a singularitats culturals determinades, me-reix una ponderació del seu contingut que puguiarribar a la màxima puntuació.

Les persones responsables de l’avaluació ne-cessiten tenir un grau elevat de coneixement intrín-sec o especialista de les matèries que avaluen, per-què se n’espera que valorin qualitats, més quecomptin quantitats, dels treballs presentats a ava-luació.

La necessitat d’entrar en una certa lògica demercat, a la qual hem fet referència, no obliga asotmetre la valoració del coneixement produït —nitan sols el que té relació més directa amb els movi-ments del mercat— a criteris mercantils ni a proce-diments de mesura mecanicista. Una cosa és de-fensar i practicar la transferència de coneixementsdel món investigador al món productiu i una altrade ben diferent és donar el màxim valor a aquestaacció de transferència que, en rigor, és una simplederivada de la recerca bàsica o no orientada, fona-

la necessitat d’entrar en una certa lògica de mercat no obliga a sotmetre lavaloració del coneixement produït a criteris mercantils ni a procediments de mesuramecanicista

29

L’AVALUACIÓ


ISOCIAL

cal deixar ben clar que no tésentit la uniformitat avaluadora siel valor epistemològic de fonss’expressa funcionalment enmetodologies molt diverses,objectius distants, pràctiquesinvestigadores heterogènies icanals i formes de difusiócompletament diferents

causalista en el món de la ciència natural, s’ex-pressa clarament l’obertura i la diversitat dels seusconeixements, atès que precisament el determi-nisme causalista actuava com a dogma homoge-neïtzador de tot aquell àmbit; no hi ha dubte queavui entre la nanotecnologia, la microbiologia i l’as-trofísica, per esmentar tres àmbits de recerca queestan progressant enormement, s’han “alliberat”formes de coneixement cada cop més irreductiblesles unes a les altres. El mateix passa amb la des-trucció dels cànons de l’humanisme i la fragmen-tació de les ciències socials: és un cant a la plurali-tat, la diversitat i la diferència.

En aquest context, és natural l’establiment deprocediments avaluadors que respectin no tan solsla gran diferència entre àmbits cientificonaturals ihumanisticosocials, sinó les grans diferències dinsde cadascun d’aquests àmbits.

Després de remarcar que no té sentit la distincióradical epistemològica entre les “dues cultures” —tot és ciència si hi ha mètode i esperit crític—, caldeixar ben clar que —justament en honor de l’es-perit metòdic i crític, que evita sobretot la confu-sió— no té sentit la uniformitat avaluadora si, comhem estat observant, el valor epistemològic de fonss’expressa funcionalment en metodologies molt di-verses, objectius distants, pràctiques investigado-res heterogènies i canals i formes de difusió com-pletament diferents. Un cop més en la vida humanael repte és engrescador: arribar a gaudir de la unitatde fons per camins diversos en els procediments.//

sebastiÁn roDrÍguez,Àngels saHuquillo,

esteve arboiX,i magDa staniewicz

resultats Del’estuDi sobre elperFil De mÈrits

per a l’acreDitacióDel proFessorat

lector i agregat enles Àrees

D’Humanitats iciÈncies socials

33

RESULTA

TSDEL’E

STUDISOBREELPERFIL

DEMÈRITSPER

AL’A

CREDITA

CIÓ

DELPROFESSORATLECTORIAGREGATENLESÀREES

D’HUMANITA

TSICIÈNCIESSOCIALS

Aquest article presenta el plantejament i els resultats preliminarsde l’estudi que AQU Catalunya realitza sobre el perfil de mèrits per al’acreditació del professorat lector i agregat en les àrees d’Humanitatsi Ciències Socials, que es van presentar en el Taller “L’avaluació de larecerca en Humanitats i Ciències Socials” que va tenir lloc els dies 28i 29 de gener de 2010 a la Universitat de Barcelona.

La publicació completa dels resultats es durà a terme els propersmesos, un cop finalitzada l’anàlisi de tots els àmbits estudiats. Tan-mateix, s’ha considerat oportú incloure aquest treball a la publicacióresultant del Taller, per tal de descriure les característiques i els objectiusde l’estudi, la metodologia emprada i alguns resultats preliminars.

PRESENTACIÓ

sebastiÁn roDrÍguez, Àngels saHuquillo, esteve arboiXi magDa staniewicz

resultats De l’estuDisobre el perFil DemÈrits per al’acreDitació DelproFessorat lector iagregat en les ÀreesD’Humanitats iciÈncies socials

1

34


1.1. CARACTERÍSTIQUES I OBJECTIUDE L’ESTUDI

L’estudi entronca amb la necessitat de podervalorar adequadament la recerca en els àmbits deCiències Socials i Humanitats. A diferència del patróde recerca habitual en les disciplines científiques,en aquestes disciplines es posa de manifest:

n La diversitat de tradicions de recerca que hiconviuen, com per exemple Economia, Educa-ció i altres disciplines emergents com ara TreballSocial, Didàctica de l’Expressió Musical i Tu-risme.

n La necessitat de poder mesurar la qualitat entreles diferents disciplines de manera eficient(temps i diners) amb l’impacte més petit possi-ble en el mateix procés de recerca.

n El diferent rol entre articles, llibres i capítols dellibre com a mitjans de difusió de la recerca.

n L’increment de l’ús de publicacions electròni-ques (augment de bases de dades i repositoris)i la utilització que les generacions més jovesd’investigadors fan de l’accés obert a la infor-mació científica.

n Preocupació per l’impacte que l’avaluació dela recerca té en el comportament dels joves in-vestigadors i les estratègies que segueixen.

D’altra banda, des de la posada en marxa delsprocessos d’acreditació l’any 2003, AQU Catalu-nya disposa de gairebé 5.000 curriculum vitae (CV)que contenen una informació molt valuosa pel quefa a les fonts i els tipus de publicacions de recerca.Aquesta informació ha de permetre aportar conei-xement per tal de reforçar els referents d’avaluacióemprats en els processos d’avaluació del profes-sorat.

L’objectiu de l’estudi és, doncs, elaborar elsperfils empírics de la recerca i les publicacions deles persones que han demanat l’acreditació a AQUCatalunya (lectors i agregats) en les àrees de Cièn-cies Socials i Humanitats, a partir de l’anàlisi de lainformació continguda en els CV.

Aquest treball empíric té l’objectiu d’aportar in-formació sobre el perfil mitjà de mèrits necessarisper assolir l’acreditació de les persones sol·licitantsen el context català, per figures i camps. Les figuresque s’han analitzat són les figures de professor lec-tor i agregat, ja que són les figures centrals de lavia contractual i on es concentren la majoria desol·licituds d’acreditació. Tal com es mostra a lataula 1, s’han classificat les sol·licituds en deucamps, d’acord amb el criteri que AQU Catalunyasegueix per classificar els CV dels sol·licitants.

l’objectiu de l’estudi és, doncs,elaborar els perfils empírics dela recerca i les publicacions deles persones que han demanatl’acreditació a aqu catalunya

(lectors i agregats) en les àreesde ciències socials i Humanitats,

a partir de l’anàlisi de lainformació continguda en els cv

35

RESULTA

TSDEL’E

STUDISOBREELPERFIL

DEMÈRITSPER

AL’A

CREDITA

CIÓ


D’HUMANITA

TSICIÈNCIESSOCIALS

1.2. FASES DE L’ESTUDI

L’estudi s’ha plantejat en les fases que es des-criuen a continuació. Actualment estan en curs lesfases 1 i 2, mentre que la fase 3 portarà a l’anàlisifinal de dades per a l’elaboració dels perfils empíricsdels candidats.

Fase 1: Obtenció de dades de les diversesdimensions curriculars

En aquesta fase del projecte s’han identificatles dimensions curriculars a analitzar i la grandàriade la mostra a estudiar per tal d’assegurar-ne la re-presentativitat. Per a l’obtenció de les dades expe-rimentals, s’ha desenvolupat una base de dadeson s’ha carregat tota la informació rellevant contin-guda als CV. En aquesta fase s’ha extret la infor-mació d’un total de 1.541 currículums.

Fase 2: Identificació de la tipologia de lesfonts

L’anàlisi preliminar de les dades experimentalsextretes en els primers àmbits estudiats va posarde manifest la necessitat d’abordar una anàlisi de-tallada de les aportacions per establir la tipologiade les fonts, tant pel que fa a les publicacions cien-tífiques d’articles i reviews i a les editorials dels lli-bres i capítols de llibre com pel que fa a les entitatsfinançadores de projectes de recerca i contractesde transferència de tecnologia.

Per a l’estudi de la tipologia de les revistes cien-tífiques, s’han elaborat llistes generals (vegeu l’a-partat 2.2.1) de títols de revistes per a cada àmbit,a partir de la informació que apareix als índexs bi-bliomètrics més habituals com ara ISI, CARHUS+,ERIH, IN-RECS, RESH i MIAR.1 Per identificar el ti-pus d’editorials i entitats finançadores de projectes,s’han establert classificacions partint tant de criterisgeogràfics (català, nacional, internacional) com definançament públic i privat.

La classificació de la tipologia de les fonts estàpermetent l’elaboració d’un mapa empíric del tipusde revistes, editorials i projectes de recerca en elcontext català, per figures i camps. La seva anàlisidetallada permetrà determinar si hi ha un patró es-pecífic dels tipus d’outputs de la recerca a CiènciesSocials i Humanitats.

ciències socials Humanitats

ciències polítiques i sociologia Filologia comunicació i Documentació Història i art Dret geografia economia i empresa Filosofia educació psicologia

TAULA 1. CLASSIFICACIÓ DE CAMPS

1 • Thomson Reuters. ISI Web ofKnowledge [en línia]. Disponible a:<http://isiwebofknowledge.com>(consulta: 14 de gener de 2010).

• European Science Foundation.European Reference Index forthe Humanities (ERIH) [en línia].Disponible a: <http://www.esf.org>(consulta: 14 de gener de 2010).

(continua a la pàgina següent)

36


• Universidad de Granada. Índice deImpacto: Revistas Españolas deCiencias Sociales (INRECS) [enlínia]. Disponible a:<http://ec3.ugr.es/in-recs/>(consulta: 14 de gener de 2010).

• Consejo Superior deInvestigaciones Científicas.Revistas Españolas de CienciasSociales y Humanas (RESH) [enlínia]. Disponible a:<http://resh.cindoc.csic.es/>(consulta: 14 de gener de 2010).

• Agència de Gestió d’AjutsUniversitaris i de Recerca.CARHUS Plus+ [en línia].Disponible a:<http://www10.gencat.net/agaur_web/AppJava/catala/a_info.jsp?contingut=carhus> (consulta: 14 degener de 2010).

• Universitat de Barcelona. Matriud’Informació per a l’Avaluació deRevistes (MIAR) [en línia].Disponible a: <http://miar.ub.es/>(consulta: 14 de gener de 2010).

(ve de la pàgina anterior)

Fase 3: Elaboració de perfils de mèrits pera professors lectors i agregats

La fase final del projecte permetrà avaluar laqualitat de les fonts (articles, llibres i projectes derecerca) i elaborar els perfils mitjans de mèrits ne-cessaris per assolir l’acreditació com a professorlector i agregat.

Així, per a l’avaluació de la qualitat de les revis-tes, s’ha adreçat una primera enquesta a tots elsavaluadors i exavaluadors de les comissions d’a-valuació de professorat d’AQU Catalunya d’Huma-nitats i Ciències Socials, en què se’ls ha demanatque valorin els diversos indicadors de qualitat deles diferents llistes bibliomètriques, per a cadascundels camps en què AQU Catalunya classifica elsCV. Es demana als avaluadors que valorin en trescategories (A/B/C) els diferents tipus de classifica-ció dels índexs bibliomètrics (posició en quartils,classificació A o valor d’un índex). És importantdestacar que els avaluadors no valoren els títolsde les revistes.

La fase final del projecte ha de permetre, d’unabanda, que aflorin els referents de qualitat ques’han considerat a l’hora de valorar els CV i, de l’al-tra, elaborar els perfils empírics de les personessol·licitants avaluades tant favorablement com des-favorablement.

37

RESULTA

TSDEL’E

STUDISOBREELPERFIL

DEMÈRITSPER

AL’A

CREDITA

CIÓ


D’HUMANITA

TSICIÈNCIESSOCIALS

1.3.IMPACTE ESPERAT

Els resultats d’aquest estudi tindran un impactesobre diferents agents. D’una banda, els avalua-dors disposaran d’un coneixement més gran delcontext de l’avaluació per a cada figura i per a cadacamp, com per exemple quines són les fonts prin-cipals de publicació, en quines llistes bibliomètri-ques estan ubicades o el nombre mitjà d’articlesque presenten les persones sol·licitants. Les llistesgenerals de títols de revistes elaborades són tambéuna eina de treball útil per conèixer la qualitat i la ti-pologia de les fonts.

Així mateix, l’estudi ha de permetre disposarde més evidències per poder construir referentscomuns i compartits, de la mateixa manera ques’ha aconseguit en altres àmbits científics, i establirel nombre mínim i la tipologia de treballs que calaportar per superar l’avaluació.

En el cas de les persones avaluades, l’estudipot contribuir a disposar de referents més clarsrespecte dels treballs que cal aportar per superarl’avaluació.

En el cas de les agències i els organismes d’a-valuació, l’existència de referents comuns i com-partits permet avançar en l’establiment de meca-nismes de reconeixement mutu.

Finalment, aquest treball pot contribuir a teniruna millor informació sobre les principals fonts depublicació de llibres i d’altres treballs de recerca.AQU Catalunya no té previst elaborar una llista declassificació de les editorials, però sí que pot iden-tificar quines són les que concentren la majoria detreballs de qualitat. //

la classificació de la tipologiade les fonts està permetentl’elaboració d’un mapa empíricdel tipus de revistes, editorialsi projectes de recerca en elcontext català, per figures icamps. la seva anàlisidetallada permetrà determinarsi hi ha un patró específic delstipus d’outputs de la recerca aciències socials i Humanitats

38


2.1.OBTENCIÓ DE DADES DE LES DIVERSES DIMENSIONSCURRICULARS

En primer lloc, es va identificar la població i la mostrasusceptibles de ser estudiades, considerant les figures de pro-fessor lector i de professor agregat per a cadascun dels deu campsesmentats. Per tal que els resultats fossin representatius, es vantenir en consideració els CV del total de la població en el cas delsagregats i una mostra representativa dels de la població de lectors(amb una confiança del 95%), mentre que es van eliminar en tots elscasos els CV de candidats repetits. La població d’estudi i la mostraanalitzada s’exposen a les taules 2 i 3, respectivament. Tal com espot observar, s’han buidat les dades de més de 1.500 CV (977 delector i 564 d’agregat).

Establerta la mostra de treball, es va procedir a identificar lesdimensions curriculars de les quals s’havia d’extreure la infor-mació de cada expedient, i que són les que s’assenyalen a conti-nuació:

n Projectes de recerca: nombre total de projectes de recerca, ambindicació del nombre de projectes on era investigador principalo participant, l’entitat finançadora i la seva freqüència.

n Contractes de recerca i transferència: nombre total de contractesde recerca, amb indicació dels que corresponen a investigadorprincipal o participant, l’entitat finançadora i la seva freqüència.

n Publicacions: nombre total d’articles i reviews, tot diferenciantles publicacions en què el sol·licitant era autor únic.

n Llibres i capítols de llibre: nombre total, amb indicació dels quecorresponen a autor únic, les editorials on s’han publicat i la sevafreqüència.

n Altres publicacions: nombre de publicacions en revistes no inde-xades, informes, dictàmens, working papers, ressenyes, traduc-cions, monografies, etc.

METODOLOGIA2

39

RESULTA

TSDEL’E

STUDISOBREELPERFIL

DEMÈRITSPER

AL’A

CREDITA

CIÓ


D’HUMANITA

TSICIÈNCIESSOCIALS

n Congressos: nombre de congressos amb po-nències i les publicacions resultants.

n Estades de recerca: nombre de mesos i la sevanaturalesa (doctorals o postdoctorals).

n Direcció d’activitat investigadora: treballs fi decarrera, tesines, màsters, tesis doctorals.

com a eina de treball per recollir la informació del buidatge dels cv, es va dissenyari assajar una plantilla de buidatge dels cv que va permetre construir la base dedades final amb la informació més rellevant de cada individu

Com a eina de treball per recollir la informaciódel buidatge dels CV, es va dissenyar i assajar unaplantilla de buidatge dels CV que va permetreconstruir la base de dades final amb la in-formació més rellevant de cada individu. L’as-saig a petita escala d’aquesta plantilla va permetre,d’una banda, la validació de les dimensions curri-culars identificades per a tots els camps i, de l’altra,establir els criteris de buidatge dels CV per asse-gurar l’homogeneïtat del procés en el temps, con-siderant i/o rebutjant el mateix tipus d’informacióen tots els camps estudiats.

D’aquesta etapa del projecte cal destacar la di-ficultat que ha representat el fet que el CV sigui undocument relativament obert, de manera que la in-formació continguda no sempre respon a les ins-truccions establertes i, a més, no se subministrade manera completa. Així, per exemple, no sempreés possible distingir els projectes competitius delsno competitius, que en molts CV apareixen barre-jats, i en molts casos hi ha revistes no indexades al’apartat de les publicacions indexades. Això va fer

necessari l’adopció de criteris interns de classifi-cació, per tal que l’extracció de la informació fosun procés com més consistent millor. Sovint, lespersones sol·licitants no inclouen el nombre de pà-gines de les seves contribucions, l’ISBN, etc. Enaquest sentit, des d’AQU Catalunya es planteja lapossibilitat que els CV que els sol·licitants presentensiguin els mateixos de què les universitats disposenen els seus aplicatius institucionals. Per poder arri-bar a aquest estadi, s’ha iniciat un projecte de col·la-boració amb les universitats.

L’anàlisi de la informació obtinguda du-rant el buidatge dels CV va posar de manifestque no hi havia diferències significatives, en nom-bres absoluts, entre el volum d’aportacions d’ex-pedients avaluats favorablement i desfavorable-ment. Així doncs, va ser necessari abordar unaanàlisi més detallada de les aportacions per tal depoder determinar-ne la qualitat i la tipologia, comper exemple publicacions en revistes indexadesen alguna base de dades internacional o articlespublicats en revistes sense indexar.

40


lectors agregats

Àmbit Fav. DesF. total Fav. DesF. total total per àmbit

comunicació i Documentació 37 28 65 8 15 23 88ciència política i sociologia 30 39 69 10 15 25 94Dret 69 28 97 33 21 54 151economia i empresa 66 65 131 46 38 84 215educació 64 55 119 15 18 33 152psicologia 60 47 107 18 25 43 150Filologia 126 45 171 77 49 126 297Història i art 135 32 162 88 45 133 295Filosofia 8 2 10 8 17 25 35geografia 39 7 46 9 9 18 64

total 634 348 977 312 252 564 1.541

TAULA 3. MOSTRA ANALITZADA

lectors agregats

Àmbit Fav. DesF. total Fav. DesF. total total per àmbit

comunicació i Documentació 37 28 65 8 18 26 91ciència política i sociologia 30 39 69 10 15 25 94Dret 82 30 112 33 22 55 167economia i empresa 83 79 162 47 38 85 247educació 74 68 142 15 19 34 176psicologia 80 47 127 18 25 43 170Filologia 186 51 237 84 53 137 374Història i art 195 34 229 90 46 136 365Filosofia 8 2 10 8 22 30 40geografia 40 9 49 9 9 18 67

total 815 387 1.202 322 267 589 1.791

TAULA 2. POBLACIÓ SUSCEPTIBLE DE SER ANALITZADA

41

RESULTA

TSDEL’E

STUDISOBREELPERFIL

DEMÈRITSPER

AL’A

CREDITA

CIÓ


D’HUMANITA

TSICIÈNCIESSOCIALS

l’anàlisi de la tipologia deles fonts s’ha dut a

terme amb la construccióde les anomenades llistesgenerals, que, per a cadacamp estudiat, contenen

tots els títols de lesrevistes incloses en

diferents índexsbibliomètrics

2.2.IDENTIFICACIÓ DE LA TIPOLOGIADE LES FONTS

2.2.1. Publicacions en revistes científiques

En aquest cas, l’anàlisi de la tipologia de lesfonts s’ha dut a terme amb la construcció de lesanomenades llistes generals, que, per a cada campestudiat, contenen tots els títols de les revistes in-closes en diferents índexs bibliomètrics.

El procés que s’ha seguit per a l’elaboració deles llistes ha estat el següent:

n Determinar els índexs bibliomètrics (bé d’im-pacte, com ara ISI, IN-RECS, RESH o ERIH, obé de difusió, com MIAR) a considerar i els àm-bits o àrees de cadascun associats a cadacamp en què AQU Catalunya classifica els CV.

n Fusionar, en una única llista alfabètica i senserepeticions, els títols de les revistes considera-des i la seva categorització a cada àmbit i índexconsiderat. Així, per a cada títol la llista generalpermet conèixer els seus indicis de qualitat,com per exemple quin quartil ocupa a l’ISI, IN-RECS i/o RESH, la seva classificació al CAR-HUS+ i ERIH, i quin és el seu valor de l’índexcompost de difusió secundària (ICDS) del MIAR.

Cal destacar que aquestes llistes generals, ambun nombre total de títols que oscil·la entre 1.145 i5.780 segons els camps, són una bona eina queAQU Catalunya pot posar a la disposició dels ava-luadors.

Per poder conèixer en quins àmbits s’ubiquenles revistes en què estan publicant les personessol·licitants, s’han comparat les llistes experimentalsde la mostra (agrupant les revistes de lectors i agre-gats) amb les llistes generals del seu camp. Les re-vistes no ubicades en el camp corresponent s’hancomparat amb les llistes generals d’altres campsd’AQU Catalunya afins, en funció dels títols de lesrevistes que quedaven sense classificar, i així suc-cessivament. Després d’aquest procés, les revistessense classificar o bé corresponen a títols que noestan inclosos en les llistes generals dels campscomparats (no apareixen a l’ISI, ERIH, CARHUS+,IN-RECS, RESH, MIAR), o bé pertanyen a altresàmbits, o bé són revistes que els sol·licitants hanubicat incorrectament a la secció “articles en revis-tes amb avaluació externa” en comptes de l’apartat“altres publicacions”. A la secció de resultats esmostra com a exemple l’anàlisi de la tipologia deles revistes científiques per al camp de Psicologia.

42


2.2.2. Editorials

Pel que fa a la tipologia d’editorials de llibres icapítols de llibre, s’ha dut a terme la classificaciósegüent:

n Editorials internacionals: s’han dividit segonscriteris geogràfics en europees (països de laUnió Europea), llatinoamericanes, el grup formatper països anglosaxons (EUA, Canadà, Austrà-lia) i, finalment, altres. La categoria de les edito-rials internacionals inclou tant editorials d’insti-tucions públiques com privades. No s’inclouenen aquest apartat les editorials universitàries in-ternacionals, ja que es va optar per fer una ca-tegoria específica d’editorials universitàries.

n Editorials estatals: s’han tractat separadamentles públiques i les privades. Entre les públiqueshi ha tant les editorials de les institucions esta-tals (i. e. Ministeri) com de les comunitats autò-nomes (sense incloure Catalunya). Igual que enel cas anterior, les editorials universitàries s’hanclassificat a part. El criteri que s’ha seguit perdeterminar si una editorial és estatal o catalana,quan no hi havia la informació al CV, ha estat laubicació de la seu editorial.

n Editorials catalanes: anàlogament, s’ha diferen-ciat entre públiques i privades.

n Editorials universitàries: tant públiques com pri-vades i d’acord amb les subcategories segü-ents: internacionals, estatals i catalanes.

n Finalment, el grup d’editorials “sense classificar”correspon a editorials que no s’han pogut clas-sificar, bé per manca d’informació per part delssol·licitants o perquè amb el mateix nom hi hadues editorials diferents o més.

2.2.3. Projectes i contractes de recerca

Per al cas dels projectes i contractes de recerca,s’ha analitzat el tipus d’entitats finançadores. Així,s’han combinat dos criteris de classificació: en pri-mer lloc, si els projectes de recerca eren finançatsper entitats públiques o privades i, en segon lloc,d’acord amb un criteri geogràfic, si l’entitat finan-çadora és catalana, estatal o internacional. //

per al cas dels projectes icontractes de recerca, s’haanalitzat el tipus d’entitatsfinançadores. així, s’han combinatdos criteris de classificació: enprimer lloc, si els projectes derecerca eren finançats per entitatspúbliques o privades i, en segonlloc, d’acord amb un criterigeogràfic, si l’entitat finançadoraés catalana, estatal ointernacional

43

RESULTA

TSDEL’E

STUDISOBREELPERFIL

DEMÈRITSPER

AL ’A

CREDITA

CIÓ


D’HUMANITA

TSICIÈNCIESSOCIALS

En aquest apartat es presenten, a tall d’exemple, alguns resultatspreliminars que s’han obtingut. Preval una aproximació descriptiva,atès que en el moment d’escriure aquest article encara no es disposade l’anàlisi dels resultats de l’enquesta als avaluadors.

Es presenten resultats en quatre grans àrees: una descripció delpatró dels outputs de la recerca en alguns dels àmbits estudiats, l’a-nàlisi del tipus de publicacions en revistes científiques en l’àmbit dePsicologia, la tipologia d’editorials de llibres i capítols de llibre enl’àmbit de Filologia, i l’anàlisi del tipus de projectes de recerca enl’àmbit d’Educació.

3.1. PATRÓ DELS OUTPUTS DE PUBLICACIONSDE LA RECERCA

La figura 1 mostra la distribució en percentatge dels outputs dela recerca en els àmbits de Psicologia, Educació i Filologia pel quefa referència a publicacions (articles científics, llibres i capítols dellibre, informes i dictàmens, altres publicacions, publicacions a con-gressos). Per a cadascun dels àmbits s’indiquen les distribucionsobtingudes per professors lectors i agregats avaluats favorablementi desfavorablement de manera separada.

Mentre que en l’àmbit de Psicologia els articles representen el50% dels outputs per als professors avaluats positivament i el 30-40% per als professors avaluats negativament, en el cas de Filologiael percentatge és inferior al 40% en tots dos casos, i en Educació ésinferior al 25%. En aquest últim àmbit el total de publicacions en lli-bres, capítols de llibre i altres publicacions, on s’inclouen workingpapers, articles no indexats, monografies, ressenyes i traduccions,oscil·la entre el 44 i el 62% del total dels outputs de la recerca. Aques-tes aportacions representen entre el 42 i el 54% en l’àmbit de Filologiai entre el 27 i el 53% en l’àmbit de Psicologia.

RESULTATS3

44


Aquestes dades posen de manifest la diversitatexistent entre les disciplines, ja que, si bé els arti-cles en revistes científiques són el principal mitjàde difusió de la recerca en els àmbits científics, enel camp de les Ciències Socials i les Humanitatscal considerar també els llibres, capítols de llibre ialtres publicacions.

3.2. TIPOLOGIA DE LES PUBLICACIONSD’ARTICLES A PSICOLOGIA

A la figura 2 es presenta una descripció quanti-tativa pel que fa al volum de publicacions dels pro-fessors lectors i dels agregats (favorables i desfa-vorables) en el camp de la Psicologia. Tal com esmostra a la taula superior de la figura, s’han analitzat150 CV, on s’han identificat 584 revistes diferentsamb un total de 1.588 articles i reviews publicats.

Els dos gràfics indiquen, per a agregats i lectors,els valors mitjans del total d’articles i reviews iquants corresponen a publicacions d’autors únics.Les barres de color verd corresponen a avaluacionsfavorables i les de color morat a avaluacions des-favorables.

Tant per al cas dels agregats com dels lectors,es pot observar que no hi ha diferències significati-ves entre els expedients favorables i desfavorablespel que fa al nombre d’articles i reviews com a autorúnic.

Filologia

educació

psicologia

lectors desfavorables

lectors favorables

agregats desfavorables

agregats favorables


lectors favorables


agregats favorables


lectors favorables


agregats favorables

nre. articles + reviews nre. llibres nre. capítols llibre nre. informes + dictàmens nre. altres publ. nre. publ. congressos

FIGURA 1. OUTPUTS DE PUBLICACIONS DE LA RECERCA

0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%

45

RESULTA

TSDEL’E

STUDISOBREELPERFIL

DEMÈRITSPER

AL’A

CREDITA

CIÓ


D’HUMANITA

TSICIÈNCIESSOCIALS

mostra psicologia agregats lectors mostra global

nre. cv total 43 107 150nre. revistes 397 367 584*nre. articles (a+r) 803 785 1588

agregats (mitjanes) lectors (mitjanes)

FIGURA 2. MITJANES DE PUBLICACIONS EN REVISTES A LA MOSTRA DE PSICOLOGIA

* sense repeticions

nota: a: articles; r: reviews

0 5 10 15 20 25

nre. r autor únic

nre. r total

nre. a autor únic

nre. a total

nre. total (a+r)

Favorables: nre. total (a+r): 6 - 59Desfavorables: nre. total (a+r): 6 - 35

Favorables: nre. total (a+r): 1 - 35Desfavorables: nre. total (a+r): 0 - 23

0 2 4 6 8 10

nre. r autor únic

nre. r total

nre. a autor únic

nre. a total

nre. total (a+r)

00

0,130,03

0,40,5

1,41

49

95

01

55

1620

1721

Desfavorables Favorables

Pel que fa al nombre total d’articles i reviews, lamitjana per als agregats és de 17 en els expedientsdesfavorables i de 21 en els favorables. La part in-ferior dels gràfics mostra el rang d’aportacions (va-lors mínims i màxims), que per al cas dels favorablesoscil·la entre 6 i 59 i per al cas dels desfavorablesentre 6 i 35. Així doncs, en algun cas 6 aportacionshan comportat una avaluació favorable i 35 apor-tacions han comportat una avaluació desfavorable.El mateix comportament es pot observar en el casde la mostra de lectors, tot i que, com s’esperava,el nombre mitjà d’aportacions és inferior. El que esdesprèn d’aquesta anàlisi és que, si bé amb un vo-lum més gran de publicacions hi ha més possibili-tats de superar l’avaluació, la quantitat de mèritsno és una qüestió determinant i cal analitzar-ne la

qualitat; per tant, és imprescindible conèixer la ti-pologia de les fonts de publicació.

La comparació de la llista experimental de lesrevistes de la mostra de Psicologia amb les dife-rents llistes generals elaborades per als camps es-tudiats (vegeu l’apartat de metodologia) ha permèsobtenir la distribució percentual de la ubicació derevistes i articles que es mostra a la figura 3. El 34%de les revistes pertanyen al camp de Psicologia, el12% al camp d’Educació i el 7% a l’àmbit de Medi-cina de l’ISI. Per al cas de Psicologia també es vaelaborar una llista amb les 1.090 revistes de lesàrees de Medicina incloses a l’ISI. Pel que fa als ar-ticles, el 46% estan publicats en revistes del campde la Psicologia, el 12% en revistes d’Educació i el

46


7% en revistes de Medicina. Les revistes ubicadesen el camp de Ciències Polítiques i Sociologia cor-responen només al 4% del total de publicacions.Es pot observar també que el 40% de les revistes(el 25% dels articles) no s’han pogut classificar.Aquest grup de publicacions abraça tant revistesno incloses en els índexs bibliomètrics consideratscom revistes ubicades incorrectament a l’apartatde publicacions rellevants per part de les personessol·licitants.

FIGURA 3. PSICOLOGIA: UBICACIÓ DE REVISTES I ARTICLES EN ELS CAMPS ESTUDIATS

12%

4%7%3%

40%34%

50%

13%

5%

7%

1%

24%

ubicació revistes (mostra: 584 revistes) ubicació articles (mostra: 1.588 articles)

psicologia educació ciències polítiques i sociologia medicina altres publicacions sense classificar

S’han analitzat també les freqüències de publi-cació de cadascun dels títols de revistes; i la distri-bució obtinguda per les revistes ubicades en elscamps de Psicologia, Educació, Medicina i Cièn-cies Polítiques i Sociologia es mostra a la figura 4.Per a les revistes ubicades en el camp de Psicolo-gia, s’observa que la majoria de títols (55,8%) re-cullen tan sols un o dos articles, mentre que les re-vistes que presenten freqüències superiors a 11articles són només el 8,5%. En aquest últim grup

es troben, per exemple, les revistes Psicothema,Anuario de Psicología i Revista de Psiquiatria de laFacultat de Medicina de Barcelona.

Una situació similar s’observa en les revistesubicades en el camp d’Educació (66 revistes), Me-dicina (42 revistes) i Ciències Polítiques i Sociologia(25 revistes). En aquests casos, el nombre de re-vistes amb freqüències de publicació d’un o dosarticles constitueix el 69,7%, el 78,6% i el 48%, res-

47

RESULTA

TSDEL’E

STUDISOBREELPERFIL

DEMÈRITSPER

AL’A

CREDITA

CIÓ


D’HUMANITA

TSICIÈNCIESSOCIALSFIGURA 4. FREQÜÈNCIA DE PUBLICACIONS DE LES REVISTES DEL CAMP DE PSICOLOGIA

18,6%

15,1%

9,1%

11,6%

8,5%

37,2%

43,9%

25,8%

9,1%

7,6%

7,6%6,1%

llista psicologia (199 revistes) llista educació (66 revistes)

Freqüència 1 Freqüència 2 Freqüència 3 Freqüència 4 Freqüència 5 - 10 més 11

pectivament. D’altra banda, només el 6,1% de lesrevistes ubicades en el camp d’Educació presentenfreqüències superiors a 11. Entre les revistes d’a-quest grup es troben Cuadernos de Pedagogía,Aula de Innovación Educativa, Guix Elements d’Ac-ció Educativa i Revista de Educación (Madrid).

Globalment, aquesta anàlisi dóna una idea delgrau d’atomització de les revistes on publiquen elssol·licitants del camp de Psicologia. En finalitzarl’estudi es podrà veure si aquest patró també éssimilar en els altres camps. A més, l’anàlisi del re-sultat de l’enquesta als avaluadors sobre la qualitatde les fonts permetrà obtenir el perfil final del pro-fessorat del camp.

28,6%

9,5%

2,4%7,1% 2,4%

50,0%36,0%

12,0%16,0%

12,0%

24,0%

llista medicina (42 revistes) llista ciències polítiques i sociologia (25 revistes)

48


3.3. ANÀLISI DEL TIPUS D’EDITORIALSEN EL CAMP DE FILOLOGIA

De la mostra de CV d’aquest àmbit (297 CV)s’han identificat 2.082 llibres i capítols de llibre pu-blicats. En primer lloc, d’acord amb els criteris declassificació esmentats a l’apartat de metodologia,i tal com es mostra a la figura 5, el tipus d’editorialon es troben més publicacions dels sol·licitants enl’àmbit de Filologia són editorials privades catala-

nes, que engloben el 31% de tots els llibres i capítolsde llibre. És també significatiu que un de cada qua-tre llibres o capítols s’ha editat en una universitatcatalana o estatal (sobretot a les primeres). Aixídoncs, tenint en compte la distribució geogràficade les editorials, les dades mostren que el 55%correspon a editorials catalanes (tant públiquescom privades), el 21% a editorials estatals públiqueso privades i, finalment, el 17% a editorials interna-cionals públiques o privades. El 7% d’editorials nos’han pogut classificar, sovint per manca d’infor-mació als expedients de la mostra.

Una anàlisi de les freqüències de publicacionsindica que tres universitats barcelonines (UAB, UBi UPF) són les que més llibres i capítols de llibre haneditat, seguides per editorials catalanes privades,com per exemple Publicacions de l’Abadia de Mont-serrat, Proa i Salvat Editores. Dins del grup de leseditorials internacionals, el 80% el constitueixen leseditorials de països de la Unió Europea, i John Ben-jamins és l’editorial internacional més freqüent enles publicacions dels sol·licitants de Filologia.

FIGURA 5. TIPOLOGIA D’EDITORIALS DE LLIBRES I CAPÍTOLS DE LLIBRE EN EL CAMP DE FILOLOGIA

14%

11%

3%

6%

31%

3%

6%

19%

7%

ed. internacionals públiques i privades ed. estatals privades ed. estatals públiques ed. catalanes públiques ed. catalanes privades

ed. universitàries internacionals ed. universitàries nacionals ed. universitàries catalanes Dubtoses i sense classificar

mostra estudiada agregats lectors

nre. cv total 126 171nre. llibres 514 295nre. capítols 727 546

49

RESULTA

TSDEL’E

STUDISOBREELPERFIL

DEMÈRITSPER

AL’A

CREDITA

CIÓ


D’HUMANITA

TSICIÈNCIESSOCIALS

3.4. ANÀLISI DEL TIPUS DE PROJECTES DERECERCA EN EL CAMP D’EDUCACIÓ

D’acord amb les dades analitzades que es mos-tren a la figura 6, gairebé tots els projectes de re-cerca en l’àmbit d’Educació han estat finançatsper institucions públiques, la majoria institucionspúbliques catalanes (59%), seguides per les esta-tals (20%) i les internacionals (15%).

Dins de l’àmbit internacional, el 60% dels pro-jectes han estat finançats per la Unió Europea, quetambé a escala global es troba entre les institucionsque més projectes han finançat. Altres entitats adestacar serien el Ministeri d’Educació i Ciència,l’Institut Nacional d’Educació Física de Catalunya il’AGAUR. //

FIGURA 6. TIPUS D’ENTITATS FINANÇADORES DE PROJECTES DE RECERCA EN EL CAMP D’EDUCACIÓ

15%

20%

59%

4% 1% 1%

Àmbit públic internacional Àmbit públic estatal Àmbit públic català Àmbit privat català Àmbit privat internacional i estatal Dubtoses i sense classificar

mostra estudiada agregats lectors

nre. cv total 33 171nre. projectes de recerca 370 910

50


Cal dir que les conclusions que es presenten a continuació sónde caràcter general. Les conclusions específiques per a cada camps’elaboraran al final del projecte, quan s’hagin analitzat tots els campsde les Ciències Socials i les Humanitats. Com a conclusions generalsdestaquen els punts següents:

n Necessitat de reflexionar sobre criteris i estàndards per poderdisposar d’un marc de referència més explícit

Un marc de referència més explícit, fruit d’un consens més amplien els criteris d’avaluació, permetrà a una persona sol·licitantd’informe de lector o d’acreditació de recerca saber amb menysgrau d’incertesa les seves possibilitats de superar l’avaluació, ipot donar més seguretat als processos d’avaluació de la quali-tat.

n Conveniència de desenvolupar una sistemàtica d’acumulacióempírica de dades que permeti l’ajust periòdic dels criteris

El fet de disposar d’informació actualitzada sobre el patró de re-cerca (per figures de professorat i camps) és una eina molt útilper anar ajustant els criteris d’avaluació, de manera que es puguinprendre decisions sobre la modificació dels criteris a partir dedades experimentals concretes, i que de forma gradual i raonableaugmenti el nivell d’exigència, si és el cas. En aquest sentit, sónmoltes les comissions d’avaluació de professorat d’AQU Cata-lunya que constaten el canvi i la millora en l’activitat de la recercade les persones sol·licitants, considerant la funció pedagògicaque els criteris d’avaluació han tingut en els set anys de funcio-nament del procés d’avaluació externa del professorat. //

CONCLUSIONS PRELIMINARS4

un marc de referènciamés explícit, fruit d’unconsens més ampli en elscriteris d’avaluació,permetrà a una personasol·licitant d’informe delector o d’acreditació derecerca saber amb menysgrau d’incertesa lesseves possibilitats desuperar l’avaluació, i potdonar més seguretat alsprocessos d’avaluació dela qualitat

aqu catalunya

conclusionsglobals

Del taller

53

CONCLUSIONSGLO

BALS

DELTALLE

R

L’XI edició dels Tallers de reflexió i debat d’AQU Catalunya ambles universitats catalanes es va dedicar a “L’avaluació de la recercaen Humanitats i Ciències Socials”. L’objectiu del Taller era crear unespai de reflexió general sobre la recerca, que permetés identificarpropostes de millora de l’avaluació, amb la voluntat de generar unconsens més ampli dins de la comunitat científica i acadèmica cata-lana.

Les més de 300 persones que van participar-hi es van organitzaren grups de treball (Grup 1: Filosofia, Història, Art, Antropologia i Geo-grafia; Grup 2: Filologia i Traducció i Interpretació; Grup 3: Educació;Grup 4: Economia i Empresa, Ciències Polítiques i Sociologia; Grup5: Psicologia; Grup 6: Dret; Grup 7: Biblioteconomia i Documentaciói Comunicació), cadascun dels quals va arribar a conclusions sobrecom millorar l’avaluació de la recerca en la seva àrea de coneixement.Aquestes conclusions es poden consultar al web d’AQU Catalunya(http://www.aqu.cat/activitats/tallers_jornades/taller_2010/conclu-sions.html).

Les aportacions més significatives i transversals, que han estatcompartides per la majoria de grups de treball, s’han recollit en aquestdocument final, que té la voluntat de ser el punt de partida per propo-

INTRODUCCIÓ

aqu catalunya

conclusionsglobals Del taller

1

54


sar els canvis necessaris pel que fa a l’enfocament,el model i l’operativa d’avaluació.

Les propostes plantejades van orientades, so-bretot, a un perfeccionament de l’avaluació. Peraixò és indispensable que les agències d’avaluació,d’àmbit català i espanyol, ens posem d’acord amillorar el model, ja que la coherència del sistema(que no uniformitat) és un requisit per al seu bonfuncionament. //

les conclusions sobre com millorar l’avaluació de la recerca en cada una de lesàrees de coneixement que van participar en el taller, es poden consultar al webd’aqu catalunya:

http://www.aqu.cat/activitats/tallers_jornades/taller_2010/conclusions.html

55

CONCLUSIONSGLO

BALS

DELTALLE

R

ALGUNS PRINCIPIS O CRITERIS PER A L’AVALUACIÓDE LA RECERCA HUMANÍSTICA I SOCIAL

Valorar i avaluar són sinònims de notable proximitat; i hauríem demirar, com a principi, que la valoració que ens sembla que mereix elconeixement humanístic i social no es vegi contradita frontalment perla seva submissió a una avaluació on les seves característiques nosolament no siguin ben ponderades, sinó que siguin fins i tot ignora-des. En cap cas no es tracta de resistir-se ni tan sols de posar endubte la conveniència de l’avaluació, el respecte a les exigències delservei públic al qual ens devem, la seva justícia i fins i tot necessitatsistèmica. Sí que es tracta, en canvi, de reflexionar i generar processosde diàleg i d’obtenció de procediments tan consensuats com siguipossible perquè l’avaluació no es degradi en un procés dogmàtic oideològic —que emmascari falsament la realitat— ni en un reduccio-nisme quantitativista que estigui en neta contradicció amb la natura-lesa dels coneixements avaluats.

Es poden apuntar principis o criteris mínims i genèrics que em-marquin d’una manera més concreta el debat sobre els procedimentsd’avaluació de la recerca d’aquests àmbits.

L’avaluació de la recerca humanística i social no és reductible aaltres respectables i respectades formes d’avaluació de recerca; laseva singularitat, fins i tot, ha de permetre una varietat interna nota-ble.

Els criteris de mesura quantitativa haurien de ser sempre subor-dinats a criteris qualitatius de peer review en els quals es pugui feruna valoració.

La valoració de les aportacions individuals ha de ser especialmentrellevant, atès que les pràctiques de recerca són essencialment indi-viduals per la naturalesa dels coneixements: reflexius, analítics, críticsi, sovint, fins i tot creatius.

EL MARC DE REFLEXIÓ12

1 Aquest apartat és una adaptació delfragment final de la intervenció del Dr.Joan Manuel del Pozo, tituladaL’avaluació del coneixementhumanístic i social, dins del Taller“L’avaluació de la recerca enHumanitats i Ciències Socials”, a qui esva proposar que en la seva ponènciainaugural elaborés un marc teòric perals debats posteriors dels grups detreball.

56


La recerca –i eventualment la transferència–feta en publicacions no homologades internacio-nalment, sobretot si és vinculada a aspectes terri-torials o a singularitats culturals determinades, me-reix una valoració significativa del seu contingut.

Les persones responsables de l’avaluació ne-cessiten tenir un grau elevat de coneixement intrín-sec o especialista de les matèries que avaluen, per-què se n’espera que valorin qualitats, més quecomptin quantitats, dels treballs presentats a ava-luació.

Una cosa és defensar i practicar la transferènciade coneixements del món investigador al món pro-ductiu i una altra de ben diferent és donar el màximvalor a aquesta acció de transferència que, en rigor,és una simple derivada de la recerca bàsica o noorientada, fonamental tant en els àmbits científics inaturals com, no cal dir-ho, en les humanitats i lesciències socials. Un elemental sentit de l’autonomiade la producció de coneixement —de qualsevolclasse— ens ha de fer reclamar la ponderació delseu valor, situada a una gran distància del seu ren-diment productiu; altrament, s’estaria postulant elpredomini del mercat sobre la ciència, la qual cosa,evidentment, té molt d’ideològic i res de científic.

Es constata el “pluralisme” inherent a la pro-ducció de coneixement en el món contemporani.En efecte, en la mesura que s’atenua el determi-nisme causalista en el món de la ciència natural,s’expressa clarament l’obertura i la diversitat delsseus coneixements. El mateix passa amb la des-trucció dels cànons de l’humanisme i la fragmen-tació de les ciències socials: és un cant a la plurali-tat, la diversitat i la diferència.

En aquest context, és natural l’establiment deprocediments avaluadors que respectin no tan solsla gran diferència entre àmbits científics i naturals ihumanístics i socials, sinó les grans diferències dinsde cadascun d’aquests àmbits.

Després de remarcar que no té sentit la distincióradical epistemològica entre les “dues cultures” —tot és ciència si hi ha mètode i esperit crític—, caldeixar ben clar que —justament en honor de l’es-perit metòdic i crític, que evita sobretot la confu-sió— no té sentit la uniformitat avaluadora si, comhem estat observant, el valor epistemològic de fonss’expressa funcionalment en metodologies molt di-verses, objectius distants, pràctiques investigado-res heterogènies i canals i formes de difusió com-pletament diferents. Un cop més en la vida humanael repte és engrescador: arribar a gaudir de la unitatde fons per camins diversos en els procediments.//

57

CONCLUSIONSGLO

BALS

DELTALLE

R

INTRODUCCIÓ2

Els assistents al Taller no qüestionen la conveniència de ser ava-luats. Ho consideren un requisit, atès el necessari repartiment de re-cursos, la garantia dels nivells de qualitat de la recerca i el rendimentde comptes de l’activitat desenvolupada. Malgrat això, és una opiniócompartida que l’aplicació mimètica dels criteris i de la metodologiad’avaluació dels àmbits científics i tecnològics genera disfuncions enels àmbits de les Humanitats i les Ciències Socials.

Diversos són els motius que expliquen aquests desajustos:

n Aquestes disciplines contenen una àmplia diversitat d’àrees deconeixement i de tradicions d’investigació, amb nivells de conso-lidació diferents dins de les mateixes àrees.

n Sovint la recerca parteix d’una delimitació territorial clara.

n No han consensuat mecanismes d’avaluació i referents comuns.

n El llibre o la monografia, un dels principals instruments de difusióen aquestes àrees, no ha aconseguit el nivell d’identitat merescutatesa l’absència d’un sistema d’avaluació més clar i precís.

n Sovint i generalment, els ritmes i els temps de la recerca són forçamés llargs, com ho són també els períodes de vigència dels treballsque en resulten.

És necessari, doncs, reconèixer el pluralisme i l’especificitat d’a-questes àrees i construir criteris d’avaluació adequats a aquesta di-versitat.

A continuació es detallen les aportacions principals, trans-versals per al conjunt de les Humanitats i les Ciències Socials, quefonamenten la possible introducció de modificacions pel que fa al’enfocament, el model i l’operativa d’avaluació. Abans, però, en l’a-

APORTACIONS PER MILLORARL’AVALUACIÓ DE LA RECERCAEN HUMANITATS I CIÈNCIESSOCIALS

3

2 Entenem per àrea disciplinària lesHumanitats, les Ciències Socials, etc.;per disciplina, la Història, la Filosofia,etc.; i per àrea de coneixement, lesàrees d’adscripció del professoratpost-LRU, com ara la Didàctica de lesCiències Socials, etc.

és una opinió compartidaque l’aplicació mimèticadels criteris i de lametodologia d’avaluaciódels àmbits científics itecnològics generadisfuncions en els àmbitsde les Humanitats i lesciències socials. ésnecessari, doncs,reconèixer el pluralisme il’especificitat d’aquestesàrees i construir criterisd’avaluació adequats aaquesta diversitat

58


partat Política d’avaluació, s’hi recullen altres as-pectes més generals que, tot i que no siguin com-petència d’AQU Catalunya, s’han tractat en el Talleri cal tenir-los en compte, ja que els processos d’a-valuació indefectiblement s’emmarquen en un con-text polític i estratègic del professorat del sistemauniversitari català.

POLÍTICA D’AVALUACIÓ

Globalment, i en totes les ciències, s’adverteixque la introducció dels processos d’avaluació dela recerca, i les conseqüències que se’n deriven,poden modificar les pautes de treball i els objectiusdels investigadors i investigadores. Fins i tot, espot arribar a confondre que la finalitat de la recercasigui publicar, en comptes d’avançar-se al conei-xement o millorar les condicions socials i/o econò-miques de l’entorn.

Cal que les autoritats competents siguin espe-cialment curoses, coherents i flexibles en elplantejament de polítiques i processos d’avaluació(tant pel que fa a grups com a persones), per ga-rantir el difícil equilibri que representa incentivar larecerca.

Les polítiques d’avaluació haurien detenir en compte el context d’oportunitatsper dur a terme la recerca. Les polítiques de finan-çament existents i la inserció en grups d’investiga-ció potents són aspectes que poden condicionarles oportunitats de fer-ne. Pertànyer a un grup ambmolta productivitat, on sovint el nombre d’autorsdels treballs és elevat, incrementa la possibilitat derebre citacions posteriors.

Si parlem de qualitat en la recerca, es determinaque el criteri fonamental rau en l’originalitat i larellevància del coneixement que genera.Altres factors que l’emmarquen poden ser la inter-disciplinarietat, la idiosincràsia dels equips de re-

cerca, la seva experiència i la capacitat per formarinvestigadors novells, la capacitat per fomentar laformació de xarxes i l’intercanvi de coneixements iestratègies.

El grup de recerca, com a estructura objected’avaluació (grups consolidats, etc.), és singulardel nostre sistema universitari, i facilita el treballcol·lectiu i interdisciplinari, i també la inserció d’in-vestigadors novells en el sistema de recerca, lacaptació de recursos i la seva optimització. Tan-mateix, tot i que el sistema actual es vertebra permitjà dels grups de recerca, caldria no oblidar quehi ha altres unitats d’investigació, com són els in-vestigadors individuals, que encara treballenmés o menys en solitari per les especificitats prò-pies de la seva àrea de coneixement, o bé formesmés col·lectives de fer recerca i publicar,com per exemple les xarxes. Les polítiques que esposin en marxa haurien de tenir en compteaquestes altres unitats de recerca, tambéimportants.

en totes les ciències s’adverteixque la introducció dels processos

d’avaluació de la recerca, i lesconseqüències que se’n deriven,

poden modificar les pautes detreball i els objectius dels

investigadors i investigadores.Fins i tot, es pot arribar a

confondre que la finalitat de larecerca sigui publicar, encomptes d’avançar-se al

coneixement o millorar lescondicions socials i/o

econòmiques de l’entorn

59

CONCLUSIONSGLO

BALS

DELTALLE

R

En el cas dels projectes que desenvolupen elsinvestigadors i investigadores, i a banda de criterisde valoració purament tècnics (com ara la distincióentre projectes competitius i no competitius o l’or-ganisme finançador, entre d’altres), s’entén quecaldria una avaluació no solament dels resultatspublicats, sinó també d’altres aspectes del mateixprocés de la recerca, i que s’hauria de tenir encompte com a factor important l’originalitat i la in-terdisciplinarietat del treball. Caldria afegir, en rela-ció amb l’avaluació de projectes de recerca, la ne-

L’AVALUACIÓ

El sistema d’avaluació

El sistema

De forma pràcticament unànime s’ha expressatl’opinió que el sistema d’avaluació hauria deser complementari entre la valoració permecanismes indirectes i mecanismes di-rectes. Per tant, s’aposta clarament per un sis-tema mixt, en el qual l’avaluació es basi principal-ment en la valoració indirecta, i la valoració directanomés s’apliqui en els casos de dubte o en els ca-sos en què la persona avaluada, amb l’objectiu desuperar l’avaluació, vulgui sotmetre a avaluació di-recta algun treball significatiu de la seva recerca.

La llengua

Els sistemes d’avaluació haurien de permetrevalorar la qualitat de la recerca sens perjudicide la llengua en la qual està escrita ni delseu caràcter territorial. S’haurien d’arbitrar les me-

cessitat d’ampliar els terminis per a l’avaluació deresultats publicats, per l’especificitat pròpia delsritmes i els temps de recerca.

Finalment, es considera imprescindible ava-luar la postinvestigació, el retorn de la recerca,sobretot la que s’ha finançat amb fons públics.

Durant el Taller s’ha posat en relleu que s’hauriade millorar la definició de les tipologies deprofessorat que necessita la universitatcatalana. En concordança amb aquestes tipolo-gies, i atès que l’avaluació estableix un sistemad’incentius que condiciona l’activitat científica i aca-dèmica, s’entén que caldria establir millor la fi-nalitat de l’avaluació. Seria positiu concretarsi les agències han d’avaluar nivells d’excel·lènciao bé s’han de centrar en una acreditació de mí-nims.

en el cas dels projectes que desenvolupen els investigadors i investigadores,s’entén que caldria una avaluació no solament dels resultats publicats, sinó tambéd’altres aspectes del mateix procés de la recerca, i que s’hauria de tenir en comptecom a factor important l’originalitat i la interdisciplinarietat del treball

60


sures necessàries perquè aquestes recerques nopateixin cap mena de discriminació.

L’objecte d’avaluació

Llibres, monografies i la seva avaluació

Es posa en relleu el paper de la monografiacom a instrument molt significatiu sobreel qual es vehicula una bona part de la re-cerca d’aquests àmbits. Els llibres, les monogra-fies i els capítols de llibres haurien de ser valoratsen funció dels diversos camps i seguint criteris dequalitat. S’entén que, en bona part de les disciplineshumanístiques i socials, les monografies no sónsubstituïbles per articles. Per tant, els processosd’avaluació haurien de ser sensibles a aquesta re-alitat.

Aquest reconeixement comporta la necessitatd’establir criteris que fixin la qualitat de les editorialsuniversitàries o privades d’orientació acadèmica.Caldria definir una llista d’editorials que compleixinmecanismes i criteris de qualitat en el procés edi-torial. Alguns dels criteris que caldria tenir encompte poden ser la utilització d’avaluadors inde-pendents en processos com el de peer reviewing,consells editorials de nivell, internacionalització,etc.

Criteris de qualitat dels articles

Durant el Taller s’ha subratllat la importànciaque els articles estiguin publicats en re-vistes amb índexs d’impacte. Si bé no es dis-cuteix el valor dels índexs com ara el JCR, hi haprou evidències empíriques de les seves limitacionsen els àmbits humanístics i socials. Així mateix,s’ha constatat que no és fàcil jerarquitzar les revis-tes en aquests índexs, i que fins i tot n’hi ha algunesque no hi estan recollides, la qual cosa dificulta lavaloració de la recerca realitzada pels investiga-dors.

Per això es considera necessari que les basesde dades compleixin uns criteris de qualitat objec-tius i clars, per tal que les revistes que s’hi in-cloguin puguin ser valorades. També caldriaque hi hagués una revisió periòdica dels ín-dexs/criteris de qualitat com a conseqüènciadels resultats de les avaluacions. Se suggereix anaravançant en la incorporació de criteris que tinguinen compte la ràpida expansió de les publicacionsdigitals i les dinàmiques d’Open Access.

Per tal d’establir referents per a períodes detemps determinats, es considera útil disposar d’es-tudis empírics que analitzin la realitat del personalinvestigador.

També s’entén que en el moment d’avaluar cal-dria tenir en compte diferents índexs, compoden ser ISI, SCOPUS, etc., per disposar d’unavisió de conjunt de l’avaluació.

I, finalment, es fa una referència explícita al sis-tema de classificació de revistes científiques CAR-HUS+, que es demana que es revisi i fina-litzi tot tenint en compte els criteris abansesmentats, i també a altres índexs de l’Estat espa-nyol (RESH, IN-RECS o MiAR) i internacionals (ISIo SCOPUS).

en bona part de les disciplineshumanístiques i socials, lesmonografies no són substituïbles perarticles. per tant, els processosd’avaluació haurien de ser sensiblesa aquesta realitat

61

CONCLUSIONSGLO

BALS

DELTALLE

R

el procediment, el procésde selecció d’avaluadors,els drets de la personaavaluada i els criterisd’avaluació haurien deser precisos, objectius itransparents i hauriend’estar disponibles ambanterioritat suficient al’avaluació

La transferència del coneixement

Es constata que s’hauria de definir quès’entén per transferència del coneixementen el camp de les Humanitats i les Ciències Socials,ja que és un concepte sobre el qual no hi ha unconsens generalitzat. Cal avançar, doncs, en laseva conceptualització, per reconèixer el valorsocial del coneixement generat i per poderarticular els mecanismes que l’avaluïn.

Els criteris que es podrien tenir en compte al’hora de definir-ho són: l’impacte social, l’aplicabi-litat, la relació amb la recerca realitzada amb inde-pendència del format... Finalment, s’hauria de po-der valorar la recerca feta per encàrrec enempreses, organismes, etc. com a transferènciade coneixement, sempre que la recerca espogués difondre totalment o en part, ja queaquests àmbits difícilment poden tenir patents.

El procediment d’avaluació

Hi ha hagut unanimitat a l’hora de considerarque el procediment, el procés de selecció d’ava-luadors, els drets de la persona avaluada i els cri-teris d’avaluació haurien de ser precisos, objectiusi transparents i haurien d’estar disponibles amb an-terioritat suficient a l’avaluació. Justament, la trans-parència i l’objectivitat del procés haurien de per-metre facilitar una aproximació prèvia sobre elresultat de l’avaluació, amb el propòsit de reduir elgrau d’incertesa respecte de les possibilitats desuperar-la.

En el cas dels criteris d’avaluació, es demanaque tinguin una continuïtat en el temps.

Si bé la composició d’una comissió d’avaluacióha de ser necessàriament pluridisciplinària dins deles Humanitats i les Ciències Socials, es demanaque en el cas de l’avaluació indirecta les perso-nes avaluadores siguin de la mateixa dis-ciplina que la persona avaluada. Quan es parlad’avaluació directa, els avaluadors i avalua-dores haurien de tenir un perfil tan propercom sigui possible a l’àrea de coneixe-ment.

També es remarca la importància de moti-var suficientment les resolucions d’ava-luació, amb l’objectiu que orientin millor les per-sones avaluades sobre com superar l’avaluació.

Finalment, es demana una coordinaciómés gran entre agències que avaluen larecerca. Concretament, es considera que lesagències haurien de fer un esforç per utilitzar criterissimilars i fer equivalències pel que fa a avaluacions.//

62


A continuació es resumeixen les deu accions principals que caldriadur a terme:

1. S’hauria d’establir un sistema d’avaluació mixt. L’avaluaciós’hauria de basar principalment en una avaluació per mecanismesindirectes, complementada en els casos en què se sol·liciti ambuna avaluació per mecanismes directes d’algun treball significa-tiu.

2. La valoració de la qualitat de la recerca s’hauria de fer sens per-judici de la llengua en la qual està escrita ni del seu caràcterterritorial.

3. S’hauria de recuperar el paper del llibre, la monografia iel capítol de llibre com a instruments molt significatius sobreels quals es vehicula la recerca en aquestes àrees disciplinàries.

4. Caldria fixar els criteris de la qualitat de les editorials uni-versitàries o privades d’orientació acadèmica.

5. Les bases de dades haurien de complir uns criteris de qualitatobjectius i clars, per tal que les revistes que s’hi incloguinpuguin ser valorades.

6. S’hauria de definir què s’entén per transferència de conei-xement.

7. El procediment, el procés de selecció d’avaluadors,els drets de la persona avaluada i els criteris d’ava-luació haurien de ser precisos, objectius i transparentsen tots els seus apartats.

8. En el cas de l’avaluació indirecta, les persones avaluadoreshaurien de ser de la mateixa disciplina que la personaavaluada. En l’avaluació directa, els avaluadors i avaluadoreshaurien de tenir un perfil tan proper com sigui possiblea l’àrea de coneixement.

9. S’hauria de millorar la motivació de les resolucions d’a-valuació.

10. S’hauria d’incrementar la coordinació entre les agènciesque avaluen la recerca. //

DECÀLEG FINAL4

presentaciónprólogo

67

PRESENTACIÓN

Desde que accedí a la presi-dencia de AQU Catalunya, unsignificativo número de los co-mentarios y sugerencias que re-cibía estaban relacionados conalgunos criterios de evaluaciónde la investigación del profeso-rado universitario en los ámbitosde las Humanidades y las Cien-cias Sociales. Las críticas cues-tionaban de forma general algu-nos criterios de evaluación quese han ido aplicando en distintosorganismos de evaluación, au-tonómicos y estatales. Por lotanto, la problemática va másallá de la agencia que presido y,muy probablemente, más allá dela propia evaluación.

Tradicionalmente, pese a losesfuerzos por objetivar los crite-rios de evaluación, los ámbitosde las Humanidades y las Cien-cias Sociales no han disfrutadodel amplio consenso que debe-ría regir la evaluación de las dis-ciplinas que engloban. Algunosde los motivos que lo explicanson que estos ámbitos no cuen-tan con indicadores de impactotan aceptados internacional-mente como otros ámbitos cien-

tíficos, así como el difícil encajeentre un enfoque internacional yuna proyección en el entornomás cercano. Por último, hayque decir que la constatación deun grado de insatisfacción supe-rior en la evaluación de estos ám-bitos respecto a otros debía serpor sí misma un motivo de refle-xión.

Con el propósito de contri-buir a este debate, se organizó,con la colaboración de laAGAUR (Agencia de Gestión deAyudas Universitarias y de Inves-tigación) y con el apoyo de la Uni-versitat de Barcelona, el Taller so-bre la evaluación de la inves-tigación en Humanidades yCiencias Sociales, que se en-marcaba dentro de la XI ediciónde los Talleres de reflexión y de-bate de AQU Catalunya con lasuniversidades catalanas, quetuvo lugar los días 28 y 29 de en-ero de 2010.

Este Taller ha sido, cuandomenos para AQU Catalunya, unode los ejemplos más significati-vos de reflexión y diálogo de lacomunidad científica y acadé-

joaquim prats cuevas presidente de aqu catalunya

presentación

68


mica catalana, en un tema queha suscitado gran interés.

El objetivo del Taller era do-ble: por un lado, reflexionar so-bre la evaluación de la investiga-ción en los ámbitos de lasHumanidades y las Ciencias So-ciales y, por otro, identificar pro-puestas que promovieran unmayor consenso sobre esta eva-luación.

Desde su inicio, el enfoque yla estructura del Taller persegu-ían el humilde propósito de ge-nerar un entorno propicio paraescuchar la voz de la comunidadcientífica y académica. Más de300 personas asistieron al Tallery, entre ponencias y contribucio-nes, casi 60 expusieron en vozalta sus reflexiones. Todas laspersonas que participaron tuvie-ron la oportunidad de hablar, serescuchadas, realizar aportacio-nes y establecer un diálogoconstructivo con sus homólo-gos.

La suma de las ideas, de lasreflexiones, en resumen, de lasinteligencias, dio como resultadola identificación de una serie desensatas aportaciones, que porsu interés y repercusión mere-cen ser consideradas a favor dela mejora de este proceso deevaluación. Las contribucionesespecíficas por áreas de cono-cimiento que se hicieron duranteel Taller quedaron recogidas enlas conclusiones por grupos detrabajo, disponibles en la web de

AQU Catalunya, y aquellas queeran compartidas por la mayoríade los grupos se integraron enel documento final de aportacio-nes del Taller, que aquí se pre-senta.

Las propuestas planteadasvan orientadas principalmente aun perfeccionamiento de la eva-luación. Por eso es indispensa-ble que las agencias de evalua-ción, de ámbito catalán yespañol, nos pongamos de acu-erdo en mejorar el modelo, pu-esto que la coherencia del sis-tema es un requisito para subuen funcionamiento.

El compromiso que ha con-traído AQU Catalunya, tomandocomo punto de partida las con-clusiones del Taller, es el de pro-mover un debate más amplio enel ámbito catalán y español, a finde articular un sistema de eva-luación más ajustado a las espe-cificidades de las áreas huma-nísticas y sociales. Se lodebemos a todas aquellas per-sonas que desinteresadamentehan invertido su tiempo en parti-cipar en el Taller y que han efec-tuado aportaciones al mismo,con la ilusión de que permitanavanzar en la mejora de la eva-luación de la investigación en es-tos ámbitos. //

69

PRÓLO

GO

Es una característica del sis-tema universitario español quelas evaluaciones previas a losprocesos de selección de profe-sorado y las evaluaciones de mé-ritos las realicen las agenciaspara la calidad de las universida-des. En el resto de Europa sonlas universidades las que las asu-men, puesto que consideranque es una función propia el ges-tionar la calidad de su profeso-rado. No es mi intención abrirahora este debate, pero tam-poco querría transmitir que nu-estro modelo es universal.

En cualquier caso, y ademásde llevar a cabo la tarea asignadacon las máximas garantías decalidad, el valor que podemosañadir las agencias es haceravanzar a los distintos elementosque configuran el proceso deevaluación, asegurando su ecua-nimidad en todos los ámbitos.

Pero hablar de calidad sinmedir variables no tiene sentido.Si no conocemos lo que tene-mos y no disponemos de refe-rentes, difícilmente sabremos ha-cia dónde debemos ir y, aún

menos, cómo podemos mejo-rarlo.

El Taller sobre la evaluaciónde la investigación en Humani-dades y Ciencias Sociales hasido una buena experienciadonde el profesorado y los inves-tigadores catalanes han podidocompartir y poner en común pro-puestas para mejorar el procesode evaluación de unas discipli-nas que, por su propia singulari-dad, no cuentan con unos refe-rentes tan parametrizados comootros ámbitos científicos. En de-finitiva, para empezar un pro-ceso de mejora que, por su al-cance y complejidad, requierede un consenso global entre elprofesorado, las universidades ytodas las agencias de evalua-ción.

El libro que tiene en las ma-nos persigue dos propósitos. Elprimero es recoger en un docu-mento las principales aportacio-nes que se realizaron, y el se-gundo es iniciar una reflexiónglobal que conduzca a la implan-tación de medidas concretaspara mejorar el proceso de eva-

josep anton Ferré viDal Director de aqu catalunya

prólogo

70


luación y para incrementar elconsenso sobre los criterios y re-ferentes utilizados.

En el primer capítulo del libroencontrará la transcripción de laponencia inaugural realizada porel Dr. Joan Manuel del Pozo, queenmarcó el Taller en una diser-tación filosófica sobre la evalua-ción del conocimiento humanís-tico y social.

El segundo capítulo contieneun resumen de los resultadosglobales del estudio que está fi-nalizando AQU Catalunya sobreel perfil de méritos para la acre-ditación de profesorado agre-gado y lector de los ámbitos deHumanidades y Ciencias Socia-les. La agencia catalana ha efec-tuado un vaciado de 4.800 cur-rículos, con el objetivo de aportarinformación sobre el perfil de laspersonas solicitantes y, de esemodo, contribuir a hacer aflorarreferentes de calidad existentes.

Finalmente, el tercer y últimocapítulo es el documento quesintetiza las principales aporta-ciones que se recogieron en lasconclusiones de los siete gruposde trabajoI (que pueden consul-tarse íntegramente en la web<http://www.aqu.cat/activitats/tallers_jornades/taller_2010/con-clusions.html>). Este documentoestructura las aportaciones quese realizaron, distinguiendo entreaquellas que afectan a la políticade evaluación y aquellas que ha-cen referencia a la propia evalua-

ción. Por último, acaba con undecálogo de las propuestas quedeberían llevarse a cabo.

La acción final que apareceen el decálogo es incrementar lacoordinación entre las agenciasque evaluamos la investigación.Deseamos que las reflexionesdel presente libro sean un buenpunto de partida para aumentarla coordinación entre las agen-cias, con el objetivo de mejorarel proceso de evaluación de lasáreas de conocimiento humanís-ticas y sociales. //

I Los asistentes al Taller se distribuyeronen siete grupos para reflexionar sobreunas cuestiones previamenteplanteadas: Grupo 1: Filosofía, Historia,Arte, Antropología y Geografía; Grupo2: Filología, Traducción eInterpretación; Grupo 3: Educación;Grupo 4: Economía y Empresa,Ciencias Políticas y Sociología; Grupo5: Psicología; Grupo 6: Derecho; Grupo7: Biblioteconomía y Documentación, yComunicación.

joan manuel Del pozo Álvarez

la evaluaciónDel conocimiento

HumanÍsticoY social

73

LAEVALUACIÓNDELCONOCIMIENTOHUMANÍSTICOYSOCIAL

El objetivo de la presente ponencia es enmarcar el proceso de re-flexión de estas Jornadas de AQU Catalunya sobre los procedimientosde evaluación de la investigación en el ámbito de los conocimientoshumanísticos y sociales. A la función de marco no le es propio pre-sentar un catálogo de criterios de evaluación o baremos de medidaque pudieran considerarse plausibles para obtener un consensosobre la evaluación de la investigación humanística y social, funciónque en todo caso debe considerarse derivada o conclusión de laserie de trabajos y debates que aquí deben producirse. Como po-nencia marco, el objetivo buscado es el de proporcionar bases dereflexión a partir de las cuales pueda legitimarse, a través de todaslas demás aportaciones, algún tipo de conclusiones que establezcano dejen apuntadas líneas y principios que, en su momento, puedanayudar a precisar los procesos con que sea evaluada aquella investi-gación.

El corpus de esta ponencia se centrará, pues, en dos reflexiones.La primera, destinada a hacerse cargo del contexto en el que se pro-duce nuestro análisis, para comprender mejor el proceso en el quenos encontramos como responsables de la producción y transmisióndel denominado conocimiento humanístico y social. Propongo comoepígrafe de esta parte la siguiente interrogación: “¿Crisis del univer-

PLANTEAMIENTO GENERAL

joan manuel Del pozo Álvarez*

la evaluación Del conocimientoHumanÍstico Y social

1

* Doctor en Filosofia por la Universitatde Barcelona y profesor de Filosofía enla Universitat de Girona

74


salismo científico y de su seguridad epistemoló-gica?” La interrogación no es sólo retórica, sinoque apunta sinceramente al reconocimiento de unpanorama de confusión real sobre el papel de unasupuesta ciencia universal que, arrancando del si-glo XVIII pero especialmente desde el siglo XIX, ac-tuó como paradigma legitimador de la hegemoníaintelectual y política de la denominada sociedadoccidental. Lo haré con el uso de la terminología yen diálogo con muchas de las ideas del sociólogoe historiador Immanuel Wallerstein, de la Universi-dad de Yale, autor de un pequeño ensayo de graninterés —también desde otras perspectivas, ade-más de la nuestra— publicado en 2006 y traducidoen Valencia en 2008 con el título L’universalismeeuropeu. La retòrica del poder.1

La segunda parte del corpus central, obviamentearticulada con esta primera, es una reflexión sobrelas características que dan valor al conocimiento hu-manístico-social, valor que todavía debe ganarse elreconocimiento de la mayoría de los ciudadanos, yla presento bajo el epígrafe “Valoración del conoci-miento humanístico y social”. Precisamente con laidea de valoración pretendo dar el paso, porqueson sinónimos de gran proximidad, al concepto quecentra estas Jornadas, que no es otro que el deevaluación. Por supuesto, ambos conceptos sonsinónimos, pero los usos de los mismos son biendistintos. Ya adelanto que por valoración enten-deré el reconocimiento del interés y la aceptaciónsocial del trabajo investigador humanístico y social—o su carencia—, mientras que por evaluación en-tenderé, naturalmente, lo que procede: ponderacióntécnica de la mayor o menor calidad de nuestrostrabajos de investigación a los efectos legales, ad-ministrativos y económicos que correspondan.

La última parte de la ponencia realizará la tran-sición entre ambos conceptos, valoración y eva-luación, con el intento de ofrecer, tal y como diceliteralmente el epígrafe que le pongo, “Algunos prin-cipios o criterios para la evaluación de la investiga-ción humanística y social”.

Mi aspiración es que el conjunto de las tres par-tes que ahora empiezan sirva como punto de refe-rencia para el debate y, en el mejor de los casos,como fundamentación de algunas de las líneasaceptables y ampliamente consensuables de losprocedimientos de evaluación de la investigaciónrealizada en nuestros ámbitos de conocimiento. //

por valoración entenderé elreconocimiento del interés y laaceptación social del trabajoinvestigador humanístico ysocial, mientras que porevaluación entenderé lo queprocede: ponderación técnicade la mayor o menor calidad denuestros trabajos deinvestigación a los efectoslegales, administrativos yeconómicos que correspondan

1 I. Wallerstein, L’universalisme europeu. La retòricadel poder (Valencia: Publicacions de laUniversitat de València, 2008).

75


Wallerstein sitúa acertadamente el inicio de la escisión del cono-cimiento humano —lo que después se ha convertido, principalmente,en el tópico de la “separación de las dos culturas” (conferencia deSnow en Cambridge, 1959), la humanístico-social y la científico-téc-nica— en el siglo XIX, cuando lo que llamamos ciencia natural con-solida sus métodos empíricos y empieza a obtener resultados deaplicabilidad técnica cada vez más espectaculares. Esto le da apoyoy prestigio social y, de paso, reconocimiento y progresiva asignaciónde recursos por parte de los gobiernos, que ven en ella grandes po-tencialidades de todo tipo.

Dice Wallerstein:2 “¿Cuál era el debate epistemológico subya-cente a esta separación [...]? Los científicos mantenían que sólo através de sus métodos —la investigación empírica basada en hipó-tesis verificables y/o que conducía a ellas— se podía llegar a la ‘ver-dad’ (una verdad universal). Los estudiosos del campo de las huma-nidades impugnaban con fuerza esta pretensión. Éstos insistían enel papel de la penetración o intuición analítica, de la sensibilidad her-menéutica o de la empatía del Verstehen [entender, comprender]como camino hacia la verdad. Los humanistas alegaban que su tipode verdad era más profunda y tan universal como la que subyace alas generalizaciones de los científicos, que a menudo veían comoprecipitadas. Pero lo que es más importante, los estudiosos de lashumanidades daban mucha importancia al papel central de los va-lores, del bien y de la belleza en la investigación del conocimiento,mientras que los científicos afirmaban que la ciencia era neutra res-pecto a los valores, y que de los valores nunca podía decirse quefueran verdaderos o falsos. Por consiguiente, decían, los valores sesituaban fuera del campo de preocupaciones de la ciencia.”

La justificación formal y visible, la discusión sobre la mayor o me-nor validez de los respectivos métodos, en realidad escondía unadisputa de fondo muy relevante: el objeto propio y último de los res-

¿CRISIS DEL UNIVERSALISMOCIENTÍFICO Y DE SUSEGURIDADEPISTEMOLÓGICA?

2 Op. cit., pág. 89-90.

2

76


pectivos conocimientos. En el caso de la ciencianatural, la determinación de regularidades enforma de leyes de la naturaleza, que constituía ladeterminación de la verdad; en el caso de los co-nocimientos humanístico-sociales, el estableci-miento de lo bueno y lo bello, de lo que tiene valorpara la vida. Se producía una ruptura de un antiguoprincipio filosófico según el cual unum, verum etbonum —et pulchrum— convertuntur, es decir, elser y sus propiedades trascendentales son inter-cambiables: la unidad, la verdad, la bondad y labelleza. Y la primera era la unidad, que era tantode valor ontológico —el ser es uno— como episte-mológico —el conocimiento del ser, lógicamente,también es uno. Un principio de alcance ontológicoy epistemológico muy respetable —dogmatismosy escolasticismos aparte— se dejaba de lado y senaturalizaba y normalizaba, sobre todo por vía defacto, una división radical entre verdad (científico-natural) y valor (humanístico-social). El proceso, apartir de ahí, ha sido un descenso imparable y ace-lerado por la pendiente de la división y subdivisiónhasta el infinito de áreas autoconstituidas de co-nocimiento, cada una de las cuales tiende a la au-tarquía existencial con la correspondiente, a me-nudo más supuesta que real, autosuficienciaepistemológica.

No se trata de discutir la posibilidad de que elconocimiento evolucione autónomamente, inclusohacia la fragmentación, pero justamente, si se va-loriza su capacidad evolutiva y transformadora,debe tomarse nota de las últimas —por ahora— desus transformaciones —la penúltima, podríamosdecir, la de las denominadas ciencias sociales—,que, puestas en una especie de medio caminoequidistante de las viejas humanidades y de lasmás modernas ciencias empíricas, se esperabaque optaran por uno u otro de los paradigmas epi-stemológicos. Pues bien, a grandes rasgos puedeafirmarse que, sin clamorosas unanimidades, laeconomía, la ciencia política y la sociología se in-clinaron hacia el terreno empírico, mientras que lahistoria, la antropología y las ciencias jurídicas se

acercaban más claramente al modelo humanístico.El propio Wallerstein constata3 que, con todo, lasfronteras, a partir de la segunda mitad del sigloXX, se fueron haciendo progresivamente más bor-rosas. La última fase evolutiva es, desde 1968, lacrisis institucional de las estructuras del conoci-miento moderno paralela a la crisis estructural del“sistema-mundo” —en su terminología—, que llevaa cuestionar fuertemente la división entre ambasculturas, tanto desde dentro de las ciencias natu-rales como desde las humanidades.4 Como ex-presión complementaria de este cuestionamiento,las propias ciencias sociales se desmenuzan yfragmentan e incrementan el panorama generalde dudas y perplejidades.

el conocimiento tiende a medirsepor su capacidad de producir

riqueza, lo que le permitetambién obtener nueva riqueza,pero le hace perder autonomía;

al mismo tiempo, otrasinstancias, empresariales o

institucionales, generan cada vezmás investigación, con lo cual launiversidad va dejando de ser lo

que parecía que debía sersiempre, la fuente casi única de

producción de conocimiento

3 Op. cit., pág. 93.

4 Ibid.

77


La institución universitaria, por su parte, creceintensamente durante la segunda mitad del sigloXX para acoger la gran eclosión de demanda socialde formación y conocimiento y, al mismo tiempo,de multiplicación interna de oferta de nuevos es-tudios y de posibilidades de investigación. Pero,como consecuencia de la creciente insuficienciafinanciera por el progresivo encarecimiento de losservicios, necesita entrar en una cierta lógica demercado, y de creación y explotación de patentesy fórmulas diversas de explotación del valor eco-nómico que puede crear, lo que tiende a externa-lizar la producción y la explotación del nuevo co-nocimiento. El conocimiento tiende a medirse porsu capacidad de producir riqueza, lo que le permitetambién obtener nueva riqueza, pero sin duda lehace perder autonomía; al mismo tiempo, otrasinstancias, empresariales o institucionales, gene-ran cada vez más investigación, con lo cual la uni-versidad va dejando de ser lo que parecía que de-bía ser siempre, la fuente casi única de producciónde conocimiento. Hay que mencionar a la univer-sidad porque es casi exclusivamente en ella dondetodavía se conserva la actividad de investigacióny enseñanza humanística y social; son las áreasdonde la “mercantilización” de la producción deconocimiento es menos fácil y menos intensiva,salvo una rama de producción entre literaria y ar-

tística, que es la de los medios de comunicación,que tiene vida propia y un creciente poder com-pletamente al margen de las instituciones acadé-micas. No nos desvía, sin embargo, de la principallínea del análisis.

Precisamente decíamos que la “última” fasede la evolución del conocimiento aparece cadavez más fuertemente ligada a una crisis que in-cluye, curiosamente, cierto cuestionamiento de lacélebre “división entre las dos culturas”. En el ám-bito científico-natural, los estudios sobre la com-plejidad y, en el ámbito humanístico-social, lo queWallerstein llama “estudios culturales” invitan a re-visar la supuesta suficiencia epistemológica autó-noma de cada uno de los dos mundos.

En el ámbito científico-natural los estudios so-bre la complejidad apuntan hacia un rechazo deldeterminismo lineal que prevalecía desde Newtonhasta Einstein;5 la física cuántica sería la expresiónmás clara de la superación de la simplicidad cau-salista y lineal. En el ámbito humanístico-social losdenominados “estudios culturales” tenderán a des-estabilizar una vieja inercia hacia los cánones uni-versales de belleza y de normas ético-jurídicas so-bre el bien; el eurocentrismo de los valoreshumanistas se reconoce cada vez más como una

¿puede alguien defender que un área de conocimiento especializada puede tenersentido por sí misma?, ¿o que la selección de un fragmento de realidad es algo másque una estrategia funcional que sólo se justifica si se acaba negando porsuperación, es decir, reconociendo que, en cuanto que fragmento de una totalidad,sólo tiene sentido referida a la totalidad?, es decir, vinculada, ligada, articulada,finalmente unificada


78


forma intolerable de universalización impositiva deun sistema de valores —de hombre blanco, occi-dental y de grupos étnicos dominantes— que evi-dentemente era y es tan legítimo como debía habersido entendido y sobre todo debe ser entendidocomo particular.

Además, tanto los estudios sobre la compleji-dad como los estudios culturales llegaban a la con-clusión de que la distinción epistemológica entrelas dos culturas no tiene sentido, intelectualmentehablando, y que va en detrimento de la investiga-

cializada —sea del ámbito que sea— puede tenersentido por sí misma?, ¿o que la selección de unfragmento de realidad es algo más que una estra-tegia funcional que sólo se justifica si se acaba ne-gando por superación, es decir, reconociendo que,en cuanto que fragmento de una totalidad, sólotiene sentido referida a —e integrada en— la totali-dad?, es decir, vinculada, ligada, articulada, final-mente unificada.

ción del conocimiento útil,6 que no es otro que elque sirve unitariamente a la realidad humana y na-tural única. Edgar Morin, entre otros muchos, hacetiempo que clama por el restablecimiento de es-tructuras articuladoras y reunificadoras de la di-versidad fragmentada de los conocimientos, quesólo sirve a la fragmentación de la autocompren-sión y, por lo tanto, a la total incomprensión de losfenómenos, no sólo humanos y sociales, sino in-cluso naturales; sobre todo desde que conocemosque la física más avanzada ha asumido definitiva-mente el principio de la modificación de la obser-vación y la experimentación naturales por la influ-encia insoslayable del observador, que no es otroque el ser humano. Morin sostiene razonablementeque “las disciplinas son plenamente justificadasintelectualmente a cambio de que aseguren uncampo de visión que reconozca y conciba la exis-tencia de vínculos y solidaridades”.7 ¿Puede algu-ien defender que un área de conocimiento espe-

el reto humanístico-social es grande, al menos hasta que un sistema perfecto ycerrado —netamente indeseable— no nos resuelva las grandes cuestiones de lavida: las que afectan a la educación de seres que nos creemos libres, laresponsabilidad del vivir, el ejercicio de los derechos e, incluso, las posiblesconsecuencias penales de nuestras acciones. porque, si no hay libertad, no hayresponsabilidad y, si no hay responsabilidad, no hay culpa, y, por último, si no hayculpa, no hay pena o castigo legítimo


7 E. Morin, La tête bien faite (París: Éd. du Seuil,

1999).

8 G. Steiner, La barbarie de la ignorancia (Madrid: ElTaller de Mario Muchnik, 2000), pág. 9.

79


Desde la práctica de la deseable“social-cientificización” delmundo científico-natural se puedeproducir una corriente deinfluencia inversa igualmentedeseable para el saberhumanístico-social, por ejemplo ladel gran rigor metodológico propiode los procesos investigadorescientífico-naturales

En la línea de reconocer la inmensidad del retosobre la naturaleza del conocimiento humano, hoyimitado con gran eficacia por las máquinas de in-teligencia artificial cada vez más potentes, esbueno recordar la anécdota, reportada por GeorgeSteiner, a raíz de una jugada de ajedrez:8 “Haceunos meses, el ordenador Deep Blue gana contrael campeón mundial de ajedrez Kasparov. [...] Pa-rece ser que en las anotaciones de Kasparov sobreesta partida hay un momento realmente extraor-dinario: la máquina espera dos minutos en hacerun movimiento, ¡más o menos como unos cien milaños en la escala del cerebro electrónico! Y haceuna jugada nunca vista antes, nunca entendida,que es la que le da la victoria. Y Kasparov señala:‘Entendí que no calculaba, ¡pensaba!’ Es aterrador.Se lo explico a uno de mis colegas de Cambridgey éste me replica: ‘¿Quién te ha dicho que el pen-samiento no es un cálculo?’ ¿Y si tuviera razón?¡Todavía más aterrador!”

Sin querer sobrevalorar la anécdota, la reflexiónque contiene es interesante por lo que apunta: lafrontera entre procesos neurológicos regidos porla determinación o procesos neurocognitivos in-determinados o abiertos —libres, en terminologíafuerte— es una frontera cada vez más imprecisa.Y tiene planteamientos y retos interesantes a tresbandas: o todos los procesos son determinados,pero no los dominamos, y la libertad es una vanailusión (todo es cálculo, no hay pensamiento); otodos los procesos son libres, pero nos gusta en-contrar regularidades estadísticas que converti-mos precipitada pero erróneamente en leyes fijas(todo es pensamiento y realidad física abierta, nohay determinaciones físico-matemáticas insupe-rables); o existe el doble principio, que parece serlo más habitualmente asumido, de determinacióny de libertad, pero hay que reconocer que la im-bricación es muy creciente y fuerte o que la dife-renciación no es clara.

En los tres casos el reto humanístico-social esgrande, al menos hasta que un sistema perfecto y

cerrado —que, por otro lado, nos parece neta-mente indeseable— no nos resuelva inequívoca-mente bien las grandes cuestiones de la vida: lasque afectan a la educación de seres que nos cree-mos libres —y, por lo tanto, educables de distintasmaneras—, la responsabilidad del vivir, el ejerciciode los derechos e, incluso, las posibles consecu-encias penales —y la legitimidad de las propias pe-nas— de nuestras acciones, porque, si no hay li-bertad, no hay responsabilidad y, si no hayresponsabilidad, no hay culpa, y, por último, si nohay culpa, no hay pena o castigo legítimo.

Estas últimas consideraciones nos vuelven asituar con más fuerza ante aquella última fase dela evolución de todo el conocimiento científico: laextrema complejidad e indeterminación, recono-cida desde el sector científico positivo o natural, yel reto de los cánones estables y supuestamenteuniversales de valores, cuando la propia capacidadde pensarlos y la libertad de practicarlos parecenmás radicalmente cuestionables.

80


Decíamos que en la investigación del conoci-miento realmente útil —no sólo utilitario— para lavida de los humanos, tanto en la línea científico-natural como en la humanístico-social, aparece lanecesidad de una transversalidad epistemológicay una metodología compartida en la producción ydifusión del saber de todas clases que incorporenfactores característicos de las ciencias sociales —pese, incluso, a su propia desorientación y frag-mentación—, tales como la contextualización, elreconocimiento de la pluralidad de identidades, elrespeto y adaptación a las mentalidades y, por úl-timo, la valoración de los vectores de poder. Aesto, Wallerstein lo llama la “social-cientificizaciónde todo el conocimiento”.9 Sería erróneo interpre-tar que se pretende una “reducción” de la ciencianatural a la ciencia social, como ha sido un errorinterpretar que la ciencia social podía ser reducidaa ciencia natural. En este esfuerzo de transversali-

zación epistemológica, la corriente de intercambiopuede ser de gran riqueza: precisamente desdela práctica de la deseable “social-cientificización”del mundo científico-natural se puede producir unacorriente de influencia inversa igualmente deseablepara el saber humanístico-social, por ejemplo ladel gran rigor metodológico propio de los procesosinvestigadores científico-naturales —no sólo unaridícula imitación superficial de terminologías y for-mas de presentación, que es lo que a menudo hapasado cuando se ha querido salir de las vías me-todológicas propias, normalmente bien aplicadas.

Wallerstein considera que el universalismo cien-tífico ya no es incuestionable; que ha sido el último,el más moderno de los universalismos de matrizeuropea, y que como tal ha servido de legitimadordel poder en la época contemporánea, pero que,como hemos visto, ha sido desbordado desdedentro tanto por la ciencia natural como por lashumanidades y las ciencias sociales, haciendo en-trar en crisis las estructuras profundas de la pro-ducción y difusión del conocimiento. Según suspropias palabras,10 “las estructuras del conoci-miento han entrado en un período de anarquía yde bifurcación, del mismo modo que el modernosistema-mundo en su conjunto. El desenlace deesta crisis y bifurcación es igualmente indetermi-nado. Creo que la evolución de las estructuras delconocimiento es simplemente una parte —y unaparte significativa— de la evolución del modernosistema-mundo. La crisis estructural de uno es lacrisis estructural del otro. La batalla por el futurose librará en ambos frentes”.

Una parte, sin duda mínima si se considera aescala global, de la batalla se refleja directamenteen los sistemas de evaluación de la investigación.Sufren al menos dos problemas: pretenden teneruna certeza y una seguridad que ya han perdidolos propios fundamentos epistemológicos de losrespectivos ámbitos de conocimiento y pretendenuna uniformidad que ya hace tiempo que han per-dido los sistemas de conocimiento. //

los sistemas de evaluación dela investigación sufren almenos dos problemas:pretenden tener una certeza yuna seguridad que ya hanperdido los propiosfundamentos epistemológicosde los respectivos ámbitos deconocimiento y pretenden unauniformidad que ya hacetiempo que han perdido lossistemas de conocimiento

9 Wallerstein, op. cit., pág. 99.

10 Ibid.

81


Una condición previa, obviamente no formal, para la legitimaciónde la evaluación académica de la investigación humanístico-sociales precisamente su previa valoración social: aunque valoración y eva-luación son términos sinónimos, porque ambos significan esencial-mente “apreciación de valor”, el uso real de uno y otro queda fuerte-mente marcado por la connotación intelectual, ética y social en elcaso de valoración y por la connotación más cuantitativa, adminis-trativa y económica en el caso de evaluación. Y ya hace tiempo quesabemos que el uso del lenguaje es más importante que el propiolenguaje, porque es el lenguaje dentro de la vida, no dentro de losdiccionarios (tan respetables, útiles e incluso apasionantes, por otrolado).

Pues bien, hay que valorizar la extraordinaria eficacia —de la cualtenemos que disfrutar y debemos alegrarnos sin reservas— que hademostrado la ciencia natural en la obtención de derivaciones técnicasy aplicaciones útiles a mil aspectos de la vida de la gente: esto hacargado de legitimación el impulso de su investigación y la evaluaciónde los resultados y las transferencias de conocimiento que aquellainvestigación realiza constantemente para la mejora de la produccióneconómica, de la salud y del bienestar material de todos nosotros.

No ocurre lo mismo con el conocimiento —que podemos y debe-mos llamar científico— de naturaleza humanístico-social, del cual nosólo no se aprecian aplicaciones demasiado útiles a la productividady el bienestar de la gente, sino que a menudo se considera un saberpuramente ornamental, prestigiado sólo por antiguas connotacioneselitistas y probablemente malgastador de recursos. Su valoraciónsocial es bastante más baja, hablando en términos muy generales,que la valoración social del interés de la ciencia natural y la técnica.

Hay que reflexionar, pues, sobre cómo el conocimiento humanís-tico-social merece ser valorado. Un problema que a buen seguro nos

VALORACIÓN DELCONOCIMIENTO HUMANÍSTICOY SOCIAL

Hay que reflexionar, pues,sobre cómo elconocimientohumanístico-socialmerece ser valorado. unproblema que a buenseguro nos quedarápendiente es cómo sedifunde y se hace llegar ala sociedad estavaloración que, en losespacios académicos, nonecesita especialdefensa

3

82


quedará pendiente es cómo se difunde y se hacellegar a la sociedad esta valoración que, en los es-pacios académicos, no necesita especial defensa.Pero, como mínimo, es un punto de partida el es-fuerzo de formular las bases de su valoración, quees lo que intentamos hacer a continuación.

Una consideración previa es que hay que asumirlos inconvenientes de la inevitable simplificaciónque supone un único concepto, el de conocimientohumanístico-social o de las ciencias humanas; losterrenos de las humanidades y las ciencias socialesson, en algunos casos, notablemente distintos, perotambién es cierto que, por debajo de las diferencias,hay un tronco común muy fuerte en metodologías,lenguajes y planteamientos —centrados en el fenó-meno humano y social, que es único, marcado sin-gularmente porque tiene como principal referentela libertad con la que este fenómeno se despliega.

Podríamos decir, sin afán de establecer ningunagran tesis, pero sí una delimitación bien neta, que,mientras que el conocimiento científico-natural —con reserva de las evoluciones más recientes an-teriormente aludidas— se rige por la búsqueda delas determinaciones que configurarán las mencio-nadas leyes de la naturaleza, el conocimiento hu-manístico-social se rige por la comprensión de lanaturaleza indeterminada —o poco determinada—, es decir, libre, tanto del individuo como de la so-ciedad humana y su evolución. En un lado, pues,la naturaleza física y sus determinaciones; en elotro, la naturaleza humana y su indeterminación.¿Cuáles son los resultados de la tarea de investi-gación científica —es decir, metodológica y crítica—a uno y otro lado? El descubrimiento de regulari-dades naturales en un lado; la comprensión de lacompleja apertura y los sentidos plurales de la exis-tencia individual y social en el otro. Consecuenciasprevisibles para la evaluación: distancia enorme en-tre las calidades de uno y otro producto y, por lotanto, necesaria distancia entre los procedimientospara la apreciación —reconocimiento de valor— deuno y otro.

¿Cuál es el valor socialmente destacable delconocimiento humanístico-social? Precisamente,como adelantábamos, la autocomprensión comoseres humanos en nuestra dimensión constitutiva,libre: es decir, la comprensión del lenguaje y la pro-ducción literaria, del pensamiento y la producciónfilosófica, de la sensibilidad y el arte, de los cambiosen el tiempo y la historia, del uso del espacio y lageografía, del consenso normativo y el derecho,de la organización compleja y variable del movi-miento económico y las articulaciones sociales.Obviamente, alguien puede dudar del valor de estacomprensión, que es un grado superior de la puraexplicación descriptiva porque apunta a la capta-ción de sentido; son las personas que se preguntanpor qué las cosas deben tener sentido, es decir,que también les preocupa —no sólo qué es, sinopor qué— el sentido de las cosas, pero no lo sabeno están distraídas con el mando a distancia de mily un aparatos.

El escritor brasileño Mario Quintana estableciósentenciosamente: “Los hechos son un aspectosecundario de la realidad.” La osadía es notable,pero es una lección condensada de buena metafí-sica. Qué constituye la realidad es una pregunta —humanística— de gran profundidad y especial in-terés —muy “realista”, además. Una respuesta demuy poca profundidad —y poco realista— es quela realidad la constituyen los hechos, aunque pro-bablemente sería mayoritariamente firmada, y so-bre todo firmada sin pensar demasiado. Porque,si se piensa un poco, resulta que la vida humanase despliega sobre todo gracias a las proyeccionessimbólicas e interpretativas que hacemos de loshe-chos; o, dicho de otro modo, los hechos huma-nos —si debemos dar relieve a los hechos— sonhechos lingüísticos, simbólicos, estéticos, ético-políticos, que intentan ordenar y encajar el conjuntode sensaciones subjetivas o emocionales y el con-junto no menos magmático de “hechos” materialeso externos en una red de comprensión o de sentidoque nos los haga asimilables para vivir.

83


nos regulamos” —interpretación de la mejor normaposible— y “felicidad personal” —el objetivo últimodel vivir humano, según la primera línea de la viejaÉtica aristotélica—; es decir, problemas de conoci-miento humanístico que se plantean sobre todo,como dice dramáticamente el título de su artículo,cuando el mundo está destrozado.

Dice Christian Salmon,12 un escritor muy atentoa los actuales medios de comunicación: “El resur-gimiento de los mitos en nuestra sociedad con-temporánea se confirma muy especialmente enperíodos de inseguridad mundializada que estimulanuestra búsqueda de la verdad, de sentido para lavida, tanto de magia como de misterio.” Lo diceen una obra que, en su título, incluye la expresiónterrible —adoptada de las tecnologías informáti-cas— “formater les esprits”. Su tesis es que la cons-trucción, obviamente simbólica, de mitos y narra-ciones es una poderosa máquina de, ni más nimenos, “formatear los espíritus”, es decir, construirsus marcos de inteligibilidad y, a través de eso, de-

El conocimiento humanístico-social es precisa-mente el que intenta construir las redes simbólicasy hermenéuticas para aquella comprensión. Esteconocimiento se mueve principalmente en el terri-torio intangible pero imprescindible de los símbolos,las palabras, las ideas, los valores, las normas con-vencionales o la habilidad y potencia hermenéutica,constituyendo lo que algunos han llamado un ver-dadero soft power, un poder ligero, que no pesamaterialmente, pero que influye decisivamente enla vida individual y colectiva.

Escuchemos algunas opiniones recientes, y node humanistas de vieja escuela —dignos humanis-tas, por otro lado—, sino contemporáneos y com-prometidos con los conflictos de la época. Un autornada suspecto de especulativismo simbolista deningún tipo, ocupado sobre todo en temas durosde economía y sociedad contemporánea, TimothyGarton Ash, que se define a sí mismo como “histo-riador del presente”, decía en un artículo11 deprensa: “Una tercera toma de conciencia funda-mental es la que debemos hacer al revisar las pau-tas por las que nos guiamos. ¿Cuánto más dinero,cuántas más cosas necesitamos? ¿Es lo mismotener suficiente que tener demasiado? [...] ¿Podría-mos arreglárnoslas con menos? ¿Qué es lo verda-deramente importante para usted? ¿Qué contri-buye más a su felicidad individual?” Las palabrasclave son tres: “toma de conciencia” —o compren-sión de un sentido—, “revisar las pautas por las que

el valor socialmente destacable del conocimiento humanístico-social es laautocomprensión como seres humanos en nuestra dimensión constitutiva, libre: es decir, la comprensión del lenguaje y la producción literaria, del pensamiento y laproducción filosófica, de la sensibilidad y el arte, de los cambios en el tiempo y lahistoria, del uso del espacio y la geografía, del consenso normativo y el derecho, de laorganización compleja y variable del movimiento económico y las articulaciones sociales

11 T. Garton Ash, “La felicidad en un mundo hecho trizas”,

El País, 4 de enero de 2009.

12 Ch. Salmon, Storytelling, la machine à fabriquer des

histoires et à formater les esprits(París: La Découverte, 2007), pág. 41.

84


terminarlos, controlarlos. Y en el citado texto des-tacamos que es precisamente en épocas como lanuestra, de fuerte inseguridad en todos los órde-nes, cuando más “los espíritus” necesitan “la bús-queda de verdad y de sentido para la vida, tantocomo de magia y misterio”; es decir, o bien nos“formatea el espíritu” la búsqueda de verdad y sen-tido o la de magia y misterio.

Es en parte lo que se deduce de la contestaciónque el sociólogo Zygmunt Bauman, que nos hadescubierto la liquidez de la condición de nuestracivilización, daba en una entrevista:13 “Lo que haceesta aspiración de saber [el futuro] más acuciantees que la inestabilidad que abate todos y cada unode los aspectos de nuestra vida cotidiana coincidecon el declive de la confianza en las autoridades.La lista de promesas incumplidas y expectativasfrustradas es cada día más larga, y bajo los escom-bros de la decepción pocos políticos emergen ile-sos y sin mancha. Pero los científicos tampoco sedefinen mucho mejor, y cuando se produce un des-cubrimiento todos tendemos a preguntar quién fi-nancia aquella investigación, quién está detrás. Te-niendo en cuenta el bajo nivel de las ideas que losexpertos generan, no es extraño que la gente mirehacia otras fuentes de saber que no han tenidoocasión de probar y de salir decepcionados, esdecir, hacia gurús y otros autoproclamados profe-tas, hacia predicadores de conocimiento alterna-tivo... Y me temo que si la gente hace eso caerátambién en una frustración muy grande.”

El sabio analista nos señala algunos puntos queconectan fuertemente con lo que estamos di-ciendo: primero, remarca un viejo apotegma filo-sófico y humanístico, “por naturaleza todos aspi-ramos a saber”, en relación con el cual acontinuación constata la decepción contemporá-nea tanto de las autoridades políticas —ningunanovedad— como de las científicas, lo cual nos in-terpela directamente, no tanto por el peligro de queningún laboratorio compre con sumas astronómi-cas a un humanista que le justifique un medica-mento banal como porque el conocimiento huma-nístico-social de calidad —critica el “bajo nivel delas ideas que los expertos generan”— es el quemás singularmente, más específicamente, máscompetentemente, puede aparecer —en el con-texto de decepción— para evitar la deriva de lagente hacia la tentación del “conocimiento alterna-tivo” —o, como decía Salmon, “la magia y el miste-rio”.

el conocimiento humanístico-socialse mueve principalmente en el

territorio intangible peroimprescindible de los símbolos, laspalabras, las ideas, los valores, las

normas convencionales o la habilidady potencia hermenéutica,

constituyendo un poder ligero, queno pesa materialmente, pero queinfluye decisivamente en la vida

individual y colectiva

13 Z. Bauman entrevistado por CarmeVinyoles en Presència, nº 1924, 9-15de enero de 2009.

85


el conocimiento humanístico-socialpuede y debe aportar a la sociedadalgunos elementos esenciales para

la vida individual y colectiva. enprimer lugar, sentido de la libertad,

análisis de sus condiciones, límites yposibilidades; en segundo lugar,

claves de sentido y deinterpretación; en tercer lugar,

dotación de sentido crítico yautocrítico; y, por último, conciencia

de la construcción necesariamentehistórica del ser y la sociedad,

ciencia incluida

es en épocas como lanuestra, de fuerteinseguridad en todos losórdenes, cuando más“los espíritus” necesitan“la búsqueda de verdad yde sentido para la vida,tanto como de magia ymisterio”

Los falsos formateados, los conocimientos al-ternativos vagamente esotéricos, la magia, en de-finitiva la manipulabilidad de las personas y las so-ciedades, sólo son corregibles por la aportaciónintensiva de conocimiento humanístico-social, esdecir, de pensamiento crítico, cuyas característicasbásicas son: la formación de criterios más que laacumulación informativa, la capacidad autocorrec-tiva y modestia epistemológica y un elevado sentidotanto del contexto como de los procesos evolutivosde todas las realidades.

Este conocimiento humanístico-social, las cien-cias humanas si se quiere —porque como conoci-miento metódico, autocrítico y contrastado sonciencia de la mejor—, puede y debe aportar a la so-ciedad algunos elementos esenciales para la vidaindividual y colectiva. En primer lugar, sentido dela libertad, análisis de sus condiciones, límites yposibilidades, porque precisamente busca com-

prender el fenómeno humano, esencialmente libre:estudiar a la persona, pues, es estudiar precisa-mente su condición de ser libre. En segundo lugar,claves de sentido y de interpretación: se ha definidonuestra época como la época de las mayores com-plejidades y, por lo tanto, la de mayor necesidadde sentido y de capacidad hermenéutica para noperdernos y para gestionarlas debidamente. Entercer lugar, dotación de sentido crítico y autocrí-tico, como derivación de lo anterior, que nos sitúaprecisamente junto a las otras ciencias —nunca enconfrontación con ellas, porque todo el saber cien-tífico, al final, es un único saber y ya empieza a serhora de superar la aberración de las “dos culturas”.Y, por último, conciencia de la construcción nece-sariamente histórica del ser y la sociedad, cienciaincluida: Ken Bain, en un estudio sobre profesoresuniversitarios,14 constataba que los mejores profe-sores de todas las áreas de conocimiento compar-tían al menos una característica, la transmisión per-manente del sentido histórico de la constitución delos conocimientos que impartían.

14 K. Bain, Lo que hacen los mejores profesoresde universidad (Valencia: Publicacionsde la Universitat de València, 2006).

86


Una de las deficiencias más graves del “forma-teado” de los espíritus contemporáneos es el pre-sentismo o incluso el instantaneismo con el quetendemos a percibir los hechos, asociando la no-ción de pasado a la noción de caducado, cuando,como decía Javier Cercas hace pocos días en suartículo de un dominical de periódico,15 “el pasadoes el presente o la materia de la que está hecho elpresente”. Esto debería llevarnos a cambiar la de-nominación de la periodificación del tiempo y sus-tituir las dos nociones de pasado y de presente —el cual se presenta casi como enemigo y excluyentedel pasado— por la única de “presente continuo”,de modo que se entienda que en realidad lo queparece “pasado” está pasando y es tan nuestro yactual como la respiración que ahora mismo esta-mos haciendo. O que ya es hora de valorar quePlatón, Galileo o Marx son estrictamente contem-poráneos nuestros, de nuestro “presente conti-nuo”, porque nuestro presente está hecho, entreotras, de sus aportaciones.

15 J. Cercas, “¡Otra bendita novela sobre la guerra

civil!”, El País Semanal, nº 1737, 10 deenero de 2010, pág. 8.

¿Ésta es la valoración que hace la sociedad delas ciencias humanas? Lamentablemente, al menosde manera generalizada, no. Ésta es la valoraciónque deberíamos ser capaces de ganarnos, porquesabemos que es válida, porque somos capacesde justificarla académicamente, pero somos tam-bién capaces de percibir, precisamente por sentidohistórico y de contexto, el “fuera de juego” en elque nos ha situado una evolución de la sociedad,de la economía, de los medios de comunicación y,por último, de las propias estructuras académicasque hace que, menospreciada nuestra valoración,tengamos incluso dificultades a la hora de realizarnuestra propia evaluación. //

87


Valorar y evaluar son sinónimos de notable proximidad, decíamos;y deberíamos mirar, como principio, que la valoración que nos pareceque merece el conocimiento humanístico-social no se vea contradichafrontalmente por su sumisión a una evaluación donde sus caracterís-ticas no sólo no sean bien ponderadas, sino que sean incluso ignora-das. En ningún caso se trata de resistirse ni siquiera de poner enduda la conveniencia de la evaluación, el respeto a las exigencias delservicio público al que nos debemos, su justicia e incluso necesidadsistémica. Sí se trata, en cambio, de reflexionar y generar procesosde diálogo y obtención de procedimientos lo más consensuados po-sible para que la evaluación no se degrade en un proceso dogmáticoo ideológico —que enmascare falsamente la realidad— ni en un re-duccionismo cuantitativista que esté en neta contradicción con lanaturaleza de los conocimientos evaluados.

No era objetivo —y de ningún modo sería recomendable inventár-selo en estos momentos finales— entrar en el análisis detallado delas modalidades y medidas evaluadoras posibles; como mínimo, sinembargo, parece que podríamos apuntar principios o criterios míni-mos y genéricos que enmarcaran de forma más concreta el debatesobre los procedimientos de evaluación de la investigación humanís-tico-social.

Dichos criterios pretenden ser coherentes y derivados del hilo dela exposición. Los razonamientos, pues, se dan por hechos y melimito a efectuar unos mínimos simples enunciados.

La evaluación de la investigación humanístico-social no es reduc-tible a otras respetables y respetadas formas de evaluación de inves-tigación; su singularidad, incluso, debe permitir una notable variedadinterna.

ALGUNOS PRINCIPIOS OCRITERIOS PARA LAEVALUACIÓN DE LAINVESTIGACIÓN HUMANÍSTICAY SOCIAL

en ningún caso se tratade resistirse ni siquierade poner en duda laconveniencia de laevaluación, el respeto alas exigencias delservicio público al quenos debemos, su justiciae incluso necesidadsistémica

4

88


cantiles ni a procedimientos de medida mecani-cista. Una cosa es defender y practicar la transfe-rencia de conocimientos del mundo investigadoral mundo productivo y otra bien distinta es dar elmáximo valor a esta acción de transferencia que,en rigor, es una simple derivada de la investigaciónbásica o no orientada, fundamental tanto en el ám-bito científico-natural como, desde luego, en el hu-manístico-social. Un elemental sentido de la auto-nomía de la producción de conocimiento —decualquier tipo— nos debe hacer reclamar la pon-deración de su valor, situada a gran distancia desu rendimiento productivo; de lo contrario estaría-mos postulando el predominio del mercado sobrela ciencia, lo que, evidentemente, tiene mucho deideológico y nada de científico. Conservo unosapuntes de una intervención del profesor Joan Sub-irats, en unas jornadas de política universitaria dehace unos años, en la que argumentaba que el in-cremento de la intervención de criterios de “mer-cado según indicadores” da como resultado, comopasó en el Reino Unido durante los gobiernos to-ries, la pérdida del papel del profesorado universi-tario sustituido por el de “trabajador de resultados”sin identificación institucional universitaria. Tengá-moslo presente.

Hemos apreciado también, con Wallerstein, unaúltima fase evolutiva de todos los conocimientoshacia un cierto —y también confuso— reencuentrode una cierta unidad, tras la tendencia a la supera-

Los criterios de medida cuantitativa y mecánicadeberían estar siempre subordinados a criterioscualitativos y de ponderación argumentada.

La valoración de las aportaciones individualesdebe ser especialmente relevante, dado que lasprácticas de investigación son esencialmente indi-viduales por la naturaleza de los conocimientos:reflexivos, analíticos, críticos y, a menudo, inclusocreativos.

La investigación —y eventualmente la transfe-rencia— realizada en publicaciones no homologa-das internacionalmente, sobre todo si está vincu-lada a aspectos territoriales o a singularidadesculturales determinadas, merece una ponderaciónde su contenido que pueda llegar a la máxima pun-tuación.

Las personas responsables de la evaluaciónnecesitan tener un elevado grado de conocimientointrínseco o especialista de las materias que eva-lúan, porque se espera de ellas que valoren calida-des, más que contar cantidades, de los trabajospresentados a evaluación.

La necesidad de entrar en una cierta lógica demercado, a la que hemos hecho referencia, no ob-liga a someter la valoración del conocimiento pro-ducido —ni siquiera el que tiene relación más directacon los movimientos del mercado— a criterios mer-

la necesidad de entrar en una cierta lógica de mercado no obliga a someter lavaloración del conocimiento producido a criterios mercantiles ni a procedimientosde medida mecanicista

89


Hay que dejar bien claro que notiene sentido la uniformidadevaluadora si, como hemos estadoobservando, el valorepistemológico de fondo seexpresa funcionalmente enmetodologías muy diversas,objetivos distantes, prácticasinvestigadoras heterogéneas ycanales y formas de difusióncompletamente distintos.

ción del causalismo linealista en la ciencia naturaly de los cánones supuestamente universales en elmundo humanístico. Dicha constatación, que po-dría leerse simplificadamente como una homoge-neización, debe ser leída, en cambio, en mi opinión,como una constatación del “pluralismo” inherentea la producción de conocimiento en el mundo con-temporáneo. En efecto, en la medida que se atenúael determinismo causalista en el mundo de la cien-cia natural, se expresa claramente la apertura y di-versidad de sus conocimientos, dado que preci-samente el determinismo causalista actuaba comodogma homogeneizador de todo aquel ámbito; nohay duda de que hoy entre la nanotecnología, lamicrobiología y la astrofísica, por citar tres ámbitosde investigación que están progresando enorme-mente, se han “liberado” formas de conocimientocada vez más irreducibles unas a otras. Lo mismopasa con la destrucción de los cánones del huma-nismo y la fragmentación de las ciencias sociales:es un canto a la pluralidad, la diversidad y la dife-rencia.

En este contexto, es natural el establecimientode procedimientos evaluadores que respeten nosólo la gran diferencia entre ámbitos científico-na-turales y humanístico-sociales, sino las grandes di-ferencias dentro de cada uno de ellos.

Tras remarcar que no tiene sentido la radicaldistinción epistemológica entre las “dos culturas”—todo es ciencia si existe método y espíritu crí-tico—, hay que dejar bien claro que —precisamenteen honor del espíritu metódico y crítico, que evitasobre todo la confusión— no tiene sentido la uni-formidad evaluadora si, como hemos estado ob-servando, el valor epistemológico de fondo se ex-presa funcionalmente en metodologías muydiversas, objetivos distantes, prácticas investiga-doras heterogéneas y canales y formas de difusióncompletamente distintos. Una vez más en la vidahumana el reto es estimulante: llegar a disfrutar dela unidad de fondo a través de variados caminosen los procedimientos. //

sebastiÁn roDrÍguez,Àngels saHuquillo,

esteve arboix,Y magDa staniewicz

resultaDos DelestuDio sobre el

perFil De méritospara la

acreDitación DelproFesoraDo

lector Y agregaDoen las Áreas DeHumaniDaDes Y

ciencias sociales

93

RESULTA

DOSDELESTUDIO

SOBREELPERFIL

DEMÉRITOSPARALA

ACREDITA

CIÓNDELPROFESORADOLECTORYAGREGADOENLASÁREAS

DEHUMANIDADESYCIENCIASSOCIALES

El presente artículo presenta el planteamiento y los resultadospreliminares del estudio que AQU Catalunya realiza sobre el perfil deméritos para la acreditación del profesorado lector y agregado en lasáreas de Humanidades y Ciencias Sociales, que se presentaron enel Taller sobre la evaluación de la investigación en Humanidades yCiencias Sociales que se celebró los días 28 y 29 de enero de 2010en la Universitat de Barcelona.

La publicación completa de los resultados se llevará a cabo enlos próximos meses, una vez finalizado el análisis de todos los ámbitosestudiados. Sin embargo, se ha considerado oportuno incluir este

PRESENTACIÓN

resultaDos Del estuDio sobre el perFil De méritospara la acreDitaciónDel proFesoraDolector Y agregaDo en las Áreas De HumaniDaDes Y ciencias sociales

1

sebastiÁn roDrÍguez, Àngels saHuquillo, esteve arboixY magDa staniewicz

94


trabajo en la publicación resultante del Taller, a finde describir las características y los objetivos delestudio, la metodología empleada y algunos resul-tados preliminares.

1.1. CARACTERÍSTICAS Y OBJETIVODEL ESTUDIO

El estudio entronca con la necesidad de podervalorar adecuadamente la investigación en los ám-bitos de Ciencias Sociales y Humanidades. A dife-rencia del patrón de investigación habitual en lasdisciplinas científicas, en aquellas se pone de ma-nifiesto:

n La diversidad de tradiciones de investigaciónque conviven en estas áreas, como por ejemploEconomía, Educación y otras disciplinas emer-gentes como Trabajo Social, Didáctica de laExpresión Musical y Turismo.

n La necesidad de poder medir la calidad entrelas distintas disciplinas de forma eficiente(tiempo y dinero) con el menor impacto posibleen el propio proceso de investigación.

n El distinto rol entre artículos, libros y capítulosde libro como medios de difusión de la investi-gación.

n El incremento del uso de publicaciones elec-trónicas (aumento de bases de datos y reposi-torios) y la utilización que las generaciones másjóvenes de investigadores hacen del accesoabierto a la información científica.

n Preocupación por el impacto que la evaluaciónde la investigación tiene en el comportamientode los jóvenes investigadores y las estrategiasque siguen.

Por otro lado, desde la puesta en marcha delos procesos de acreditación en el año 2003, AQUCatalunya dispone de casi 5.000 currículum vítae(CV) que contienen una información muy valiosacon respecto a las fuentes y los tipos de publica-

ciones de investigación. Esta información debe per-mitir aportar conocimiento para reforzar los refe-rentes de evaluación empleados en los procesosde evaluación del profesorado.

El objetivo del estudio es, pues, elaborar losperfiles empíricos de la investigación y las publica-ciones de las personas que han pedido la acredi-tación a AQU Catalunya (lectores y agregados) enlas áreas de Ciencias Sociales y Humanidades, apartir del análisis de la información contenida enlos CV.

Este trabajo empírico tiene el objetivo de aportarinformación sobre el perfil promedio de méritos ne-cesarios para alcanzar la acreditación de las per-sonas solicitantes en el contexto catalán, por figu-ras y campos. Las figuras que se han analizadoson las figuras de profesor lector y agregado, pu-esto que son las figuras centrales de la vía contra-ctual y donde se concentran la mayoría de las soli-citudes de acreditación. Tal y como se muestra enla tabla 1, se han clasificado las solicitudes en diezcampos, de acuerdo con el criterio que AQU Cata-lunya sigue para clasificar los CV de los solicitan-tes.

el objetivo del estudio es, pues,elaborar los perfiles empíricos de

la investigación y laspublicaciones de las personas

que han pedido la acreditación aaqu catalunya (lectores y

agregados) en las áreas deciencias sociales y

Humanidades, a partir delanálisis de la información

contenida en los cv

95

RESULTA

DOSDELESTUDIO

SOBREELPERFIL

DEMÉRITOSPARALA

ACREDITA



1.2. FASES DEL ESTUDIO

El estudio se ha planteado en las fases que sedescriben a continuación. Actualmente están encurso las fases 1 y 2, mientras que la fase 3 con-ducirá al análisis final de datos para la elaboraciónde los perfiles empíricos de los candidatos.

Fase 1: Obtención de datos de las diversasdimensiones curriculares

En esta fase del proyecto se han identificadolas dimensiones curriculares a analizar y el tamañode la muestra a estudiar para asegurar su repre-sentatividad. Para la obtención de los datos expe-rimentales, se ha desarrollado una base de datosdonde se ha cargado toda la información relevantecontenida en los CV. En esta fase se ha extraído lainformación de un total de 1.541 currículos.

Fase 2: Identificación de la tipología delas fuentes

El análisis preliminar de los datos experimenta-les extraídos en los primeros ámbitos estudiadospuso de manifiesto la necesidad de abordar unanálisis detallado de las aportaciones para esta-blecer la tipología de las fuentes, tanto con respectoa las publicaciones científicas de artículos y reviewsy a las editoriales de los libros y capítulos de librocomo con respecto a las entidades financiadorasde proyectos de investigación y contratos de trans-ferencia de tecnología.

Para el estudio de la tipología de las revistascientíficas, se han elaborado listados generales (verel apartado 2.2.1) de títulos de revistas para cadaámbito, a partir de la información que aparece enlos índices bibliométricos más habituales como porejemplo ISI, CARHUS+, ERIH, IN-RECS, RESH yMIAR.1 Para identificar el tipo de editoriales y enti-dades financiadoras de proyectos, se han estable-cido clasificaciones partiendo tanto de criteriosgeográficos (catalán, nacional, internacional) comode financiación pública y privada.

La clasificación de la tipología de las fuentesestá permitiendo la elaboración de un mapa empí-rico del tipo de revistas, editoriales y proyectos deinvestigación en el contexto catalán, por figuras ycampos. Su análisis detallado permitirá determinar

ciencias sociales Humanidades

ciencias políticas y sociología Filologíacomunicación y Documentación Historia y arteDerecho geografíaeconomía y empresa Filosofíaeducaciónpsicología

TABLA 1. CLASIFICACIÓN DE CAMPOS

1 • Thomson Reuters. ISI Web ofKnowledge [en línea]. Disponible en:<http://isiwebofknowledge.com>(consulta: 14 de enero de 2010).

• European Science Foundation.European Reference Index for theHumanities (ERIH) [en línea].Disponible en: <http://www.esf.org>(consulta: 14 de enero de 2010).

(continúa en la siguiente página)

96


• Universidad de Granada. Índice deImpacto: Revistas Españolas deCiencias Sociales (INRECS) [enlínea]. Disponible en:<http://ec3.ugr.es/in-recs/>(consulta: 14 de enero de 2010).

• Consejo Superior deInvestigaciones Científicas.Revistas Españolas de CienciasSociales y Humanas (RESH) [enlínea]. Disponible en:<http://resh.cindoc.csic.es/>(consulta: 14 de enero de 2010).

• Agència de Gestió d’AjutsUniversitaris i de Recerca.CARHUS Plus+ [en línea].Disponible en:<http://www10.gencat.net/agaur_web/AppJava/catala/a_info.jsp?contingut=carhus> (consulta: 14 deenero de 2010).

• Universitat de Barcelona. Matriud’Informació per a l’Avaluació deRevistes (MIAR) [en línea].Disponible en: <http://miar.ub.es/>(consulta: 14 de enero de 2010).

(viene de la página anterior)

si existe un patrón específico de los tipos de out-puts de la investigación en Ciencias Sociales y Hu-manidades.

Fase 3: Elaboración de perfiles de méritospara profesores lectores y agregados

La fase final del proyecto permitirá evaluar lacalidad de las fuentes (artículos, libros y proyectosde investigación) y elaborar los perfiles promediode méritos necesarios para alcanzar la acreditacióncomo profesor lector y agregado.

Así, para la evaluación de la calidad de las re-vistas, se ha dirigido una primera encuesta a todoslos evaluadores y ex evaluadores de las comisionesde evaluación de profesorado de AQU Catalunyade Humanidades y Ciencias Sociales, en la que seles ha pedido que valoren los diferentes indicadoresde calidad de los distintos listados bibliométricos,para cada uno de los campos en los que AQU Ca-talunya clasifica los CV. Se pide a los evaluadoresque valoren en tres categorías (A/B/C) los distintostipos de clasificación de los índices bibliométricos(posición en cuartiles, clasificación A o valor de uníndice). Es importante destacar que los evaluadoresno valoran los títulos de las revistas.

La fase final del proyecto debe permitir, por unlado, que afloren los referentes de calidad que sehan considerado a la hora de valorar los CV y, porotro, elaborar los perfiles empíricos de las personassolicitantes evaluadas tanto favorable como des-favorablemente.

97

RESULTA

DOSDELESTUDIO

SOBREELPERFIL

DEMÉRITOSPARALA

ACREDITA



1.3.IMPACTO ESPERADO

Los resultados de este estudio tendrán un im-pacto sobre distintos agentes. Por un lado, los eva-luadores dispondrán de un mayor conocimientodel contexto de la evaluación para cada figura ypara cada campo, como por ejemplo cuáles sonlas principales fuentes de publicación, en qué lis-tados bibliométricos están ubicados o el númeropromedio de artículos que presentan las personassolicitantes. Los listados generales de títulos de re-vistas elaborados son también una herramienta detrabajo útil para conocer la calidad y tipología delas fuentes.

Asimismo, el estudio debe permitir contar conmás evidencias para poder construir referentes co-munes y compartidos, del mismo modo que se haconseguido en otros ámbitos científicos, estable-ciendo el número mínimo y la tipología de trabajosque hay que aportar para superar la evaluación.

En el caso de las personas evaluadas, el estudiopuede contribuir a disponer de referentes más cla-ros respecto a los trabajos que hay que aportarpara superar la evaluación.

En el caso de las agencias y organismos deevaluación, la existencia de referentes comunes ycompartidos permite avanzar en el establecimientode mecanismos de reconocimiento mutuo.

Por último, este trabajo puede contribuir a teneruna mejor información sobre las principales fuentesde publicación de libros y otros trabajos de investi-gación. AQU Catalunya no tiene previsto elaboraruna lista de clasificación de las editoriales, pero sípuede identificar cuáles son las que concentran lamayoría de los trabajos de calidad. //

la clasificación de la tipologíade las fuentes está permitiendola elaboración de un mapaempírico del tipo de revistas,editoriales y proyectos deinvestigación en el contextocatalán, por figuras y campos.su análisis detallado permitirádeterminar si existe un patrónespecífico de los tipos deoutputs de la investigación enciencias sociales yHumanidades

98


2.1.OBTENCIÓN DE DATOS DE LAS DIVERSASDIMENSIONES CURRICULARES

En primer lugar, se identificó a la población y muestrasusceptibles de ser estudiadas, considerando las figuras deprofesor lector y profesor agregado para cada uno de los diez cam-pos mencionados. Para que los resultados fueran representativos,se tuvieron en consideración los CV del total de la población en elcaso de los agregados y una muestra representativa de los de la po-blación de lectores (con una confianza del 95%), eliminando en todoslos casos los CV de candidatos repetidos. La población de estudioy la muestra analizada se exponen, respectivamente, en las tablas 2y 3. Tal y como puede observarse, se han vaciado los datos de másde 1.500 CV (977 de lector y 564 de agregado).

Una vez establecida la muestra de trabajo, se procedió a iden-tificar las dimensiones curriculares de las que tenía que ex-traerse la información de cada expediente, las cuales se señalan acontinuación:

n Proyectos de investigación: número total de proyectos de inves-tigación, indicando el número de proyectos donde era investiga-dor principal o participante, la entidad financiadora y su frecuen-cia.

n Contratos de investigación y transferencia: número total de con-tratos de investigación, indicando los que corresponden a inves-tigador principal o participante, la entidad financiadora y su fre-cuencia.

n Publicaciones: número total de artículos y reviews, diferenciandoaquellas en las que el solicitante era autor único.

n Libros y capítulos de libro: número total, indicando los que cor-responden a autor único, las editoriales en las que se han publi-cado y su frecuencia.

METODOLOGÍA2

99

RESULTA

DOSDELESTUDIO

SOBREELPERFIL

DEMÉRITOSPARALA

ACREDITA



n Otras publicaciones: número de publicacionesen revistas no indexadas, informes, dictáme-nes, working papers, reseñas, traducciones,monografías, etc.

n Congresos: número de congresos con ponen-cias y las publicaciones resultantes.

n Estancias de investigación: número de mesesy su naturaleza (doctorales o posdoctorales).

n Dirección de actividad investigadora: trabajosfinal de carrera, tesinas, másteres, tesis doc-torales.

como herramienta de trabajo para recoger la información del vaciado de los cv, sediseñó y ensayó una plantilla de vaciado de los cv que permitió construir la base dedatos final con la información más relevante de cada individuo

Como herramienta de trabajo para recoger la in-formación del vaciado de los CV, se diseñó y ensayóuna plantilla de vaciado de los CV que permitió cons-truir la base de datos final con la informa-ción más relevantede cada individuo. El ensayoa pequeña escala de esta plantilla permitió, por unlado, la validación de las dimensiones curricularesidentificadas en todos los campos y, por otro, esta-blecer los criterios de vaciado de los CV para ase-gurar la homogeneidad del proceso en el tiempo,considerando y/o rechazando el mismo tipo de in-formación en todos los campos estudiados.

De esta etapa del proyecto cabe destacar la di-ficultad que ha supuesto el hecho de que el CV seaun documento relativamente abierto, de modo quela información contenida no siempre responde a lasinstrucciones establecidas y, además, no se sumi-nistra de forma completa. Así, por ejemplo, no siem-pre es posible distinguir los proyectos competitivosde los no competitivos, que en muchos CV aparecenmezclados, y en muchos casos hay revistas no in-dexadas en el apartado de las publicaciones inde-

xadas. Eso hizo necesario la adopción de criteriosinternos de clasificación, para que la extracción dela información fuera un proceso lo más consistenteposible. A menudo, las personas solicitantes no in-cluyen el número de páginas de sus contribuciones,el ISBN, etc. En ese sentido, desde AQU Catalunyase plantea la posibilidad de que los CV que los soli-citantes presentan sean los mismos con los que cu-entan las universidades en sus aplicativos institucio-nales. Para poder llegar a este estadio, se ha iniciadoun proyecto de colaboración con las universidades.

El análisis de la información obtenidadurante el vaciado de los CV puso de mani-fiesto que no existían significativas diferencias, ennúmeros absolutos, entre el volumen de aporta-ciones de expedientes evaluados favorable y des-favorablemente. Así pues, fue necesario abordarun análisis más detallado de las aportaciones parapoder determinar la calidad y tipología de éstas,como por ejemplo publicaciones en revistas inde-xadas en alguna base de datos internacional o ar-tículos publicados en revistas sin indexar.

100


lectores agregados

Ámbito Fav. DesF. total Fav. DesF. total total por ámbito

comunicación y Documentación 37 28 65 8 15 23 88ciencia política y sociología 30 39 69 10 15 25 94Derecho 69 28 97 33 21 54 151economía y empresa 66 65 131 46 38 84 215educación 64 55 119 15 18 33 152psicología 60 47 107 18 25 43 150Filología 126 45 171 77 49 126 297Historia y arte 135 32 162 88 45 133 295Filosofía 8 2 10 8 17 25 35geografía 39 7 46 9 9 18 64

total 634 348 977 312 252 564 1.541

TABLA 3. MUESTRA ANALIZADA

lectores agregados

Ámbito Fav. DesF. total Fav. DesF. total total por ámbito

comunicación y Documentación 37 28 65 8 18 26 91ciencia política y sociología 30 39 69 10 15 25 94Derecho 82 30 112 33 22 55 167economía y empresa 83 79 162 47 38 85 247educación 74 68 142 15 19 34 176psicología 80 47 127 18 25 43 170Filología 186 51 237 84 53 137 374Historia y arte 195 34 229 90 46 136 365Filosofía 8 2 10 8 22 30 40geografía 40 9 49 9 9 18 67

total 815 387 1.202 322 267 589 1.791

TABLA 2. POBLACIÓN SUSCEPTIBLE DE SER ANALIZADA

101

RESULTA

DOSDELESTUDIO

SOBREELPERFIL

DEMÉRITOSPARALA

ACREDITA



el análisis de la tipologíade las fuentes se ha

llevado a cabo con laconstrucción de los

llamados listadosgenerales, que, para cada

campo estudiado,contienen todos los

títulos de las revistasincluidas en distintosíndices bibliométricos

2.2.IDENTIFICACIÓN DE LA TIPOLOGÍADE LAS FUENTES

2.2.1. Publicaciones en revistas científicas

En este caso, el análisis de la tipología de lasfuentes se ha llevado a cabo con la construcciónde los llamados listados generales, que, para cadacampo estudiado, contienen todos los títulos delas revistas incluidas en distintos índices bibliomé-tricos.

El proceso que se ha seguido para la elabora-ción de los listados ha sido el siguiente:

n Determinar los índices bibliométricos (ya seade impacto, como ISI, IN-RECS, RESH o ERIH,o de difusión, como MIAR) a considerar y losámbitos o áreas de cada uno de ellos asociadosa cada campo en el que AQU Catalunya clasi-fica los CV.

n Fusionar, en un único listado alfabético y sin re-peticiones, los títulos de las revistas considera-das y su categorización en cada ámbito e índiceconsiderado. Así, para cada título el listado ge-neral permite conocer sus indicios de calidad,como por ejemplo qué cuartil ocupa en ISI, IN-RECS y/o RESH, su clasificación en CARHUS+y ERIH, y cuál es su valor del índice compuestode difusión secundaria (ICDS) del MIAR.

Hay que destacar que estos listados generales,con un número total de títulos que oscila entre 1.145y 5.780 según los campos, son una buena herra-mienta que AQU Catalunya puede poner a dispo-sición de los evaluadores.

Para poder conocer en qué ámbitos se ubicanlas revistas en las que están publicando las perso-nas solicitantes, se han comparado los listados ex-perimentales de la muestra (agrupando las revistasde lectores y agregados) con los listados generalesde su campo. Las revistas no ubicadas en el cor-respondiente campo se han comparado con los lis-tados generales de otros campos de AQU Catalu-nya afines, en función de los títulos de las revistasque quedaban sin clasificar, y así sucesivamente.Tras este proceso, las revistas sin clasificar o biencorresponden a títulos que no están incluidos enlos listados generales de los campos comparados(no aparecen en ISI, ERIH, CARHUS+, IN-RECS,RESH, MIAR), o bien pertenecen a otros ámbitos,o bien son revistas que los solicitantes han ubicadoincorrectamente en la sección “artículos en revistascon evaluación externa” en lugar del apartado “otraspublicaciones”. En la sección de resultados se mu-estra como ejemplo el análisis de la tipología de lasrevistas científicas para el campo de Psicología.

102


2.2.2. Editoriales

En cuanto a la tipología de editoriales de librosy capítulos de libro, se ha realizado la siguiente cla-sificación:

n Editoriales internacionales: se han dividido se-gún criterios geográficos en europeas (paísesde la Unión Europea), latinoamericanas, elgrupo formado por países anglosajones (Esta-dos Unidos, Canadá, Australia) y otras. La ca-tegoría de las editoriales internacionales incluyetanto editoriales de instituciones públicas comoprivadas. No se incluyen en este apartado laseditoriales universitarias internacionales, ya quese optó por hacer una categoría específica deeditoriales universitarias.

n Editoriales estatales: se han tratado separada-mente las públicas y las privadas. Entre las pú-blicas hay tanto las editoriales de las institucio-nes estatales (i. e. Ministerio) como de lascomunidades autónomas (salvo Cataluña).Igual que en el caso anterior, las editoriales uni-versitarias se han clasificado aparte. El criterioque se ha seguido para determinar si una edi-torial es estatal o catalana, cuando no existía lainformación en el CV, ha sido la ubicación de lasede editorial.

n Editoriales catalanas: análogamente, se ha di-ferenciado entre públicas y privadas.

n Editoriales universitarias: tanto públicas comoprivadas y de acuerdo con las siguientes sub-categorías: internacionales, estatales y catala-nas.

n Por último, el grupo de editoriales “sin clasificar”corresponde a editoriales que no han podidoclasificarse, por falta de información por partede los solicitantes o porque con el mismo nom-bre hay dos o más editoriales distintas.

2.2.3. Proyectos y contratos de investigación

Para el caso de los proyectos y contratos deinvestigación, se ha analizado el tipo de entidadesfinanciadoras. Así, se han combinado dos criteriosde clasificación: en primer lugar, si los proyectosde investigación eran financiados por entidadespúblicas o privadas y, en segundo lugar, de acuerdocon un criterio geográfico, si la entidad financiadoraes catalana, estatal o internacional. //

para el caso de los proyectos ycontratos de investigación, se haanalizado el tipo de entidadesfinanciadoras. así, se hancombinado dos criterios declasificación: en primer lugar, silos proyectos de investigación eranfinanciados por entidades públicaso privadas y, en segundo lugar, deacuerdo con un criterio geográfico,si la entidad financiadora escatalana, estatal o internacional

103

RESULTA

DOSDELESTUDIO

SOBREELPERFIL

DEMÉRITOSPARALA

ACREDITA



En este apartado se presentan, a modo de ejemplo, algunos re-sultados preliminares que se han obtenido. Prevalece una aproxi-mación descriptiva, dado que en el momento de escribir este artículotodavía no se dispone del análisis de los resultados de la encuesta alos evaluadores.

Se presentan resultados en cuatro grandes áreas: una descrip-ción del patrón de los outputs de la investigación en algunos de losámbitos estudiados, el análisis del tipo de publicaciones en revistascientíficas en el ámbito de Psicología, la tipología de editoriales de li-bros y capítulos de libro en el ámbito de Filología, y el análisis deltipo de proyectos de investigación en el ámbito de Educación.

3.1. PATRÓN DE LOS OUTPUTS DE PUBLICACIONESDE LA INVESTIGACIÓN

La figura 1 muestra la distribución en porcentaje de los outputsde la investigación en los ámbitos de Psicología, Educación y Filologíapor lo que se refiere a publicaciones (artículos científicos, libros y ca-pítulos de libro, informes y dictámenes, otras publicaciones, publi-caciones en congresos). Para cada uno de los ámbitos se indicanlas distribuciones obtenidas por profesores lectores y agregadosevaluados favorable y desfavorablemente de forma separada.

Mientras que en el ámbito de Psicología los artículos representanel 50% de los outputs para los profesores evaluados positivamentey el 30-40% para los profesores evaluados negativamente, en elcaso de Filología el porcentaje es inferior al 40% en ambos casos, yen Educación es inferior al 25%. En este último ámbito el total de pu-blicaciones en libros, capítulos de libro y otras publicaciones, dondese incluyen working papers, artículos no indexados, monografías,reseñas y traducciones, oscila entre el 44 y el 62% del total de losoutputs de la investigación. Estas aportaciones representan entre el42 y el 54% en el ámbito de Filología y entre el 27 y el 53% en elámbito de Psicología.

RESULTADOS3

104


Estos datos ponen de relieve la diversidad exis-tente entre las disciplinas, puesto que, si bien losartículos en revistas científicas son el principal me-dio de difusión de la investigación en los ámbitoscientíficos, en el campo de las Ciencias Sociales yHumanidades es necesario considerar tambiénlos libros, capítulos de libro y otras publicaciones.

3.2. TIPOLOGÍA DE LAS PUBLICACIONESDE ARTÍCULOS EN PSICOLOGÍA

En la figura 2 se presenta una descripción cu-antitativa en relación con el volumen de publica-ciones de los profesores lectores y agregados (fa-vorables y desfavorables) en el campo de la

Psicología. Tal y como se muestra en la tabla su-perior de la figura, se han analizado 150 CV, dondese han identificado 584 revistas distintas con untotal de 1.588 artículos y reviews publicados.

Los dos gráficos indican, para agregados y lec-tores, los valores promedio del total de artículos yreviews y cuántos de ellos corresponden a publi-caciones de autores únicos. Las barras de colorverde corresponden a evaluaciones favorables ylas de color azul a evaluaciones desfavorables.

Tanto para el caso de los agregados como delos lectores, puede observarse que no existen di-ferencias significativas entre los expedientes favo-rables y desfavorables en cuanto al número de ar-tículos y reviews como autor único.

Filología

educación

psicología

lectores desfavorables

lectores favorables

agregados desfavorables

agregados favorables


lectores favorables




lectores favorables



nº artículos + reviews nº libros nº capítulos libro nº informes + dictámenes nº otras publ. nº publ. congresos

FIGURA 1. OUTPUTS DE PUBLICACIONES DE LA INVESTIGACIÓN

0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%

105

RESULTA

DOSDELESTUDIO

SOBREELPERFIL

DEMÉRITOSPARALA

ACREDITA



muestra psicología agregados lectores muestra global

nº cv total 43 107 150nº revistas 397 367 584*nº artículos (a+r) 803 785 1588

FIGURA 2. MEDIAS DE PUBLICACIONES EN REVISTAS EN LA MUESTRA DE PSICOLOGÍA

* sin repeticiones

0 5 10 15 20 25

nº r autor único

nº r total

nº a autor único

nº a total

nº total (a+r)

Favorables: nº total (a+r): 6 - 59Desfavorables: nº total (a+r): 6 - 35

Favorables: nº total (a+r): 1 - 35Desfavorables: nº total (a+r): 0 - 23

0 2 4 6 8 10

nº r autor único

nº r total

nº a autor único

nº a total

nº total (a+r)

Desfavorables Favorables

En cuanto al número total de artículos y reviews,la media para los agregados es de 17 en los expe-dientes desfavorables y de 21 en los favorables. Laparte inferior de los gráficos muestra el rango deaportaciones (valores mínimos y máximos), que parael caso de los favorables oscila entre 6 y 59 y para elcaso de los desfavorables entre 6 y 35. Así pues, enalgún caso 6 aportaciones han comportado unaevaluación favorable y 35 aportaciones han supuestouna evaluación desfavorable. El mismo comporta-miento puede observarse en el caso de la muestrade lectores, aunque, como era de esperar, el númeromedio de aportaciones es inferior. Lo que se des-prende de este análisis es que, si bien con un mayorvolumen de publicaciones existen más posibilidadesde superar la evaluación, la cantidad de méritos no

es una cuestión determinante y hay que analizar sucalidad, siendo imprescindible conocer la tipologíade las fuentes de publicación.

La comparación del listado experimental de lasrevistas de la muestra de Psicología con los distin-tos listados generales elaborados para los camposestudiados (ver el apartado de metodología) hapermitido obtener la distribución porcentual de laubicación de revistas y artículos que se muestraen la figura 3. El 34% de las revistas pertenecen alcampo de Psicología, el 12% al campo de Educa-ción y el 7% al ámbito de Medicina de ISI. Para elcaso de Psicología también se elaboró un listadocon las 1.090 revistas de las áreas de Medicina in-cluidas en ISI. En cuanto a los artículos, el 46% es-

agregados (medianas) lectores (medianas)

nota: a: artículos; r: reviews

00

0,130,03

0,40,5

1,41

49

95

01

55

1620

1721

106


tán publicados en revistas del campo de la Psico-logía, el 12% en revistas de Educación y el 7% enrevistas de Medicina. Las revistas ubicadas en elcampo de Ciencias Políticas y Sociología corres-ponden sólo al 4% del total de publicaciones.Puede observarse también que el 40% de las re-vistas (el 25% de los artículos) no han podido clasi-ficarse. Este grupo de publicaciones abarca tantorevistas no incluidas en los índices bibliométricosconsiderados como revistas ubicadas incorrecta-mente en el apartado de publicaciones relevantespor parte de las personas solicitantes.

FIGURA 3. PSICOLOGÍA: UBICACIÓN DE REVISTAS Y ARTÍCULOS EN LOS CAMPOS ESTUDIADOS

12%

4%7%3%

40%34%

50%

13%

5%

7%

1%

24%

ubicación revistas (muestra: 584 revistas) ubicación artículos (muestra: 1.588 revistas)

psicología educación ciencias políticas y sociología medicina otras publicaciones sin clasificar

Se han analizado también las frecuencias depublicación de cada uno de los títulos de revistas; yla distribución obtenida por las revistas ubicadasen los campos de Psicología, Educación, Medicinay Ciencias Políticas y Sociología se muestra en la fi-gura 4. Para las revistas ubicadas en el campo dePsicología, se observa que la mayoría de los títulos(55,8%) recogen sólo uno o dos artículos, mientras

que las revistas que presentan frecuencias supe-riores a 11 artículos son solamente el 8,5%. En esteúltimo grupo se encuentran, por ejemplo, las revis-tasPsicothema, Anuario de Psicología y Revista dePsiquiatria de la Facultat de Medicina de Barcelona.

Una situación similar se observa en las revistasubicadas en el campo de Educación (66 revistas),

107

RESULTA

DOSDELESTUDIO

SOBREELPERFIL

DEMÉRITOSPARALA

ACREDITA


DEHUMANIDADESYCIENCIASSOCIALESFIGURA 4. FRECUENCIA DE PUBLICACIONES DE LAS REVISTAS DEL CAMPO DE PSICOLOGÍA

18,6%

15,1%

9,1%

11,6%

8,5%

37,2%

43,9%

25,8%

9,1%

7,6%

7,6%6,1%

Frecuencia 1 Frecuencia 2 Frecuencia 3 Frecuencia 4 Frecuencia 5 - 10 más 11

Medicina (42 revistas) y Ciencias Políticas y Socio-logía (25 revistas). En estos casos, el número de re-vistas con frecuencias de publicación de uno o dosartículos constituye, respectivamente, el 69,7%, el78,6% y el 48%. Por otro lado, sólo el 6,1% de lasrevistas ubicadas en el campo de Educación pre-sentan frecuencias superiores a 11. Entre las revistasde este grupo se encuentran Cuadernos de Peda-gogía, Aula de Innovación Educativa, Guix Elementsd’Acció Educativa y Revista de Educación (Madrid).

Globalmente, este análisis da una idea delgrado de atomización de las revistas donde publi-can los solicitantes del campo de Psicología. Al fi-nalizar el estudio podrá verse si este patrón tambiénes similar en los demás campos. El análisis del re-sultado de la encuesta a los evaluadores sobre lacalidad de las fuentes permitirá, además, obtenerel perfil final del profesorado del campo.

28,6%

9,5%

2,4%7,1% 2,4%

50,0%36,0%

12,0%16,0%

12,0%

24,0%

lista psicología (199 revistas) lista educación (66 revistas)

lista medicina (42 revistas) lista ciencias políticas y sociología (25 revistas)

108


3.3. ANÁLISIS DEL TIPO DE EDITORIALESEN EL CAMPO DE FILOLOGÍA

De la muestra de CV de este ámbito (297 CV)se han identificado 2.082 libros y capítulos de libropublicados. En primer lugar, de acuerdo con loscriterios de clasificación mencionados en el apar-tado de metodología, y tal y como se muestra enla figura 5, el tipo de editorial donde se encuentramayor número de publicaciones de los solicitantesen el ámbito de Filología son editoriales privadascatalanas, que engloban el 31% de todos los librosy capítulos de libro. Es también significativo queuno de cada cuatro libros o capítulos se ha editado

en una universidad catalana o estatal (sobre todoen las primeras). Así pues, teniendo en cuenta ladistribución geográfica de las editoriales, los datosmuestran que el 55% corresponde a editoriales ca-talanas (tanto públicas como privadas), el 21% aeditoriales estatales públicas o privadas y, por úl-timo, el 17% a editoriales internacionales públicaso privadas. El 7% de las editoriales no se han po-dido clasificar, a menudo por falta de informaciónen los expedientes de la muestra.

Un análisis de las frecuencias de publicacionesindica que tres universidades barcelonesas (UAB,UB y UPF) son las que más libros y capítulos delibro han editado, seguidas por editoriales catalanasprivadas, como Publicacions de l’Abadia de Mont-serrat, Proa y Salvat Editores. Dentro del grupo delas editoriales internacionales, el 80% lo constituyenlas editoriales de países de la Unión Europea,siendo John Benjamins la editorial internacionalmás frecuente en las publicaciones de los solici-tantes de Filología.

FIGURA 5. TIPOLOGÍA DE EDITORIALES DE LIBROS Y CAPÍTULOS DE LIBRO EN EL CAMPO DE FILOLOGÍA

14%

11%

3%

6%

31%

3%

6%

19%

7%

ed. internacionales públicas y privadas ed. estatales privadas ed. estatales públicas ed. catalanas públicas ed. catalanas privadas

ed. universitarias internacionales ed. universitarias nacionales ed. universitarias catalanas Dudosas y sin clasificar

muestra estudiada agregados lectores

nº cv total 126 171nº libros 514 295nº capítulos 727 546

109

RESULTA

DOSDELESTUDIO

SOBREELPERFIL

DEMÉRITOSPARALA

ACREDITA



3.4. ANÁLISIS DEL TIPO DE PROYECTOSDE INVESTIGACIÓN EN EL CAMPODE EDUCACIÓN

De acuerdo con los datos analizados que semuestran en la figura 6, casi todos los proyectosde investigación en el ámbito de Educación hansido financiados por instituciones públicas, la mayo-ría instituciones públicas catalanas (59%), seguidaspor las estatales (20%) y las internacionales (15%).

Dentro del ámbito internacional, el 60% de losproyectos han sido financiados por la Unión Euro-pea, que también a escala global se encuentra en-tre las instituciones que más proyectos han finan-ciado. Otras entidades a destacar serían elMinisterio de Educación y Ciencia, el Instituto Na-cional de Educación Física de Cataluña y la AGAUR.//

FIGURA 6. TIPOS DE ENTIDADES FINANCIADORAS DE PROYECTOS DE INVESTIGACIÓN EN EL CAMPO DE EDUCACIÓN

15%

20%

59%

4% 1% 1%

Ámbito público internacional Ámbito público estatal Ámbito público catalán Ámbito privado catalán

Ámbito privado internacional y estatal Dudosas y sin clasificar

muestra estudiada agregados lectores

nº cv total 33 171nº proyectos de investigación 370 910

110


Cabe decir que las conclusiones que se presentan a continuaciónson de carácter general. Las conclusiones específicas para cadacampo se elaborarán al final del proyecto, cuando se hayan analizadotodos los campos de las Ciencias Sociales y Humanidades. Comoconclusiones generales destacan los siguientes puntos:

n Necesidad de reflexionar sobre criterios y estándares para po-der disponer de un marco de referencia más explícito

Un marco de referencia más explícito, fruto de un mayor con-senso en los criterios de evaluación, permitirá a una persona so-licitante de informe de lector o de acreditación de investigaciónsaber con menor grado de incertidumbre sus posibilidades desuperar la evaluación, y puede dar más seguridad a los procesosde evaluación de la calidad.

n Conveniencia de desarrollar una sistemática de acumulación em-pírica de datos que permita el ajuste periódico de los criterios

El disponer de información actualizada sobre el patrón de inves-tigación (por figuras de profesorado y campos) es una herra-mienta muy útil para ir ajustando los criterios de evaluación, demodo que puedan tomarse decisiones sobre la modificación delos criterios a partir de datos experimentales concretos, aumen-tando de forma gradual y razonable el nivel de exigencia, llegadoel caso. En este sentido, son muchas las comisiones de evalua-ción de profesorado de AQU Catalunya que constatan el cambioy la mejora en la actividad de la investigación de las personas so-licitantes, considerando la función pedagógica que los criteriosde evaluación han tenido en los siete años de funcionamientodel proceso de evaluación externa del profesorado. //

CONCLUSIONES PRELIMINARES4

un marco de referenciamás explícito, fruto de unmayor consenso en loscriterios de evaluación,permitirá a una personasolicitante de informe delector o de acreditaciónde investigación sabercon menor grado deincertidumbre susposibilidades de superarla evaluación, y puededar más seguridad a losprocesos de evaluaciónde la calidad

aqu catalunYa

conclusionesglobales

Del taller

113

CONCLUSIONESGLO

BALESDELTALLE

R

La XI edición de los Talleres de reflexión y debate de AQU Catalu-nya con las universidades catalanas se dedicó a la evaluación de lainvestigación en Humanidades y Ciencias Sociales. El objetivo delTaller era crear un espacio de reflexión general sobre la investigación,que permitiera identificar propuestas de mejora de la evaluación, conla voluntad de generar un mayor consenso dentro de la comunidadcientífica y académica catalana.

Las más de 300 personas que participaron en él se organizaronen grupos de trabajo (Grupo 1: Filosofía, Historia, Arte, Antropologíay Geografía; Grupo 2: Filología y Traducción e Interpretación; Grupo3: Educación; Grupo 4: Economía y Empresa, Ciencias Políticas ySociología; Grupo 5: Psicología; Grupo 6: Derecho; Grupo 7: Biblio-teconomía y Documentación y Comunicación), cada uno de los cualesllegó a conclusiones sobre cómo mejorar la evaluación de la investi-gación en su área de conocimiento. Estas conclusiones pueden con-sultarse en la http://www.aqu.cat/activitats/tallers_jornades/ta-ller_2010/conclusions_es.html.

Las aportaciones más significativas y transversales, que son com-partidas por la mayoría de los grupos de trabajo, se han recogido eneste documento final, que tiene la voluntad de ser el punto de partida

INTRODUCCIÓN

conclusionesglobales Del taller

1

aqu catalunYa

114


para proponer los cambios necesarios en cuantoal enfoque, el modelo y la operativa de evaluación.

Las propuestas planteadas van orientadas, so-bre todo, a un perfeccionamiento de la evaluación.Por eso es indispensable que las agencias de eva-luación, de ámbito catalán y español, nos ponga-mos de acuerdo en mejorar el modelo, puesto quela coherencia del sistema (que no uniformidad) esun requisito para su buen funcionamiento.

El compromiso que la agencia catalana ad-quiere a partir de ahora, tomando como punto departida las conclusiones del Taller, es promover undebate más amplio en el ámbito catalán y español,para articular un sistema de evaluación más ajus-tado a las especificidades de las áreas humanísti-cas y sociales. //

las conclusiones sobre cómo mejorar la evaluación de la investigación en cada unade las áreas de conocimiento que participaron en el taller, se pueden consultar enla web de aqu catalunya:

http://www.aqu.cat/activitats/tallers_jornades/taller_2010/conclusions_es.html

115

CONCLUSIONESGLO

BALESDELTALLE

R

ALGUNOS PRINCIPIOS O CRITERIOS PARA LAEVALUACIÓN DE LA INVESTIGACIÓN HUMANÍSTICAY SOCIAL

Valorar y evaluar son sinónimos de notable proximidad; y debe-ríamos mirar, como principio, que la valoración que nos parece quemerece el conocimiento humanístico y social no se vea frontalmentecontradicha por su sumisión a una evaluación donde sus caracterís-ticas no sólo no sean bien ponderadas, sino que sean incluso ignora-das. En ningún caso se trata de resistirse ni siquiera de poner enduda la conveniencia de la evaluación, el respeto a las exigencias delservicio público al que nos debemos, su justicia e incluso necesidadsistémica. Sí se trata, en cambio, de reflexionar y generar procesosde diálogo y obtención de procedimientos lo más consensuados po-sible para que la evaluación no se degrade en un proceso dogmáticoo ideológico —que enmascare falsamente la realidad— ni en un re-duccionismo cuantitativista que esté en neta contradicción con lanaturaleza de los conocimientos evaluados.

Se pueden apuntar principios o criterios mínimos y genéricos queenmarquen de forma más concreta el debate sobre los procedimien-tos de evaluación de la investigación de estos ámbitos.

La evaluación de la investigación humanística y social no es re-ductible a otras respetables y respetadas formas de evaluación deinvestigación; su singularidad, incluso, debe permitir una notable va-riedad interna.

Los criterios de medida cuantitativa deberían estar siempre sub-ordinados a criterios cualitativos de peer review en que pueda reali-zarse una valoración.

La valoración de las aportaciones individuales debe ser especial-mente relevante, dado que las prácticas de investigación son esen-cialmente individuales por la naturaleza de los conocimientos: reflexi-vos, analíticos, críticos y, a menudo, incluso creativos.

EL MARCO DE REFLEXIÓN12

1 Este apartado es una adaptación delfragmento final de la intervención delDr. Joan Manuel del Pozo, titulada Laevaluación del conocimientohumanístico y social, dentro el Tallersobre la evaluación de la investigaciónen Humanidades y Ciencias Sociales, aquien se propuso que en su ponenciainaugural elaborara un marco teóricopara los posteriores debates de losgrupos de trabajo.

116


La investigación —y eventualmente la transfe-rencia— realizada en publicaciones no homologa-das internacionalmente, sobre todo si está vincu-lada a aspectos territoriales o a determinadassingularidades culturales, merece una significativavaloración de su contenido.

Las personas responsables de la evaluaciónnecesitan tener un elevado grado de conocimientointrínseco o especialista de las materias que eva-lúan, porque se espera de ellas que valoren calida-des, más que contar cantidades, de los trabajospresentados a evaluación.

Una cosa es defender y practicar la transferen-cia de conocimientos del mundo investigador almundo productivo y otra bien distinta es dar el má-ximo valor a esta acción de transferencia que, enrigor, es una simple derivada de la investigaciónbásica o no orientada, fundamental tanto en losámbitos científicos y naturales como, desde luego,en las humanidades y ciencias sociales. Un ele-mental sentido de la autonomía de la producciónde conocimiento —de cualquier tipo— nos debe ha-cer reclamar la ponderación de su valor, situada agran distancia de su rendimiento productivo; de locontrario se estaría postulando el predominio delmercado sobre la ciencia, lo que, evidentemente,tiene mucho de ideológico y nada de científico.

Se constata el “pluralismo” inherente a la pro-ducción de conocimiento en el mundo contempo-ráneo. En efecto, en la medida que se atenúa eldeterminismo causalista en el mundo de la ciencianatural, se expresa claramente la apertura y diver-sidad de sus conocimientos. Lo mismo pasa conla destrucción de los cánones del humanismo y lafragmentación de las ciencias sociales: es un cantoa la pluralidad, la diversidad y la diferencia.

En este contexto, es natural el establecimientode procedimientos evaluadores que respeten nosólo la gran diferencia entre ámbitos científicos ynaturales y humanísticos y sociales, sino las gran-des diferencias dentro de cada uno de ellos.

Tras remarcar que no tiene sentido la radicaldistinción epistemológica entre las “dos culturas” —todo es ciencia si existe método y espíritu crítico—, hay que dejar bien claro que —precisamente enhonor del espíritu metódico y crítico, que evita sobretodo la confusión— no tiene sentido la uniformidadevaluadora si, como hemos estado observando,el valor epistemológico de fondo se expresa fun-cionalmente en metodologías muy diversas, obje-tivos distantes, prácticas investigadoras heterogé-neas y canales y formas de difusión completamentedistintos. Una vez más en la vida humana el retoes estimulante: llegar a disfrutar de la unidad defondo a través de variados caminos en los proce-dimientos. //

117

CONCLUSIONESGLO

BALESDELTALLE

R

INTRODUCCIÓN2

Los asistentes al Taller no cuestionan la conveniencia de ser eva-luados. Lo consideran un requisito, dado el necesario reparto de re-cursos, la garantía de los niveles de calidad de la investigación y elrendimiento de cuentas de la actividad desarrollada. A pesar de ello,es una opinión compartida que la aplicación mimética de los criteriosy de la metodología de evaluación de los ámbitos científicos y tec-nológicos genera disfunciones en los ámbitos de las Humanidadesy las Ciencias Sociales.

Varios son los motivos que explican estos desajustes:

n Estas disciplinas contienen una amplia diversidad de áreas deconocimiento y de tradiciones de investigación, con distintos ni-veles de consolidación dentro de las propias áreas.

n A menudo la investigación parte de una clara delimitación territo-rial.

n No han consensuado mecanismos de evaluación y referentes co-munes.

n El libro o monografía, uno de los principales instrumentos de difu-sión en estas áreas, no ha logrado el nivel de identidad merecidodada la ausencia de un sistema de evaluación más claro y pre-ciso.

n A menudo y generalmente, los ritmos y tiempos de la investigaciónson bastante más largos, como lo son también los períodos devigencia de los trabajos resultantes.

APORTACIONES PARAMEJORAR LA EVALUACIÓNDE LA INVESTIGACIÓNEN HUMANIDADES Y CIENCIASSOCIALES

3

2 Entendemos por área disciplinaria lasHumanidades, las Ciencias Sociales,etc.; por disciplina, la Historia, laFilosofía, etc.; y por área deconocimiento, las áreas de adscripcióndel profesorado pos-LRU, como porejemplo la Didáctica de las CienciasSociales, etc.

es una opinióncompartida que la

aplicación mimética delos criterios y de la

metodología deevaluación de los ámbitoscientíficos y tecnológicos

genera disfunciones enlos ámbitos de lasHumanidades y las

ciencias sociales. esnecesario, pues,

reconocer el pluralismo yla especificidad de estas

áreas y construircriterios de evaluación

adecuados a esadiversidad

118


Es necesario, pues, reconocer el pluralismo yla especificidad de estas áreas y construir criteriosde evaluación adecuados a esa diversidad.

A continuación se detallan las principalesaportaciones, transversales para el conjunto delas Humanidades y las Ciencias Sociales, que fun-damentan la posible introducción de modificacio-nes en cuanto al enfoque, modelo y operativa deevaluación. Antes, sin embargo, en el primer apar-tado “Política de evaluación”, se recogen otros as-pectos más generales que, aunque no sean com-petencia de AQU Catalunya, se han tratado en elTaller y deben tenerse en cuenta, puesto que losprocesos de evaluación indefectiblemente se en-marcan en un contexto político y estratégico delprofesorado del sistema universitario catalán.

POLÍTICA DE EVALUACIÓN

Globalmente, y en todas las ciencias, se advierteque la introducción de los procesos de evaluaciónde la investigación, y las consecuencias que se de-rivan, pueden modificar las pautas de trabajo y losobjetivos de los investigadores e investigadoras. In-cluso puede llegarse a confundir que la finalidad dela investigación sea publicar, en lugar de adelantarseal conocimiento o mejorar las condiciones socialesy/o económicas del entorno.

Es necesario que las autoridades competentessean especialmente cuidadosas, coherentesy flexibles en el planteamiento de políticas y pro-cesos de evaluación (tanto con respecto a gruposcomo a personas), para garantizar el difícil equilibrioque supone incentivar la investigación.

Las políticas de evaluación deberíantener en cuenta el contexto de oportuni-dades para llevar a cabo la investigación. Las po-líticas de financiación existentes y la inserción engrupos de investigación potentes son aspectosque pueden condicionar las oportunidades para

realizarla. Pertenecer a un grupo con mucha pro-ductividad, donde a menudo el número de autoresde los trabajos es elevado, incrementa la posibilidadde recibir posteriores citas.

Si hablamos de calidad en la investigación, sedetermina que el criterio fundamental reside en laoriginalidad y la relevancia del conoci-miento que genera. Otros factores que la en-marcan pueden ser la interdisciplinariedad, la idio-sincrasia de los equipos de investigación, suexperiencia y la capacidad para formar investiga-dores noveles, la capacidad para fomentar la for-mación de redes y el intercambio de conocimientosy estrategias.

El grupo de investigación, como estructura ob-jeto de evaluación (grupos consolidados, etc.), essingular de nuestro sistema universitario, facilitandoel trabajo colectivo e interdisciplinario, así como lainserción de investigadores noveles en el sistemade investigación, la captación de recursos y su opti-

en todas las ciencias, se advierteque la introducción de los

procesos de evaluación de lainvestigación, y las

consecuencias que se derivan,pueden modificar las pautas de

trabajo y los objetivos de losinvestigadores e investigadoras.

incluso puede llegarse aconfundir que la finalidad de la

investigación sea publicar, enlugar de adelantarse al

conocimiento o mejorar lascondiciones sociales y/oeconómicas del entorno

119

CONCLUSIONESGLO

BALESDELTALLE

R

mización. Sin embargo, aunque el actual sistemase vertebra a través de los grupos de investigación,no habría que olvidar que existen otras unidades deinvestigación, como los investigadores indivi-duales, que todavía trabajan más o menos en soli-tario por las especificidades propias de su área deconocimiento, o bien formas más colectivas derealizar investigación y publicar, como por ejem-plo las redes. Las políticas que se pongan en marchadeberían tener en cuenta estas otras uni-dades de investigación, también importantes.

Durante el Taller se ha puesto de relieve quese debería mejorar la definición de las tipo-logías de profesorado que necesita la uni-versidad catalana. En concordancia con estastipologías, y dado que la evaluación establece unsistema de incentivos que condiciona la actividadcientífica y académica, se entiende que habría queestablecer mejor la finalidad de la evalua-ción. Sería positivo concretar si las agencias tienenque evaluar niveles de excelencia o bien debencentrarse en una acreditación de mínimos.

LA EVALUACIÓN

El sistema de evaluación

El sistema

De forma prácticamente unánime se ha expre-sado la opinión de que el sistema de evalua-ción debería ser complementario entre lavaloración por mecanismos indirectos y

En el caso de los proyectos que desarrollan losinvestigadores e investigadoras, y aparte de crite-rios de valoración puramente técnicos (tales comola distinción entre proyectos competitivos y no com-petitivos o el organismo financiador, entre otros),se entiende que sería necesaria una evaluación nosólo de los resultados publicados, sino tambiénde otros aspectos del propio proceso de la inves-tigación, y que debería tenerse en cuenta comofactor importante la originalidad e interdisciplina-riedad del trabajo. Habría que añadir, en relacióncon la evaluación de proyectos de investigación,la necesidad de ampliar los plazos para laevaluación de resultados publicados, porla especificidad propia de los ritmos y tiempos deinvestigación.

Por último, se considera imprescindible eva-luar la postinvestigación, el retorno de la in-vestigación, sobre todo aquella que se ha finan-ciado con fondos públicos.

en el caso de los proyectos que desarrollan los investigadores e investigadoras, seentiende que sería necesaria una evaluación no sólo de los resultados publicados,sino también de otros aspectos del propio proceso de la investigación, y quedebería tenerse en cuenta como factor importante la originalidad einterdisciplinariedad del trabajo

120


mecanismos directos. Por lo tanto, se apuestaclaramente por un sistema mixto, en el que la eva-luación se base principalmente en la valoración in-directa, y la valoración directa sólo se aplique enaquellos casos de duda o en aquellos casos en losque la persona evaluada, con el objetivo de superarla evaluación, quiera someter a evaluación directaalgún trabajo significativo de su investigación.

La lengua

Los sistemas de evaluación deberían permitirvalorar la calidad de la investigación sin perjuiciode la lengua en la que está escrita ni desu carácter territorial. Tendrían que arbitrarselas medidas necesarias para que estas investiga-ciones no sufran ningún tipo de discriminación.

El objeto de evaluación

Libros, monografías y su evaluación

Se pone de relieve el papel de la monogra-fía como instrumento muy significativo so-bre el que se vehicula buena parte de lainvestigación de estos ámbitos. Los libros, lasmonografías y los capítulos de libros deberían servalorados en función de los diversos campos y si-guiendo criterios de calidad. Se entiende que, enbuena parte de las disciplinas humanísticas y so-ciales, las monografías no son sustituibles por artí-culos. Por lo tanto, los procesos de evaluación de-berían ser sensibles a esa realidad.

Este reconocimiento comporta la necesidad deestablecer criterios que fijen la calidad de las edito-riales universitarias o privadas de orientación aca-démica. Habría que definir una lista de editorialesque cumplan mecanismos y criterios de calidad enel proceso editorial. Algunos de los criterios que ha-bría que tener en cuenta pueden ser la utilizaciónde evaluadores independientes en procesos comoel de peer reviewing, consejos editoriales de nivel,internacionalización, etc.

Criterios de calidad de los artículos

Durante el Taller se ha subrayado la impor-tancia de que los artículos estén publica-dos en revistas con índices de impacto. Sibien no se discute el valor de los índices como porejemplo el JCR, existen suficientes evidencias em-píricas de sus limitaciones en los ámbitos huma-nísticos y sociales. Asimismo, se ha constatadoque no es fácil jerarquizar las revistas en estos ín-dices, y que incluso hay algunas que no están re-cogidas en ellos, lo que dificulta la valoración de lainvestigación realizada por los investigadores.

Por eso se considera necesario que las basesde datos cumplan unos criterios de calidad objeti-vos y claros, para que las revistas que se in-cluyan en ellas puedan ser valoradas. Tam-bién sería necesario que existiera una revisiónperiódica de los índices/criterios de cali-dad como consecuencia de los resultados de lasevaluaciones. Se sugiere ir avanzando en la incor-poración de criterios que tengan en cuenta la rápidaexpansión de las publicaciones digitales y las di-námicas de Open Access.

A fin de establecer referentes para determina-dos períodos de tiempos, se considera de utilidadcontar con estudios empíricos que analicen la re-alidad del personal investigador.

También se entiende que en el momento deevaluar habría que tener en cuenta distintos

en buena parte de las disciplinashumanísticas y sociales, lasmonografías no son sustituibles porartículos. por lo tanto, los procesosde evaluación deberían ser sensiblesa esa realidad

121

L’AVALUACIÓ


ISOCIAL

el procedimiento, el proceso deselección de evaluadores, los derechos

de la persona evaluada y los criterios deevaluación deberían ser precisos,

objetivos y transparentes y tendrían queestar disponibles con suficiente

antelación a la evaluación

índices, tales como ISI, SCOPUS, etc., para dis-poner de una visión de conjunto de la evaluación.

Y, por último, se hace una referencia explícitaal sistema de clasificación de revistas científicasCARHUS+, que se pide que se revise y fi-nalice teniendo en cuenta los criterios anterior-mente mencionados, así como a otros índices delEstado español (RESH, IN-RECS o MiAR) e inter-nacionales (ISI o SCOPUS).

La transferencia del conocimiento

Se constata que debería definirse qué seentiende por transferencia del conoci-miento en el campo de las Humanidades y lasCiencias Sociales, puesto que es un concepto so-bre el cual no existe un consenso generalizado.Hay que avanzar, pues, en su conceptualización,para reconocer el valor social del conoci-miento generado y para poder articular los me-canismos que lo evalúen.

Los criterios que podrían tenerse en cuenta ala hora de definirlo son: el impacto social, la aplica-bilidad, la relación con la investigación realizadacon independencia del formato... Por último, de-bería poder valorarse la investigación realizadapor encargo en empresas, organismos, etc.como transferencia de conocimiento, siempre y

cuando la investigación pudiera difundirsetotalmente o en parte, ya que estos ámbitos difícil-mente pueden tener patentes.

El procedimiento de evaluación

Ha existido unanimidad en considerar que elprocedimiento, el proceso de selección de eva-luadores, los derechos de la persona evaluada ylos criterios de evaluación deberían ser precisos,objetivos y transparentes y tendrían que estar dis-ponibles con suficiente antelación a la evaluación.Precisamente, la transparencia y objetividad delproceso deberían permitir el facilitar una aproxima-ción previa sobre el resultado de la evaluación, conel propósito de reducir el grado de incertidumbrerespecto a las posibilidades de superarla.

En el caso de los criterios de evaluación, sepide que tengan continuidad en el tiempo.

Si bien la composición de una comisión de eva-luación debe ser necesariamente pluridisciplinariadentro de las Humanidades y las Ciencias Sociales,se pide que en el caso de la evaluación indirecta laspersonas evaluadoras sean de la mismadisciplinaque la persona evaluada. Cuando se ha-bla de evaluación directa, los evaluadores y eva-luadoras deberían poseer un perfil lo máspróximo posible al área de conocimiento.

También se remarca la importancia de mo-tivar suficientemente las resoluciones deevaluación, con el objetivo de orientar mejor alas personas evaluadas sobre cómo superar la eva-luación.

Por último, se pide mayor coordinación en-tre agencias que evalúan la investigación.Concretamente, se considera que las agencias de-berían realizar un esfuerzo por usar criterios simila-res y hacer equivalencias en cuanto a evaluaciones.//

122


A continuación se resumen las diez principales acciones a llevara cabo:

1. Tendría que establecerse un sistema de evaluación mixto.La evaluación debería basarse principalmente en una evaluaciónpor mecanismos indirectos, complementada en aquellos casosen los que se solicite con una evaluación por mecanismos directosde algún trabajo significativo.

2. La valoración de la calidad de la investigación debería realizarsesin perjuicio de la lengua en la que está escrita ni de su ca-rácter territorial.

3. Se debería recuperar el papel del libro, la monografía yel capítulo de libro como instrumentos muy significativossobre los que se vehicula la investigación en estas áreas discipli-narias.

4. Habría que fijar los criterios de la calidad de las editorialesuniversitarias o privadas de orientación académica.

5. Las bases de datos tendrían que cumplir unos criterios de calidadobjetivos y claros, para que las revistas que se incluyan enellas puedan ser valoradas.

6. Debería definirse qué se entiende por transferencia deconocimiento.

7. El procedimiento, el proceso de selección de evalua-dores, los derechos de la persona evaluada y los cri-terios de evaluación deberían ser precisos, objetivosy transparentes en todos sus apartados.

8. En el caso de la evaluación indirecta, las personas evaluado-ras tendrían que ser de la misma disciplina que la per-sona evaluada. En la evaluación directa, los evaluadores yevaluadoras deberían poseer un perfil lo más próximoposible al área de conocimiento.

9. Habría que mejorar la motivación de las resoluciones deevaluación.

10. Debería incrementarse la coordinación entre las agenciasque evalúan la investigación. //

DECÁLOGO FINAL4

Via Laietana 28, 5a planta • 08003 Barcelona • Tel.: 93 268 89 50 • Fax: 93 268 89 51

www.aqu.cat

quaderns de qualitat. 1 · nombre significatiu dels comen - taris i suggeriments que rebia es -...

Documents