Evaluering av rettsvitenskapJUREVAL 2019

Informasjonsmøte 24. januar 2020

28.01.2020

1

28.01.2020

Kolumnetittel

BakgrunnSpesialrådgiver Jon Holm, ForskningsrådetDekan Karl Harald Søvig, UiB

2

Historikk

28.01.2020

Kolumnetittel

3

2003 – Krafttak for juridisk forskning (Dørum)

2005 – JUSISP I

2010 – Resultater fra JUSISP I (katalog)

2009 – Evaluering av rettsvitenskapelig forskning i Norge

2010 – JUSISP II

2013 – Ressurser og resultater innenfor rettsvitenskapelig forskning

2017 – Ressurser og resultater innenfor rettsvitenskapelig forskning (oppdatert)

2016/17 – Rettens transformasjoner (RETTSTRANS)

Vurderinger og anbefalinger Rettsvitenskap (2009)

28.01.2020

Kolumnetittel

4

• Flere fagmiljøer betegnes som sterke i nordisk og internasjonal målestokk

• Noen miljøer er for små og dermed sårbare

• Anbefalinger til institusjonene om :– Organisering og forskningsledelse, publiseringsaktivitet, internasjonalisering, forskeropplæring,

veiledning og forskningsadministrativ støtte

• Anbefalinger til Forskningsrådet / KD :– Eksterne bevilgninger bør ikke vri aktiviteten bort fra de enkelte institusjoners strategiplaner

– Forskningsrådets føringer bør understøtte kontinuitet og progresjon i kompetanseoppbyggingen

– Grunnbevilgning og frie midler er viktig for langsiktighet og kontinuitet i forskningsvirksomheten

Rettens transformasjoner

28.01.2020

Kolumnetittel

5

• 5 delutredninger finansiert av Forskningsrådet (2018)– Straffesakskjeden (etter ønske fra JD)

– Sikkerhet og trusler

– Politisk handlingsrom gjennom rettighetstilpasning

– Digitalisering, teknologi og nye tjenester

– Skatterett i en mobil og digital verden

• Delutredningene brukes som grunnlag i utvikling av våre ulike tematiske satsinger

• Dialog med JD om forskningsbehov og strategier på deres sektorområde

• Dialog med KD, dekaner m. fl.

• Oppfølgning av FRIPRO, kontakt med panel

Planlegging av ny evaluering

28.01.2020

Kolumnetittel

6

• Forskningsrådet har utviklet en ny modell for fagevalueringer

• Dialog med jus-dekanene i Oslo, Bergen og Tromsø

– 1. møte mars 2019

– 2. møte juni 2019

– Skriftlig respons på utkast til protokoll

• Forankring med rektoratene (september 2019)

• Vedtak om oppstart av evaluering og protokoll i Porteføljestyret for humsam 20.11.2019

Tema fra dialog med fakultetene

• Evalueringen skal bidra til læring og utvikling

– Det skal ikke gis karakterer

• Rettsvitenskapens rammebetingelser

– Forholdstall studenter/ansatte

– Eksterne finansieringsmuligheter og ressurstilgang generelt

– Avdekke nasjonale behov

• Publiseringspraksis

– Mange nasjonalt orientere emner

– Ulike publieringsformater

• Rettsvitenskapens videre samfunnsoppdrag

– Se forskning, utdanning og formidling i sammenheng

– Samle inn dokumentasjon om formidling og samfunnsbidrag

• Viktig med kompetanse på norske forhold i komiteen

28.01.2020

Kolumnetittel

Hvorfor ny evaluering?Avdelingsdirektør Johannes W Løvhaug

8

28.01.2020

Kolumnetittel

9

34 fag- og temaevalueringer på 22 år- alle fag evaluert 2 ganger (nesten)

28.01.2020

Kolumnetittel

10

• Kjemi (1997)

• Geovitenskap (1998)

• Biologi og biomedisin (2000)

• Fysikk (2000)

• Matematikk (2002)

• IKT (2002)

• Lingvistikk (2002)

• Statsvitenskap (2002)

• Medisinsk og helsefaglig forskning (2003)

• Pedagogikk (2004)

• Ingeniørvitenskapelige fag (2004)

• Nordisk språk og litteratur (2005)

• Farmasøytisk forskning (2006)

• Utviklingsforskning (2007)

• Økonomifaglig forskning (2007)

• Historie (2008)

• Kjemi (2009)

• Rettsvitenskap (2009)

• Filosofi og idehistorie (2010)

• Fysikk (2010)

• Sosiologi (2010)

• Sosialantropologi (2010)

• Samfunnsgeografi (2010)

• Geofag (2011)

• Biologi, medisin og helsefag (2011)

• Idrettsforskning (2012)

• Matematikk (2012)

• IKT (2012)

• Klimaforskning (2012)

• Teknologifag (2015)

• Humanistisk forskning (2017)

• Utdanningsvitenskap (2018)

• Samfunnsvitenskap (2018)

• Polarforskning (2018)

Formål med fagevalueringene

28.01.2020

Kolumnetittel

11

• Vurdere norsk forskning i et internasjonalt perspektiv

• Gi anbefalinger om tiltak som kan fremme kvalitet og effektivitet i forskningen

=> Den enkelte forskningsinstitusjon=> Forskningsrådet=> Departementene

• Redskap for strategisk og faglig utviklingsarbeid innenfor institusjonene

• Kunnskapsgrunnlag for utvikling av Forskningsrådets virkemidler

• Rådgivning overfor departementene

Veien videre for fagevalueringene

28.01.2020

Kolumnetittel

12

• Bygge videre på det som har vært nyttig

– Vurdere forskningskvalitet sett i et internasjonalt perspektiv

– Gi kunnskap om det norske forskningssystemet

– Gi grunnlag for utvikling av Forskningsrådets virkemidler

– Gi grunnlag for faglige prioriteringer ved UH-institusjonene

• Bedre tilpasning til institusjonenes formål, organisering og strategier

– Se forskning i sammenheng med utdanning og samfunnsbidrag

– Støtte til UH-institusjonenes strategiske arbeid

– Gi institusjonene større eierskap til evalueringene

Tilpasning til fagets egenarttil institusjonenes formål og strategier

28.01.2020

Kolumnetittel

13

• Forskningsproduksjon og -kvalitet

– Hva kjennetegner god forskning i rettsvitenskap?

• Strategi og organisering

– Hva er de viktigste strategiske målene for det enkelte rettsvitenskaplige fagmiljø?

– Hvilke tiltak er iverksatt for å nå målene?

• Samspill mellom forskning og utdanning

– Hvordan påvirker utdanningsoppdraget organiseringen av forskningsvirksomheten?

– Hvordan bidrar forskningen til utvikling av utdanningsaktivitene?

• Samfunnsbidrag

– Hva er de viktigste målgruppene i samfunnet for forskningen ved institusjon X?

– Hvordan bidrar institusjon X til utvikling av ny kunnskap hos disse målgruppene?

28.01.2020

Kolumnetittel

Evalueringsprosess og evalueringsdimensjoner

Spesialrådgiver Jon Holm

14

Hva er nytt i JUREVAL 2019?

28.01.2020

Kolumnetittel

15

Flere evalueringstema

– Research quality and production

– Relevance for education

– Societal relevance

Tilpasning til institusjonenes organisering og strategier

Ny rollefordeling

• Forskningsrådet utformer

– Protokoll

– Felles indikatorer

• Institusjonene beslutter

– Mandat

– Lokale kriterier og indikatorer

28.01.2020

Kolumnetittel

16

Evalueringskomite

Evalueringskomite

ProtokollData

Syntese

Fag som evalueringsenhet Fakultet som evalueringsenhet

ToR ToRToR ToRToR ToR

ToR

Ny modell: Fra fag til fakultet

Prosess

28.01.2020

Kolumnetittel

17

Planlegging Datainnsamling Vurdering RAPPORT

Høst 2019

Tilpasning

Vår 2020 Vår/Høst 2020 Høst 2020

Protokoll MandatKomité

møte #1

Vår 2021

IntervjuerFaktasjekk

Vi er her

Kolumnetittel

18

Aims

Reveal and confirm the quality and relevance of research performed at Norwegian Higher Education Institutions.

Contribute to the development of research quality and relevance within these institutions and at the national level.

Target groups

• Researchers and research group leaders

• Institutional management and boards

• Research funders

• Government

• Society at large

Kolumnetittel

19

Basic principles

1. The assessment concerns the scientific, organisational and societal aspects of the research.

2. The boards of the faculties (or other relevant level decided by the institution), take responsibility for tailoring the assessment to their specific needs and following up on them within their own institutions.

3. The research unit’s own strategy and targets are guiding principles when designing the assessment process. This includes the specification of the Terms of Reference and the substance of the self-assessment.

4. The Research council of Norway will take responsibility for following up assessments and recommendations at the national level

Kolumnetittel

20

The research units

• The relevant board decides which research units will be assessed

• The board determines whether the research unit has met the following preconditions:

– Having a clearly stated strategy

– Counting at least five persons

– Exist for at least three years

– Capable of proposing a suitable benchmark in its self-assessment. The benchmark would preferably be an international one.

Kolumnetittel

21

The Terms of Reference (ToR)

• The Research Council provides a template for the ToR specifying criteria and indicators that should be used for all institutions.

• The board of each institution specifies the Terms of Reference (ToR) by including evaluation criteria that are relevant for its strategic goals and the organisation of its research.

• The Terms of Reference contain specific information about the research unit to be assessed, for instance:

– strategic questions

– a research unit’s specific tasks

• The assessment committee is asked to make strategic recommendations to each institution and for the entire discipline at the national level

Kolumnetittel

22

The Terms of Reference cont’d

Documentation

• report with standardised analysis and indicators provided by the Research Council of Norway

• self-assessment with data and indicators defined by the board of [faculty]

• [to be completed by board]

Interviews with representatives from the evaluated units

• Interviews with the [research unit] will take place on [date].

• Interviews may be organised as a site visit, in another specified location in Norway or as a video conference

23

The Research council of Norway appoints aninternational assessment committee that should:

• be familiar with recent trends and developments in the relevant research fields and be capable of assessing the research in its current international context;

• be capable of assessing the applicability of the research unit’s research and its relevance to society;

• have a strategic understanding of the relevant research field;

• be capable of assessing the research unit’s management;

• have a good knowledge of and experience working with the Norwegian research system, including the funding mechanisms;

• be impartial and maintain confidentiality.

Sekretariat (utlysing av konkurranse)

28.01.2020

Kolumnetittel

24

Kompetanse

• Evalueringsfaglig kompetanse

• Inngående kjennskap til det norske forskningssystemet

• Erfaring fra tilsvarende oppdrag

• God skriftlig fremstillingsevne på engelsk

• God leseferdigheter på norsk

Oppgaver

• Prosessleder for evalueringen

• Bidra til workshop om indikatorer (mars)

• Koordinere datainnsamling fra de evaluerte institusjonene

• Støtte evalueringskomiteens arbeid

Over til …

28.01.2020

Kolumnetittel

25

Planlegging Datainnsamling Vurdering RAPPORT

Høst 2019

Tilpasning

Vår 2020 Vår/Høst 2020 Høst 2020

Protokoll MandatKomité

møte #1

Vår 2021

IntervjuerFaktasjekk

Datainnsamling (eksempler)

28.01.2020

Kolumnetittel

26

Forskningsrådet og NOKUT

Analyse og indikatorer basert på registerdata

• Finansiering (Forskningsrådet/DBH)

• Forskerpersonale (NIFU/DBH)

• Vitenskapelig Publisering (Cristin)

• Studentdata (DBH)

• Studiebarometeret (NOKUT)

Fakultetene og andre evalueringsenheter

Analyse og indikatorer basert på egne data

• Ressursbruk på forskning og utdanning

• Publikasjoner som ikke telles i NVI

Data som samles inn for JUREVAL

• Data om oppdrag og deltakelse i off. utv.

• Forskning på relevante områder for JD

• Impact cases

28.01.2020

Kolumnetittel

27

28.01.2020

Kolumnetittel

28

Indikatorer – eksempler fra HUMEVAL

28.01.2020

Kolumnetittel

29

Indikatorer – eksempler fra HUMEVAL 2/2

28.01.2020

Kolumnetittel

30

28.01.2020

Kolumnetittel

31

28.01.2020

Kolumnetittel

32

28.01.2020

Kolumnetittel

Evaluering av samfunnsbidragRådgiver Anette Askedal, Forskningsrådet

33

Forventninger om samfunnsbidrag

Økende forventning om at forskning skal bidra til å løse samfunnsutfordringer nasjonalt og globalt, og et ønske om å kunne vise at forskningsmidlene brukes på en måte som kommer samfunnet til gode.

Forskningsrådet vurderer forskningens samfunnsbidrag både ved søknadstidspunkt og i evalueringer av norsk forskning.

Metodiske utfordringer

Det tar ofte lang tid fra forskningen blir utført til en endring oppstår.

Det er sjelden et lineært forhold mellom forskning og endringer i samfunnet. En samfunnsendring kan i mange tilfeller også tilskrives andre forhold.

Vurdering av samfunnsbidrag i evalueringer

Impact-case studier

Intervju- og brukerundersøkelser

Økonometrisk analyse

Societal impact Scientific impact

Samfunnsbidrag - definisjon

Societal impact is defined as an effect on, change or benefit to the economy, society, culture, public policy or services, health, the environment or quality of life, beyond academia.

Impact includes, but is not limited to, an effect on, change or benefit to:

• the activity, attitude, awareness, behaviour, capacity, opportunity, performance, policy, practice, process or understanding

• of an audience, beneficiary, community, constituency, organisation or individuals

• in any geographic location whether locally, regionally, nationally or internationally.

• Impact includes the reduction or prevention of harm, risk, cost or other negative effects.

• Academic impacts on research or the advancement of academic knowledge are excluded.

• Impacts on students, teaching or other activities both within and/or beyond the SFF are included.

Impact-case utfordring

Hvordan gå fra beskrivelse av formidlingsaktiviteter til dokumentasjon av endring på samfunnsnivå?

Forskningsrådet vil tilby veiledning i skriving av impact -cases under workshopen om indikatorer i mars

Impact-case behandling

Overordnede analyser av casene:

Rapporterte samfunnsendringer ble blant annet fordelt på ulike tema, sektorer, typen brukere og geografisk rekkevidde.

Kvalitativ vurdering av et fagpanel eller en fagkomite:

- Vurdert på bakgrunn av casenesrekkevidde og betydning

- karakter/good practise

Andre metoder

Altmetrics er en samlebetegnelse på indikatorer basert på data hentet fra Internett

Referanser til forskningsartikler, forskere eller prosjekter i nettpublikasjoner

Oppmerksomhet i sosiale medier

Nedlastninger fra forskningsarkiversom Mendeley eller ResearchGate

Institusjonenes

selvevaluering

• Research capacity and contributions related to: UN SDGs, Norwegian LTP, The legal sectors

• Engagement with non- academic partners

• Policy evidence/reports

• Non-academic publications

• References to research in national policy-making (NOUs etc.)

• Societal impact (cases)

• Projects with societal partners

• Contract research

• Social innovation

• Policy-advice

• Prizes

• Participation in public advisory committees national & international

28.01.2020

Kolumnetittel

Veien videre

43

Videre arbeid i Forskningsrådet og ved fakulteteneJanuar – Mars 2020

28.01.2020

Kolumnetittel

44

2019-11 2019-12 2020-1 2020-2 2020-3

Tilpasning

Forskningsrådet

Protokoll besluttes

Invitasjon sendes Sekretariat utlyses Sekretariat tildeles

Fakultetene

Utpeke medlem til

referansegruppe Foreslå komitémedl.

felles

Informasjonsmøte 1.

Ref.gr.møte 2. Ref.gr.møte

Work-shop om data

og indikatorer

tema Mandat utforming Rapport mal

Komité kompetanse Forberede work-shop

Videre arbeid i Forskningsrådet og ved fakulteteneApril – Oktober 2020

28.01.2020

Kolumnetittel

45

2020-4 2020-5 2020-6 2020-7&8 2020-9&10

Tilpasning (forts) Datainnsamling

Forskningsrådet Komité oppneves Felles data og indikatorer

Fakultetene Mandat besluttes Lokale data og indikatorer

felles 3. Ref.gr.møte

tema Beslutte indikatorer

Forberede datainnsamling

Skjema for selv-eval

Videre arbeid i Forskningsrådet og ved fakulteteneNovember 2020 – April 2021

28.01.2020

Kolumnetittel

46

2020-11 2020-12 2021-01 2021-02 2021-03 2021-04

Vurdering

Forskningsrådet 1. komitémøte 2. komitémøte 3. komitémøte

Fakultetene site-visits

felles

tema

Faculty of Law X

Evaluation of researchand its role in

education and society

Faculty of Law Y

Evaluation of researchand its role in

education and society

Faculty of Law Z

Evaluation of researchand its role in

education and society

Legal research in Norway

Juni 2021

Agenda for referansegruppemøte #1

Utforming av mandat

– Ramme satt av protokollen

– Hvordan gjøre tilpasninger av mandatet til institusjonenes formål og strategier?

Evalueringskomite

– Kompetanse

– Forslagsprosess

– Oppnevning i Porteføljestyret for humsam i Forskningsrådet (mai 2020)

Prosess for indikatorutvikling og datainnsamling

– Rollefordeling Forskningsrådet vs institusjonene

– Sekretariatets rolle

– Forberedelser til workshop om indikatorutvikling og datainnsamling (mars 2020)

Forskningens relevans for utdanning

Assisterende avdelingsdirektør Stephan Hamberg

Krav til forskningsbasert utdanning

•UHL § 1-3 Universiteter og høyskoler skal arbeide for å fremme lovens formål ved å:

a) tilby høyere utdanning som er basert på det fremste innen forskning, faglig og kunstnerisk utviklingsarbeid og erfaringskunnskap.

g) bidra til at norsk høyere utdanning og forskning følger den internasjonale forskningsfronten og utviklingen av høyere utdanningstilbud.

Krav til forskningsbasert utdanning

• UHL § 1-3 Universiteter og høyskoler skal arbeide for å fremme lovens formål ved å:

a) tilby høyere utdanning som er basert på det fremste innen forskning, faglig og kunstnerisk utviklingsarbeid og

erfaringskunnskap.

g) bidra til at norsk høyere utdanning og forskning følger den internasjonale forskningsfronten og utviklingen av

høyere utdanningstilbud.

• Studiekvalitetsforskriften §3-2. Akkreditering av mastergradsstudier(2) Mastergradsstudiet skal ha et bredt og stabilt fagmiljø som består av

tilstrekkelig antall ansatte med høy faglig kompetanse innenfor utdanning,

forskning eller kunstnerisk utviklingsarbeid og faglig utviklingsarbeid innenfor

studietilbudet. Fagmiljøet skal dekke fag og emner som studietilbudet består

av. De ansatte i fagmiljøet skal ha relevant kompetanse.

Krav til forskningsbasert utdanning

• UHL § 1-3 Universiteter og høyskoler skal arbeide for å fremme lovens formål ved å:a) tilby høyere utdanning som er basert på det fremste innen forskning, faglig og kunstnerisk utviklingsarbeid og

erfaringskunnskap.g) bidra til at norsk høyere utdanning og forskning følger den internasjonale forskningsfronten og utviklingen av høyere

utdanningstilbud.

• Studiekvalitetsforskriften §3-2. Akkreditering av mastergradsstudier(2) Mastergradsstudiet skal ha et bredt og stabilt fagmiljø som består av tilstrekkelig antall ansatte med høy faglig

kompetanse innenfor utdanning, forskning eller kunstnerisk utviklingsarbeid og faglig utviklingsarbeid innenfor studietilbudet. Fagmiljøet skal dekke fag og emner som studietilbudet består av. De ansatte i fagmiljøet skal ha relevant kompetanse.

• Studietilsynsforskriften § 2-3. Krav til fagmiljø

(5) Fagmiljøet tilknyttet studietilbudet skal drive forskning og/eller kunstnerisk utviklingsarbeid og faglig utviklingsarbeid og skal kunne vise til dokumenterte resultater med en kvalitet og et omfang som er tilfredsstillende for studietilbudets innhold og nivå.

Forskningsbasert utdanning

Forskningsbasert utdanning

Forskningsbasert utdanning

1. teach research results (research-led);

2. make research known (research-led);

3. show what it means to be a researcher (research-oriented);

4. help to conduct research (research-based);

5. provide research experience (research-based).

Kilde: Visser-Weijnveen (2010, p.199)

Forskningens relevans for utdanning

FoU-basert utdanning

=

(1)Fagmiljøets forskningskompetanse

+

(2)Bruk av forskningen i utdanningen

+

(3)Programdesign og valg av undervisning og vurderingsformer

Utdanning som rammebetingelse for forskning

• Institusjonenes rammebetingelser er forskjellige

• Utdanning er en viktig rammebetingelse som påvirker fagmiljøenes

mulighet/kapasitet til å forske

• NOKUT bistår med å framskaffe data på en del indikatorer på dette

området, men noe må institusjonene framskaffe for oss.

Spørsmål?