assessing competencies

Eduardo Vendrell Vidal

even@upv.es

Polytechnic University of Valencia, Spain

why assessment?

“assessment is essential not only to guide the development of individual students but also to monitor and continuously improve the quality of programs, inform prospective students and their parents, and provide evidence of accountability to those who pay our way.”

Redesigning Higher Education: Producing Dramatic Gains in Student Learning,Lion F. GardinerASHE-ERIC Higher Education Report Volume 23, No. 7, p. 109

why assessment?

“assessment and feedback are crucial for helping people learn.”

How People Learn.

Bransford, Brown, and Cocking. 1999

why assessment?

• help students to learn• measure outcomes• give a reference about students’

achievement• order/rank students• …

assessment vs. evaluation

http://www.pcrest2.com/LO/assessment/vs1.jpg

competencies assessment

co

mp

ete

ncyknowledge

skills

attitudes

asse

ssm

en

t

competencies assessment

asse

ssm

en

t

competency

LO1

LO2

LO3

teaching activities, competencies & assessment

learning outcome

(LO)

teaching/learning

activity

assessment

content LO lecture exam

teamwork team project teamwork rubric

communication team report,

presentation

written report & oral

presentation rubrics

… … …

assessment activities in the Informatics BEng @ UPV

• teachers prepare teaching guides including assessment activities

• assessment activities are supposed to be linked to student learning outcomes and teaching activities

• usually, assessment activities are determined by:

1. the university regulation

2. the number of students in each group

3. the teaching organization/schedule

assessment activities in the Informatics BEng

Written

exam

Test

(quiz)Assignment Project Oral exam

Self-

assessment

Co-

assessment

Concept

map

One

minute

paper

Case

studyPortfolio Observation Diary

low risk (comfort zone)

more focused on

content learning

assessments

assessment activities in the Informatics BEng

different assessment (uncomfortable zone)

Written

exam

Test

(quiz)Assignment Project Oral exam

Self-

assessment

Co-

assessment

Concept

map

One

minute

paper

Case

studyPortfolio Observation Diary

(map of)assessment activities in the Informatics BEng

ASIGNATURA

Prueba escrita de respuesta

abierta

Prueba objetiva

(tipo test)

Trabajo académico

Proyecto Examen Oral Autoevaluación CoevaluaciónMapa

Conceptual

Oneminute paper

caso Portafolio Observación Diario

P

R

I

M

E

R

O

Análisis matemático 60% 20% 20%

Fundamentos de computadores 50% 10% 20% 20%

Fundamentos Físicos de la Informática 50% 20% 20% 20%

Introducción a la informática y a la programación 80% 20%

Matemática discreta 90%

Algebra 90% 10%

Estadística 55% 35% 10%

Fundamentos de organización de empresas 40% 36% 24%

Programación 80% 20%

Tecnología de computadores 20% 42,5% 20% 12,5% 5%

S

E

G

U

N

D

O

Fundamentos de sistemas operativos 70% 10% 20%

Lenguajes, tecnologías y paradigmas de la

programación30% 60% 10%

Teoría de autómatas y lenguajes formales 70% 10% 20%

Estructura de computadores 85% 15%

Redes de computadores 60% 40%

Concurrencia y sistemas distribuidos 60% 20% 20%

Deontología y profesionalismo 25% 10% 18% 3% 5% 40%

Estructuras de datos y algoritmos 80%

Interfaces persona computador 20% 40% 20% 20%

T

E

R

C

E

R

O

Arquitectura e ingeniería de computadores 88% 12%

Bases de datos y sistemas de información 80% 20%

Computación paralela 60% 15% 15% 10%

Ingeniería del software 40% 35% 5% 5% 15%

Sistemas inteligentes 35% 46% 20%

Tecnología de sistemas de información en la red 75% 25%

Gestión de proyectos 20% 20% 40% 20%

co

mp

uls

ory

su

bje

cts

assessment activities in the Informatics BEng

ASIGNATURA

Prueba escrita de respuesta

abierta

Prueba objetiva (tipo

test)

Trabajo académico

ProyectoExamen

oralAutoevalua

ciónCoevaluaci

ónMapaConc

eptualOne minute

paperCaso Portafolio

Observación

Diario

Agentes inteligentes 20% 30% 50%

Computabilidad y complejidad 50% 30% 20%

Percepción 40% 30% 30%

Sistemas de almacenamiento y recuperación de información 60% 20% 10% 10%

Técnicas de optimización 70% 20% 10%

Algorítmica 70% 20% 5% 5%

Aprendizaje automático 50% 20% 20% 20%

Introducción a los sistemas gráficos interactivos 40% 40% 20%

Lenguajes de programación y procesadores de lenguajes 60% 30% 10%

Técnicas, entornos y aplicaciones de inteligencia artificial 20% 15% 65%

Arquitecturas avanzadas 50% 30% 20%

Control por computador 45% 20% 5% 25% 5%

Diseño de sistemas digitales 40% 10% 20% 15% 15%

Diseño de sistemas operativos 60% 20% 20%

Tecnología de redes 40% 40% 20%

Configuración, administración y gestión de redes 35% 20% 5% 40%

Diseño y aplicaciones de los sistemas distribuidos 20% 10% 35% 35%

Lenguajes y entornos de programación paralela 15% 55% 20% 10%

Seguridad en los sistemas informáticos 60% 30% 10%

Sistemas empotrados y de tiempo real 45% 10% 45%

Calidad de software 20% 10% 20% 40% 10%

Desarrollo de software dirigido por modelos 15% 15% 10% 20% 20% 20%

Diseño de software 15% 45% 10% 30%

Métodos formales industriales 60% 10% 10% 10% 10%

Proceso de software 20% 55% 5% 5% 15%

Análisis y especificación de requisitos 20% 15% 15% 20% 20% 10%

Análisis, validación y depuración de software 50% 30% 5% 15%

Integración e interoperabilidad 45% 40% 5% 10%

Mantenimiento y evolución de software 50% 10% 40%

Proyecto de ingeniería de software 85% 5% 10%

Análisis de requisitos de negocio 20% 60% 20%

Comportamiento organizativo y gestión del cambio 10% 30% 20% 5% 5% 5%

Gestión de las tecnologías de la información 20% 60% 20%

Gestión de servicios de SI TI 20% 20% 20% 10% 10% 10% 10%

Gestión y configuración de la arquitectura de los sistemas de

información 45% 20% 5% 30%

Calidad y optimización 60% 15% 15% 10%

Diseño y gestión de bases de datos 60% 10% 20% 10%

Modelos de negocio y áreas funcionales de la organización 20% 20% 20% 10% 20% 10%

Sistemas de información estratégicos 60% 30% 10%

Sistemas integrados de información en las organizaciones 10% 20% 50% 10% 10%

Administración de sistemas 55% 45%

Desarrollo web 60% 40%

Diseño y configuración de redes de área local 60% 20% 20%

Diseño, configuración y evaluación de los sistemas informáticos 65% 20% 15%

Tecnología de bases de datos 60% 10% 20% 10%

Desarrollo centrado en el usuario 55% 10% 35%

Integración de aplicaciones 15% 50% 10% 25%

Redes corporativas 60% 20% 20%

Seguridad en redes y sistemas informáticos 30% 60% 10%

Sistemas y servicios en red 25% 20% 30% 25%

sp

ecia

liza

tio

n t

rack

s

assessment activities in the Informatics BEng

ASIGNATURA

Prueba escrita de respuesta

abierta

Prueba objetiva (tipo test)

Trabajo académico

Proyecto Examen oral Autoevaluación CoevaluaciónMapa

Conceptual

Oneminute paper

Caso Portafolio Observación Diario

Arquitecturas avanzadas 50% 30% 20%

Control por computador 45% 20% 5% 25% 5%

Diseño de sistemas digitales 40% 10% 20% 15% 15%

Diseño de sistemas operativos 60% 20% 20%

Tecnología de redes 40% 40% 20%

Configuración, administración y gestión de redes 35% 20% 5% 40%

Diseño y aplicaciones de los sistemas distribuidos 20% 10% 35% 35%

Lenguajes y entornos de programación paralela 15% 55% 20% 10%

Seguridad en los sistemas informáticos 60% 30% 10%

Sistemas empotrados y de tiempo real 45% 10% 45%

Calidad de software 20% 10% 20% 40% 10%

Desarrollo de software dirigido por modelos 15% 15% 10% 20% 20% 20%

Diseño de software 15% 45% 10% 30%

Métodos formales industriales 60% 10% 10% 10% 10%

Proceso de software 20% 55% 5% 5% 15%

Análisis y especificación de requisitos 20% 15% 15% 20% 20% 10%

Análisis, validación y depuración de software 50% 30% 5% 15%

Integración e interoperabilidad 45% 40% 5% 10%

Mantenimiento y evolución de software 50% 10% 40%

Proyecto de ingeniería de software 85% 5% 10%

sp

ecia

liza

tio

n t

rack

s

assessment activities in the Informatics BEng

ASIGNATURA

Prueba escrita de respuesta

abierta

Prueba objetiva (tipo

test)

Trabajo académico

Proyecto Examen Oral Autoevaluación CoevaluaciónMapa

Conceptual

Oneminutepaper

caso Portafolio Observación Diario

Alemán elemental para intercambio académico y profesional 40% 10% 20% 30%

Inglés intermedio alto para la informática 25% 35% 15% 10% 15%

Inglés intermedio bajo para la informática 25% 35% 10% 10% 20%

Valencià tècnic informàtic 40% 50% 10%

CAD CAM 30% 60% 10%

Diseño de sistemas de optimización aplicada 20% 20% 50% 10%

Emprendedores y creación de empresas 20% 30% 20% 10% 10% 10%

Expresión y comprensión oral avanzada en inglés profesional 20% 60% 20%

Fundamentos de sistemas multimedia 45% 20% 10% 25%

Sistemas robotizados 30% 60% 10%

Arquitectura y entornos de desarrollo para videoconsolas 70% 5% 25%

Bioinformática 20% 20% 30% 30%

Competición de programación 50% 50%

Computación científica 25% 30% 10% 10% 25%

Criptografía 40% 50% 10%

Diseño de aplicaciones multimedia interactivas para televisión 30% 10% 10% 50%

Diseño de sitios web 20% 80%

Diseño e interconexión de periféricos 20% 10% 30% 40%

Economía 50% 20% 30%

Edición y postproducción de vídeo digital 60% 20%

Edición, postproducción y síntesis de audio digital 80% 20%

Grafos. Modelos y aplicaciones 40% 30% 20% 10%

Informática médica 50% 30% 20%

Instrumentación industrial 20% 40% 20% 20%

Integración de medios digitales 20% 60% 20%

Introducción a la programación de videojuegos 30% 20% 35% 15%

Mecatrónica 50% 40% 10%

Redes multimedia 40% 30% 30%

Sistemas multimedia interactivos multicanal 30% 10% 20% 40%

Soluciones informáticas para dispositivos móviles 30% 30% 10% 5% 25%

Tratamiento de imagen digital 60% 40%

ele

cti

ve s

ub

jects

assessment evidence

assessment-outcomes link must be evidenced…

• for accreditation processes

• for quality assurance in education

• because of a mere responsibility act

an “LO vs. assessment” evidence tool (in progress)

main goals:

link assessment activities to competencies through learning outcomes evidence

helping teachers to plan the subject (contents, teaching/learninng methods, assessment…) organization

create an assessment culture among teachers quality