TEST DE PENSAMIENTO COMPUTACIONAL

Principios de diseño, validación de contenido y análisis de ítems

Seminario eMadrid sobre Pensamiento Computacional Madrid, 17 de abril de 2015

Marcos Román (UNED, Facultad de Educación)

Introducción

Vivimos inmersos en un ecosistema digital lleno

de objetos programables controlados por software

Si el ordenador es un ‘metamedio’

El software se convierte en ‘metalenguaje’

Introducción

En este contexto, ser capaz de manejar el lenguaje de las computadoras emerge como una habilidad indispensable, un nuevo alfabetismo, que nos permite participar de

manera plena y efectiva en la realidad digital que nos

rodea: se trata de ‘programar o ser

programado’; de ser ‘app capacitado o app

dependiente’

Introducción

Code-literacy = codigoalfabetización Procesos de enseñanza-aprendizaje de la lectoescritura

con los lenguajes informáticos de programación

Introducción

Introducción

Aprender Inglés

Inglés para aprender

Learn to code Code to learn

En un mundo globalizado…

En un mundo digitalizado…

Introducción

Se considera que una persona está codigoalfabetizada cuando es capaz de leer y escribir en el lenguaje de los ordenadores y otras máquinas, y de pensar computacionalmente

Nuevas prácticas

comunicativas de

lectoescritura

Proceso cognitivo

subyacente de resolución de

problemas

Introducción

¿Es posible y deseable incorporar la codigoalfabetización en el sistema educativo español, en concreto en el primer ciclo de la

Educación Secundaria Obligatoria (ESO)?

Evaluar la eficacia del programa-curso ‘K-8 Intro to Computer Science’

(Code.org) en primer ciclo de la ESO: http://studio.code.org/s/20-hour

Diseñar y validar un instrumento que mida el nivel de pensamiento

computacional de estudiantes de primer ciclo de la ESO, o Test de

Pensamiento Computacional (TPC): http://goo.gl/IYEKMB

Pensamiento computacional (PC)

En este nueva realidad invadida por lo digital, no es sorprendente que haya un renovado interés en muchos países por introducir el PC como un conjunto de habilidades de solución de problemas que debe ser adquirido por la nueva generación de estudiantes;

Aún más, el PC se está empezando a considerar como un elemento central de todas las disciplinas STEM

Bulgaria, Chipre, Dinamarca, Estonia, Grecia, Irlanda, Polonia, Portugal & UK

¿Brecha digital de 2ª generación?

Pensamiento computacional (PC): definiciones

Todavía hay poco consenso sobre una definición formal del PC, y discrepancias sobre cómo debería ser integrado en los currículos educativos…

El PC implica la resolución de problemas, el diseño de sistemas, y la comprensión de la conducta humana, haciendo uso de los conceptos fundamentales de la informática (Wing, 2006)

El PC es el proceso de pensamiento involucrado en la formulación de problemas de tal manera que sus soluciones puedan ser representadas como pasos computacionales discretos y algoritmos (Aho, 2012)

CT Operational definition (CSTA & ISTE, 2011)

Pensamiento computacional (PC): definiciones

Incluso Google ha aportado su propia definición de PC como “un conjunto de habilidades y técnicas de solución de problemas, que los ingenieros de software usan para escribir los programas informáticos que subyacen a las aplicaciones que usamos a diario (…)”

https://www.google.com/edu/resources/programs/exploring-computational-thinking/

Descomposición de un problema o tarea en pasos discretos

Reconocimiento de patrones

(regularidades)

Generalización de dichos patrones y abstracción (descubrir las leyes o

principios que causan dichos patrones)

Diseño algorítmico (desarrollar instrucciones precisas para resolver el problema y sus análogos)

Pensamiento computacional (PC): definiciones

Sin la atención suficiente sobre la medida y evaluación del PC, será muy difícil que éste se abra camino exitosamente en cualquier currículum (…) para poder juzgar la efectividad

de cualquier currículum que incorpore el PC, es necesario validar previamente instrumentos de medida que permitan a los educadores evaluar en qué grado los estudiantes han desarrollado esa habilidad de pensamiento (Grover & Pea, 2013)

Hay un enorme vacío sobre cómo medir y evaluar el PC, hecho que debe ser abordado…

http://www.bebras.org/

http://www.beaver-comp.org.uk/

http://www.olympiad.org.za/talent-search/

Método

Nuestro ‘Test de Pensamiento Computacional’ (TPC) fue diseñado inicialmente (versión 1.0, de octubre de 2014) bajo los siguientes principios: Objetivos: medir el nivel de desarrollo del pensamiento computacional en el

sujeto. Definición operativa del constructo medido: el pensamiento

computacional es la capacidad de formular y solucionar problemas apoyándose en los conceptos fundamentales de la computación, y usando la lógica-sintaxis de los lenguajes informáticos de programación: secuencias básicas, bucles, iteraciones, condicionales, funciones y variables.

Población objetivo: el TPC está diseñado y dirigido a población escolar española de entre 12 y 13 años (1º y 2º ESO)

Tipo de instrumento: prueba objetiva de elección múltiple con 4 opciones de respuesta (sólo 1 correcta)

Longitud: 40 ítems Tiempo estimado de realización: 45 minutos

Repetir veces

(repeat times)

Repetir hasta

(repeat until)

Condicional simple (if)

Condicional compuesto

(if/else)

Mientras que

(while)

Funciones simples

Funciones con

parámetros

Item 1 Laberinto Visual por flechas Sí No No No No No No No No SecuenciaciónItem 2 Laberinto Visual por flechas Sí No No No No No No No No CompletamientoItem 3 Laberinto Visual por bloques Sí No No No No No No No No DepuraciónItem 4 Laberinto Textual Sí No No No No No No No No SecuenciaciónItem 5 Lienzo Visual por bloques Sí No No No No No No No No SecuenciaciónItem 6 Laberinto Visual por flechas Sí Sí No No No No No No No SecuenciaciónItem 7 Laberinto Visual por flechas Sí Sí No No No No No No No CompletamientoItem 8 Laberinto Visual por bloques Sí Sí No No No No No No Sí SecuenciaciónItem 9 Lienzo Textual Sí Sí No No No No No No No Depuración

Item 10 Lienzo Visual por bloques Sí Sí No No No No No No Sí CompletamientoItem 11 Laberinto Visual por flechas Sí No Sí No No No No No No SecuenciaciónItem 12 Laberinto Visual por bloques Sí No Sí No No No No No No CompletamientoItem 13 Laberinto Textual Sí No Sí No No No No No No SecuenciaciónItem 14 Laberinto Visual por flechas Sí Sí Sí No No No No No Sí DepuraciónItem 15 Lienzo Visual por bloques Sí Sí Sí No No No No No Sí SecuenciaciónItem 16 Laberinto Visual por flechas Sí No Sí Sí No No No No Sí SecuenciaciónItem 17 Laberinto Visual por bloques Sí No Sí Sí No No No No Sí SecuenciaciónItem 18 Laberinto Textual Sí No Sí Sí No No No No Sí CompletamientoItem 19 Laberinto Visual por flechas Sí Sí Sí Sí No No No No Sí CompletamientoItem 20 Laberinto Visual por bloques Sí No Sí Sí No No No No Sí DepuraciónItem 21 Laberinto Visual por bloques Sí No Sí No Sí No No No Sí SecuenciaciónItem 22 Laberinto Textual Sí No Sí No Sí No No No Sí SecuenciaciónItem 23 Laberinto Visual por bloques Sí No Sí No Sí No No No Sí DepuraciónItem 24 Laberinto Textual Sí No Sí No Sí No No No Sí CompletamientoItem 25 Laberinto Visual por bloques Sí No Sí No Sí No No No Sí CompletamientoItem 26 Laberinto Visual por bloques Sí Sí No No No Sí No No Sí SecuenciaciónItem 27 Laberinto Textual Sí Sí No No No Sí No No Sí SecuenciaciónItem 28 Laberinto Visual por bloques Sí Sí No No No Sí No No Sí DepuraciónItem 29 Laberinto Textual Sí No No Sí No Sí No No Sí CompletamientoItem 30 Laberinto Visual por bloques Sí No No Sí No Sí No No Sí CompletamientoItem 31 Lienzo Visual por bloques Sí Sí No No No No Sí No Sí SecuenciaciónItem 32 Lienzo Visual por bloques Sí Sí No No No No Sí No Sí CompletamientoItem 33 Lienzo Visual por bloques Sí Sí No No No No Sí No Sí DepuraciónItem 34 Laberinto Visual por bloques Sí Sí No No No No Sí No Sí SecuenciaciónItem 35 Laberinto Visual por bloques Sí Sí No No No No Sí No Sí CompletamientoItem 36 Laberinto Visual por bloques Sí Sí No No Sí No No Sí Sí SecuenciaciónItem 37 Laberinto Visual por bloques Sí Sí No No Sí No No Sí Sí CompletamientoItem 38 Laberinto Visual por bloques Sí Sí No No Sí No No Sí Sí DepuraciónItem 39 Lienzo Visual por bloques No No No No No No No Sí Sí SecuenciaciónItem 40 Lienzo Visual por bloques Sí No No No No No No Sí Sí Completamiento

Tarea requeridaDirecciones

Bucles (loops) Condicionales (conditionals) Funciones (functions)Entorno - Interfaz del

reactivo

Estilo de las alternativas de

respuesta

Existencia de anidamiento

Concepto computacional abordado

5 dimensiones de diseño

Método

‘El Laberinto’; Visual por bloques; Bucles – repetir veces; Con anidamiento; Secuenciación.

Método

‘El Lienzo’; Textual; Bucles – repetir veces; Sin anidamiento; Depuración.

Método

‘El Laberinto’; Visual por flechas; Bucles – repetir hasta + Condicional simple; Con anidamiento; Completamiento.

Método

‘El Lienzo’; Visual por bloques; Bucles – repetir veces + Funciones simples; Con anidamiento; Secuenciación.

Método Para el procedimiento de validación de contenido de nuestro TPC, 39 expertos fueron invitados a colaborar en la emisión de juicio y valoración sobre el instrumento. Finalmente, 20 expertos aceptaron. Este panel de expertos tiene las siguientes características: 14 hombres y 6 mujeres; edad media 36,9 años.

Colectivo profesional Nº de

expertos Profesores de Informática de Educación Secundaria 11

Profesores de Informática de Bachillerato 8 Profesores de Informática de Formación Profesional 5

Profesores de Informática de Universidad 5 Ganadores de la ‘I Edición Premios Apps Fundación Telefónica’ 4

Miembros del colectivo Programamos.es 3 Miembros de la Asociación de Profesores de Informática de la

Comunidad Valenciana 3

Resultados: validación de expertos +70 % de los expertos valoraron la versión inicial del TPC como

‘muy larga’ o ‘algo larga’

Longitud ideal: 28-30 ítems Tiempo ideal: 45-50 minutos (1,5 minutos por ítem)

Se eliminan por su excesiva dificultad

(funciones con parámetros)

Resultados: validación de expertos Se conservan para

versiones futuras del test con sujetos de

mayor edad (funciones con parámetros)

Se elimina el ítem con menos índice de

aceptación de cada bloque

Resultados: validación de expertos

Adicionalmente, se revisan algunas

cuestiones de los ítems que quedan…

Versión final TPC (2.0) 28 ítems (+3 ejemplos) ON-LINE

Resultados: muestra y análisis de ítems

Red de innovación ‘IT Teaching’ de la Comunidad Valenciana Hicieron el curso K-8 de Code.org durante 10 semanas

Prueba de validez aparente

Resultados: muestra y análisis de ítems

La tasa de acierto promedio a lo largo

de los 28 ítems es de 0,59 (índice de

dificultad medio)

La distribución de las puntuaciones totales en el test se

ajustan a la curva normal (Z k-s=1,235; p=0,094>0,05)

Tal y como cabe esperar en un

test que mide una aptitud de tipo cognitivo

Resultados: psicometría general

La fiabilidad, como consistencia interna, del TPC en su conjunto medida a través del estadístico alfa de Cronbach

arroja un valor de α = 0,74 (sube hasta 0,84 en muestras complementarias que lo hicieron en tableta)

Resultados: diferencias por edad

Tal y como era de esperar el rendimiento en el TPC mejora significativamente con la edad

Resultados: diferencias por género

No hay diferencias significativas debidas al género en el rendimiento en el TPC

Resultados: autoeficacia y género

Aunque chicos y chicas rinden igual en el TPC, las chicas muestran significativamente un menor sentimiento de

autoeficacia en el test “Debugging de Gender Gap” = https://vimeo.com/123004482

No significativo p(t) = 0,5 > 0,05

Sí significativo p(t) = 0,002 < 0,05

Resultados preliminares: validez concurrente

Como fuentes de validez concurrente del TPC estamos utilizando medidas ya validadas relativas a variables supuestamente próximas al PC, tales como ‘razonamiento lógico’, ‘resolución de problemas’ o ‘aptitudes perceptuales-atencionales’…

n = 56

Resultados preliminares: validez concurrente

Como fuentes de validez concurrente del TPC estamos utilizando medidas ya validadas relativas a variables supuestamente próximas al PC, tales como ‘razonamiento lógico’, ‘resolución de problemas’ o ‘aptitudes perceptuales-atencionales’…

n = 63

Resultados preliminares: validez concurrente

…Y medidas alternativas de PC, tales como selecciones de ítems y tareas que vienen siendo utilizados en concursos internacionales de promoción del talento computacional ‘International Bebras Contest’

n = 76

Resultados preliminares: validez concurrente

…Y medidas alternativas de PC, tales como selecciones de ítems y tareas que vienen siendo utilizados en concursos internacionales de promoción del talento computacional ‘International Bebras Contest’

Problema I de Bebras Lógica condicional Estructuras discretas

Resultados preliminares: validez concurrente

…Y medidas alternativas de PC, tales como selecciones de ítems y tareas que vienen siendo utilizados en concursos internacionales de promoción del talento computacional ‘International Bebras Contest’

Problema II de Bebras Paralelización Control de flujo

Resultados preliminares: validez concurrente

…Y medidas alternativas de PC, tales como selecciones de ítems y tareas que vienen siendo utilizados en concursos internacionales de promoción del talento computacional ‘International Bebras Contest’

Problema III de Bebras Descomposición Abstracción Algoritmos

Resultados preliminares: validez predictiva

Como fuentes de validez predictiva, pretendemos correlacionar las puntuaciones en el TPC de nuestros sujetos con sus medidas de desempeño en el programa ‘K-8 Intro to Computer Science’ (número de niveles superados)

CORRELACIÓN GENERAL TPC * NIVELES K-8 SUPERADOS = +0,37 (n=96)

Resultados preliminares: sensibilidad pretest-postest

Conclusiones TPC

PUNTOS FUERTES • Test ‘clásico’ de aptitud • Dificultad apropiada para la población objetivo (1º y 2º ESO) • Correcta psicometría: dificultad creciente, distribución normal y simétrica. • Buena variabilidad que permite la construcción de baremos • Progresión evolutiva y ausencia de sesgo por género • Fiabilidad adecuada (especialmente en tabletas) e indicadores adecuados de

validez concurrente y predictiva • Aplicación colectiva y on-line • Usos posibles: detección masiva / cribado de talento computacional,

diagnóstico, orientación académica y profesional, evaluación de currículos de PC

LIMITACIONES • Muy centrado en conceptos computacionales (no en procesos y

productos), y en pensamiento algorítmico • Sólo ítems de elección múltiple: se mide el PC en sus niveles más

bajos de complejidad cognitiva (‘reconocer’ y ‘comprender’) • Para medir el PC en sus niveles superiores (‘aplicar’ y ‘asimilar’)

habría que incluir ítems de evocación y/o tareas complejas que exijan transferir el PC de manera creativa a distintos ámbitos

Líneas futuras de investigación

TPC • Evaluación aptitudinal y diagnóstica

Dr. Scratch • Evaluación formativa

de proyectos

Muchas gracias por su atención

MARCOS ROMÁN GONZÁLEZ Profesor e Investigador

UNED - Facultad de Educación (Dpto. MIDE I) C/ Juan del Rosal, nº14. Despacho: 2.18

Tfno.: 91 398 90 37 Web: http://goo.gl/oox5Qn

E-mail: mroman@edu.uned.es Blog: http://codigoalfa.hypotheses.org/