CERTITUDE : Bilan et acquisAtelier sur l'évaluation des compétences informationnelles et les

technologies de l'information du 28 février 2013 à la

Maison des technologies de formation et d'apprentissage Roland-Giguère

par

Richard Guay, Directeur des études (2001-2011), Collège Jean-de-Brébeuf et Robert Gérin-Lajoie, Université de Montréal

Membres de l’équipeMerci!

Équipe du projet Jean Allard et Michel Pronovost

Professeurs, Collège Brébeuf Yves Munn, ancien au

Cegep@Distance Annie Mahais, anciennement

chargée de projet Robert Gérin-Lajoie, Université de

Montréal

Équipe de direction Richard Guay, Ancien DE,

Collège Brébeuf Françoise Marceau,

CEGEP@Distance Jacques Raynauld, MATI et

HEC-Montréal Robert Gérin-Lajoie,

Université de Montréal Hébergement, soutien technique et développement Jonathan-Marc Lapointe, profweb Cedric Joyal et Gilles-Philippe Leblanc, Université de Montréal Komi Sodoke, Vision-elearning

Les objectifs de départ

Valoriser les compétences technologiques et informationnelles des étudiants de l’enseignement supérieur par le biais de tests certificatifs diagnostiques formatifs

Évaluer les compétences informationnelles par champ d’études

Évaluer les compétences informationnelles in situ

Assurer une correction automatisée des tests

Les acquis au départ

Au plan international Certificat informatique et internet (C2I), en France Démarche de valorisation des compétences de bases (core

competencies) dans les universités canadiennes et américaines. Études et analyses d’Educause

Au niveau québécois Enquête menée par la CRÉPUQ sur les compétences informationnelles

des étudiants à l’entrée à l’université Évaluation en compétence informationnelle à la Faculté des sciences de

l’éducation de l’Université de Montréal Enquête mené par le Collège Jean-de-Brébeuf sur les compétences

technologiques de ses étudiants à l’entrée Profil TIC produit par les répondants TIC des collèges (REPTIC) formation

implantée progressivement dans les CÉGEPS Certification Magellan du Collège Jean-de-Brébeuf (certification TIC et RI

attestée par l’Université de Montréal) Divers ateliers assurés par le service des bibliothèques de l’Université de

Montréal et intégré dans les formations spécialisées.

Les dispositifs d’évaluation existants

En France, une directive nationale C2I oblige l’évaluation de tous les étudiants au début du cursus universitaire. Par des quiz automatisés, de type QCM théorique et

provenant d’une banque centrale nationale; Par des portfolios de travaux évalués par les enseignants.

Au Québec La certification Magellan du Collège Jean-de-Brébeuf où

les étudiants doivent réussir une épreuve finale de certification propre à leur champs d’études; la correction est faite par les professeurs

Les réalisations

o Recension des pratiques internationales et des offres de certification

o Bilan des approches et des outils auteur pour l’évaluation des habiletés

o Production d’un référentiel de compétences à deux niveaux, le premier étant commun à chacun des champs d’études et le second étant spécifique à chacun des champs d’études

o Création d’une banque de plusieurs centaines de questions arrimées au référentiel de compétences

o Production de tests de type in situ

o Adaptation de deux environnements de passation aux fins de Certitude: Moodle et O-Tutor

o Expérimentations de type formatif, diagnostique et certificatif

Correction automatisée de compétences évaluées in situ

Rechercher l’information

Traiter l’information

Présenter l’information

LES COMPÉTENCES ÉVALUÉES (niveau supérieur)

Correction automatisée de compétences évaluées in situ

Sciences de la nature

Sciences humaines et administratives

Arts et lettres

LES CHAMPS D’ÉTUDES VISÉS

Correction automatisée de compétences évaluées in situ

Questions de type Chasse au trésor On demande à l’étudiant de trouver une

information ou une donnée L’étudiant utilise les outils de recherche

informationnelle mis à sa disposition L’étudiant inscrit sa réponse dansun champ

texte

Questions de type QCM conventionnelles

Rechercher l’information

Correction automatisée de compétences évaluées in situ

Énoncé de tâches à réaliser dans un tableur L’étudiant récupère un fichier qui contient une série de consignes L’étudiant accomplit les tâches demandées par chacune des consignes Le fichier calcule en temps réel sur une feuille distincte des jetons qui

reflètent les résultats obtenus suite à l’accomplissement des tâches L’étudiant recopie les jetons obtenus dans la zone Réponse du

questionnaire La correction est effectuée en temps réel en comparant les jetons

livrés par l’étudiant à ceux équivalents aux bonnes réponses.

Questions de type QCM conventionnelles pour certaines questions (ex: identification d’un type de graphique à produire)

Traiter l’information

Correction automatisée de compétences évaluées in situ

Énoncé de tâches à réaliser dans un texteur L’étudiant récupère un fichier qui contient une série de

consignes L’étudiant accomplit les tâches demandées par chacune

des consignes L’étudiant sauvegarde puis dépose le fichier dans la zone

appropriée La correction est effectuée en temps réel par la recherche

et l’identification de balises xml.

Questions de type QCM conventionnelles

Présenter l’information

Résultats en 2011

o En mai 2011, des expérimentations ont été faites avec la plate-forme Adobe Captivateo L’environnement est restreint pour recueillir les résultats des

passations expérimentales. o Il s’est avéré incapable de soutenir des passations

institutionnelles.o Le projet Certitude a décidé à l’été 2011 d’utiliser un

environnement de passation éprouvé pour un grand volume

Résultats en 2012

o Adaptation technologique de O-Tutor et Moodle

o Développement des questions Certitude sur les logiciels O-Tutor et Moodleo Plusieurs centaines de questions génériques, pouvant se décliner aisément en milliers de

questions spécifiqueso En faisant varier le document ou le contexte des habiletés

o Printemps 2012o Passations formatives et certificatives à Brébeuf sur la plate-forme O-Tutor à plusieurs

centaines d’étudiantso Les collèges André-Grasset et Cégep de Jonquière ont organisé des passations

expérimentales

o Automne 2012: o Expérimentations avec des membres du réseau REPTIC des CÉGEPSo Cependant les enseignants ne peuvent pas poursuivre pour le momento Cela est dû à la surcharge des nouveaux calendriers scolaires.o Idem à l’UdeM

Constats I

Les résultats des évaluations expérimentales montrent une très grande disparité entre les étudiants des différents programmes et Collèges et une maîtrise nettement insuffisante de ces technologiques pour bon nombre d’entre eux

Au Collège Jean-de-Brébeuf, la mise en place des instruments d’évaluation dans des activités formatives a transformé les activités d’apprentissage. La plateforme o-tutor utilisée permet la production rapide de

courts tests formatifs. La correction en temps réel avec possibilité de reprise

immédiate accroît la motivation des étudiants et les mobilisent.

Constats II Réalités du milieu

Les divers intervenants privilégient une approche souple de prise de conscience, de développement et d’appropriation du profil TIC.

Une variété d’approches de formation au sein du réseau: Sans approche identifiée institutionnellement Par cours dédié (Magellan), Par des activités intégrées dans les cours existants Par projet et par un portfolio de travaux

Dans cette optique, l’utilisation des questionnaires pour des fins de diagnostic et d’évaluation formative est la piste la plus prometteuse à court terme

La certification québécoise: un défi qui reste à relever!!!

Les activités de rayonnement du projet Certitude

MATI, mai 2011 et février 2013 REPTIC, 2011 et 2012 ACPQ, 2012 ADMEE, 2012 Articles sur Profweb, décembre 2011, novembre 2012 Site Web du projet Collaboration avec les CÉGEPS – 14 répondants, sondage

automne 2012 La conférence Moodle Moot 2013 à Vancouver

L’intérêt à poursuivre

Les partenaires du projet

En novembre, un bon nombre de conseillers pédagogiques du réseau ont mentionné l’intérêt à poursuivre le travail fait, en s’appuyant sur la banque de questions développées et la technologie.

La pérennité de Certitude

Élargir la direction et l’expertise des partenairesCoordonner le soutien des outils technologiques qui permettent l’évaluation in situ (Extensions à Moodle, O-Tutor)Continuer à valider et à mesurer la fiabilité des instruments d’évaluation

Selon les différents contextes : Disciplinaires Diagnostics, formatifs, sommatifs, certificatifs

Poursuivre les échanges inter ordresAmener les décideurs à encourager et à implanter une certification québécoise de la maîtrise des technologies de l’information chez les étudiants de l’enseignement supérieur.

Le potentiel d’évolution des questions de Certitude

Les intégrer au sein de ressources numériques d’apprentissage

Les associer à des capsules de formation Faire des capsules autoportantes ou s’insérant dans des

cours existants

Identifier des activités d’apprentissage actives complémentaires

Questions pendantes

La gestion centralisée des ressources numériques de la banque de questions et des instruments d’évaluation

Les modèles de questions et de quiz sont centralisés

Les passations sont distribuées

Les résultats de l’utilisation des questions doivent être agglomérés

La question complémentaire: la gestion collaborative

La solution actuelle est simple pour le moment

Une instance locale, avec O-Tutor, ou le plugiciel de MOODLE

Faire des copies des questions et des quiz d’un environnement à l’autre.

Cela pourra-t-il évoluer?

Questions?