un cadre méthodologique pour l’accompagnement de dispositifs de type mooc : cadre descriptif,...

Des outils méthodologiques pour observer les MOOC

La recherche et les MOOC : de quoi parle-t-on ?

Pierre-André Caron, Marilyne Rosselle, Jean HeutteLille (CIREL-Université de Lille) et Amiens (MIS-UPJV)

{pierre-andre.caron, jean.heutte}@univ-lille1.fr, [email protected],

09/07/2014 École d'été CNRS EIAH MOOC 2

- Appréhender, Décrire, et Catégoriser

- Comprendre, Prédire et Prescrire

- Observer, Profiler.

sur

un MOOC (considéré comme un dispositif), des activités, les attentes des apprenants, leur persévérance.

L'usage des apprenants

PLAN





sur



Partie 1


Le MOOC un objet, qu'il est possible d'appréhender au travers des objets identifiés par la recherche Objets, cadres

théoriques et méthodologiesassociés

Dispositions Intentions

SAI SPI

EIAH

MOOCMOOC

EnvironnementInformatiquepourl'Apprentissage Humain

Situation d'apprentissage instrumentée,

Situation pédagogiqueinstrumentée

Dispositions desApprenants.Auto...(télisme, efficacité,régulation, nomie)

Intentions pédagogiques


Dispositions

SAI SPI

EIAH

Intentions

- Capturées, modélisées, opérationnalisables- Perçues et décrites au travers l'identification de schèmes d'actions des enseignants-Observées au travers la construction de dispositifs- Analysées au travers des traces laissées dans l'EIAH



SAI

EIAH

SPI

« une situation pédagogique intégrantun ou plusieurs logiciels » - Appréhendée au travers les paradigmes et modèles associés à différents cadres théoriques,- Scénarisée, décrite, modélisée et manipulée via des standards du elearning, - Observée, au travers des traces laissées par sa construction ou son usage dans l'EIAH



SPI

EIAH

SAI

« une situation d'apprentissage intégrantun ou plusieurs logiciels qui y jouent un rôle particulier du point de vue de l’apprentissage » - Observée, au travers de l'interprétation des traces laissées par l'usage apprenant/enseignant de l'EIAH- Quantifiée et appréhendée au travers le relevé d'indicateurs construits.-Explorée au travers d'entretiens d'explicitation ou d'auto-confrontation aux traces


Intentions

SAI SPI

EIAH

Dispositions

Autotélisme, auto-efficacité,autorégulation, autonomie, Flow→ une manière d'aborder ce qu'il y a entre le réel et le perçu

L'idée que l’ingénierie pédagogique ne peut se concevoir indépendamment desparamètres « dispositionnels » des sujets sociaux supposés devenir « apprenants » [Carré 2010]

Peut être quantifié par des échelles de mesure: mesure de l'intérêt situationnel, mesure du flow, échelle multimensionnelle de satisfaction de vie [Heutte et al, 2013a, 2013b, 2014].



SAI SPI

EIAH

Un Environnement Informatique pour l’Apprentissage Humain (EIAH) est un logicielspécifiquement conçu dans le but d’amener un apprenant à développer une activitéfavorable à l’atteinte des objectifs de la SPI (ou de la SAI) considérée.« il est associé à une SPI ou SAI, il embarque et véhicule une intention pédagogique »[Tchounikine 2009]

Il peut être décrit, et modélisé par - ses entrées, expression des intentions qui l'ont fait naître, analyse de modèles, analyse d'article scientifique, entretien avec les concepteurs.- ses sorties, expression de son usage (traces, observation, entretiens, etc...)- son comportement perçu (observation, analyse ergonomique, interprétation)


Modèle du dispositif d'enseignement-apprentissage

Modèle de l'apprenant

Modèle de l'enseignantModèle du contexte

d'enseignement-apprentissage

Des modèles pour décrire le MOOC

Objectif : l'observation par des chercheurs qui ont chacun leurs cadres théoriques



Une dimension du cadre description d'un MOOC

[De Vries, 2001], [Gauthier and Colin, 2004] et [Schneider, 2013]


Modèle du contexte d'enseignement-apprentissage

Dimension du cadre description

[De Vries 2001], [Gauthier & Colin 2004], [Lane 2012], [Schneider 2012], [Clark 2013], [Gilliot et al. 2013]


Modèle de l'enseignant


[De Vries 2001], [Siemens 2004]




Modèle de l'enseignantModèle du contexte

d'enseignement-apprentissage

Des modèles pour décrire le MOOC


Cadre de description - version 2

• Regroupement des propriétés pour décrire un MOOC en cinq dimensions– Dispositifs et EIAH (bleu)– Modèle du contexte d’enseignement – SAI – SPI (vert)– Modèle de l’apprenant, dispositions et émotions (rose)– Modèle de l’enseignant et intentions (jaune)– Générale (fche signalétque – à partr des descriptons

en ligne et de [Schneider 2012])


Comment remplir le cadre de description ?

• Vous êtes chercheur & concepteur d’un MOOC– Vous avez a priori toutes les informations

• Vous êtes chercheur & participant à un MOOC– Vous pouvez observer des propriétés d’après l’interface, les

activités proposées, etc.• Casquettes supplémentaires

– Des techniques classiques d'exploration telles l'observation participative, l'entretien ou le questionnaire, devraient vous permettre de recueillir les données nécessaires à la description du dispositif, ainsi que toute autre méthode de votre domaine


Exemple d’application : MOOC iNum (mai-juin 2013)


Description : focus de l’enseignant (1/2)

L’enseignant-concepteur met la priorité sur « la complétion de tâches » de l’apprenant (d’après [Lane 2013])

La participation à la communauté est favorisée


• Le focus de l’enseignant (suite)– D’après les entretiens avec les enseignants-concepteurs

• Prise de position réflexive de l’apprenant par rapport à ses productions

• Les intentions de l’enseignant (d’après [De Vries 2001]) – Via Entretiens et via l’interface

Description : focus (2/2) et intentions

?


Une typologie des MOOC : proposition duale en complément

du cadre de description● Transposer un résultat d’un projet européen : configurations conçues

pour décrire les systèmes Hybrides dans l’enseignement Supérieur (Hy-Sup 2012)

6 configurations HySup => 6 types de MOOC (publiée à eMOOC’2014)


Partie 2




sur




La problématique de l'accompagnement par la recherche

● Un MOOC est un dispositif de formation instrumenté, limité dans le temps, et utilisé de façon anecdotique et opportuniste par les apprenants.

● Cet usage spécifique nécessite une appréhension immédiate du dispositif qui conditionne en partie la bonne réalisation des activités de groupe.

● Les cadres théoriques que nous utilisons communément pour étudier les dispositifs de formation instrumentés suggèrent une transformation des schèmes et la construction d'un instrument qui a lieu de façon dynamique et continue dans le temps, lors de la réalisation de l'activité, lors de l'usage de l'artefact.


La problématique (2)Le dispositif en tant qu'ofre de signification : un ensemble d'éléments de langage qui s'interprète culturellement ou individuellement indépendamment de l'action dans laquelle il pourrait s'inscrire.

D'où l'idée de penser à convoquer plusieurs cadres théoriques : – Sémiotique : les scp d'ET Hall, (1959).– Instrumental : les critères de J Preece (2000).– Expérientiel : Modèle de développement par phases de l’intérêt

(Hidi & Renninger, 2006), sentiment d’efcacité personnelle (Bandura, 1997), l’état de flow (Csikszentmihalyi, 1990).


Échelle de Profil des Apprenants au regard des systèmes de Communication primaires

(PAC)● Les travaux de Hall (1959) ont pour but d’appréhender une culture

et son évolution.

● Celle-ci est perceptible à travers la manière dont les individus organisent leurs rapports sociaux. Ces rapports sociaux, pour Hall, utilisent des Systèmes de Communication Primaires (SCP).

● L’échelle construite permet d’appréhender les aspects culturels liés à l'apprentissage et aux attentes des apprenants au sein d'un dispositif de formation instrumenté.

● Il ne s'agit pas pour nous de comprendre avec ces échelles comment les apprenants utilisent le dispositif, mais d'essayer de spécifier comment ils souhaiteraient l'utiliser


Échelle de Perception Instrumentale des Communautés (PIC)

● Critères de jenny Preece (2000) :

→ Mesurer la vitalité d'une communauté de pratique instrumentée par un artefact informatique.

→ But prescriptif : favoriser l’émergence d'une telle communauté.

● L’observation du couple formé par la communauté et l'artefact qu'elle instrumente.

● Comprendre comment chaque critère de Preece est réifié sous forme d'usage par la communauté.

● Établir des liens entre les diverses instrumentations et perceptions d'un artefact et les potentialités de mise en place d'une communauté de pratique.


Modèle de développement par phases de l’intérêt (Hidi & Renninger, 2006)

● Intérêt individuel : dans le cas présent, l’intérêt pour la protection/projection de l’identité numérique en tant que telle.

● Intérêt situationnel : dans le cas présent, l’intérêt lié à la situation provoquée par MOOC iNum :– Intérêt situationnel activé : état émotionnel activé au travers

des caractéristiques de la situation (ce que procure le fait de se former avec MOOC iNum).

– Intérêt situationnel maintenu : perception du sens, de l’importance et de la valeur de l’activité (ce que peut apporter MOOC iNum pour sa formation personnelle).


Sentiment d’efcacité personnelle (Bandura, 1997)

● Agentivité humaine et adaptation au changement dans les environnements numériques très fortement liées à la perception qu'une personne a d’elle-même, de ses capacités à exécuter une activité et à réagir face à un événement, pour utiliser ces dispositifs, mais aussi concernant sa capacité d'apprentissage.

● ⇒ Le SEP influence le niveau de motivation et le comportement.


L’état de flow (Csikszentmihalyi, 1990)

L’expérience de Flow est une expérience autotélique se caractérisant par une récompense intrinsèque (self-oriented reward) impliquant un sens profond de plaisir, de joie et d’enrichissement.

Le sentiment de vivre une expérience optimale d'apprentissage est l'un des déterminants majeurs de la persistance en formation.– Absorption cognitive.– Altération de la perception du temps.– Absence de préoccupation à propos du soi.– Bien-être.


Expérimentation

● Expérimentation des échelles PAC_MOOC et PIC_MOOC menée dans 4 MOOC (iNum, Internet les autres et moi, Mes données dans le nuage, GDP3) entre juin 2013 et avril 2014) (1300, 7500, 5500, 10700 apprenants interrogé).

● Articulation commune :– Q_ini PAC, SEPTIC, Phases d’intérêt.– Q_avant travaux de groupe PIC_MOOC, FLOW, Phases

d'intérêt.– Q_final, PAC_MOOC et PIC_MOOC, FLOW, Phase d'intérêt.


PAC_MOOC : Les SCP de Hall

● Deux analyses réalisées par MOOC, semaine 1/2 et semaine 9/10.

● Attente ambivalente : espace de liberté structuré.– Besoin d'enseignement structuré → attente et respect du

programme.– Plaisir de découvrir et d'explorer → faire soi-même.

● Le MOOC est perçu comme un dispositif numérique suggérant lui-même des gestes numériques permettant l'apprentissage.


Ce que nous apprend l'usage de cette échelle

La participation au dispositif MOOC : – Au service d'une montée en puissance professionnel. – Réponse à un environnement technique en évolution et

anxiogène.

Domination parmi les SCP de l'élément «défense» (au sens de Hall). Ceci expliquerait à priori l'usage désiré d'outils, de moyens et de méthodes, en phase avec l'environnement dont le participant escompte une plus grande maîtrise.


PIC_MOOC : application des critères de Preece

● Deux analyses réalisées par MOOC, semaine 2/3 et semaine 9/10.

● Sensation de présence au sein de la plate-forme est perçue de façon très positive par les étudiants. Les participants considèrent qu'ils reçoivent autant que ce qu'ils amènent sur la plate-forme.

● Problème concernant la perception des autres (4 premiers items) et de leur motivation au travers des fonctionnalités de la plate-forme.


Phases d'intérêt


SEP TIC


FLOW


Partie 3




sur




Travaux de Bruno Poellhuber (Université de Montréal)

● Étude des diférents MOOC EDUlib (HEC Montréal)● Recherche d'élaboration du profil des apprenants participants, et ● Méthodologie

– Questionnaires, résultats aux tests, analyse des « traces » (LA)– Utilisation

● SAFAD (sentiment d'auto efcacité en FAD) [Poellhuber, 2007]● MSLQ (Motivated Strategies for Learning Questionnaire) [Pintrich &

DeGroot, 1990]


Résultats de Poellhuber (1/2)

● 6 profils de participants identifiés 0 : Absent

1 : Évaluateur (prédominance de l'activité en test)

2 : Lecteur curieux (prédominance de l'activité en lecture)

3 : Actif indépendant (toutes activités sauf forum)

4 : Actif social (prédominance de l'activité en forum)


Résultats de Poellhuber (2/2)

absent evaluateur lecteur curieux actif indépendant actif social0

10

20

30

40

50

60

70

80

90

100

perséveranceréussite


Prescriptions de Poellhuber● Créer des incitatifs intelligents automatiques et méta-cognitifs (texto,

email, agent intelligents, assistants cognitifs)– Insister sur la régularité des connections, plutôt qu'un grand nombre– Inciter les moins actifs (profil 0 et 1) à essayer les activité liées aux autres

niveaux (lecture, engagement dans toutes les activités dont engagement social)

– Enrichir les tests de feedback formatif et de message de soutien à la motivation

● Implanter un indicateur de présence et d'engagement● Concevoir un test 1 assez facile, avec difcultés croissantes.


Conclusion

● L’échelle PAC_MOOC s'avèrent pertinente pour mesurer les attentes et la culture numérique des participants à l'entrée dans le MOOC.

Une question ouverte porte sur le profil des apprenants « survivants ». cf travaux de Poellhuber 2014

● L’échelle PIC_MOOC s'avère pertinente pour mesurer les conditions nécessaires aux travaux de groupe.

Dans la première étude : les difcultés pour percevoir ce qui pouvait motiver les autres, l'incapacité de juger l'image que l'on renvoie de soit même.

Évolution entre le premier questionnaire et le dernier


Conclusion

● De nombreux cadres théoriques convoqués

● Des outils d'observations développés : échelles PIC, PAC, EduFlow, SEP tic

● Une typologie des MOOC complétée par un cadre de description publiée (version 2 en cours de publication)

● Vers le calcul d'un indicateur (prédicteur) de persistence (miroir : risque d'abandon) utilisant des learning analytics simple d'une plateforme MOOC (accès à la plateforme, lecture des cours et vidéo, réalisation des tests, réalisation des activités et participation au forum), pas de calcul à partir des traces élémentaires


Merci de votre attention

Profitez de ce moment d'échange pour faire des remarques, des suggestions et même pour poser des questions :-)

un cadre méthodologique pour l’accompagnement de dispositifs de type mooc : cadre descriptif,...

Documents