Étude longitudinale d'un cours de marketing dispensé en ligne vs en classe

ÉTUDE LONGITUDINALE D'UN COURS DE MARKETING DISPENSÉ EN LIGNE

VS EN CLASSE

William Menvielle, DBAProfesseur de marketing

Département des Sciences de la Gestion

1

Midi pédagogique– UQTR – 09 décembre 2010

Plan de la présentation2

Les cours en ligne, bref historique Le cours en ligne de marketing Les étudiants du cours en ligne de

marketing La réussite des étudiants du cours en

ligne – revue de littérature (sommaire) Méthodologie Résultats Conclusion et pistes

Les cours en ligne, bref historique

3

Monde Pays du Commonwealth Pays d’Europe (Scandinavie et RU) Plusieurs points communs :

Éloignement géographique « augmentation de l’accès au savoir pour de

nouvelles clientèles, une recherche de la qualité de l’apprentissage, une réduction des coûts, la préparation des étudiants à une société apprenante et finalement une réponse adéquate à la demande du marché du savoir » (Bartolic-Zlomislic et Bates, 1999, cités dans Marchand, 2001).


4

Canada : nombreuses plate-forme éducatives depuis une vingtaine d’années, basées sur les TI en Colombie-Britannique le projet Access for All, le projet Télé-éducation au Nouveau-Brunswick, le projet Communication Network en Saskatchewan, Merlin au Manitoba, Ed. Net dans les Maritimes, STEM.NET au Labrador et à Terre-Neuve, Network for Ontario Distance Educators REFAD (le réseau francophone de formation à

distance) : commissions scolaires, collèges et universités francophones canadiennes (Sherbrooke, Laval, UdM, Teluq)


5

Québec : il existe des regroupements et des « produits maisons » Cegep@distance Produits maisons comme ceux de l’UQTR

Fin 2010, il y aura environ 60 cours en ligne dont deux certificats et au moins 5 micro-programmes

2 cours en ligne en Sciences de la Gestion DRA1001 MKA1001

Le cours en ligne de marketing6

Cours d’introduction au marketing – MKA1001 Un cours de base obligatoire au baccalauréat en

administration des affaires et en comptabilité Un cours optionnel pour d’autres programmes (biologie,

arts, lettres, génie industriel, chimie, informatique,….) Des étudiants provenant d’une trentaine de

programmes le suivent chaque année Cours de 3 crédits Le cours existe et se donne en classe

également Le cours présente les concepts de

base en marketing, basé sur un livre de référence

1. Environnement général du marketing2. Les comportements des acteurs 3. Les aspects tactiques4. La stratégie et les applications

Le cours en ligne de marketing7

Le matériel utilisé Livre de base obligatoire pour les

lectures essentielles Contenu du cours entièrement

virtuel (site Web spécifique) Portail étudiant supportant la

documentation supplémentaire Interactions avec les étudiants

en ligne Courriel Forums de discussion Rencontres individuelles au

besoin Discussions par téléphone

Le cours en ligne de marketing

30 questions à choix multiples aléatoires – 1 mois après le début de la session

Examen intra en classe (contrôle de la fraude) : questions de cours + questions à développement – 2 mois après le début de la session

Étude de cas portant sur un cas réel (VW, Starbuck’s, IKEA) – à rendre au plus tard 3 mois après le début de la session

Examen final en classe (35 %) (contrôle de la fraude) – 4 mois après le début de la session

Étude de cas reprenant de nombreux thèmes du cours

Documents autorisés (livre + notes de cours)

Interdiction du téléphone portable et de l’ordinateur

6 évaluations toutes les deux semaines, de façon individuelle et/ou collective, en conformité avec le règlement des études de 1er cycle Évaluation individuelle :

QCM, questions de cours + questions à développement

Évaluation collective : études de cas (VW, Starbuck’s, IKEA)

Examen final en classe (35 %) (contrôle de la fraude) – 4 mois après le début de la session

Étude de cas reprenant de nombreux thèmes du cours

Documents autorisés (livre + notes de cours)

Interdiction du téléphone portable et de l’ordinateur

8

Cours en ligne : évaluations

Cours en classe : évaluations

Les étudiants du cours en ligne de marketing

9

La provenance Étudiants de 1er cycle universitaire ou propédeutique Étudiants de la formation continue (professionnels en activité) Auditeurs libres (suivent le cours par intérêt)

Taille d’un groupe : de 53 à….233 étudiants sous la supervision d’un seul professeur

Caractéristiques idéales de ces étudiants pour favoriser la réussite Nécessité d’une motivation supérieure à la moyenne Autonomie Intérêt marqué pour les technologies d’informations et de

communication Autodidactes Peuvent avoir le choix de la formule (classe ou Internet) selon les

sessions Automne 2009 : 2 cours en classe, le reste en ligne Hiver 2010 : cours en ligne uniquement Été 2010 : cours en ligne uniquement Automne 2010 : 1 cours en classe, le reste en ligne

Les étudiants du cours en ligne de marketing

10

L’organisation Chaque étudiant inscrit au cours de base en

marketing avance à son rythme Chaque étudiant ne suit ce cours qu’une fois (s’il

le réussit !) mais y passe le temps qui lui convient au cours d’une session de 4 mois

Les conseils donnés aux étudiants en ligne pour favoriser leur réussite : Lire et travailler sur 2 chapitres par semaines (livre de

700 pages à lire en 15 semaines…) Période individuelle de révision d’une semaine avant

chaque évaluation …mais comme il n’existe presque aucun contrôle sur

l’étudiant, certains d’entre eux y passent quelques minutes par semaine… d’autres une dizaine d’heures

La revue de littérature sur la réussite 11

Études favorables aux cours en classe Brown et Liedholm (2002) en finances et économie :

Les étudiants en ligne présentent des caractéristiques supérieures, mais réussissent moins bien que leurs homologues en classe

Les filles réussissent mieux que les garçons Explications :

les étudiants qui suivent les cours virtuels ont souvent d’autres responsabilités familiales ou professionnelles

les étudiants qui suivent les cours virtuels n’utilisent pas au maximum les ressources dédiées

Même matériel en ligne et en classe Kanes et Vachris (2004) en finances et économie :

Les étudiants en ligne réussissent moins bien que leurs homologues en classe

Explications : Les étudiants qui suivent les cours virtuels ont souvent

d’autres responsabilités familiales ou professionnelles


Études favorables aux cours en classe Anstine et Skidmore (2005)

Etudiants de MBA (USA) dans un cours de management Même professeur en ligne et en classe Accès au même matériel dans les deux cas Les résultats indiquent que :

Les étudiants ayant suivis des cours en ligne réussissent moins bien que ceux dans les cours en classe

Par une méthode statistique, l’étude montre que ces mêmes étudiants (qui ont suivi les cours en ligne) auraient mieux réussi s’ils avaient suivi des cours en classe


Études favorables aux cours en ligne Sahin (2006)

Méta analyse de 57 études comparant la réussite de 4942 étudiants dans un cours en classe ou en ligne

Résultats : les cours virtuels sont plus propices :

aux grand groupes, pour des cours de 1er cycle et dans des matières davantage chiffrées.

Raynaud et Pelletier (2007) – HEC Montréal Étude longitudinale, échantillon plus vaste que précédemment

(2005-2006) Même professeur en ligne et en classe Même matériel pédagogique dans les deux cas Résultat :

Les étudiants ayant suivis des cours en ligne réussissent mieux que ceux dans les cours en classe pour des cours d’économie


Études favorables aux cours en ligne Shachar et Neumann (2003).

Méta analyse de 86 études comparatives intégrant les résultats de plus de 15000 étudiants

Résultats : Dans 2/3 des cas, les étudiants suivant un cours par

Internet réussissaient mieux que leurs homologues en classe.


Études mitigées Gagne et Shepherd (2001)

Cours de comptabilité Résultats :

Pas de différence dans les résultats des étudiants selon le média considéré

Pas de différence quel que soit le type d’examen considéré (QCM ou étude de cas)

Raynaud et Pelletier (2006) – HEC Montréal Étude longitudinale Même professeur en ligne et en classe Même matériel pédagogique dans les deux cas Résultat :

Les étudiants ayant suivis des cours en ligne réussissent mieux que ceux dans les cours en classe pour des cours d’économie mais l’inverse pour les cours de finances…


Études mitigées Larson et Sung (2009)

Étude de la performance de trois groupes d’étudiants (uniquement virtuel, en classe ou un groupe hybride)

Cours de gestion de système d’information Résultats

pas de différences significatives selon les médias utilisés.

En conclusion Site Web : www.nosignificantdifference.org Plus de 350 études comparant la réussite des étudiants suivant

des cours en ligne ou en classe….

http://www.nosignificantdifference.org/

La réussite des étudiants de MKA1001-W3

17

Méthodologie Étude faite entre l’été 2008-hiver 2009 Échantillon de 373 étudiants

94 en classe 279 en ligne

Même professeur Même matériel pédagogique (portail de cours) : PPT,

articles,… Même livre…lorsqu’acheté….et lu…et compris Résultats des étudiants :

Somme des évaluations intra Résultat de l’examen final Résultat total

Réussite du cours : note supérieure à 60%


18

Les résultats Échantillons (classe et en ligne)

Homogènes en ce qui concerne le sexe et la nationalité

Hétérogène en ce qui concerne l’âge Les étudiants suivants le cours en ligne sont plus âgés

L’explication tient au fait que le mode virtuel (cours accessible en tout temps de n’importe où) est plus favorable pour des étudiants ayant une activité professionnelle ou une famille, des étudiants d’un âge supérieur bien souvent aux étudiants s’inscrivant à temps plein à l’université.


19

Les résultats – évaluations intermédiaires H0 : La note moyenne des travaux intermédiaires pour les étudiants en

mode présentiel = la note moyenne des travaux intermédiaires pour les étudiants en mode virtuel.

Ce test est ici significatif au seuil fixé (sig = ,001); on doit rejeter l’hypothèse nulle de l’égalité des variances (t = - 5,936).

Les étudiants en classe obtiennent des scores pour leurs travaux intra (moyenne de 52,69 et écart-type de 6,54) supérieurs aux étudiants virtuels (moyenne de 47,74 et écart-type de 8,09).

Mais : les étudiants en classe bénéficiaient d’un total de 7 évaluations

intermédiaires (en groupe ou individuelle) tout au long de la session, les étudiants en ligne n’en faisaient que trois (une en ligne, une en classe

sous contrôle d’un surveillant et une à la maison avec remise au professeur par voie électronique).

Il est possible de supposer que le nombre d’évaluations permette à un étudiant ayant connu une contre performance de se rattraper. Notons aussi que ces travaux comptent pour 65% de la note totale, ce qui l’influence grandement.

Il est aussi possible de supposer qu’il existe une anxiété pour les étudiants en ligne lors de la 1ère évaluation « électronique »


20

Les résultats – évaluations finales H0 : La note moyenne de l’examen final pour les étudiants

en mode présentiel = la note moyenne de l’examen final pour les étudiants en mode virtuel.

Le test de Levene n’étant pas significatif (sig=,099), la valeur de t = -1,575, ceci nous amène à conclure que les étudiants en classe réussissent aussi bien que les étudiants du cours virtuel.

Les deux groupes d’étudiants sont soumis au même examen dans les mêmes conditions : examen en classe supervisé de 3 heures, basée sur une étude de cas de lancement de produit pour lequel il faut articuler une réflexion marketing complète et pour lequel les notes de cours et le livre sont autorisés.

Ce résultat est donc à souligner car il repose sur la seule évaluation similaire dans les deux modes d’enseignement.


21

Les résultats – note totale H0 : La note moyenne totale pour les étudiants en mode

présentiel = la note moyenne totale pour les étudiants en mode virtuel.

Le test de Levene est ici encore une fois significatif au seuil fixé (sig = ,001); nous rejetons l’hypothèse nulle de l’égalité des variances (t = - 5,877) et concluons que les étudiants en classe réussissent mieux (moyenne de 78,17) que les étudiants du cours virtuel (moyenne de 71,14).

Conclusion22

Une autre étude comparative entre les cours en ligne et les cours en classe

Même professeur, matériel,… Étude aux résultats mitigés…

Pour l’étudiant : les cours en ligne présentent des avantages en terme de flexibilité (conciliation vie étudiante, vie professionnelle, vie familiale, flexibilité des horaires,…), mais aussi des contraintes (autonomie, motivation, éloignement, austérité,…)

Pour l’université : « option à considérer sérieusement dans la mesure où les bénéfices sont plus grands que les coûts » (Reynaud et Pelletier, 2006)

Pour le professeur : flexibilité de l’enseignement et de la recherche, mais un contact physique manquant… comblé par certains logiciels (VIA)

Pistes

Mesures des antécédents motivation et du profil psychologique de

l’étudiant Mesure des risques lors de cet « achat sur

Internet » Risque psychologique, social, financier,

fonctionnel, de perte de temps (Cox, 1967; Jacoby et Kaplan, 1972; Roselius, 1971; Stone et Gronhaug, 1993).

Mesure des modérateurs et des réducteurs du risque

Prise en compte des autres évaluations des autres professeurs/chargés de cours donnant le même cours ave le même matériel

23

Quelques copies d’écran24

La page d’accueil du cours virtuel MKA1001-W3


L’introduction au chapitreL’articulation des

chapitres suit celle du livre et le menu de droite est toujours le même d’un chapitre à un autre pour faciliter le repérage et la navigation des apprenants.


Quelques éléments novateurs : les préconceptions


Quelques éléments novateurs : les vox-pop


Quelques éléments novateurs : les entrevues d’experts


Quelques éléments novateurs : des schémas animés


Quelques éléments novateurs : des exercices variés


Quelques éléments novateurs : des résumés MP3Les résumés

sont disponiblessous formed’écrit, mais aussisous forme audioà écouter ou télécharger en format MP3


Un glossaireUn glossaire de

quelques centainesde mots est dispo-nible pour trouverles définitions pertinentes

En résumé

En faisant un inventaire à la Prévert, il en ressort un cours comprenant : 500 pages Web 500 questions pour se préparer et se tester 4 heures de vidéos d’entrevues d’experts 20 schémas fixes, animés et/ou commentés 45 minutes de fichiers MP3 à écouter ou

télécharger

33

Annexes34


35

Les résultats Sexe

Hypothèse : le cours virtuel basé sur les TI et les aspects multimédias devrait permettre aux hommes « moins statiques » de mieux réussir

Les femmes réussissent mieux que les hommes pour les travaux et pour la note totale, mais pas pour l’examen final, vrai pour les cours en classe et en ligne

Âge Hypothèse : le cours virtuel basé sur les TI devrait permettre

aux jeunes de mieux réussir Pas de différence significative selon l’âge : les plus « âgés »

réussissent tout aussi bien que les plus jeunes, vrai pour les cours en classe et en ligne


36

Les résultats La discipline d’appartenance

Hypothèse : le cours virtuel de marketing devrait favoriser les étudiants en administration…voire en marketing

Il n’y a pas de différence significative selon le programme d’appartenance. On réussit tout aussi bien que l’on soit en santé, génie, sciences humaines,…

Pour les cours en ligne, les étudiants de chimie-biologie réussissent un peu mieux que les autres.

La nationalité Hypothèse : les étudiants québécois réussissent mieux le cours virtuel de

marketing (connaissance du milieu universitaire et de sa dynamique) Il y a des différences importantes entre la nationalité :

Les étudiants étrangers ont des notes plus basses que les québécois, mais ce pour les travaux uniquement mais pas pour l’examen final.

Les étrangers s’intègrent mal dans les travaux : résultat total moins fort, mais examen aussi bien réussi.

Par ailleurs, ces différences sont vraies pour les hommes uniquement. Vrai pour les cours en ligne et en classe


37

Les résultats La session

Hypothèse : les étudiants réussissent mieux le cours virtuel de marketing durant l’été en raison du temps supérieur qu’ils peuvent y consacrer

Il n’y a pas de différence significative selon la session. Ceux qui suivent le cours l’été travaillent aussi parfois davantage à l’extérieur de l’université….

Il y a une amélioration (moyennes à la hausse) des résultats des étudiants au cours des sessions, pour la note totale et les travaux intermédiaires, mais pas pour l’examen final


38

Quelques commentaires du cours Quelques insatisfactions :

Certains étudiants auraient souhaité avoir un cours mêlant des rencontres en classes à certains moments de la session (démarrage, mi-session, fin de session avant l’examen final) et les cours virtuels.

D’autres étudiants auraient souhaité être plus libre dans l’organisation de leur travail avec des examens en ligne uniquement pour pouvoir les passer quand bon leur semble.

Quelques très bons commentaires d’étudiants : Richesse du matériel proposé, Facture graphique du cours, Ergonomie pour naviguer de façon aisée. Certains étudiants ayant suivi d’autres cours en ligne au sein

d’autres universités québécoises ont vanté l’avant-gardisme de celui-ci, ainsi que la qualité visuelle et du contenu qui y était proposée