Objectifs par rapport aux acquis d'apprentissage du programme

• Analyser une situation éducative en référence aux théories et aux approches méthodologiques résultant des développements en sciences de l'éducation.
• Maîtrise des méthodes et des techniques avancées d'analyse de données spécifique.
• Analyser et modéliser une action éducative en sélectionnant de manière critique des théories et des approches méthodologiques, y compris en tenant compte des aspects pluridisciplinaires.
• Elaborer ou accompagner un dispositif d'éducation, le mettre en oeuvre et l'évaluer.
• Maîtriser les connaissances sur les différents dispositifs d'éducation ainsi que sur leur mise en oeuvre.
• Evaluer un dispositif d'éducation.
• Ajuster un dispositif d'éducation.
• Maîtriser la démarche scientifique au niveau de la recherche en sciences de l'éducation.
• Maîtriser les différentes étapes pour mener à bien une recherche en sciences de l'éducation.
• Construire un cadre de référence, formuler des questions ou des hypothèses à partir de l'analyse de la littérature scientifique.
• Choisir adéquatement et mettre en oeuvre des méthodes de recherche.
• Récolter des données et les analyser.
• Interpréter adéquatement des résultats en tenant compte du cadre de référence au sein duquel la recherche s'est développée.

Acquis d'apprentissage de l'UE

Le cours se structure en 6 chapitres. Dans le premier, nous proposons aux apprenants d'appréhender le concept d'environnement numérique pour l'apprentissage humain et de décrire la structure générale sur laquelle nous nous nous appuyons.Le chapitre 2 se centre sur l'analyse de la performance en lien avec le développement des compétences ciblées dans le dispositif. Nous nous attardons d'une part sur les informations descriptives pour objectiver les données et d'autre part, sur les qualités du test pour apprécier le niveau de maîtrise. Dans le troisième chapitre, nous nous s'intéressons au processus et aux différentes observations possibles qui peuvent être réalisées. Nous portons notre attention en particulier sur la notion de trace et sur son utilisation d'un point de vue pédagogique (learning analytics). La question du recueil de la perception des acteurs sera abordée dans le 4e et le 5e chapitre On distinguera les outils validés et la construction d'outils adaptés au contexte dans lequel ils seront mobilisés. Le dernier chapitre porte sur les  analyses croisées en décrivant différentes démarches complémentaires qui permettent aux chercheurs d'aller plus loin dans leurs analyses. Dans une perspective de triangulation, ce sera l'occasion de se focaliser sur les démarches de comparaison, de prédiction ou encore de catégorisation.

Contenu de l'UE : descriptif et cohérence pédagogique

Le cours met en lumière les enjeux liés à l’évaluation en éducation, en particulier dans les environnements numériques d’apprentissage (ENA). Dans une perspective de recherche appliquée et fondamentale, il vise à aider les praticiens à prendre du recul sur leurs dispositifs et à développer une posture réflexive, à la fois critique et constructive. À travers six modules, les participants découvrent les dimensions essentielles pour analyser les produits, les processus et les perceptions liés à l’usage du numérique dans les apprentissages.

Le Module 1 explore les caractéristiques d’un environnement numérique d’apprentissage. Il souligne l’importance de l’innovation pédagogique, de la scénarisation des tâches, de l’organisation du temps et des groupes, ainsi que du choix des outils. Le modèle TPACK y est présenté comme cadre de référence pour penser l’articulation entre contenus, pédagogie et technologie. On y insiste également sur les profils d’apprenants et leurs buts motivationnels, ainsi que sur la diversité des tâches (étude, résolution de problème, jeu, dialogue…).

Le Module 2 aborde les modalités d’évaluation de la performance dans les ENA. Il distingue différents indicateurs comme la progression (prétest/posttest), le niveau de maîtrise, le transfert des apprentissages, et l’équité entre apprenants. L’édumétrie y est mobilisée à travers des notions comme la taille d’effet, les scores de prudence et de confiance, ainsi que les indices de difficulté et de discrimination. On y découvre également des méthodes pour construire et valider des outils d’évaluation.

Le Module 3 s’intéresse à l’analyse du processus d’apprentissage à partir des traces laissées par les apprenants dans les dispositifs numériques. Ces traces (réalisations, usages, interactions sociales, temps) permettent de mieux comprendre les dynamiques d’apprentissage. Des tableaux de bord et visualisations peuvent être utilisés pour soutenir la régulation par les enseignants et l’autorégulation par les apprenants. Trois niveaux d’exploitation des traces sont proposés : le miroir, la guidance, et la métacognition.

Le Module 4 traite des outils validés pour recueillir la perception des apprenants. Plusieurs dimensions sont abordées : utilisabilité, utilité, motivation, émotions, charge cognitive… Des questionnaires standardisés sont présentés (ex. : Davis, SUS, NASA-TLX, AttrakDiff, Computer Emotion Scale), ainsi que des approches plus visuelles comme la roue des émotions. L’objectif est de mieux comprendre l’expérience vécue par les utilisateurs d’un dispositif numérique.

Le Module 5 propose une méthodologie pour construire ses propres outils de recueil de perception, notamment des questionnaires et des entretiens. Il expose les différentes étapes de conception, les types d’items (ouverts/fermés, échelles, classements…), les modalités de passation (papier, numérique, outils comme Plickers, Google Forms), ainsi que les biais à éviter. L’analyse des données peut se faire de manière qualitative (analyse de contenu, verbatims) ou quantitative (descriptive ou inférentielle).

Le Module 6 met en avant l’intérêt des analyses croisées. Il propose une articulation entre les données issues des produits, des processus, des perceptions et des profils des apprenants. On y découvre diverses méthodes d’analyse : comparaisons (plans expérimentaux, tests A/, corrélations, régressions (prédiction), catégorisations (profils), ainsi que des analyses descriptives, diagnostiques, prédictives ou prescriptives. Cette approche systémique permet une compréhension fine des effets des dispositifs et ouvre des perspectives pour l’adaptation et la différenciation pédagogique.

Compétences préalables

Sans objet