Newsletter No 24 mai-juin 2015 – Usages innovants en e-éducation

Newsletter du sous-projet IDEFI uTOP INRIA Valorisation de la recherche par la formation

No. 24 – mai-juin 2015
Toutes les newsletters

Quelques chiffres

  • Plus de 4 millions : c’est le nombre d’utilisateurs de la plateforme edX, soit le double de l’année précédente (article, 12/05/2015).
  • Plus de 380 000 : c’est le nombre d’inscrits au MOOC “Understanding IELTS: Techniques for English Language Test” du British Council disponible sur FutureLearn. Un nouveau record pour les MOOCs ? (article, 20/05/2015).

Quoi de neuf en e-éducation ?

En France

  • OpenClassrooms souhaite faire reconnaître ses certifications comme diplômes par le RNCP (Répertoire National des Certifications Professionnelles) (article, 29/04/2015).
  • E-doceo, éditeur de solutions dédiées à la formation à distance, s’implante en Asie avec deux nouvelles structures à Singapour et à Hong Kong (article, 30/04/2015).
  • France Université Numérique (FUN) a organisé le premier hackathon dédié aux MOOC sur Open edX pour les 29 et 30 mai (article, 12/05/2015).
  • Thot Cursus a mis à jour son répertoire des plateformes e-learning pour 2015 (article, vu le 18/05/2015).
  • OpenClassrooms et Simplon s’associent pour proposer un parcours d’apprentissage d’HTML5/CSS et de Ruby on Rails (site, vu le 18/05/2015).

Dans le Monde

  • Arizona State University lance le programme Global Freshman Academy qui permettra à ses participants de suivre des MOOCs de l’université sur edX et de valider une première année de Bachelor grâce à une équivalence de crédits. Des examens à distance seront réalisés grâce à l’appui de la société Software Secure’s RPNow. Des frais de 6 000 dollars (vérification d’identité, autres) seront appliqués à ce programme (article, 23/04/2015; article, 18/05/2015).
  • Le projet européen ECO propose la « création de MOOCs d’un type spécial, les sMOOCs (MOOC basés sur réseaux sociaux) » (article, 06/05/2015).
  • La Khan Academy lance un appel pour trouver de nouveaux talents afin de réaliser des vidéos éducatives (site, vu le 20/05/2015).

Partenariats

  • Coursera s’associe avec l’Université d’Illinois pour proposer un MBA low-cost en ligne (article, 08/05/2015).
  • FutureLearn s’associe avec Pearson VUE afin de faire passer des examens à ses apprenants (article, 08/05/2015).
  • edX s’associe avec Qualcomm Education, filiale d’un leader de la technologie sans fil, pour travailler sur les futures évolutions du mobile learning (article, 13/05/2015). La plateforme accueille également deux nouveaux partenaires ce mois-ci avec Trinity College et Curtin University (article, 13/05/2015; article, 22/05/2015).
  • Google s’associe avec Udacity pour lancer des « nanodegrees » sur la programmation Android (article, 28/05/2015).

Bilans, critiques

  • Une étude du Times Higher Education s’intéresse au coût des MOOCs sur FutureLearn et montre notamment leurs nombreuses variations selon les universités (article, 23/04/2015).
  • La MOOC Research Initiative a publié un nouveau rapport sur les directions que doit prendre la recherche dans les MOOCs. Ce rapport a soulevé une vive discussion entre les deux pionniers des MOOCs, Stephen Downes et George Siemens (qui est parmi les fondateurs de l’Initiative) au sujet des sources citées par ce document (article, 30/04/2015).
  • A quoi pourrait ressembler le MOOC 4.0 ? Cet article du Huffington Post propose un bilan du MOOC « U.Lab: Transforming Business, Society » (MITx) et donne quelques idées sur le sujet (article, 04/05/2015).
  • Microsoft fait le bilan de son premier MOOC dans un livre blanc récemment paru (article, 18/05/2015).

Nouveaux cours

Juin

MOOCs Permanents

  • Le MOOC « Ebola : Vaincre ensemble ! » de l’Université de Genève et de l’unf3s, qui a été une première fois joué sur France Université Numérique (FUN), est désormais proposé sur Coursera en tant que MOOC permanent.

Dossier : « Évaluation par les pairs dans les MOOCs : qu’en dit la littérature ? »

L’apparition des MOOCs rend plus que jamais nécessaire la mise en place de stratégies d’évaluation adaptées à un nombre massif d’étudiants. Parmi elles, la correction par les pairs, qui semble avoir trouvé là son terrain de prédilection. Faire évaluer les apprenants par d’autres apprenants est en effet un excellent moyen d’inclure les participants dans le processus pédagogique, mais également d’éviter aux professeurs d’avoir à corriger un nombre trop important de productions. Mais la mise en place de cette évaluation soulève de nombreuses questions : comment le procédé de correction et de notation fonctionne-t-il et est-il réellement efficace ? L’évaluation d’un apprenant peut-elle vraiment se substituer à celle d’un enseignant, d’un expert ? Comment peut-on inciter les apprenants à évaluer leurs pairs ? Quels retours d’expériences en a-t-on ? Ce dossier propose une sélection d’articles de recherche rassemblés dans le cadre de la veille uTOP sur la thématique de la correction par les pairs.

2015

Résumé : « Large scale peer assessment is arguably the most critical innovation required for development of MOOCs. Its core principle is to involve students in the evaluation and feedback process of correcting assignments. However, it has been criticized for being less rigorous than instructor assessment, too demanding on students and not reliable or fair due to student biases. This paper is drawn from data and practical hands-on experience from MOOC GdP2, in which assignments were both graded by instructors and by peers. Using data from 4650 papers, each graded by 3-5 peers and by an instructor, we test hypotheses and discuss a series of questions: How to train MOOC students to grade their peers? Is peer grading as accurate as instructor grading? What data pre-processing is to be used prior to testing hypotheses on peer grading? Which grading algorithm is best for processing peer-produced data? Is anonymity in peer assessment preferable to increased student interaction? We also present the improved peer grading systems we implemented in MOOC GdP 3 and 4 thanks to this research.  »

Quelques point saillants : L’article souligne l’importance de bien préparer les apprenants à la perspective de la correction. Dans ce sens, l’équipe a beaucoup communiqué en amont sur le sujet : il s’agissait en effet d’un prérequis fort pour le parcours avancé que proposait le MOOC. Une vidéo expliquant l’importance d’un feedback de qualité et comment faire ce feedback a notamment été réalisée. Concernant le nombre de productions à corriger par l’apprenant pour obtenir une note finale de qualité, l’article en recommande quatre. D’autres recommandations, concernant notamment le filtrage des données d’évaluation et l’algorithme de sélection à appliquer selon ce filtrage, sont également faites dans l’article.

Résumé : « In this paper, we detail our efforts at creating and running a controlled study designed to examine how students in a MOOC might be motivated to do a better job during peer grading. This study involves more than one thousand students of a popular MOOC. We ask two specific questions: (1) When a student knows that his or her own peer grading efforts are being examined by peers, does this knowledge alone tend to motivate the student to do a better job when grading assignments? And (2) when a student not only knows that his or her own peer grading efforts are being examined by peers, but he or she is also given a number of other peer grading efforts to evaluate (so the peer graders see how other peer graders evaluate assignments), do both of these together tend to motivate the student to do a better job when grading assignments? We find strong statistical evidence that “grading the graders” does in fact tend to increase the quality of peer grading. »

Quelques point saillants : Il y a beaucoup plus de chances qu’un correcteur donne une excellente note à un devoir imparfait que le contraire. Cela pourrait s’expliquer par le temps passé par le correcteur à évaluer la production : plus cette durée est faible, moins le correcteur serait vigilant et meilleure serait la note attribuée. De plus, les correcteurs ne rechignent en général pas à donner une bonne note : la correction par les pairs aboutirait à de meilleurs notes que celle du professeur. Concernant la motivation des correcteurs, leur indiquer qu’ils sont évalués lors de leur correction ne semble pas avoir d’incidence sur les résultats. Obtenir une correction de qualité semble être autant liée à la motivation qu’à l’information autour de la mise en place de l’évaluation : voir des exemples de pairs, bon comme mauvais, et notamment l’impact négatif d’un feedback laxiste est un bon vecteur de motivation.

2014

Résumé : « Currently there is little empirical evidence to support the credentials of peer grading as a learning assessment method in the MOOC context. To address this research need, this study examined 1825 peer grading assignments collected from a Coursera MOOC with the purpose of investigating the reliability and validity of peer grading as well as its perceived effects on students’ MOOC learning experience. The empirical findings proved that the aggregate ratings of student graders can provide peer grading scores that were fairly consistent and highly similar to the instructor grading scores. »

Quelques point saillants : Cet article s’intéresse à la fiabilité et à la validité de la correction par les pairs. Dans cette optique, il a été constaté que le nombre de correcteurs avait un impact considérable sur la fiabilité de l’évaluation. L’article recommande un minimum de trois apprenants correcteurs par production. Concernant la note en elle-même, les apprenants ont tendance à s’attribuer de meilleurs notes pour leurs propres productions, mais les notes attribuées à d’autres sont également plus hautes que celles données par le professeur. Selon un sondage réalisé dans le MOOC observé, 63% des apprenants ont jugé l’activité de peer grading utile pour développer leurs compétences, 62% ont estimé avoir obtenu une note équitable et 61% un feedback utile de la part de leurs pairs.

Résumé : « In massive open online courses (MOOCs), peer grading serves as a critical tool for scaling the grading of complex, open-ended assignments to courses with tens or hundreds of thousands of students. But despite promising initial trials, it does not always deliver accurate results compared to human experts. In this paper, we develop algorithms for estimating and correcting for grader biases and reliabilities, showing significant improvement in peer grading accuracy on real data with 63,199 peer grades from Coursera’s HCI course offerings — the largest peer grading networks analysed to date. We relate grader biases and reliabilities to other student factors such as student engagement, performance as well as commenting style. We also show that our model can lead to more intelligent assignment of graders to gradees. »

Quelques point saillants : L’article se pose la question suivante : comment réaliser un système d’évaluation efficace ? Les résultats montrent que le niveau des apprenants doit être pris en compte, car il influe sur la hauteur de la note : un bon élève notera plus sévèrement une mauvaise contribution, et à l’inverse, un mauvais élève aura tendance à « gonfler » la note d’une très bonne production. L’article a également remarqué que les feedbacks les plus longs étaient souvent aussi les plus critiques : les apprenants auraient tendance à pointer beaucoup plus les points négatifs que les positifs. Cependant, une grande majorité de commentaires se sont avérés neutres, ou positifs.

Résumé : « Peer review (e.g., grading assignments in Massive Open Online Courses (MOOCs), academic paper review) is an effective and scalable method to evaluate the products (e.g., assignments, papers) of a large number of agents when the number of dedicated reviewing experts (e.g., teaching assistants, editors) is limited. Peer review poses two key challenges: 1) identifying the reviewers’ intrinsic capabilities (i.e., adverse selection) and 2) incentivizing the reviewers to exert high effort (i.e., moral hazard). Some works in mechanism design address pure adverse selection using one-shot matching rules, and pure moral hazard was addressed in repeated games with exogenously given and fixed matching rules. However, in peer review systems exhibiting both adverse selection and moral hazard, one-shot or exogenous matching rules do not link agents’ current behavior with future matches and future payoffs, and as we prove, will induce myopic behavior (i.e., exerting the lowest effort) resulting in the lowest review quality.  »

Quelques point saillants : Cet article présente un procédé qui permet, à partir d’interactions répétées entre apprenants, d’assigner des notes aux évaluateurs d’après leurs précédentes corrections. Cela serait notamment un bon vecteur de motivation pour les correcteurs.

2013

Résumé : « Two of the largest Massive Open Online Course (MOOC) organizations have chosen different methods for the way they will score and provide feedback on essays students submit. EdX, MIT and Harvard’s non-profit MOOC federation, recently announced that they will use a machine-based Automated Essay Scoring (AES) application to assess written work in their MOOCs. Coursera, a Stanford startup for MOOCs, has been skeptical of AES applications and therefore has held that it will use some form of human-based “calibrated peer review” to score and provide feedback on student writing. This essay reviews the relevant literature on AES and UCLA’s Calibrated Peer Review™ (CPR) product at a high level, outlines the capabilities and limitations of both AES and CPR, and provides a table and framework for comparing these forms of assessment of student writing in MOOCs. Stephen Balfour is an instructional associate professor of psychology and the Director of Information Technology for the College of Liberal Arts at Texas A&M University. »

Quelques point saillants : Cet article s’intéresse aux avantages et désavatanges de l’ Automated Essay Scoring (correction automatisée d’écrits, utilisée par edX) et de l’outil en ligne Calibrated Peer Review™, (développé par UCLA, et dont le principe a été repris par Coursera). Il préconise de combiner ces deux outils pour obtenir des évaluations plus efficaces.

  • A Case for Ordinal Peer-evaluation in MOOCs (Nihar B. Shah, Joseph Bradley, Abhay Parekh, Martin J. Wainwright, Kannan Ramchandran, Neural Information Processing Systems (NIPS): Workshop on Data Driven Education, Lake Tahoe, Dec. 2013).

Résumé : « In this paper, we explore an alternative approach to peer evaluation based on pairwise comparisons. We present evidence that such an ordinal approach can be significantly more robust to the lack of expertise of the evaluators, as compared to the conventional cardinal approaches. This work is a first step in understanding the trade-off between the precision of cardinal scores and the robustness of ordinal evaluations for peer grading. »

Quelques point saillants : Cet article préconise une approche ordinale de la correction par les pairs. En effet, demander aux apprenants de comparer plusieurs productions de leurs pairs et de les classer par ordre de qualité permettrait de diminuer le taux d’erreur des correcteurs. Cette approche permettrait également à l’apprenant de mieux comprendre comment améliorer ses propres productions.

Voir aussi

Évènements récents et à venir

  • 20/05/2015-21/05/2015 – Orme 2.15 – Marseille.
  • 23/05/2015-25/05/2015 – CSEDU – Lisbonne, Portugal.
  • 28/05/2015-29/05/2015 – Refad 2015 – Vancouver, Canada.
  • 02/06/2015-05/06/2015 – EIAH 2015 – Agadir, Maroc.
  • 03/06/2015-05/06/2015 – EUCEN 2015 – Istanbul, Turquie.
  • 09/06/2015-12/06/2015 – EDEN 2015 – Barcelone, Espagne.
  • 10/06/2015-12/06/2015 – mLearnCon – Austin, Texas.
  • 16/06/2015-19/06/2015 – QPES 2015 – Brest.
  • 22/06/2015-26/06/2015 – AIED 2015 – Madrid, Espagne.
  • 25/06/2015-26/06/2015 – ICEL 2015 – Nassau, Bahamas.
  • 28/06/2015 – 01/07/2015 – ISTE 2015 – Philadelphie, USA.

Mots clés : « e-éducation », « MOOC », « TICE », « plateforme e-learning », « université en ligne », « sciences du numérique », « FUN », « France Université Numérique », « peer grading », « peer assessment », « peer review », « évaluation par les pairs », « correction par les pairs »

Voir toutes les newsletters