Vanda Luengo est professeur d'informatique au LIP6 (UPMC). Elle est notamment responsable scientifique du projet ANR HUBBLE relatif à la constitution d'un observatoire de traces de e-éducation. Elle nous présente dans ce dossier les différents défis qu'ont à relever les chercheurs dans le domaine des Learning Analytics ainsi qu'une brève bibliographie sur le sujet.
Qu'est-ce que les Learning Analytics ?
La première conférence sur les Learning Analytics a eu lieu en 2011 mais des travaux et analyses sur le sujet existent depuis les années 90, même s'ils sont restés confidentiels. Il existe en fait trois grands types d'analytics et tous ont pour objectif de fournir une aide à la prise de décision. Les Learning Analytics sont une approche systémique, holistique, centrée sur l'apprentissage. Les chercheurs de ce domaine cherchent à comprendre comment on peut accompagner le processus d'apprentissage, par des mesures, la collecte de données des apprenants, du reporting. Les Academic Analytics touchent à des décisions plus institutionnelles comme par exemple des décisions financières ou opérationnelles. Un nouveau domaine est en train d'émerger, celui des Teaching Analytics. Ils permettent de mieux comprendre les stratégies d'enseignement. On peut également citer l'"educational data mining". Ici, ce n'est plus l'humain, mais la machine qui va prendre des décisions. Cela recouvre, par exemple, les tuteurs intelligents, la faculté de proposer des exercices plus ou moins difficiles selon les résultats de l'apprenant.
Les Learning Analytics soulèvent entre autres la question de la visualisation : comment présenter les données à l'enseignant, aux apprenants ? Les axes de recherche ne manquent pas : comment rendre l'interface la plus simple possible ? Comment gérer des données massives ? Comment rendre les tableaux de bord toujours plus dynamiques pour donner la bonne information au bon moment ? Ce sont des recherches qui nécessitent une collaboration étroite avec des spécialistes en ergonomie, en psychologie... Malheureusement en France, les recherches en IHM (Interface Homme-Machine) ne se sont pas encore intéressées à ce sujet autant qu'aux Pays-Bas ou aux États-Unis.
Quelles opportunités ce domaine soulève-t-il pour la recherche ?
Une des opportunités les plus intéressantes concerne l'équilibre entre les applications et la recherche. Les learning analytics permettent de chercher plus largement, sur de longues durées (7-8 ans). Il y a de vraies problématiques à résoudre concernant la visualisation, dont je viens de parler, mais aussi les méthodes d'analyse. Les TICE ont traditionnellement été séparées des équipes de recherches en EIAH, alors que la collaboration de ces domaines est fortement souhaitable. Par exemple, du côté applicatif, on se pose les questions de recherche suivantes : quels efforts doivent fournir les apprenants pour réussir leurs études ? Comment aider les enseignants à personnaliser leurs enseignements ? Comment les universités peuvent-elles aider leurs étudiants à utiliser toutes les ressources à leur disposition ? Du côté recherche, on cherche à comprendre les interactions entre les apprenants et les systèmes, les comportements des apprenants dans des activités collaboratives, comment favoriser la rétroaction avec des algorithmes de diagnostics de connaissances... Je suis convaincue que la collaboration à long terme entre les disciplines est la clé et qu'il faut rechercher cet équilibre. Par exemple, dans le cas de ce qu'on appelle les "design based research methods", on développe d'abord des outils simples, pour les enseignants et en parallèle on réalise des essais algorithmiques sur les mêmes questions pour développer des outils plus pointus. En tant que chercheur, il peut arriver cependant que la situation soit frustrante car parfois les outils simples peuvent suffire. Une autre question de recherche concerne la qualité des données. Auparavant, les données étaient contrôlées, car on se basait beaucoup sur des simulateurs conçus pour répondre à des questions spécifiques. Aujourd'hui les données sont "écologiques", il est moins évident de trouver des réponses. L'enjeu est de trouver comment pallier ce problème.
Quels sont les outils utilisés ?
Ils sont nombreux. Je peux par exemple citer des outils comme RapidMiner, l'usage du langage R, ou encore des algorithmes pour le clustering. En France, on a développé Undertracks, une plateforme conçue spécifiquement pour les EIAH en tenant compte des utilisateurs non informaticiens. Stanford également a développé de très bons outils pour les Learning Analytics, même si on ne peut pas encore accéder à des résultats complexes. Il n'existe en tout cas pas d'outils intégrant tout ce dont on aurait besoin, et ce sont des outils complexes, qui ne sont pas utilisables pour quelqu'un qui n'est pas informaticien. Ce qui m'amène à un autre grand défi pour le domaine : on sait aujourd'hui comment partager des données, mais on ne partage pas encore tout le processus d'analyse qu'il y a derrière. Ce processus reste très souvent caché, en "boîte noire", ce qui peut générer des difficultés : il peut parfois être difficile pour un décideur de prendre la bonne décision sans savoir comment les données ont été réalisées. Il faut faciliter le partage, la compréhension de ces données et ce au-delà même du monde des informaticiens.
Quelles autres problématiques soulèvent les Learning Analytics ?
Elles sont souvent liées au type d'analyse. On peut en dénombrer quatre, de la plus simple à la plus complexe : les analyses descriptives, diagnostiques, prédictives, prescriptives. La complexité des analyses provient par exemple, du type de domaine observé, de la variabilité des comportements humains, des différentes réalités sociologiques, psychologiques. D'où, je le répète, l'apport considérable de la pluridisciplinarité dans les équipes de recherche.
Un autre défi de taille est du domaine de l'éthique. L'utilisateur doit pouvoir dire s'il veut ou non partager ses données, combien de temps il souhaite que ce partage soit possible, mais souvent, les outils ne sont pas suffisamment transparents ou aisés à utiliser pour qu'il puisse le faire. Aujourd'hui, alors que des efforts sont faits pour sensibiliser sur le partage de leurs données, on constate que les gens restent encore imprudents sur ce sujet. Des outils existent pourtant pour mieux contrôler le partage, comme My Life (aux Etats-Unis), qui va nous dire ce que l'on a consulté, quels mots-clés nous avons utilisés.
Le domaine des open analytics soulève également un certain nombre de défis intéressants : comment crée-t-on les données, quels algorithmes sont utilisés par les institutions ? Comment rendre ce processus plus transparent ? Quels standards définir pour les données ouvertes ? Dans cet esprit, un groupe de réflexion nommé LACE a mis en lumière 8 scénarios pour les Learning Analytics en 2025.
Quels sont les enjeux d'un domaine comme les Teaching Analytics ?
Ce sujet est encore très récent. Un workshop lui sera consacré lors de la conférence ECTEL à Lyon, en septembre 2016. Il s'agit de comprendre les comportements des enseignants : par exemple, nous avons équipé d'oculomètres quatre enseignants de primaire, d'anciennetés différentes, pour voir combien de temps ils passaient par élève. Les Teaching Analytics sont un sujet sensible car les enseignants peuvent se sentir évalués, l'acceptation des résultats n'est pas toujours évidente. Il s'agit pourtant de parvenir à créer des outils de formation pour les enseignants et non d'évaluation des enseignants. Ici aussi, ce domaine mériterait d'être renforcé par des recherches pluridisciplinaires.
