Apprendre en mouvement avec la réalité augmentée

Le CRI Paris expérimente des nouvelles façons d'apprendre, d'enseigner, de faire de la recherche et de mobiliser l'intelligence collective. Le gymnase augmenté permet à un grand nombre de personnes d'interagir avec leur corps avec du contenu numérique, pour le sport augmenté, l'apprentissage immersif ludique collaboratif, l'art numérique, etc.

Le gymnase augmenté, un projet novateur pour...

Le monde physique est désormais lié aux mondes virtuels numériques. Cette dynamique émergente nous touche tous : potentiellement, tout smartphone est un dispositif de réalité augmentée. Le CRI, avec le soutien de nombreux partenaires dont la Fondation Bettencourt Schueller et la Ville de Paris, expérimente des nouvelles façons d'apprendre, d'enseigner, de faire de la recherche et de mobiliser l'intelligence collective. En particulier, il défriche les nouveaux territoires de la réalité augmentée et de la réalité virtuelle via ses espaces expérimentaux ouverts aux parisiens et aux étudiants VR lab, Game Lab, Maker lab, Mobile lab, Baby Lab en préparation, etc.

Les espaces actuellement dédiés à la réalité augmentée dans la métropole parisienne sont de tailles réduites et sont souvent dédiés à une activité particulière. La spécificité du CRI est son approche scientifique totalement interdisciplinaire. Le CRI propose un projet d'espace de réalité augmentée très ouvert et très innovant. Ce concept original mêle :

  • pédagogie innovante
  • expérimentation technologique
  • recherche sur le mouvement
  • recherche sur l'ergonomie

Dans ce nouvel espace se côtoieront :

  • scientifiques (physique, sciences de l'éducation, ergonomie, psychologues, etc.)
  • sportifs de haut niveau
  • artistes
  • écoliers
  • startups
  • entreprises

Le gymnase pilote sera réalisé sur le site sportif de la rue Neuve Saint Pierre, au coeur du quartier historique du Marais.

Comment fonctionne le gymnase augmenté?

Le gymnase dispose de trois grandes fonctions technologiques :

  • la captation des positions et des mouvements des personnes présentes dans le gymnase
  • leur immersion dans un environnement numérique, ou totalement virtuel, ou ajouté sur la vision de la réalité perçue
  • le traitement des données des comportements des personnes présentes acquis pendant leurs activités et leur permettant d'interagir avec l'environnement virtuel / augmenté qu'ils perçoivent, en temps réel.

...le sport 

Le gymnase connecté est un vaste espace dans lequel on peut projeter des environnements virtuels qui réagissent et évoluent en temps réel selon les mouvements des participants. Cela permet de faire des sports classiques augmentés par le numérique, où par exemple les limites du terrain sont projetées et changent de position en cours de jeu ; on peut afficher des cibles à atteindre avec un ballon, calculer le score des joueurs pendant le jeu, etc.

On peut également proposer des scénarios d'entraînement de difficulté progressive pour des sports classiques, comme le "Shadow running", où l'on affiche l'image d'un coureur idéal à dépasser pendant sa propre course, ou en proposant des exercices de déplacement en suivant des marques qui apparaissent au sol, ou encore en tirant au ballon sur des cibles mouvantes toujours plus rapides et difficiles à appréhender. Le gymnase augmenté peut permettre de créer des sports inclusifs, qui s'adaptent aux limitations des participants pour que des joueurs aux caractéristiques très différentes puissent jouer ensemble. De nouvelles interactions permettent un accès à l'information pour tous (malvoyants, mouvements moins précis avec l'âge, interface trop complexe ou peu intuitive).

C'est également l'occasion de reconquérir des populations exclues des activités physiques compétitives par la création de scénarios permettant de créer un environnement virtuel (féerique, inspiré des contes ou jeux vidéos). Selon une étude Ipsos en 2017, 81% des adolescents ont un smartphone. Ils passent 15h par semaine devant leur écran, principalement sur les réseaux sociaux. Dans le même temps, leur activité physique, notamment chez les filles, ne cesse de baisser. Partir de leur monde, de leur pratique et de leur appétence pour les éduquer aux mouvements, tel est l'objectif de ce dispositif de santé publique. Cela peut faire l'objet de parcours thématiques destinés aux seniors, qui peuvent redécouvrir leur corps et leurs capacités par le mouvement. La surface importante d'un gymnase permet une interface nouvelle à taille humaine.

De manière plus originale, on peut créer des sports nouveaux mêlant mouvements et efforts réels avec des éléments virtuels. Par exemple, des courses de karting à pédales dans un monde fantastique, avec lequel les joueurs peuvent interagir. Des dispositifs peuvent faire freiner un kart à distance pour matérialiser les montées ou favoriser les joueurs les moins performants. Ce type de jeux en réalité mixte est appelé à se développer fortement dans le futur et ces nouveaux modes sont encore très peu explorés, tout comme le cinéma au début du 20ème siècle n'était que du théâtre filmé.

...la recherche scientifique

Le gymnase augmenté doit permettre de faire progresser la recherche dans de multiples dimensions. Il est conçu comme un équipement d'excellence scientifique, ouvert à tous les sujets disciplinaires comme interdisciplinaires. Le gymnase permet :

  • la recherche technologique sur les interfaces entre réel et virtuel à grande échelle
  • la recherche sur le mouvement, le geste et le sport
  • certains nouveaux champs de recherche thérapeutique

La taille de cet espace offre la possibilité de concevoir des dispositifs technologiques de captation de mouvement et dispositifs haptiques nouveaux. Certaines collaborations sur le son ressenti physiquement par le toucher de façon simultanée dans les deux mondes réels et virtuels vont pouvoir prendre une nouvelle dimension. L'étude des interfaces entre réel et virtuel est également prometteuse : comment manipuler le monde virtuel dans un espace physique de grande taille, au sein d'un groupe important de participants?

Ce gymnase connecté sera le plus grand espace équipé de dispositifs de captation de mouvements de l'agglomération parisienne. Il permettra l'analyse de mouvements de sportifs de haut niveau ainsi que l'étude des performances de joueurs de clubs amateurs de sports indoor. Ce type de données est rare dans un contexte d'utilisation réelle. Le gymnase augmenté sera un lieu d'usage mixte ouvert à de nombreux sports. Il est essentiel que les données captées soient mises à disposition des sportifs (professionnels et amateurs) de façon ouverte et lisible. Ils pourront ainsi s'en saisir pour améliorer leurs propres performances individuelles ou collectives.

La taille de cet espace connecté offre la possibilité d'étudier le mouvement à grande échelle, du geste individuel à la chorégraphie d'un groupe de danseurs. Les équipes de recherche pourront  étudier l'émergence de la complexité dans les comportements de groupe. L'ouverture du lieu à différents publics permet par exemple l'étude des mouvements dans la danse moderne, ou ceux de jeux d'enfants non supervisés. Ce type de données est difficile à acquérir dans un lieu purement scientifique (hôpital, laboratoire) où les comportements sont forcément influencés par l'environnement.

Au coeur de sa mission, le CRI veut développer la recherche-action sur la relation entre l'environnement numérique et ses possibilités d'apprentissage augmenté. Le gymnase connecté s'ouvrira aux écoles voisines qui pourront expérimenter de nouveaux dispositifs pédagogiques, qui feront eux-même l'objet de recherche (efficacité, rétention des aptitudes acquises, etc.).

Enfin, le champ de l'étude thérapeutique comportementale grâce à l'immersion dans un univers virtuel est en plein essor. Un espace de réalité augmentée aussi vaste rendrait possible de nouveaux traitements pour soigner l'agoraphobie, l'ochlophobie, etc.

...la pédagogie

Ouvert aux écoles, le gymnase augmenté se prête à une infinité d'exploitations didactiques et pédagogiques dans différents champs disciplinaires.

L'immersion collective dans un univers virtuel permet aux enseignants de faire expérimenter aux enfants une période historique : parcourir un marché de la Rome antique, revivre une bataille navale.

L'appropriation des notions physiques complexes se trouve facilitée par la visualisation immersive et la manipulation concrète de concepts  comme visualiser le mouvement brownien ou encore manipuler des forces et des objets pour comprendre la mécanique newtonienne ou la théorie de la relativité.

Grâce à la conjugaison des dispositifs d'immersion et de systèmes haptiques, on peut ressentir physiquement la surface de planètes lointaines, percevoir les distances astronomiques, visualiser des fonctions mathématiques. Le gymnase permet l'apprentissage de règles et de tactiques complexes telles que comprendre le hors jeu, construire des mouvements tactiques collectifs, rejouer et analyser de matchs professionnels, etc.

On peut imaginer faire revivre à la taille et la vitesse réelle à une équipe amateur de handball un match de l'équipe de France championne du monde, pour ressentir physiquement la souplesse de ses tactiques et sa rapidité d'exécution;

On peut dans ce lieu ludifier l'apprentissage de toute activité physique collective, comme la danse. On imagine l'apprentissage de danses collectives complexes, intégrant la détection des mouvements et l'affichage du mouvement suivant à chacun des danseurs.

Cet espace est proprement interdisciplinaire et favorise des approches pédagogiques diversifiées. La taille de l'espace permet l'apprentissage par le jeu, qui peut lui même intégrer des mouvements collectifs. Par exemple, des enfants pourraient, comme dans le fameux jeu sur smartphone "Angry birds" apprendre la physique du mouvement à une échelle gigantesque. L'espace se prêtera également bien à l'apprentissage de la programmation, pour faire évoluer l'environnement virtuel de la salle, modéliser les règles de jeux avec des langages visuels dédiés à la programmation pour les enfants comme Scratch. En permettant de créer des programmes visualisables sur une salle entière avec laquelle les enfants peuvent interagir, on ouvre de nouvelles dynamiques pédagogiques. Il est également facile d'y intégrer des robots. L'ouverture de l'école à ce lieu hautement technique soutient l'approche d'apprentissage par projets interdisciplinaires.

Un lieu de médiation scientifique et culturelle 

Grâce à la capacité à enrichir la réalité physique de contenu numérique, par :

  • l'affichage :
    • d'avatars 
    • de vidéos
    • de sons
  • la manipulation virtuelle de l'environnement

La réalité augmentée se développe rapidement comme outil de médiation culturelle et scientifique dans les musées. Ainsi, un équipement comme le gymnase connecté va permettre de développer et tester de nouveaux outils de médiation culturelle utilisant la captation de mouvement et la réalité augmentée.  Le CRI développe des collaborations dans cet esprit, comme par exemple, des prototypes de conférences en réalité augmentée pour le futur musée des sciences mathématiques et physiques avec l'Institut Henri Poincaré, sous la direction de Cédric Villani. Le grand public pourra ainsi, au sein du futur musée, toucher du doigt des objets mathématiques virtuels et manipuler des notions physiques et mathématiques avancées. On peut facilement adapter ce modèle au prototypage d'attractions de nombreux musées de tout type, comme le Louvre, la Cité des Sciences, le Palais de la Découverte ou les musées nationaux, qui ont d'importants besoins d'outils et de contenu numérique de médiation culturelle et qui sauraient tirer avantage de ce lieu pour les développer.

Au delà de son rôle de lieu de prototypage et de développement de contenu culturel, le gymnase augmenté peut être un espace de démonstration de contenus pensé pour la réalité augmentée et virtuelle, en réalisant un prototype de bibliothèque de contenus immersifs dédiés à l'apprentissage et à la représentation de la complexité.

1ère publication : 12.02.2018 - Mise à jour : 24.04.2018

Auteur

Eric Cherel

Coordinateur du projet

Chief Information Officer - CRI Paris

Contactez Eric Cherel par courriel