Mise en œuvre de tests de positionnement dans un dispositif ORE : un travail conjoint entre UNISCIEL et la direction du numérique de l'université de Lorraine

Unisciel et l'équipe TICE de l'université de Lorraine ont mis en place des tests de positionnement en sciences auprès du Collegium Sciences et Technologies. Retour sur le dispositif en place et ses évolutions possibles.

Appel à manifestation d'intérêt - 24.02.2020
Auteur(s): Thomas Fradet, Julie Tardy

Une collaboration UNISCIEL - Université de Lorraine

La mise en œuvre de la loi ORE (Orientation et Réussite des Étudiants) a remis sur le devant de la scène l'usage de tests de positionnement.

  • Ils représentent un bon moyen d'obtenir un point de référence du niveau des étudiants à différents moments du semestre.
  • Ils viennent en complément de l'évaluation en contrôle continu (quand il n'y a pas de Contrôle Continu Intégral) et des partiels, qui forment davantage la courbe d'évaluation du niveau de l'étudiant au cours du semestre.

L'Université Numérique Thématique UNISCIEL aide les établissements à alimenter leur propre banque de tests de positionnement sur les thématiques des sciences fondamentales. Voici le cas de la collaboration avec l'Université de Lorraine.

Le rôle de l'équipe TICE

UNISCIEL préconise que les services d’appui mettent en place des procédures pour identifier les attentes des équipes enseignantes. Qu’ils s’agissent d’un réseau de correspondants présents dans les composantes ou d’appels à projets internes, il faut être tourné vers sa communauté et exposer ses compétences, son offre de service ou de formation.

À l’Université de Lorraine, suite à un appel à projets interne, une équipe constituée de divers représentants des directions opérationnelles a été à la rencontre des équipes enseignantes pour :

  • recueillir leurs besoins et objectifs spécifiques
  • définir les actions à mettre en œuvre pour l’orientation et la réussite des étudiants

Au cours des 2 dernières années, 30% des formations dispensées par l'équipe TICE de l'Université de Lorraine dans le cadre de la formation continue des personnels ont été relatives :

  • à la question de l’évaluation
  • à la conduite de tests
  • à la gestion des banques de questions

La méthodologie utilisée

La méthodologie d'identification, ou de réutilisation des tests, a été la suivante :

  • La définition des actions en fonction du résultat attendu :
    • accompagnement
    • remédiation
    • soutien
  • La recherche d'existant  :
    • ressources à utiliser telles quelles
    • ressources à modifier
    • ressources comme source d'inspiration
  • L'organisation de la passation à adapter en fonction de l'objectif :
    • un public étudiant de néo-entrant ou un test « surveillé » devra plutôt se dérouler sur site en salle informatique, impliquant réservation et surveillants formés à la passation du test.
    • un public plus averti pourra passer le test à distance, surtout si l'on considère que la "triche" est parfois sans conséquence : l'indication d'un niveau faible est censé déclencher une aide, le tricheur ne ferait que s'en priver lui-même.
  • Les modalités de passation et de correction pour s'assurer que les résultats seront facilement exploitables
  • Une analyse des résultats pour adapter le test d'année en année

Mise en place de tests de positionnement

Identification des besoins

Pour les enseignants du Collegium Sciences et Technologies, les tests de positionnement doivent être considérés comme une photo à un instant T et de ce fait, ils ne peuvent pas représenter toute la réalité du niveau d’un étudiant, qui par nature évolue dans le temps. Cependant, c’est un excellent moyen d'échange et de dialogue avec les étudiants.

Ce positionnement s'est concrétisé ensuite sous la forme d'actions d'aide à la réussite comme la mise en place de :

  • soutien
  • tutorat
  • remédiation

Création ou sélection de questions existantes

Unisciel met à disposition de ses établissements membres une banque d'environ 3000 questions dans les disciplines de sciences fondamentales. Les métadonnées associées à chaque question spécifient :

  • la matière et le thème abordés
  • le niveau d'étude
  • le niveau de complexité basé sur la taxonomie de Bloom
  • les mots-clés

A l'Université de Lorraine, en début d'année, lors de la phase d’étude du besoin d’un test de positionnement initial, quelques-unes de ces banques de questions ont été analysées avec les équipes pédagogiques :

  • Certaines ont été réutilisées, en les modifiant à la marge.
  • Certaines ont été perçues comme non concordantes avec les besoins constatés de remise à niveau en mathématiques pour la physique / chimie ; elles ont servi de base aux enseignants pour qu'ils se positionner par rapport à elles et ensuite créer de nouvelles questions adaptées aux problèmes constatés.

Identification de ressources de remédiation

L’un des objectifs du positionnement est la proposition de ressources de remédiation. C'est en partie grâce à la qualification des questions que des ressources numériques peuvent être proposées à l'étudiant.

Unisciel propose :

  • un module générique de tests de positionnement initial de niveau L0 intégrant des liens vers des ressources de remédiation de contenus produits par Unisciel
  • des modules thématiques concernant la capacité en mathématiques, pour permettre aux étudiants d'approfondir les connaissances niveau "lycée" qui leur seront nécessaires pour le 1er cycle universitaire

Au sein de l'Université de Lorraine, ce travail d'identification, piloté par le service d'appui, a permis :

  • de mettre en relation les personnes concernées
  • de profiter de banques de questions existantes
  • de présenter les possibilités de mise en œuvre, techniques et organisationnelles

Rédaction d'une documentation

Le paramétrage des tests est parfois complexe. Il est bon de créer de la documentation ou des tests pré-paramétrés alignés sur des usages, et d'informer les enseignants et les équipes support (scolarité, surveillants, etc.). Des fiches pratiques peuvent être établies et distribuées.

Déclinaisons envisagées dans le cadre des formations à l’Université de Lorraine

Mise en œuvre de différents types de dispositifs basés sur l'existant au niveau des composantes ou des nouveautés dans le cadre de la loi ORE

Les dispositifs varient selon les modalités suivantes, le contenu pouvant rester identique :

  • des mesures multiples (pré-requis, post-requis)
  • à plusieurs moments (initial, continu, terminal)
  • sur plusieurs modalités (présence, distance)
  • sanctionnante ou non
  • débouchant sur plusieurs types d'accompagnement (du classique soutien / tutorat au cours du semestre à une première année en deux ans à son issu)
  • au fil d'un suivi dont chaque mesure peut être l'occasion d'une entrevue avec un enseignant référent et de l'adaptation de l'accompagnement sur la base du C.P.R.E.

Le Contrat Pour la Réussite Étudiante constitue un outil de formalisation très précieux pour soutenir et objectiver ce type de dispositif, dans le cadre d'un accompagnement le plus personnalisé possible, notamment grâce à des enseignants référents.

Le positionnement peut être mené à plusieurs occasions :

  • Un positionnement initial peut être effectué en présentiel, en salle informatique, avec une participation obligatoire (modalité de passation).

Les feedbacks des questions expliquent à l'étudiant ses erreurs pour lui faire comprendre clairement qu'il a besoin de s'améliorer sur certains points et motiver son adhésion à une remise à niveau. Le discours tenu aux étudiants à cette occasion est alors essentiel : il ne s'agit pas de les désigner de "mauvais élèves" dès la rentrée, mais de leur offrir l'opportunité de mieux réussir. Ceci permet aussi d'accompagner dans la passation du test, surtout s'il est numérique et qu'ils sont primo-entrants à l'université. A la suite de ce positionnement initial, et après une remise à niveau ou du soutien, le même test peut être proposé en libre accès et à distance. Ce sera alors l'occasion pour l'étudiant de vérifier si ses efforts ont porté leurs fruits.

  • Un test sur les acquis, et non plus les prérequis de la formation, c'est-à-dire ce que l'étudiant est censé avoir appris pendant les premières semaines de cours.Il peut s'agir :
    • d'une évaluation de mi- semestre
    • d'un contrôle continu
    • d'un test de positionnement non sanctionnant (dont la note n'est pas comptabilisée) mais qui l'enjoindra à plus d'efforts avant les partiels - et dans le cadre d'un parcours accompagné, à une adaptation de son suivi (plus de tutorat, du soutien, etc.).
  • Les contrôles continus et les examens terminaux fournissent des évaluations plus classiques, mais ont une nature différente des tests non sanctionnant.

On pourra craindre qu'un test de positionnement ne soit pas perçu sérieusement par l'étudiant, mais il lui donnera un retour constructif si tant est qu'il puisse être suivi d'actions concrète d'accompagnement et que le discours qui l'accompagne soit bien étudié. En revanche, de mauvaises notes de contrôles continus finiront par s'accumuler de manière irrattrapable et les examens terminaux arrivent trop tard pour un soutien initial de l'étudiant.

Une approche mixte est envisageable :

  • Un positionnement continu aboutit à des actions d'accompagnement pour éviter l'échec premier.
  • À la suite de la réussite ou de l'échec à un premier semestre d'étude accompagné, l'étudiant peut par exemple profiter d'une formation adaptée en 2 ans, ou en en être dispensée si elle lui avait de prime abord été indiquée dans le cadre d'un OUI-SI.

Il est donc essentiel de bien déterminer l'objectif du positionnement car il va en impacter la forme, de la création des questions à la passation du test.


Publication : 24.02.2020