Quels usages des indicateurs de la politique des établissements pour le développement du numérique ?

Processus de contractualisation
Étudiants devant des ordinateurs© Université de Perpignan

Le M.E.N.E.S.R. a élaboré un dispositif d'indicateurs de la politique numérique des établissements, inséré dans le cadre du processus de contractualisation quinquennal depuis 2012. Le laboratoire Sciences, Techniques, Éducation Formation (STEF - ENS Cachan et ENS Lyon) a été chargé d'en faire l'analyse. Voici les points saillants du rapport.

Article - 30.01.2017
Auteur(s): Éric Bruillard, Mehdi Khaneboubi, Nathalie Tingry

Pourquoi une grille des indicateurs de la politique des établissements ?

Le M.E.N.E.S.R. (DGESIP-MIPNES) a confié au laboratoire STEF une recherche sur les usages des indicateurs composites numériques remplis par les établissements lors du processus de contractualisation. Ce travail a conduit :

  • à la constitution d'une base contenant les indicateurs et commentaires de 138 établissements
  • à la conception de visualisations riches
  • au développement de plusieurs études statistiques
  • au recueil et à l'analyse d'une série de 36 entretiensau sein d'un échantillon contrasté d'établissements :
    • taille
    • fusion ou projet de fusion
    • association d'établissements
    • régions

Ces entretiens ont été très représentatifs de la diversité des situations car ils ont été réalisés auprès :

  • de vice-présidents chargés du numérique ou équivalents
  • de directeurs de composantes
  • d'experts contrat du ministère

L'analyse qualitative menée (entretiens semi-directifs) a pu conforter ou éclairer les résultats et hypothèses issus des traitements quantitatifs (statistiques).

Les établissements ont rempli des grilles d'indicateurs, qui constituaient pour eux, non pas simplement des cotes, mais des notes permettant de se positionner. Les notes de bilan ont été systématiquement plus basses que celle des objectifs. Cela correspond à une logique de progression attendue dans un contrat avec le ministère.

Quelle utilisation de la grille des indicateurs par les établissements ?

Les établissements sont nombreux à estimer avoir peu ou pas d'action pour les sous-thèmes qui concernent :

  • les U.N.T.
  • la formation à distance
  • le référencement et l'indexation des ressources
  • la politique de diffusion des ressources
  • l'évaluation des usages

En revanche, ils estiment qu'ils réaliseront à l'avenir des actions très bonnes, voire excellentes, sur les thématiques :

  • du C.2.i.
  • des environnements numériques pédagogiques des étudiants (E.N.P.)
  • de la mise en œuvre d'une gouvernance du numérique formalisée et intégrée au pilotage de l'établissement

La recherche de liens entre les sous-thèmes indique des séries de corrélations entre chaque sous-thème du bilan et son homologue en objectif. Il y a aussi une certaine proximité entre les sous-thèmes d'un même thème. Les 6 thèmes apparaissent plutôt indépendants. Il n'y a pas de corrélation. Des sous-thématiques particulières sont discriminantes entre universités et écoles :

  • développement et certification des compétences numériques des étudiants
  • formation à distance
  • adhésion aux U.N.T.
  • production et utilisation des ressources mutualisées pour les formations de l'établissement
  • formation et accompagnement des enseignants et personnels dans les activités pédagogiques

Figure indicateurs Bilan-Objectif STEF

La comparaison des notations indique que le thème 1 "gouvernance" est le mieux noté alors que le thème 2 sur "le système d'information" est celui qui est le moins bien noté. On peut penser que l'action entreprise envers les gouvernances des établissements porte ses fruits. Compte tenu de la qualité des experts sur les questions de système d'information et la maturité de ce thème, les établissements s'attribuent une note qui ne sera pas remise en cause. L'indicateur "formation" (3) est plutôt bien noté comme, dans une moindre mesure, "la recherche" (5). Ce n'est pas le cas de la politique "ressources" (4) et de la "conduite du changement" (6) qui sont mal cotés.

Un regroupement des différents établissements sur la base des notes données aux indicateurs conduit à 3 amas. Ceux qui se notent le mieux sont :

  • les grosses universités
  • les plus anciennes
  • les plus prestigieuses
  • plutôt scientifiques
  • plutôt proches des experts du ministère

Les moins bien notées sont plutôt les petites écoles.

La taille des établissements est un facteur explicatif fort. En effet, pour tous les thèmes et sous-thèmes, la hauteur des notes est liée à la taille. On ne remarque aucun contre-exemple. Cela montre que les indicateurs sont plus adaptés aux grosses universités qu'aux petites écoles, ce qui est confirmé par les entretiens.

Quelle perception de la grille des indicateurs par les établissements ?

Les grilles d'indicateurs sont remplies en concertation au sein des gouvernances. Elles peuvent constituer une feuille de route très utile pour les débutants. Elles sont cependant plutôt considérées comme une contrainte institutionnelle pour certains anciens qui ont construit leurs propres indicateurs, plus adaptés aux problématiques de leur établissement. On constate un consensus sur le bien-fondé des indicateurs malgré quelques difficultés de projection.

S'agissant des écoles, les indicateurs de la C.T.I. (Commission des titres d'ingénieur) sont privilégiés et la dépendance vis-à-vis du monde économique est une contrainte forte. Les indicateurs peuvent constituer un outil important pour la stratégie des ComUE. En fait, la perception et l'utilisation des indicateurs dépendent :

  • de l'histoire des personnes
  • des compétences des personnes
  • des postes occupés par ces personnes
  • du moment du remplissage des indicateurs dans l'histoire de l'institution:
    • création de ComUE
    • fusion
    • élections
    • etc.

La visite des experts est très appréciée. Elle constitue l'occasion d'un débat constructif avec des "pairs". Beaucoup regrettent un manque de continuité, en l'absence d'autres visites. Ils identifient mal la démarche d'"accompagnement".

Dans leurs recommandations, les différents interlocuteurs interviewés s'accordent sur une nécessaire évolution des indicateurs. Ils sont :

  • trop nombreux
  • parfois trop spécifiques
  • peu innovants :
    • C.2.i.
    • U.N.T.
    • etc.

Ces indicateurs sont jugés moins adaptés au contexte actuel. Ainsi, il faudrait :

  • mieux articuler infrastructures et usages
  • interroger sur :
    • la dimension patrimoine
    • les lieux d'apprentissage
    • la transformation pédagogique, surtout par la recherche

Des indicateurs de site mériteraient d'être précisés. Un accompagnement des vice-présidents au numérique et des missions de conseils individualisées sont demandés.

La grille d'indicateurs constitue un outil robuste, dont le bien-fondé est reconnu. Elle fournit un reflet utile de ce qui se passe dans un établissement. C'est avant tout un instrument pour les gouvernances pour construire et réguler une politique. En effet, "plus on est loin du "terrain" et plus c'est intéressant". Toutefois, le modèle sous-jacent est plutôt adapté à certains types d'établissements :

  • prédominance des facteurs de taille ou d'importance
  • constance des rapports entre universités et écoles dans les notations

La grille d'indicateurs est axée sur :

  • les sites
  • les formes d'organisation
  • etc.

Elle traduit une politique qui privilégie les grandes universités qui deviennent alors des sortes de "modèles". Elle ne permet pas de repérer des caractéristiques très particulières que les établissements peuvent hésiter à revendiquer. Elle induit une certaine mise aux normes. S'agissant d'aider les établissements à s'interroger sur leur politique numérique, les indicateurs sont pertinents. Leur présenter une plus grande pluralité d'options de développement plutôt qu'un modèle unique censé correspondre à tous est une direction qui devrait être explorée.

1ère publication : 30.01.2017 - Mise à jour : 5.04.2017