Dispositifs de mesure d’audience et évaluation des usages des ENT
Cet atelier, ouvert sur deux sessions, était animé par Marie Deroide et Corinne Martignoni, pour le ministère de l’éducation nationale et par Sylvie Le Loup de la Caisse des Dépôts. L’actualité est riche sur le domaine de l’évaluation des usages des ENT et cette rencontre fut l’occasion de présenter les initiatives en cours et à venir.
*
1 – Les initiatives et évolutions proposées aux porteurs de projets
1.1 – EVALuENT, un dispositif global pour l’évaluation des usages des ENT
Le ministère conduit, depuis début 2010, une réflexion dans le cadre du programme EVALuENT (acronyme signifiant « Dispositif d’évaluation des Usages des ENT »), visant à caractériser et élaborer un ensemble d’outils d’évaluation afin de les proposer à l’ensemble des 30 académies dans le second degré.
L’objectif d’EVALuENT est d’outiller les différents niveaux de pilotage des projets ENT – établissements, académies/territoires associés, ministère – pour suivre et évaluer les usages des ENT, et apporter de l’aide à la décision dans le pilotage des projets ENT et de toutes politiques numériques auxquelles l’ENT peut contribuer.
Au travers des outils proposés, le dispositif contribuera, selon les besoins propres à chaque niveau de pilotage, à l’acquisition d’éléments qualitatifs nécessaires à l’analyse et l’interprétation des éléments quantitatifs, afin d’identifier les leviers d’action aux différents niveaux de responsabilité.
EVALuENT a pour principe de s’appuyer autant que possible sur les dispositifs existants.
C’est dans cette démarche que s’inscrit l’articulation d’EVALuENT avec les initiatives lancées dans le cadre du partenariat avec la Caisse des Dépôts , notamment le dispositif de mesure d’audience et l’appel à projets de recherche CDC/MEN sur des axes d’évaluation ciblés présentés ci-après.
La version initiale du dispositif EVALuENT est attendue pour le premier trimestre 2011.
*
1.2 – Le dispositif de marquage et de suivi d’audience des ENT : premiers résultats et nouveaux engagements
Initié par la CDC en 2005, à la demande du ministère, le dispositif de marquage et de mesure d’audience des ENT offre la possibilité de :
- Mesurer l’utilisation effective des principales fonctionnalités offertes par l’ENT (vie scolaire, accès aux contenus, …),
- Suivre l’activité des différentes cibles utilisatrices (parents, enseignants, élèves,…) grâce à des tableaux de bords consolidés aux différents niveaux.
La CDC a présenté les résultats d’une étude issue de l’analyse des statistiques produites par ce dispositif et les premiers enseignements qui s’en dégagent. Cette étude fait l’objet d’une publication disponible auprès de la CDC (Rapport d’étude « Pour une évaluation partagée des usages des Espaces Numériques de Travail » téléchargeable sur projets-ent.com, rubrique « publications »).
De nouvelles dispositions sont proposées par la CDC aux porteurs de projets qui le souhaitent, dans le cadre de ce dispositif dont la CDC continuera d’assurer le financement et la gestion sur les trois prochaines années.
Les nouvelles mesures proposées par la CDC sont :
- l’administration de données permettant de construire les tableaux de bord,
- des services de formations et de support aux utilisateurs désignés par les porteurs de projet ;
- la production de 2 notes de tendances par projet et par an, réalisées par suite de l’analyse des tableaux de bord.
Ces services sont conditionnés par la signature d’une convention CDC/Académie/
collectivité(s).
Les évolutions concernent :
- des améliorations fonctionnelles qui seront définies par un groupe de porteurs de projets volontaires,
- le lancement d’une étude sur l’opportunité et la faisabilité d’une procédure de certification du dispositif tiers,
La CDC a présenté les prestataires qui ont été sélectionnés pour l’accompagner dans la mise en œuvre de ces services, ainsi que les principaux interlocuteurs des porteurs de projets.
L’ensemble des porteurs de projets qui ont bénéficié de ce dispositif souhaite renouveler leur partenariat. Ils représentent à ce jour 40 collectivités.
*
1.3 – Etudes territoriales pour l’analyse qualitative des usages des ENT
Une initiative récente, lancée par la CDC en partenariat avec le ministère, concerne l’appel à projets pour la mise en place d’études territoriales sur les usages des ENT. Celles-ci portent sur des approches qualitatives de l’utilisation des ENT, en complément des mesures d’audience axées sur une lecture quantitative.
A l’appui d’une période d’observation de 3 ans, ces études, confiées à des équipes de recherche universitaires, visent à mieux qualifier les usages des ENT et leurs évolutions grâce au suivi, par exemple, de leur impact sur les relations écoles/familles ou plus largement sur la politique numérique d’un territoire.
Les objets de recherche seront déterminés par les porteurs de projets qui en assureront le cofinancement à hauteur de 50%, le reste étant couvert par la CDC, dans une limite de 40 000 euros. Chaque projet fera l’objet d’une convention ad hoc entre les partenaires concernés.
A l’instar de la région Lorraine qui a initié un partenariat de cette nature il y a un an, plusieurs projets ont manifesté leur intérêt pour l’appel à projet 2010, notamment la région Ile de France (projet Lilie), le Conseil général des Alpes-Maritimes (Agora 06), le Conseil général des Hauts-de-Seine (ENC92) et celui de la Savoie (Cartable de Savoie).
Des réunions d’échange seront organisées chaque année, dans le but de partager les enseignements de ces études avec ceux qui le souhaitent et identifier les leviers de progrès.
Le dossier de l’appel à projet est disponible en téléchargement sur :
- le site du ministère de l’éducation nationale :
http://www.educnet.education.fr/services/ent/scolaire/usag/eval-us/us-recherche- le site de la Caisse des Dépôts : www.valoffre.caissedesdepots.fr (rubrique développement numérique).
Le rapport d’étude « Pour une évaluation partagée des usages des Espaces Numériques de Travail » est disponible en téléchargement sur : projets-ent.com.
*
2 – Evaluation des usages des ENT : les réponses à vos questions
Les ateliers se sont poursuivis avec une série de questions-réponses qui ont traduit l’intérêt des porteurs de projets pour ce thème de l’évaluation des usages des ENT.
1 – Relations entre les usages de l’ENT et les usages des TICE
Quand on parle d’usages de l’ENT, ne faudrait-il pas élargir plus largement aux usages du numérique ?
Réponse :
Cette question, remontée par différents acteurs, est prise en compte dans le cadre du projet EVALuENT.
L’évaluation ne doit pas se limiter aux seuls usages de l’ENT, dans la mesure où celui-ci se positionne comme un élément structurant dans le paysage des TICE.
En revanche, la mesure de la contribution de l‘ENT aux TICE est une question extrêmement complexe. Elle nécessite des travaux sur les informations élémentaires pour en tirer les enseignements attendus. Actuellement, il n’existe pas d’indicateurs de même qualité que ceux du dispositif de mesure d’audience, ni même de dispositifs permettant de traiter cette question avec l’exhaustivité souhaitée.
*
2 – Distinction des services de vie scolaire
Le dispositif de suivi d’audience ne permet pas de distinguer les services de vie scolaire utilisés, ceux-ci étant placés sous le même indicateur. Des évolutions sont-elles prévues sur cet aspect ?
Réponse :
Cette question rejoint celle de la mesure de fréquentation pour des services « tiers » (c’est-à-dire fournis par des opérateurs différents de ceux de l’ENT). Actuellement, 7 plateformes d’ENT différentes sont marquées. Dans certaines, les modules de vie scolaire sont intégrés. Dans les autres, ceux-ci sont fournis par un service tiers interfacé avec l’ENT.
La distinction entre services – notes, absences …- est plus facile quand le module est intégré à l’ENT. Pour les services tiers, seul l’accès au service tiers est marqué, sans possibilité d’affiner les indicateurs sur les services utilisés pour le moment.
Un travail est en cours avec les éditeurs pour aller plus loin dans le marquage, notamment pour pouvoir faire la distinction entre l’utilisation des modules « absences » et « notes » plutôt que « vie scolaire ».
Il y a d’autres services tiers pour lesquels cela ne sera pas possible. C’est un travail continu, car il est difficile d’englober tout les services quand ceux-ci ne sont pas natifs à l’ENT. Il faut y penser le plus en amont possible (quel indicateur pour quel besoin ?).
Le dispositif de mesure d’audience a pour objectif d’être partageable par tous les ENT. En conséquence cela implique de s’appuyer sur un référentiel de services commun. Certains projets peuvent faire le choix de marquer des services spécifiques. Dans ce cas, c’est à chaque projet ou chaque territoire de compléter la base statistique par des statistiques ad hoc.
Les porteurs de projets qui le souhaitent pourront s’associer à ces réflexions, un groupe de travail devant être organisé à cet effet dès 2011.
*
3 – Suivi statistique des activités inter-établissement
Dans notre ENT, nous avons une plateforme inter-établissements. Cette pratique se développe en matière d’usage des ENT. Ce service supplémentaire peut-il être intégré au dispositif de mesure d’audience ? C’est important du point de vue des usages, notamment quand ceux-ci sont interdisciplinaires.
Réponse :
Ce n’est pas possible actuellement, mais sera prise en compte au fur et à mesure que cette demande se généralisera. Cette réflexion sera menée dans le cadre de l’évolution du dispositif. La démarche privilégie une approche de dispositif partagé en veillant à ne pas développer de solutions spécifiques pour chaque territoire.
*
4 – Suivi statistique des services hébergés au sein de l’établissement
Quelles sont les possibilités de marquer les ENT lorsque ceux-ci sont déployés et hébergés au sein de chaque établissement ?
Réponse :
Pour l’instant, ces ENT ne sont pas marqués et nous n’avons pas eu de demande en ce sens. Si la solution répond au SDET et que le projet est porté selon un partenariat formalisé Etat/CDC/Collectivité(s), cela pourrait s’étudier.
Dans tous les cas, il faut penser à un dispositif global. Il n’y a pas d’outil unique et
le dispositif d’évaluation (dans le cadre plus large d’EVALuENT) a vocation à servir tous les projets ENT.
*
5 – Distinction des catégories CSP des parents
La classification des statistiques d’audience permet de distinguer les EPLE selon leur taille (en nombre d’élèves). A-t-on réfléchi à la possibilité de les classer par CSP des parents ?
La direction de l’évaluation du ministère effectue ce type de distinction dans les rapports statistiques. Cela pourrait être réalisé pour les ENT, dans une démarche associant la CNIL.
Réponse :
Ce type d’information n’est pas traité dans le dispositif d’audience actuel et il n’est pas prévu de l’intégrer dans les réflexions qui seront menées dans l’évolution du dispositif.
En revanche, cette analyse pourrait tout à fait faire l’objet d’une étude territoriale sur les usages de l’ENT, dans le cadre de l’appel à projets MEN/CDC (cofinancement de 50% de la CDC, à hauteur de 40 000 euros).
*
6 – Marquage des ressources pédagogiques
Est-il prévu de marquer les ressources ?
Réponse :
Non, cela n’est pas prévu à ce stade, l’arborescence de marquage des ressources restant encore compliquée à définir. La problématique est la même que pour les autres services tiers, en particulier les services de vie scolaire. Actuellement, les statistiques comptabilisent le nombre d’accès aux ressources, sans distinction des contenus.
Il y a une très grande hétérogénéité des ressources produites par les éditeurs. Nous en sommes encore à un stade d’installation des services.
*
Pour toute demande d’information, nous vous invitons à contacter :
|
*
Une première thèse universitaire autour des usages des ENT
Psychologue en sciences sociales, Manuel Schneewele est également Doctorant en sciences de l’éducation au Laboratoire Interuniversitaire des Sciences de l’Education (LISEC) de l’Université de Nancy 2.
Le jeune chercheur entend observer « l’implantation d’un ENT dans les lycées et collèges lorrains » en s’attachant plus particulièrement à « l’analyse et la modélisation de ses usages ».
Ce travail commencé depuis un an, est mené en étroite collaboration avec l’académie de Nancy-Metz, la Région Lorraine et la Caisse des Dépôts et Consignations. Ils en sont d’ailleurs à l’initiative et en assurent aujourd’hui le financement sur trois ans, avec les entreprises concernées (ITOP et Atos Origin) et le conseil général de Meurthe-et-Moselle.
Pourquoi avoir orienté vos travaux autour des usages sur l’ENT ?
Manuel Schneewele : La notion des usages de l’ENT est au cœur de la réussite et de la réflexion sur le déploiement et l’évolution d’un ENT. Elle est aussi au cœur des préoccupations des trois principaux acteurs soutenant leur déploiement. La collectivité finance un outil au service de la communauté éducative, qui concerne une grande partie de la population dont elle a la responsabilité et pour laquelle elle doit exercer son devoir d’égalité de service public ; l’académie qui a reçu du Ministère de l’éducation nationale la mission de veiller au bon déroulement et au respect de sa mission pédagogique ; la Caisse des Dépôts, acteur qui a impulsé et soutenu le déploiement des ENT en mettant notamment à disposition des établissements un dispositif d’évaluation quantitatif des usages des fonctionnalités des ENT avec le dispositif de mesure d’audience de la CDC.
Quelles sont les sources et ressources qui constituent votre corpus ?
Manuel Schneewele : Je peux disposer à la fois de contenus lié à la généralisation de l’ENT comme le cahier des charges rédigé par la région au moment du lancement du marché public, mais aussi toutes les publications académiques (TICE Info, PLACE Info) et le relevé des marqueurs XiTi. Je suis aussi en contact étroit avec les personnes ressources auprès de la collectivité et du Rectorat mais aussi celles mises à disposition par l’éditeur et l’intégrateur de l’ENT. Je me constitue par ailleurs mon propre matériel d’observation à partir de questionnaires mis en ligne sur le site. Les informations qui nous sont remontées proviennent donc de personnes qui se sont connectées au moins une fois sur PLACE ! Il est également prévu à la rentrée, une observation sur le terrain, en salle de classe.
Pouvez-vous nous présenter les objectifs de votre recherche ?
Manuel Schneewele : Ma recherche porte sur l’implantation d’un ENT dans les lycées et collèges lorrains et plus particulièrement sur l’analyse et la modélisation des usages : décomposer le processus d’appropriation de l’outil, ce que cet outil va changer dans les pratiques quotidiennes et quelles sont les perspectives pédagogiques qu’on peut en tirer. Ma thèse portera notamment sur les processus d’acceptabilité : les personnes ont nécessairement une représentation de l’outil qui est plutôt favorable ou défavorable à son usage qu’il faudra décrypter afin d’aider à une meilleure appropriation de l’outil dans l’avenir, notamment en termes de perspectives pédagogiques.
Avez-vous commencé à individualiser des usages ou des pratiques spécifiques ?
Manuel Schneewele : Mon travail n’en est encore qu’à ses prémices ! Les nombreuses fonctionnalités proposées sur PLACE rendent l’investigation difficile et longue. L’un des objectifs de ma thèse sera notamment d’évaluer leurs usages, sachant déjà qu’un certain nombre d’entre elles ont des usages détournés. Par exemple, le mail est très utilisé alors que l’espace de stockage associé est faible car non destiné à recevoir des documents. Il existe en effet, sur PLACE la fonctionnalité Groupe de Travail qui permet précisément les échanges et le stockage d’éléments de contenus. Les élèves sont donc restés sur un usage traditionnel de la messagerie et n’ont pas encore intégré l’ampleur des possibilités offertes par ce nouvel environnement. Sur un autre plan, une première observation de l’usage de la fonctionnalité cahier de texte a permis de constater que la version numérique est plus attractive pour les élèves comme pour leurs parents que sa version papier.
Manuel Schneewele, en collaboration avec Isabelle Cherqui-Houot et Marc Trestini, vient de publier (2010) dans Distances et Savoirs un article scientifique sur « Les usages d’un cahier de texte en ligne. Cas de l’ENT Lorrain, l’environnement PLACE » (vol. 8, n°2, p241-256). Est-il possible de dresser une typologie des utilisateurs ?
Manuel Schneewele : Si parmi les enseignants, les professeurs de technologie ont plus d’aisance et utilisent davantage l’ENT, il n’est pas pertinent de catégoriser les autres enseignants. A ce point de mes recherches, il n’est pas possible de dire qu’il existe un profil d’enseignants qui utilise l’ENT et d’autres beaucoup moins ou pas du tout. C’est davantage un choix personnel d’appétence ou pas aux nouvelles technologies ! L’état de la recherche est encore à son commencement et le dispositif de mesure d’audience de la CDC, sur lesquels s’appuie l’observation, restent très généraux dans le type d’informations mises à disposition. De même, les premières enquêtes ne laissent pas apparaître chez les enseignants de discrimination dans l’usage de l’ENT par tranche d’âge.
Existe-t-il en termes d’attentes des différences entre le collège et le lycée ?
Manuel Schneewele : Selon le profil des élèves au collège et au lycée, les attentes ne sont pas les mêmes ! C’est vrai aussi pour les parents. En revanche, les enseignants ont des attentes plus mitigées car il s’agit d’un outil sur lequel ils manquent encore de recul comme de maîtrise pour pouvoir percevoir le bénéfice qu’ils pourraient effectivement en tirer. De même, il est à supposer que les représentations qu’avaient les élèves initialement évoluent en fonction de leurs expériences d’interactions avec l’outil. Mais actuellement, il apparaît que l’ENT est surtout perçu comme un moyen pratique d’accéder aux notes et aux devoirs. Il n’en demeure pas moins qu’en collège, les enseignants comme les élèves accordent davantage d’importance à la facilité d’utilisation du système, tandis qu’en lycée, où il y a davantage de recul sur l’usage de l’outil, on est beaucoup plus attentif à la diversité de ses usages et son utilité pour la communauté éducative.
L’ENT passe aux usages pédagogiques
Lorsque Les élus de l’Ariège passent au tableau numérique, les problématiques abordées ne sont pas uniquement pédagogiques… Une préoccupation demeure : les risques liés à la fracture numérique ! « Dans la foulée, en complet partenariat avec le rectorat Midi-Pyrénées, l’inspection d’Académie, les chefs d’établissements et les enseignants volontaires, le schéma départemental d’informatisation des collèges a été mis en place, visant à renforcer l’égalité des chances pour la jeunesse. » Ariègenewstv.com en retrace les moments forts dans une classe du collège Victor Hugo de Lavelanet (15/06/2010) – Lire la suite et voir la vidéo