Quelques réflexions sur l’évaluation ergonomique et le contexte pédagogique

Olivier Hû
UMR CNRS 6599 HEUDIASYC
Université de Technologie de Compiègne
BP 20529
60206 Compiègne Cedex
Tel : 03-44-23-44-23 poste 47-68
e-mail : olivier.hu@utc.fr
Résumé — Nous exposons dans cet article, l'état de nos réflexions sur l'influence du contexte éducatif sur l'évaluation des interfaces. Nous travaillons sur le développement d'une méthode d'aide à l'évaluation des logiciels pédagogiques. En ce qui concerne l'analyse de la qualité ergonomique de l'interface, nous utilisons un certain nombre de critères que nous avons voulu les plus généraux possibles, pour éviter tout problème de contextualisation, tout en restant pertinent. Ce choix se justifie dans la mesure ou nous effectuons une évaluation a priori, sur des produits finis et sans observations des utilisateurs. Toute contextualisation devient donc difficile. De plus, comme nous le développons dans cet article, les caractéristiques du contexte pédagogique (le type de processus, le type d'utilisateur, la présence d'une volonté pédagogique) peuvent entraîner une confrontation entre les recommandations ergonomiques et les contraintes pédagogiques. Nous illustrerons nos remarques avec une série de validations effectuées avec les concepteurs, les prescripteurs et les utilisateurs d’un même logiciel. Pour conclure nous discuterons des précautions à prendre, à notre sens, lors d'une démarche d'évaluation ergonomique d'interface de logiciel d'apprentissage.
Mots clés — Ergonomie, Evaluation, Logiciel pédagogique, Mise en contexte

1.	
1.	

Quelques réflexions sur l’évaluation ergonomique et le contexte pédagogique

1.	
1.	Introduction
Cet article se propose de présenter l'état de nos réflexions sur l'influence du milieu pédagogique sur les IHM, et plus précisément sur l'évaluation a priori des interfaces de logiciels pédagogiques. Nos travaux concernent la mise au point d'un outil d'aide à l'évaluation des logiciels de formation. Le public concerné par notre méthode est essentiellement composé d'enseignant désirant choisir ou évaluer les logiciels qui leurs sont proposés. Nous travaillons donc sur des produits finis dans une problématique de certification ou de choix de logiciels plus que dans une boucle classique de conception/évaluation. L'ergonomie n'est qu'un des aspects que nous évaluons mais comme pour les autres thèmes d’évaluation, la question de l'influence du contexte pédagogique s'est posée.
La mise en œuvre d'une évaluation avant toute observation des utilisateurs est souvent problématique car trop superficielle pour paraître pertinente. Sans prise en compte des utilisateurs ou des contextes d'utilisation possibles, les recommandations ergonomiques restent d'ordre général et ne permettent pas une analyse approfondie. Cependant ces recommandations restent primordiales : il suffit de constater la piètre qualité de nombreuses interfaces pour en déduire que la considération des principes généraux de l'ergonomie aurait déjà évité de nombreux défauts. Après avoir rapidement présenté les critères ergonomiques qui font partie de notre méthode, nous présenterons les principales caractéristiques de la méthode elle-même.
Ensuite, nous développerons comment à notre sens, le contexte pédagogique entraîne un mode d'interaction original dont il faut tenir compte. Nous pointerons en particulier quelques-unes des différences entre utilisateurs et apprenants, la nature du processus et l'existence d'une volonté pédagogique. Enfin, nous illustrerons notre propos en présentant quelques-uns des résultats de nos validations. En exposant rapidement quelles sont les modifications que le contexte pédagogique décrit précédemment entraîne sur l'application des recommandations ergonomiques.
2.	
Quelques recommandations ergonomiques
Pour aider les concepteurs d'interfaces, les ergonomes ont mis au point des listes de recommandations accessibles à tous. Sans remplacer une expertise, leur application permet de prévoir les principaux défauts ergonomiques d'un logiciel. Sans parler de l'influence bénéfique que ces recommandations ont sur la "culture" ergonomique des développeurs. Les deux principales sources que nous avons utilisées sont les dix-huit critères de l'INRIA [1] et les recommandations de Jean Vanderdonckt. [7] (Nous ne citons ici que deux documents sources, de nombreux autres articles ont été publiés depuis par les auteurs).
Ces critères ne concernent que les aspects ergonomiques et font partie d’une structure beaucoup plus vaste de critères d’évaluation des logiciels pédagogiques (Figure 1) [3]. Toute évaluation de didacticiel doit de toute façon inclure trois types d’évaluation : la pertinence éducative, la qualité technique et l’évaluation ergonomique [2].
En ce qui concerne l’ergonomie, et comme pour chacun des thèmes abordés, nous avons tenté de mettre au point une série de critères suffisamment précis pour être pertinents tout en restant applicables a priori. Cette mise au point s’est effectuée par un travail itératif (extraction de critères de la littérature / homogénéisation / développement des questions / validations). La liste que nous obtenons pour le thème Ergonomie est proche de celle de l’INRIA. (Figure 2). Chacun de ces critères est analysé par une série de questions. Quel que soit le contexte d’utilisation future, nous partons du principe que le défaut détecté à ce niveau de détail par le questionnaire est un défaut ergonomique réel.
Comme nous l’avons déjà précisé, l’utilisabilité n’est qu’un des aspects que nous évaluons et notre méthode présente certaines caractéristiques que nous allons rapidement présenter.

Figure 1 — La critériologie (Thèmes et méta-critères) utilisés par notre méthode.

Le critère ...	Indique la qualité et/ou la pertinence ...	
Guidage	Des techniques mises en œuvre pour aider l'utilisateur à accomplir sa tâche.	
Incitation	Des moyens mis en œuvre pour indiquer les actions possibles et attendues.	
Localisation	De l'identification du rôle des objets graphiques grâce à leur localisation.	
Format	De l'identification du rôle des objets graphiques grâce à leur format ?	
Retour	De la prise en compte des demandes de l'utilisateur.	
Charge de Travail	Des moyens mis en œuvre pour minimiser les efforts cognitifs de l’utilisateur.	
Concision	De l'équilibre entre surcharge d'information et affichage des informations pertinentes.	
Actions 
Minimales	Des manipulations et des parcours dans les fenêtres, menus etc.	
Manipulation	De la maîtrise par l’utilisateur du déroulement du logiciel.	
Prévention	Du logiciel à prévenir les erreurs de manipulations.	
Contrôle	Du contrôle donné à l'utilisateur sur le déroulement de l'interface.	
Correction	Des moyens mis en œuvre pour permettre à l'utilisateur de corriger des erreurs de manipulation.	
Homogénéité	De la charte graphique et fonctionnelle assurant l’union et la cohérence.	
Graphique	De la cohérence et de la persistance de la charte graphique.	
Fonctionnelle	De la persistance et de la cohérence des fonctionnalités, des commandes.	
Adaptabilité	Des possibilités de modification de l'interface du logiciel afin d’en améliorer l’utilisation.	
Flexibilité	Des moyens permettant d'adapter l'interface à ses préférences.	
Expérience	Des possibilités d'actions en fonction de son expérience en tant qu'utilisateur.	
Figure 2 — Développement du thème Ergonomie
3.	La méthode d’aide à l’évaluation
Notre méthode, baptisée EMPI s’adresse à des enseignants ou des prescripteurs désirant évaluer un logiciel pour l’intégrer dans leur apprentissage. Nous insistons sur le fait que notre méthode est une aide et n’est là que pour assister l’humain dans sa démarche.
Tout d’abord, le parcours du questionnaire est dynamique. L’utilisateur approfondi, supprime ou modifie l’importance de chaque branche d’évaluation, ou de chaque question, selon ses besoins. La structure complète est proposée afin d’éviter toute focalisation ou tout oubli de la part de l’évaluateur.
Lorsque les caractéristiques du logiciel ne peuvent être jugées a priori, sans une connaissance de la situation d'apprentissage, EMPI aide simplement l’évaluateur à juger par lui-même. Nous utilisons pour cela des questions, dites de caractérisation/évaluation, qui permettent de définir les possibilités d’un logiciel (avec ou sans a priori) et de s’en remettre à l’évaluateur en ce qui concerne le jugement de valeur.
Tout jugement présente une composante subjective qu'il s'agit de prendre en compte [4]. Ainsi, outre la capitalisation de ses impressions générales sur le logiciel (Figure 1), l’évaluateur peut donner une note dite instinctive à chaque niveau. Cette note permet, soit de noter un aspect sans avoir à l’approfondir s’il s’estime compétent pour le faire, soit de capitaliser son opinion sur cet aspect en vue d’une confrontation avec le résultat des questions proprement dites.
Les notes issues des questions, dites notes calculées, sont mises au point grâce à diverses techniques. Tous les éléments du questionnaire (Critères, questions etc.) sont pondérés afin de relativiser l’importance d’un élément selon les priorités de l’évaluateur. De plus, les résultats associés aux questions que nous jugeons fondamentales, sont mises au point selon un modèle exponentiel (Figure 3). Les deux notes, calculée et instinctive, permettent de calculer la note finale qui sera proposée à l’évaluateur.

Avez-vous rencontré ce défaut ?
	
Réponses	Notes Linéaires	Notes exponent.	
Jamais		+10		+10	
Parfois		+3		0	
Souvent		-3		–6	
Toujours		-10		-10	
Figure 3 — Différents types de notations
En résumé, EMPI est un questionnaire dynamique, structuré par une critériologie propre au contexte, que l’évaluateur parcourt librement, tant sur le plan de la prise en compte des points évalués que sur celui de la profondeur d’analyse. Au final, la méthode fournit un ensemble de notes calculées, elle capitalise les impressions et jugements instinctifs de l’évaluateur et lui propose une note finale prenant en compte les différentes notes disponibles et la cohérence des réponses de l’évaluateur.
Nous allons maintenant décrire quelles sont les contraintes liées au milieu éducatif et leurs implications sur l'interaction entre l'utilisateur et le logiciel.
4.	Les contraintes du contexte éducatif
De par le passé, l'ergonomie a eu pour principal champ d'application le milieu "industriel" [5] (contrôle de processus, surveillance, trafic aérien etc.). Or si l'on peut, en simplifiant à l'extrême, représenter l'interaction homme-machine dans ce contexte par un utilisateur/opérateur qui contrôle un processus (au sens générique du terme) via un logiciel et son interface (Figure 3), il n'en va pas de même en milieu dit "éducatif". Plusieurs caractéristiques du contexte éducatif nous font en effet sortir de ce modèle :
-	Le type de public : comme son nom l'indique, l'utilisateur/apprenant est à la fois acteur et cible du dispositif. Il n'est pas simplement celui qui contrôle le logiciel, il est aussi le contrôlé.
-	Le type de processus : le processus concerné, à savoir l'acquisition des connaissances, est cognitif et donc intérieur à l'utilisateur. Il est donc très difficile de le contrôler. Un exemple : "l'état du système" qui fourni des informations sur l'avancement de la tâche, devient souvent dans notre contexte "ce que vous avez fait" qui est la donnée observable, ce qui n'a souvent que peu de choses en commun avec "ce que vous avez appris".
Ces deux considérations nous amènent à un modèle plus dual de l'interaction (Figure 4).
-	La volonté pédagogique : une autre caractéristique importante est la présence prépondérante de l'enseignant qui, à travers le logiciel, modifie le processus d'acquisition des connaissances (Figure 5). Il y a donc existence d'une volonté pédagogique qui vient se superposer avec les interactions entre l'apprenant et le logiciel.
Il ne faut donc pas se tromper, le véritable utilisateur du logiciel c'est l'enseignant. C'est lui qui utilise le logiciel pour manipuler le processus cognitif de l'apprenant, et cela en le faisant interagir avec le logiciel. L'interface doit donc prendre en compte deux niveaux de contraintes : les tâches de l'enseignant et les manipulations effectuées par l'apprenant. Puisque notre approche reste essentiellement une évaluation a priori, nos critères ergonomiques ne peuvent s'appliquer qu'aux interactions entre l'apprenant et le logiciel. La définition de la volonté pédagogique reste quasiment hors de portée dans notre évaluation a priori. Or les contraintes résultant de ces deux niveaux peuvent parfois paraître antagonistes. Jusqu'à quel point peut-on faciliter la tâche de l'apprenant sans du même coup perturber l'apprentissage ? Faut-il considérer chaque résultat et discuter de sa pertinence à la lumière d'une définition hypothétique de la volonté pédagogique ? La frontière entre l'ergonomiquement correcte et le pédagogiquement justifié reste difficile à définir.

Processus

Utilisateur 
/ Opérateur

Logiciel

I

H

M

Figure 3 —Modèle simplifié d'utilisation type "industrielle"

I

Utilisateur/ Apprenant

Processus

Logiciel

H

M

Figure 4 —Modèle simplifié d'utilisation type "éducatif" : la place du processus

Volonté

pédagogique

Utilisateur /
Enseignant

I

M

Utilisateur
/ Apprenant

Processus

Logiciel

H

Figure 5 —Modèle simplifié d'utilisation type "éducatif" : existence d'une volonté pédagogique

Afin d’illustrer notre propos, nous allons rapidement exposer les principaux résultats d’une expérience effectuée avec le concours du CNDP, et de plusieurs professeurs de collège, autours de l’utilisation d’un même logiciel.
5.	Quelques éléments de validations
Nous avons effectué une série de validations autour du logiciel Perfect Your English 3ème (que nous intitulerons PYE par la suite), en partenariat avec le CNDP qui en est l’éditeur, et en utilisant, entre autre la méthode d’aide à l’évaluation EMPI. Ces validations sont, dans l’ordre chronologique :
- une évaluation de PYE logiciel assistée par EMPI.
- une enquête auprès de plusieurs professeurs de collège utilisant ce logiciel.
- une observation des élèves en situation de travail.
- une confrontation avec les concepteurs de PYE.
PYE est un didacticiel classique, structurée en cours et en exercices d’application autour des notions clés du programme d’anglais de 3ème. Nous avons constaté principalement  deux contextes d’utilisation de PYE, soit en parallèle du cours (groupe de soutien et/ou de perfectionnement) ou en libre accès dans les centres de ressources (bibliothèques, club scolaire).
Les principaux défauts ergonomiques recensés lors de notre évaluation concernent :
- le Guidage : de nombreux éléments actifs ne sont pas explicites ni par leurs formats, ni par leurs emplacements ; Les feed-back sont souvent pauvres ou absents ; L’incitation (modification du curseur de souris, message etc.) est souvent absente. .
- la Charge de travail : des exercices nécessitent des manipulations trop complexes ; Les validations des exercices sont souvent “ doublées ” par des étapes superflues.
- l’Homogénéité : l’exécution de la commande Retour, présente dans toute l’application, reste difficile à prévoir sans aide complémentaire.
- l’Adaptabilité : en dehors de la possibilité de changer la langue des commentaires (français/anglais) aucun paramètre n’est modifiable par l’utilisateur.
Nos observations et les diverses interviews des professeurs nous ont permis de constater, qu’en résumé : 
- de nombreuses options sont non utilisées.
- la découverte et l’identification des affichages sont souvent difficiles sans aide.
- il y a un temps d’adaptation parfois long pour acquérir les modes opératoires des exercices.
Enfin, les réactions, ou les justifications, des concepteurs face à ces résultats font apparaître plusieurs sources aux problèmes précités. Tout d’abord PYE a été développé pour être utilisé en classe mais aussi en autoformation. Cette volonté a créé des incompatibilités dans la définition de l’interface. Le temps d’adaptation, par exemple, devait être pris en charge par la présence d’un enseignant. L’accessibilité de l’interface ne fut donc pas une priorité, d’où les problèmes ergonomiques lors d’une utilisation autonome. Ensuite, les contraintes pédagogiques, notamment en ce qui concerne les manipulations dans les exercices, ont souvent été à l’encontre des habitudes de développement. Enfin, la volonté pédagogique de développer une interface la plus claire possible a été souvent à l’encontre de son utilisabilité.
6.	Influence du contexte pédagogique sur l’évaluation ergonomique
Prenons comme exemple le développement d’un exercice à trous. Un texte présentant des zones vides est proposé à l’apprenant. La liste des mots à placer dans les zones est affichée à côté du texte. Supposons que le concepteur ait rendu les mots de la colonne accessibles par glisser-déposer. L’apprenant “ prend ” chaque mot et le place dans la zone supposée correcte. A priori, sans définition plus précise de la tâche de l’apprenant, les manipulations peuvent être ergonomiquement correctes. Mais pédagogiquement, il y a vraisemblablement une énorme différence avec le même exercice, mais où l’apprenant doit saisir chaque mot au clavier, même si ces derniers sont rappelés dans une liste accompagnant le texte. Si cette solution peut paraître moins pertinente à un évaluateur amateur (pour cause de charge de travail accrue par exemple), elle est peut-être pédagogiquement nécessaire (meilleure mémorisation etc.). Néanmoins, l’interface devra quand même garantir une utilisabilité optimum, en permettant par exemple de passer d’une zone de saisie à une autre en pressant la touche ‘Enter’ afin d’éviter les alternances clavier/souris.
En reprenant la vision duale de l’utilisateur que nous avons développée précédemment (un utilisateur/apprenant et un utilisateur/enseignant), les défauts rencontrés nous apparaissent donc comme étant de deux ordres :
- ceux liés aux manipulations contraintes par une volonté pédagogique : répondre à une question, résoudre un exercice. Dans ce cas ce n’est qu’avec la connaissance des volontés pédagogiques et du contexte d’utilisation avant toute évaluation, que l’on pourra juger de la qualité ergonomique des manipulations proposées. En résumé, lorsque l’utilisateur se trouve être, de façon détournée, le prescripteur du logiciel ce sont les contraintes pédagogiques qui priment avant d’optimiser l’utilisabilité de l’interface.
- ceux liés aux manipulations d’ordre général : charger un fichier, taper un texte etc. Dans ce cas la connaissance des règles élémentaires de l’ergonomie suffit souvent à éliminer de nombreux problèmes. Dans PYE, si certaines options sont sous-utilisées, si certains affichages sont incompris c’est principalement parce que les concepts généraux de l’ergonomie ne sont pas respectés : formats, feed-back, homogénéité etc. Dans ce cas, lorsque l’usage est effectivement le fait de l’apprenant, ce sont les contraintes ergonomiques qui priment.
Outre les défauts ergonomiques “ indépendants ” du contexte (feed-back manquant, mauvais format des objets actifs etc.), nous avons donc pu constater autour du logiciel PYE, les conséquences des contradictions entre volonté pédagogique et développement ergonomique. La pertinence des manipulations nécessaires à la résolution des exercices, par exemple, n’est évaluable qu’avec la connaissance exacte de la situation et des objectifs de l’apprentissage. Or si l’on peut évaluer l’ergonomie d’une interface, il est beaucoup plus difficile de juger a priori de la pertinence d’une contrainte pédagogique.
Les contraintes que nous avons exposées, liées au fait d'effectuer une évaluation a priori, nous conforte dans notre approche à savoir l'utilisation de règles générales mais dont la pertinence est effective. Ces règles, et l'expérience le démontre, doivent être rappelées et trouvent donc leurs places dans une méthode d'évaluation. De plus, tenter d'affiner cette analyse ergonomique supposerai une connaissance parfaite de la situation d'apprentissage et de la volonté pédagogique dans lesquelles le logiciel va être utilisé. Il ne faut donc pas perdre de vue que nos règles ne s'appliquent a priori qu'en terme d'utilisabilité vis à vis de l'apprenant et que l’utilité et le jugement de la pertinence de telle ou telle manipulation pédagogique doit être du ressort de l’enseignant. En effectuant a priori un certain nombre d’évaluations et en confiant le jugement de valeur des aspects pédagogiques aux évaluateurs, EMPI répond en partie à ce problème
7.	Conclusion : 
Quelles sont, a priori, les considérations ergonomiques modifiées par notre contexte ? Peu en définitive, simplement la qualité ergonomique d'un logiciel de formation est d'autant plus importante que la situation est difficile en terme d'utilisateur et de type de processus. Ce qui pourrait être passable dans d'autres contextes, devient inacceptable dans le nôtre. La motivation, par exemple, est un facteur clé de tout processus de formation, surtout avec un public souvent jeune et contraint. De ce fait, le guidage devient encore plus important qu'à l'habitude puisque le maintien de l'attention apparaît comme primordial. Comme le processus concerné est cognitif, on comprendra aisément que la charge de travail doit être minimale pour ne pas perturber l'apprentissage : l'utilisateur doit apprendre les connaissances transmises, pas à se servir du logiciel. Il en va de même pour bons nombres de critères.
Malgré certains travaux théoriques [6], la spécificité des interfaces de logiciels pédagogiques est un domaine encore jeune et nous n’avons pas l’ambition de présenter une méthode d’évaluation idéale propre à ce domaine. Mais, en conclusion, nous ne pouvons qu'insister sur le fait que l'ergonomie des logiciels pédagogiques ne doit pas être uniquement tournée vers l'un ou l'autre des utilisateurs (utilisateur/enseignant ou utilisateur/apprenant) comme nous le constatons trop souvent. Ainsi des logiciels intuitifs qui par une absence de directives ou de contraintes pédagogiques sont inefficaces, ou inversement, des logiciels aux volontés pédagogiques clairement identifiées mais où aucune réflexion sur les manipulations réelles de l'apprenant n'a été effectuée. Il faut donc confronter les deux approches pour avoir une vision complète de la contextualisation de l'interface dans un milieu éducatif.
8.	Bibliographie
[1]	Bastien, C., et Scapin, D., Ergonomic Criteria for the Evaluation of Human-Computer Interfaces, Rapport INRIA n°156, 1993.
[2]	Bruillard E., Vivet M., “ Concevoir des EIAO pour des situations scolaires – Approche Méthodologique ”, Didactique et Intelligence Artificielle, Balacheff & Vivet (coord.), La Pensée Sauvage (Ed.), 1994.
[3]	Crozat S., Hû O., Trigano P.,  “ EMPI : Une méthode informatisée pour l'évaluation des didacticiels multimédias ”, RIHM’99 ; vol.1, n°2, novembre 1999. 
[4]	Hû O., Trigano P., Crozat S., “ Considerating subjectivity in software evaluation – Application for teachware evaluation ”, in proceedings CADUI II, Computer Aided Design of User Interfaces, J. Vanderdonckt & A. Puerta (Eds), Kluwer Academic Publisher, Louvain, 1999, 331-336.
[5]	Kolski C., Interfaces Homme-machine : application aux systèmes industriels complexes, Hermes, 1997.
[6]	Linard M., Zeiliger R., “ Designing an interface in an educational context : first steps to a principle approach ”, in Proceedings 5th Conference INTER’ACT 95, IFIP, Lillehammer, Juin 1995, K. Norby, P. Helmersen, D. Gilmorer, S. Arnesen (eds), Chapman&Hall, London, 401-404.
 [7]	Vanderdonckt, J., Guide ergonomique de la présentation des applications hautement interactives, Presses Universitaires Namur, 1994.