Le Module Assessments

Le module Assessments permet d'intégrer des exercices (par ex. QCM) et évaluations dans votre modèle. Les exercices sont paramétrés dans SCENARIbuilder (méthode de scoring, présentation, intégration au reste du modéle...) et l'auteur saisi le contenu ou les questions de ces exercices dans SCENARIchain. Dans ce bref aperçu, seuls les QCM en génération HTML et en local seront expliqués.

Les exercices publiés en HTML peuvent être exécutés via un serveur web classique comme un site statique. Les résultats ne sont alors pas enregistrés après rafraîchissement de la page ou réouverture du site. Pour bénéficier d'un environnement de stockage persistant des réponses des apprenants et des scores obtenus, il faut utiliser une LMS (Learning Management System) exploitant la norme SCORM, version 1.2 ou 2004 (le contenu publié est alors considéré comme un seul SCO). Avec Firefox (version 2 minimum) une nouvelle possibilité technique (l'API Storage) permet d'enregistrer les productions et scores de l'apprenant sur sa propre machine, indépendamment d'une LMS (Attention, le site contenant les exercices doit être accédé par le protocole "http" et pas "file").

Le module Assessment permet aussi de générer des modules de formation exclusivement destinés à une LMS SCORM où le plan du contenu est géré par la LMS via la norme CAM (publication de type multi-SCO).

2 primitives sont rapidement présentées ici :

• assmntCompositionPrim : Une composition de scénarisation des exercices, pouvant contenir d'autres assmntComposition en tant que "sous-ensemble" ou alors directement des exercices. On peut ainsi calculer des résultats sur toute cette hiérarchie de assmntComposition.
• assmntUnitMcqPrim : Un exercice unique, celui-ci est de forme "QCM" (Questions à Choix Multiples), il offre plusieurs méthodes de notation et de feedback différentes, trés paramétrable depuis SCENARIbuilder.

Il existe d'autres primitives correspondant à différents types d'exercices : champs de saisie, texte à trou, ordonnancements, catégorisations...

Quelques définitions

Le scoring

Le système de scoring du module assessment permet de gérer 2 grandes méthodes de calcul du score :

• Méthode "à points", non bornée : l'apprenant n'est pas limité a une note maximal ou minimal, il gagne ou perd des points. Cette méthode est utilisée préférence pour un apprentissage ludique.
• La méthode à notes bornées est utilisée dans le contexte académique plus classique : 0 à 10, 0 à 20, 0 à 100, A à E, etc.

Il existe 3 formes de représentation des notes :

• numérique classique (1, 2, 3...)
• A/B/C/D/E/F
• A+/A/A-/B+/B/B-...F-

Les "feedbacks"

Le feedback permet d'afficher des messages différents à l'apprenant en fonction des réponse et/ou du score de ce dernier.

Les "explanations"

Les explications peuvent être affichés .

mise en route

Pour n'importe quel document utilisant les assessements, vous devez :

• Installer (1 seule fois) le wsppack Modélisation des Assessements dans SCENARIbuilder (menu Ateliers -> installer une extension de modeling)
• Créer votre atelier dans SCENARIbuilder à partir du modèle "Création des modèles avec évaluation"
• Déclarer l'UI service "assmntMgr" dans les transparantUiFrame de vos générateurs HTML. Vous pouvez l'obtenir ici : uiservice assmntMgr

Ensemble d'exercices

L'assmntCompositionPrim est semblable à une composition classique, mais elle est enrichie pour permettre une gestion auteur de l'organisation des exercices. Dans sa premiére partie, elle contient donc une liste de parts organisable en sets ou alternative :

• des parts classiques : vous pouvez y insérer lier n'importe quel type
• des parts "assmnt=true" : elle redirige vers :
  • soit une part assmntCompositionPrim pour faire une hiérarchie d'épreuves
  • soit une part assmntUnitMcqPrim pour exploiter vos exercice

Attention !
Vous pouvez imbriquer des assmntCompositionPrim dans des parts normales (assmnt=false), mais dans ce cas, vous n'aurez pas de feedback global, les résultats des exercices dans cet part ne seront pas pris en compte pour celle de la composition père.

Exercice : le QCM

Le QCM est une liste de questions / réponses, cette primitive en définit le format, et l'auteur va en saisir le nombre de son choix.

Différentes parts sont à intégrer : les questions, les réponses, les explications, les indices. Ils n'ont pas de modèles prédéfini, vous pouvez par exemple soit metre un textPrim, soit utiliser un type plus complexe.

Les QCM peuvent être :

• singleUserResponse : l'apprenant peut choisir une seul réponse dans la liste (le choix est de type "bouton radio")
  • booleanScoring : il n'y a qu'une bonne réponse qui vaut X point, et toutes les autres valent (-)Y points.
  • numericScoring : chaque réponse est plus ou moins vrai et donne un nombre différent de points

• multipleUserResponse : l'apprenant peut choisir une combinaison de réponse (choix de type "case à cocher", y compris 0 cases ou toutes les cases)
  • booleanScoring : il y a une seul bonne combinaison de choix, cette bonne réponse donne Y point et les autres (-)Y points
  • summedNumericScoring : Chaque case vaut un nombre X ou -Y de point, et pour savoir quel est votre note a cette question, le programme fait la somme. Le summedNumericScoring n'est pas adapté a tous les types de question, mais il est parfois util si les éléments a choisir sont assez neutres et en grand nombre.
  • mappedNumericScoring : chaque combinaison de choix a une valeur X(n), ou si l'auteur ne l'a pas précisé, la valeur par défaut est utilisée. C'est une série de "plans de solution", et chaque plan a sa valeur. C'est le modèle qui permet de choisir le plus précisément la valeur des réponses, mais il est difficil a géré en cas de nombreux choix positifs.

Exemple

Choisissez bien le type de scoring le mieux adapté a l'exercice. Par exemple, pour les questions suivantes : Parmi ces langages de programmation, lequel utilise le mot clé "for" : basic ? assembleur x86 ? C ? C++ ? java ? TCL ? perl ? brainfuck ? php ? python ? summedNumericScoring convient le mieux, vu le nombre important de bonnes réponses, et le fait qu'un oubli ou une erreur ne devrait pas entraîner un score totalement négatif. Examen du permis de conduire : Pour tourner a gauche : je met mon clignotant a gauche ? je met mon clignotant a droite ? je vérifie dans mon rétroviseur ? booleanScoring est le plus adapté car de toute façon, si vous vous trompez sur une question aussi simple, vous ne méritez pas votre permis. Donnez une combinaison de nombre dont la somme fait 11 : 7 ? 4 ? 5 ? 6 ? mappedNumericScoring évidement, car il y a 2 bonnes combinaisons, il faut 2 plans de solutions : 7+4 et 5+6

Transformers HTML

Pour écrire des transformers liés aux 2 primitives étudiées, vous devez :

• définir le scenario : vous donnez une liste de sm:sequence, qu'il est possible de remplir avec ces éléments :
  • conditions pour exécuter la séquence (première tentative, exercice commencé, exercice terminé...)
  • onLoad : permet de contrôler tous les éléments a afficher ou masquer
  • loadData / saveData : permet l'enregistrement ou la lecture des réponse, du score, des indices consultés
  • scoreComputing : il permet de remettre a l'échelle les scores et préparer la publication

• définir les éléments de contenu, les principaux points a retenir sont :
  • vous pouvez créer des éléments libres (par ex.) ou insérer des boutons
  • il existe 2 types de boutons :
    • les WButton classiques qui fonctionnent comme n'importe quel bouton habituel
    • les WToggleButton qui lors d'un clique passe de l'état "désactivé" à "activé" et inversement
  • les interactions entre les séquences et les items se réalisent grâce aux code/refCode et id/refId

Tests SCORM

En mode multi-SCO, SCENARI intègre un environnement de test, simulant le comportement d'une LMS. En mode mono-SCO, il est possible d'utiliser l'environnement de test mono-SCO qui permet de spécifier le chemin d'accès à un SCO et de le tester.

Conclusions

Pour aller plus loin, nous vous conseillons de vous inspirer de modèles libres et disponibles comme IRIS dans SCENARIdiscovery ou comme l'application Opale.

Par rapport à la modélisation classique de SCENARIbuilder, la gestion d'exercices implique un niveau de complexité supplémentaire car elle ajoute de la dynamicité et de la programmation de comportements. Il est donc fortement conseillé de bien maîtriser la modélisation classique de SCENARIbuilder avant d'exploiter l'extension Assessment.

Des formations présentielles peuvent être organisées pour approfondir l'exploitation de cette extension. N'hésitez pas à en faire la demande sur le forum des modélisateurs.