Au début de l’année 2022, nous avons entrepris de :
1. d’améliorer la qualité des questions posées à nos participants tout au long de nos modules de leadership et de gestion
2. de standardiser le retour d’information formatif reçu en réponse à ces questions.
A ce jour, nous avons rédigé un total de 2415 nouvelles questions et mis en place 831 feedbacks individuels !
Ci-dessous, nous sommes heureux de partager avec vous un résumé de nos 2022 réalisations effectuées en collaboration avec Taskbase, Sophie Hautbois, les formateurs de SCA, et nos équipes SCA Learning & Development et AI Development.
Premier cycle : Nouvelles questions
D’ici la fin de l’année 2022, tous les modules de leadership et de gestion de SCA auront de nouvelles questions, soit un total de 2415 questions en allemand, en français et en italien.
Grâce à la création de ce volume de nouvelles questions, le premier cycle de notre processus fonctionne comme une machine (virtuelle) bien huilée :
1. Analyse des réponses des étudiants aux questions actuelles –
- Pour chaque module, nous analysons la formulation des questions actuelles, leur niveau de difficulté et les réponses des participants
- – Sur la base de cette analyse, nous décidons de conserver, de reformuler ou d’abandonner une question.
2. Répartir les niveaux de difficulté des questions sur 3 niveaux
- – 25% de toutes les questions des modules sont rédigées selon la taxonomie de Bloom sur le niveau « Se souvenir » (niveau 1)
- – 35% atteignent le niveau « Comprendre » (niveau 2)
- – 45% de toutes les questions exigent des apprenants qu’ils « appliquent » (niveau 3)
- – le niveau de difficulté de chaque question est lié au nombre de points par question, allant de 10 points pour le niveau 1 à 30 points pour le niveau 3.
3. Sélectionner le type de question en fonction du contenu, rédiger de nouvelles questions et donner un exemple de solution
- – Le meilleur type de question est sélectionné en fonction du contenu de la question :
- 1. Choix multiple : solution unique ou solutions multiples
- 2. Cloze : solutions déroulantes ou réponses par mots-clés
- 3. Correspondance : associer un terme à une définition ou ordonner un processus
- 4. Question ouverte : réponse par mot-clé ou par phrase complète
- – Chaque question est rédigée sur la base des lignes directrices de l’ACS qui décrivent les meilleures pratiques pour chaque type de question.
- – Pour chaque question, nous incluons également un exemple de solution qui guide les participants vers la bonne réponse.
4. Contrôle de qualité complet
- 4. Contrôle de qualité complet – Une fois que toutes les questions et tous les exemples de solutions sont terminés, les éléments suivants sont examinés en détail :
- 1. Formulation de la question
- 2. Options de la question (s’il existe des questions à choix multiples, par exemple)
- 3. Formulation d’un exemple de solution
- 4. Niveau de difficulté de la question
- 5. Sélection du type de question
Après ces étapes, le premier groupe de participants répond aux questions en allemand, en français et en italien sur notre application SCA.
Deuxième cycle : Mise en place du feedback formatif
En fonction du calendrier d’un module en 2022, nous avons également commencé à mettre en place un feedback formatif pour certains modules de Leadership. Grâce à cela, nous avons mis en place 831 feedbacks à ce jour.
Découvrez comment le premier cycle de nouvelles questions alimente notre deuxième cycle :
1. Analyse des réponses des participants aux nouvelles questions
- – Nous analysons la performance des nouvelles questions sur la base des réponses des participants.
2. Rédiger un retour d’information formatif significatif
- – Sur la base des réponses des étudiants, nous rédigeons trois catégories de commentaires :
- 1. Correct : confirme que les réponses des étudiants répondent parfaitement à l’objectif d’apprentissage.
- 2. Incorrect : identifie un malentendu dans les réponses des participants et les encourage à revoir une partie spécifique du contenu d’apprentissage où se trouve la réponse.
- 3. Semi-correct : clarifie qu’un concept a été correctement mentionné mais qu’un autre élément clé des réponses des étudiants manquait.
- – En fonction du type d’e-test ou d’évaluation, le style de feedback formatif change
- 1. Le style de feedback pour les questions de la première évaluation diffère de celui des tests électroniques et de la dernière évaluation.
3. Lier chaque question et catégorie de feedback à une compétence
- – Nous nous assurons que chaque objectif d’apprentissage d’un module est abordé dans les questions.
4. Contrôle de qualité complet
- – Une fois que tous les feedbacks sont terminés, un examen détaillé des éléments suivants est effectué :
- 1. Formulation du feed-back par catégorie semi-correct et erroné
- 2. Style du feedback par évaluation et test électronique
- 3. Objectif d’apprentissage sélectionné par question et retour d’information
5. Saisie du feedback dans la Taskbase et test de la configuration du feedback
- – En utilisant les réponses du premier groupe d’étudiants, nous formons les algorithmes de Taskbase à l’utilisation du feedback prévu.
- – La formation des algorithmes permet de s’assurer que les participants reçoivent le bon retour d’information en fonction de leurs réponses.
Après ces étapes, les questions et le feedback formatif sont prêts pour le deuxième groupe d’étudiants.
Comme vous pouvez le constater, les deux processus sont étroitement liés, l’un informant l’autre. De plus, nous nous appuyons toujours sur les données pour prendre des décisions éclairées ; dans les deux cas, les réponses des élèves servent de base aux processus itératifs de questions et de rétroaction. Enfin, des contrôles de qualité sont en place pour nous aider à fournir un contenu de haute qualité de manière cohérente dans les trois langues.
D’ici à la mi-2023, nous avons l’intention de terminer le deuxième cycle pour tous les modules de leadership et de gestion restants… ce qui nous permettra de boucler la boucle dans les deux cycles !
