At Swiss Connect Academy, we value learnings that result from pilot projects. They offer insights into unforeseen opportunities, contribute to new standards and deepen working relationships. The AI Development team collaborated with Taskbase on two pilot projects between 2021 and 2022. Below we invite you to read about their objectives and key takeaways – or as we like to call them experiences gained!
Projet pilote n° 1 : Fournir aux étudiants des questions pour entraîner la conscience de soi
Nous avons entrepris de fournir aux participants 75 nouvelles questions pour le premier module de notre cours de leadership : Connaissance de soi. Un module qui permet aux étudiants de se remettre en question de manière critique, de reconnaître comment leurs attitudes et valeurs influencent leurs comportements et décisions managériales, et d’identifier les domaines de développement professionnel individuel.
Nous avons atteint les objectifs de notre premier pilote en :
1. Attribuant 3 niveaux de difficulté à toutes les questions
Cela signifie que 25% de toutes les questions du module ont été rédigées selon la taxonomie de Bloom sur le niveau « Se souvenir » (niveau 1) ; 35% atteignent le niveau « Comprendre » (niveau 2) ; et enfin, 45% de toutes les questions demandent aux apprenants d' »Appliquer » (niveau 3). Cela nous a permis d’assurer un éventail de questions de haute qualité qui se concentrent également sur l’application par les étudiants des compétences acquises. De plus, la difficulté de chaque niveau de question est directement liée aux points par question, allant de 10 points pour les questions de niveau 1 à 30 points pour celles de niveau 3.
2. Variation de 4 types de questions, avec des exemples de solutions, tout au long du module.
Afin de promouvoir les compétences de réflexion multi-logiques des apprenants, nous avons diversifié les types de questions entre
- i. Choix multiple : solution unique ou solutions multiples
- ii. Cloze : solutions à choix multiples ou réponses par mots-clés.
- iii. Appariement : associer un terme à une définition ou ordonner un processus.
- iv. Ouverte : réponse par mot-clé ou phrase complète.
Enfin, après avoir répondu à une question, les participants peuvent examiner un exemple de solution pour étayer leur compréhension de l’objectif d’apprentissage.
3. Encourager les participants à répéter tous les e–tests et l’évaluation sommative
Nous avons créé un espace sûr pour que les participants puissent réviser et pratiquer leurs nouvelles compétences plutôt que de « tester » leurs connaissances.
Projet pilote n°2 : Fournir un feedback formatif immédiat pour tous les types de questions
Once the first group of students successfully completed the Self-Awareness module, we were eager to set up the feedback for the second group.
Nous avons atteint les objectifs de notre deuxième projet pilote en :
1. Créant un feedback basé sur des centaines de réponses
Le feedback portait sur 3 catégories de réponses :
- i. correctes : confirmaient que les réponses des étudiants répondaient pleinement à l’objectif d’apprentissage
- ii. incorrecte : identifiait un malentendu dans les réponses des participants et les encourageait à revoir une partie spécifique du contenu d’apprentissage où se trouve la réponse
- iii. semi-correct : a permis de clarifier qu’un concept a été correctement mentionné mais qu’un autre élément clé des réponses des étudiants manquait.
The learning value for students is especially relevant in Cloze and Open questions where the AI system identified appropriate feedback based on students’ freely written text answers.
2. Lier 3 types de feedback aux objectifs d’apprentissage de la Connaissance de soi pour calculer la maîtrise de l’apprentissage
En reliant tous les feedbacks aux objectifs d’apprentissage, l’algorithme a pu calculer les niveaux de maîtrise des élèves par objectif d’apprentissage. Au fur et à mesure que les participants progressent dans le module, ils mettent en pratique différentes compétences. Lors de l’évaluation sommative, l’algorithme interroge les apprenants sur la base de leurs niveaux de maîtrise par compétence afin de déterminer s’ils ont atteint une maîtrise satisfaisante de chacune d’entre elles. La valeur de l’apprentissage pour les étudiants comprend
– s’assurer que tous les objectifs d’apprentissage sont couverts
– recevoir le bon feedback en fonction des réponses
– poser des questions qui mettent à l’épreuve les capacités des participants au bon degré sans les submerger avec des questions trop difficiles auxquelles ils ne peuvent pas répondre en fonction de leur niveau de maîtrise actuel.
Expériences tirées des deux projets pilotes
Undoubtedly, developing an AI system that accurately responds to participants’ answers requires a considerable amount of initial human interaction. Next to this, we gained valuable experiences in the following:
1. choisir le meilleur type de question par contenu de question
2. rédaction de questions engageantes basées sur 3 niveaux de difficulté des questions tout au long du module
3. rédiger 3 types de feedback constructifs et significatifs et des exemples de solutions
4. rédiger le feedback sur la base des réponses anticipées et réelles des apprenants
5. lier chaque question et chaque retour d’information à une compétence.
6. testing and adjusting the AI system with existing and anticipated students’ responses to provide a pleasant learning experience
The learnings from our pilot projects strongly influenced the evidence-based processes we use to write new questions and feedback. Most importantly, we are well underway to ensuring all modules at Swiss Connect Academy have high-quality questions with AI feedback capabilities for all question types.
