At Swiss Connect Academy, we value learnings that result from pilot projects. They offer insights into unforeseen opportunities, contribute to new standards and deepen working relationships. The AI Development team collaborated with Taskbase on two pilot projects between 2021 and 2022. Below we invite you to read about their objectives and key takeaways – or as we like to call them experiences gained!
Pilotprojekt Nr. 1: Bereitstellung von Fragen zur Schulung der Selbstwahrnehmung für Studenten
Wir haben damit begonnen, den Teilnehmern 75 neue Fragen für das erste Modul unseres Leadership-Kurses zur Verfügung zu stellen: Selbst-Bewusstsein. Ein Modul, das es den Teilnehmern ermöglicht, sich selbst kritisch zu hinterfragen, zu erkennen, wie ihre Einstellungen und Werte ihr Führungsverhalten und ihre Entscheidungen beeinflussen, und Bereiche der individuellen beruflichen Entwicklung zu identifizieren.
Die Ziele unseres ersten Pilotprojekts haben wir wie folgt erreicht:
1. Zuweisung von 3 Schwierigkeitsgraden für alle Fragen
Das bedeutet, dass 25 % aller Fragen im Modul nach der Bloom’schen Taxonomie auf der Stufe „Erinnern“ (Stufe 1) geschrieben wurden; 35 % erreichen die Stufe „Verstehen“ (Stufe 2); und schließlich verlangen 45 % aller Fragen von den Lernenden „Anwenden“ (Stufe 3). Auf diese Weise konnten wir ein ansprechendes Spektrum an qualitativ hochwertigen Fragen sicherstellen, die sich auch auf die Anwendung des Gelernten konzentrieren. Darüber hinaus steht der Schwierigkeitsgrad der einzelnen Fragen in direktem Zusammenhang mit der Punktzahl pro Frage, die von 10 Punkten für Fragen der Stufe 1 bis zu 30 Punkten für Fragen der Stufe 3 reicht.
2. Variieren von 4 Fragetypen mit Musterlösungen während des gesamten Moduls
Um die Fähigkeiten der Lernenden zum multilogischen Denken zu fördern, haben wir die Fragetypen variiert zwischen
- i. Multiple Choice: Einzellösung oder mehrere Lösungen
- ii. Lückentext: Dropdown-Lösungen oder Stichwortantworten
- iii. Matching: einen Begriff einer Definition zuordnen oder einen Vorgang anordnen
- iv. Offen: Stichwort- oder Ganzsatzantworten
Schließlich können die Teilnehmer nach der Beantwortung einer Frage eine Musterlösung überprüfen, um ihr Verständnis des Lernziels zu unterstützen.
3. Ermutigung der Teilnehmer, alle E–Tests und die zusammenfassende Bewertung zu wiederholen
Wir schufen einen sicheren Raum für die Teilnehmer, in dem sie ihre neuen Fähigkeiten überprüfen und üben konnten, anstatt ihr Wissen zu „testen“.
Pilotprojekt Nr. 2: Sofortiges formatives Feedback für alle Fragetypen bereitstellen
Once the first group of students successfully completed the Self-Awareness module, we were eager to set up the feedback for the second group.
Wir erreichten die Ziele unseres zweiten Pilotprojekts durch:
1. Erstellung von Feedback auf der Grundlage von Hunderten von Antworten
Das Feedback bezog sich auf 3 Kategorien von Antworten:
- i. richtig: bestätigte, dass die Antworten der Teilnehmer das Lernziel vollständig erfüllten
- ii. falsch: Die Antworten der Teilnehmer enthielten ein Missverständnis und ermutigten sie, einen bestimmten Teil des Lerninhalts zu überprüfen, in dem sich die Antwort befindet
- iii. halb-korrekt: klärte, dass ein Konzept korrekt erwähnt wurde, aber ein anderes Schlüsselelement in den Antworten der Teilnehmer fehlte
The learning value for students is especially relevant in Cloze and Open questions where the AI system identified appropriate feedback based on students’ freely written text answers.
2. Verknüpfung von 3 Feedbacktypen mit den Lernzielen für das Selbstbewusstsein zur Berechnung des Lernerfolgs
Durch die Verknüpfung aller Rückmeldungen mit den Lernzielen war der Algorithmus in der Lage, das Beherrschungsniveau der Studierenden pro Lernziel zu berechnen. Während die Teilnehmer das Modul durchlaufen, üben sie verschiedene Kompetenzen. In der zusammenfassenden Bewertung fordert der Algorithmus die Lernenden auf der Grundlage ihrer Beherrschungsniveaus pro Kompetenz heraus, um festzustellen, ob sie eine zufriedenstellende Beherrschung der einzelnen Kompetenzen erreicht haben. Der Lernwert für die Lernenden umfasst:
– die Sicherstellung, dass alle Lernziele abgedeckt sind
– das richtige Feedback auf der Grundlage der Antworten zu erhalten
– das Stellen von Fragen, die die Fähigkeiten der Teilnehmer im richtigen Maße herausfordern, ohne sie mit zu schwierigen Fragen zu überfordern, die sie auf der Grundlage ihres derzeitigen Kenntnisstandes nicht beantworten können
Erfahrungen aus beiden Pilotprojekten
Undoubtedly, developing an AI system that accurately responds to participants’ answers requires a considerable amount of initial human interaction. Next to this, we gained valuable experiences in the following:
1. Auswahl des besten Fragetyps für den Inhalt der Frage
2. Schreiben von ansprechenden Fragen auf der Grundlage von 3 Schwierigkeitsgraden während des gesamten Moduls
3. Schreiben von 3 Arten von konstruktivem und sinnvollem Feedback und Musterlösungen
4. das Schreiben von Feedback auf der Grundlage von erwarteten und tatsächlichen Antworten der Lernenden
5. Verknüpfung jeder Frage und jedes Feedbacks mit einer Kompetenz
6. testing and adjusting the AI system with existing and anticipated students’ responses to provide a pleasant learning experience
The learnings from our pilot projects strongly influenced the evidence-based processes we use to write new questions and feedback. Most importantly, we are well underway to ensuring all modules at Swiss Connect Academy have high-quality questions with AI feedback capabilities for all question types.
