Zu Beginn des Jahres 2022 haben wir uns vorgenommen:
1. die Qualität der Fragen zu verbessern, die unseren Teilnehmern in unseren Modulen für Führung und Management gestellt werden
2. das formative Feedback zu standardisieren, das die Teilnehmer bei der Beantwortung der Fragen erhalten.
Bis heute haben wir insgesamt 2415 neue Fragen geschrieben und 831 individuelle Feedbacks erstellt!
Wir freuen uns, Ihnen im Folgenden eine Zusammenfassung unserer Ergebnisse aus dem Jahr 2022 präsentieren zu können, die wir in Zusammenarbeit mit Taskbase, Sophie Hautbois, den SCA-Ausbildern und unseren SCA-Teams für Lernen und Entwicklung und KI-Entwicklung erzielt haben.
Erster Zyklus: Neue Fragen
Bis Ende 2022 werden alle Module für Führung und Management bei SCA mit neuen Fragen ausgestattet sein, insgesamt 2415 Fragen auf Deutsch, Französisch und Italienisch.
Durch die Erstellung dieser Menge an neuen Fragen läuft der erste Zyklus unseres Prozesses wie eine gut geölte (virtuelle) Maschine:
1. Analyse der Schülerantworten auf die aktuellen Fragen
- – Pro Modul analysieren wir die Formulierung der aktuellen Fragen, den Schwierigkeitsgrad und die Antworten der Teilnehmer.
- – Auf der Grundlage dieser Analyse entscheiden wir, ob wir eine Frage beibehalten, neu formulieren oder verwerfen.
2. Verteilen Sie den Schwierigkeitsgrad der Fragen auf 3 Stufen
- – 25% aller Fragen in den Modulen sind nach der Bloom’schen Taxonomie auf der Stufe „Erinnern“ (Stufe 1) formuliert
- – 35% erreichen das „Verstehen“ (Stufe 2)
- – 45% aller Fragen verlangen von den Lernenden das „Anwenden“ (Stufe 3)
- – Der Schwierigkeitsgrad jeder Frage ist mit der Punktzahl pro Frage verknüpft; er reicht von 10 Punkten für Stufe 1 bis zu 30 Punkten für Stufe 3.
3. Wählen Sie den Fragetyp anhand des Inhalts, schreiben Sie neue Fragen und geben Sie eine Musterlösung vor.
- – Der beste Fragetyp wird nach dem Inhalt der Frage ausgewählt, und zwar zwischen:
- 1. Multiple Choice: Einzellösung oder mehrere Lösungen
- 2. Lückentext: Dropdown-Lösungen oder Stichwortantworten
- 3. Matching: einen Begriff einer Definition zuordnen oder einen Vorgang anordnen
- 4. Offen: Stichwort oder Ganzsatzantwort
- – Jede Frage ist auf der Grundlage der SCA-Fragenrichtlinien verfasst, die für jeden Fragetyp die besten Vorgehensweisen beschreiben.
- – Zu jeder Frage gibt es auch eine Musterlösung, die die Teilnehmer zur richtigen Antwort führt
4. Vollständige Qualitätsprüfung
- 4. Vollständige Qualitätsprüfung – Nachdem alle Fragen und Musterlösungen fertiggestellt sind, erfolgt eine detaillierte Überprüfung der folgenden Punkte:
- 1. Formulierung der Frage
- 2. Frageoptionen (falls vorhanden, z. B. bei Multiple-Choice-Fragen)
- 3. Formulierung der Musterlösung
- 4. Schwierigkeitsgrad der Frage
- 5. Auswahl des Fragetyps
Im Anschluss an diese Schritte bearbeitet die erste Gruppe von Teilnehmern die Fragen auf Deutsch, Französisch und Italienisch auf unserer SCA-App.
Zweiter Zyklus: Formatives Feedback einrichten
Je nach Zeitplan eines Moduls im Jahr 2022 haben wir auch damit begonnen, formatives Feedback für einige Leadership-Module einzurichten. So haben wir bis heute 831 Feedbacks erstellt.
Schauen Sie sich an, wie der erste Zyklus neuer Fragen unseren zweiten Zyklus beeinflusst:
1. Analyse der Antworten der Teilnehmer auf die neuen Fragen
- – Wir analysieren die Leistung der neuen Fragen anhand der Antworten der Teilnehmer
2. Schreiben Sie aussagekräftiges formatives Feedback
- – Basierend auf den Antworten der Teilnehmer schreiben wir 3 Kategorien von Feedback:
- 1. Richtig: Bestätigt, dass die Antworten der Teilnehmer das Lernziel vollständig erfüllt haben
- 2. Falsch: Identifiziert ein Missverständnis in den Antworten der Teilnehmer und ermutigt sie, einen bestimmten Teil des Lerninhalts zu überprüfen, in dem die Antwort zu finden ist
- 3. Halbkorrekt: Es wurde ein Konzept korrekt erwähnt, aber ein anderes Schlüsselelement der Antworten der Teilnehmer fehlte.
- – Je nach Art des E-Tests oder der Bewertung ändert sich der Stil des formativen Feedbacks
- 1. Der Feedback-Stil für die ersten Bewertungsfragen unterscheidet sich vom Feedback der E-Tests und der letzten Bewertung
3. Verknüpfen Sie jede Frage und Feedbackkategorie mit einer Kompetenz
- – Wir stellen sicher, dass jedes Lernziel eines Moduls in den Fragen angesprochen wird
4. Vollständige Qualitätsprüfung
- – Nachdem alle Rückmeldungen vollständig sind, erfolgt eine detaillierte Überprüfung der folgenden Punkte:
- 1. Formulierung des Feedbacks nach semikorrekter und falscher Kategorie
- 2. Feedback-Stil pro Bewertung und E-Test
- 3. Ausgewähltes Lernziel pro Frage und Feedback
5. Eingabe des Feedbacks in Taskbase und Testen des eingerichteten Feedbacks
- – Anhand der Antworten der ersten Gruppe von Schülern trainieren wir die Taskbase-Algorithmen für die Verwendung des beabsichtigten Feedbacks
- – Das Training der Algorithmen stellt sicher, dass die Teilnehmer das richtige Feedback auf der Grundlage ihrer Antworten erhalten.
Nach diesen Schritten sind die Fragen und das formative Feedback für die zweite Gruppe von Schülern bereit.
Wie Sie sehen können, sind die beiden Prozesse eng miteinander verknüpft, wobei der eine den anderen beeinflusst. In beiden Fällen werden die Antworten der Schülerinnen und Schüler als Grundlage für den iterativen Prozess von Fragen und Feedback verwendet. Und schließlich gibt es Qualitätskontrollen, die uns dabei helfen, in allen 3 Sprachen einheitlich hochwertige Inhalte zu liefern.
Bis Mitte 2023 wollen wir den zweiten Zyklus für alle verbleibenden Leadership- und Management-Module abschließen… damit schließt sich der Kreis in beiden Zyklen!
