All’inizio del 2022 ci siamo proposti di:
1. migliorare la qualità delle domande poste ai partecipanti durante i nostri moduli di Leadership e Management
2. standardizzare il feedback formativo ricevuto dopo aver risposto a tali domande.
Ad oggi, abbiamo scritto un totale di 2415 nuove domande e impostato 831 feedback individuali!
Di seguito, siamo lieti di condividere con voi un riepilogo dei nostri 2022 risultati ottenuti in collaborazione con Taskbase, Sophie Hautbois, i formatori SCA e i nostri team SCA Learning & Development e AI Development.
Primo ciclo: Nuove domande
Entro la fine del 2022, tutti i moduli di Leadership e Management di SCA avranno nuove domande, per un totale di 2415 domande in tedesco, francese e italiano.
Grazie alla creazione di questo volume di nuove domande, il primo ciclo del nostro processo funziona come una macchina (virtuale) ben oliata:
1. Analisi delle risposte degli studenti alle domande attuali
- – Per ogni modulo, analizziamo la formulazione delle domande attuali, il livello di difficoltà e le risposte dei partecipanti.
- – In base all’analisi, decidiamo di mantenere, riformulare o scartare una domanda.
2. Distribuire i livelli di difficoltà delle domande su 3 livelli
- – Il 25% di tutte le domande dei moduli è scritto secondo la tassonomia di Bloom al livello “Ricordare” (livello 1).
- – Il 35% raggiunge il livello “Comprendere” (livello 2).
- – Il 45% di tutte le domande richiede agli studenti di “Applicare” (Livello 3).
- – il livello di difficoltà di ogni domanda è legato ai punti per domanda, che vanno da 10 punti per il Livello 1 a 30 punti per il Livello 3.
3. Scegliere il tipo di domanda in base al contenuto, scrivere nuove domande e trovare soluzioni di esempio.
- – Il tipo di domanda migliore viene selezionato in base al contenuto della domanda, che varia tra:
- 1. Scelta multipla: soluzione singola o soluzioni multiple
- 2. Cloze: soluzioni a tendina o risposte con parole chiave
- 3. Corrispondenza: assegnare un termine a una definizione o ordinare un processo.
- 4. Aperta: risposta per parola chiave o per frase intera.
- – Ogni domanda è scritta sulla base delle linee guida per le domande SCA che delineano le migliori pratiche per ogni tipo di domanda.
- – Per ogni domanda, includiamo anche un esempio di soluzione che guida i partecipanti alla risposta corretta.
4. Controllo qualità completo
- – Dopo che tutte le domande e le soluzioni campione sono state completate, viene effettuata una revisione dettagliata di quanto segue:
- 1. Formulazione della domanda
- 2. Opzioni della domanda (se esistono, ad esempio, domande a scelta multipla).
- 3. Formulazione della soluzione di esempio
- 4. Livello di difficoltà della domanda
- 5. Selezione del tipo di domanda
Seguendo questi passaggi, il primo gruppo di partecipanti risponde alle domande in tedesco, francese e italiano sulla nostra app SCA.
Secondo ciclo: Impostazione del feedback formativo
A seconda del programma di un modulo nel 2022, abbiamo iniziato a impostare il feedback formativo per alcuni moduli della Leadership. Grazie a ciò, ad oggi abbiamo impostato 831 feedback.
Guardate come il primo ciclo di nuove domande informa il nostro secondo ciclo:
1. Analisi delle risposte dei partecipanti alle nuove domande
- – Analizziamo le prestazioni delle nuove domande in base alle risposte dei partecipanti.
2. Scrivere un feedback formativo significativo
- – Sulla base delle risposte degli studenti, scriviamo 3 categorie di feedback:
- 1. Corretto: conferma che le risposte degli studenti soddisfano pienamente l’obiettivo di apprendimento.
- 2. Errato: ha identificato un malinteso nelle risposte dei partecipanti e li ha incoraggiati a rivedere una parte specifica del contenuto didattico in cui si trova la risposta.
- 3. Semi-corretto: ha chiarito che un concetto è stato menzionato correttamente, ma che mancava un altro elemento chiave delle risposte degli studenti.
- – In base al tipo di test elettronico o di valutazione, lo stile di feedback formativo cambia
- 1. Lo stile di feedback per le prime domande di valutazione è diverso da quello degli e-test e dell’ultima valutazione.
3. Collegare ogni domanda e categoria di feedback a una competenza
- – Assicuriamo che ogni obiettivo di apprendimento di un modulo sia affrontato nelle domande.
4. Controllo qualità completo
- – Dopo aver completato tutti i feedback, si procede a una revisione dettagliata di quanto segue:
- 1. Formulazione del feedback per categoria semi-corretta e sbagliata.
- 2. Stile del feedback per valutazione e test elettronico
- 3. Obiettivo di apprendimento selezionato per domanda e feedback
5. Inserimento del feedback in Taskbase e test del feedback impostato
- – Utilizzando le risposte del primo gruppo di studenti, addestriamo gli algoritmi di Taskbase a utilizzare il feedback previsto.
- – L’addestramento degli algoritmi assicura che i partecipanti ricevano il giusto feedback in base alle loro risposte.
Seguendo questi passaggi, le domande e il feedback formativo sono pronti per il secondo gruppo di studenti.
Come si può vedere, i due processi sono strettamente collegati e uno informa l’altro. Inoltre, ci basiamo sempre sui dati per prendere decisioni informate; in entrambi i casi utilizziamo le risposte degli studenti come base per i processi iterativi di domande e feedback. Infine, sono in atto controlli di qualità per aiutarci a fornire contenuti di alta qualità in modo coerente nelle tre lingue.
Entro la metà del 2023, ci proponiamo di completare il secondo ciclo per tutti i restanti moduli di Leadership e Management… portando a compimento entrambi i cicli!
