At Swiss Connect Academy, we value learnings that result from pilot projects. They offer insights into unforeseen opportunities, contribute to new standards and deepen working relationships. The AI Development team collaborated with Taskbase on two pilot projects between 2021 and 2022. Below we invite you to read about their objectives and key takeaways – or as we like to call them experiences gained!
Progetto pilota n. 1: fornire agli studenti domande per allenare l’autoconsapevolezza
Abbiamo iniziato a fornire ai partecipanti 75 nuove domande per il primo modulo del nostro corso sulla leadership: Consapevolezza di sé. Un modulo che consente agli studenti di interrogarsi criticamente, di riconoscere come i loro atteggiamenti e valori influenzino i loro comportamenti e decisioni manageriali e di identificare le aree di sviluppo professionale individuale.
Abbiamo raggiunto gli obiettivi del nostro primo progetto pilota attraverso:
1. Assegnando 3 livelli di difficoltà a tutte le domande.
Ciò significa che il 25% di tutte le domande del modulo sono state scritte secondo la Tassonomia di Bloom sul “Ricordare” (Livello 1); il 35% raggiunge il “Comprendere” (Livello 2); infine, il 45% di tutte le domande richiede agli studenti di “Applicare” (Livello 3). Questo ci ha permesso di garantire una gamma coinvolgente di domande di alta qualità che si concentrano anche sull’applicazione delle competenze apprese dagli studenti. Inoltre, la difficoltà di ogni livello di domanda è direttamente correlata ai punti per domanda, che vanno da 10 punti per le domande di livello 1 a 30 punti per quelle di livello 3.
2. Variazione di 4 tipi di domande, con esempi di soluzioni, nel corso del modulo.
Per promuovere le capacità di pensiero multi-logico degli studenti, abbiamo diversificato i tipi di domande tra
- i. Scelta multipla: soluzione singola o soluzioni multiple
- ii. Cloze: soluzioni a discesa o risposte con parole chiave
- iii. Corrispondenza: assegnare un termine a una definizione o ordinare un processo
- iv. Aperta: risposta per parola chiave o per frase intera.
Infine, dopo aver completato una domanda, i partecipanti possono rivedere un esempio di soluzione per supportare la loro comprensione dell’obiettivo di apprendimento.
3. Incoraggiare i partecipanti a ripetere tutti gli e–test e la valutazione sommativa.
Abbiamo creato uno spazio sicuro in cui i partecipanti potessero rivedere e mettere in pratica le nuove competenze, anziché “testare” le loro conoscenze.
Progetto pilota n. 2: fornire un feedback formativo immediato per tutti i tipi di domande
Once the first group of students successfully completed the Self-Awareness module, we were eager to set up the feedback for the second group.
Gli obiettivi del nostro secondo progetto pilota sono stati raggiunti attraverso:
1. Creare un feedback basato su centinaia di risposte
Il feedback ha riguardato 3 categorie di risposte:
- i. corrette: confermavano che le risposte degli studenti soddisfacevano pienamente l’obiettivo di apprendimento
- ii. non corrette: identificavano un malinteso nelle risposte dei partecipanti e li incoraggiavano a rivedere una parte specifica del contenuto didattico in cui si trovava la risposta
- iii. semi-corretto: ha chiarito che un concetto è stato menzionato correttamente, ma che mancava un altro elemento chiave delle risposte degli studenti.
The learning value for students is especially relevant in Cloze and Open questions where the AI system identified appropriate feedback based on students’ freely written text answers.
2. Collegare 3 tipi di feedback agli obiettivi di apprendimento dell’autoconsapevolezza per calcolare la padronanza
Collegando tutti i feedback agli obiettivi di apprendimento, l’algoritmo è stato in grado di calcolare i livelli di padronanza degli studenti per ogni obiettivo di apprendimento. Man mano che i partecipanti progrediscono nel modulo, esercitano diverse competenze. Nella valutazione sommativa, l’algoritmo mette alla prova gli studenti in base ai loro livelli di padronanza per ogni competenza, per determinare se hanno raggiunto una padronanza soddisfacente di ciascuna. Il valore dell’apprendimento per gli studenti comprende
– garantire la copertura di tutti gli obiettivi di apprendimento
– ricevere il giusto feedback in base alle risposte
– porre domande che mettano alla prova le capacità dei partecipanti al giusto grado senza sovraccaricarli con domande troppo difficili a cui non possono rispondere in base al loro attuale livello di padronanza.
Esperienze acquisite da entrambi i progetti pilota
Undoubtedly, developing an AI system that accurately responds to participants’ answers requires a considerable amount of initial human interaction. Next to this, we gained valuable experiences in the following:
1. scelta del tipo di domanda migliore per il contenuto della domanda
2. scrivere domande coinvolgenti basate su 3 livelli di difficoltà per tutto il modulo
3. scrivere 3 tipi di feedback costruttivi e significativi e soluzioni di esempio
4. basare la scrittura del feedback sulle risposte previste e reali degli studenti
5. collegare ogni domanda e feedback a una competenza
6. testing and adjusting the AI system with existing and anticipated students’ responses to provide a pleasant learning experience
The learnings from our pilot projects strongly influenced the evidence-based processes we use to write new questions and feedback. Most importantly, we are well underway to ensuring all modules at Swiss Connect Academy have high-quality questions with AI feedback capabilities for all question types.
