Lars Balzer, Leiter der Fachstelle Evaluation am Eidgenössischen Hochschulinstitut für Berufsbildung und Prof. Dr. Wolfgang Beywl von der Pädagogischen Hochschule FH Nordwest-Schweiz haben ein Planungsbuch für Evaluationen im Bildungsbereich mit dem Titel „evaluiert“ veröffentlicht. Welche Erkenntnisse kann man daraus für die Gestaltung von Optimierungsprozessen bei der Gestaltung von Bildungsprozessen gewinnen? *
Evaluation gewinnt im Bildungsbereich eine immer größere Bedeutung. Sie kann helfen, Bildungsmaßnahmen, vom Kindergarten über die Schule und Hochschule bis zum betrieblichen Lernen systematisch zu beschreiben und zu bewerten, um eine laufende Verbesserung zu erzielen. Voraussetzung dafür ist, dass relevante und beantwortbare Evaluationsfragen gestellt, entsprechende Evaluationspläne gestaltet, passende Evaluationskriterien festgelegt, die Rahmenbedingungen bei der Umsetzung der Evaluation beachtet, methodische Klippen umschifft, die gewonnenen Daten verarbeitet und die erzielten Ergebnisse zielführend genutzt werden.
Deshalb will dieses Werk einen praxisnahen Leitfaden für die Planung und Durchführung einer Bildungsevaluation bieten, die eine systematische Anleitung zum Erwerb bzw. Ausbau der notwendigen Kompetenzen beinhaltet. Ausdrücklich will das Werk alle Bereiche der Bildung, von der frühen Bildung über die allgemeinbildenden Schulstufen und die grundständige Berufsbildung bis hin zur hochschulischen Bildung sowie der allgemeinen und beruflichen Weiterbildung abdecken. Dabei geht es immer um intentionales, also zielgerichtetes Lernen, das im Rahmen von Programmen stattfindet. Darunter verstehen die Autoren ein beschriebenes und durchgeführtes, intentional aufeinander bezogenes Bündel von Aktivitäten, Interventionen, Maßnahmen, Projekten und Teilprogrammen. Dazu zählen auch beispielsweise Projekt-, Change- und Qualitätsmanagement.
In der betrieblichen Bildung gibt es eine lange Tradition zur Bewertung von Weiterbildungsmaßnahmen mittels Feedback-Bögen, die direkt am Ende der Veranstaltungen von den Teilnehmern ausgefüllt werden. Dass solche „Happyness-Sheets“ nichts, aber auch gar nichts, über den Lernerfolg in der Praxis sagen, ist bekannt, hindert aber die Mehrzahl der Bildungsverantwortlichen nicht daran, sie weiter einzusetzen. Schließlich sind die Ergebnisse im Regelfall gut oder sehr gut, so dass alle Beteiligten zufrieden sein können. Bereits 1959 hat Donald Kirkpatrick ein zwischenzeitlich weit verbreitetes Evaluationsinstrument entwickelt, das neben der Ebene der Zufriedenheit die Verbesserung des Wissens und der Fähigkeiten, aber auch des Verhaltens bzw. Handelns sowie der Veränderungen auf Unternehmensebene mit einbezieht. Entsprechende Evalutionskonzepte werden heute breit eingesetzt.
Im Zuge der Implementierung innovativer, technologiegestützter Lernsysteme auf allen Ebenen, z.B. E-Learning, Blended Learning, Social Learning oder Workplace Learning, gewinnt der Ansatz der Learning Analytics an Bedeutung. Während ihrer Lernprozesse hinterlassen die Lerner in allen ihren Lernprozessen fortlaufend Datenspuren, quasi als Nebenprodukt bei der Nutzung von Web Based Trainings, Lernvideos oder Sozialen Medien. Vor allem in Sozialen Lernplattformen mit E-Portfolios entstehen individuelle, personalisierte Lerndaten, z.B. über erledigte Aufgaben, gelöste Forschungs- oder Praxisherausforderungen, erreichte Kompetenzziele oder über die Kommunikation mit Lernpartnern, Lernbegleitern oder Experten. Learning Analytics kann den Lehrenden, aber vor allem auch den Lernenden in der selbstorganisierten Lernprozess-Optimierung, einen hohen Nutzen bringen. Das System entwickelt individuelle Lernerprofile weiter, analysiert die Kommunikation, insbesondere in sozialen Netzwerken, identifiziert Signale, die auf Erfolge oder Misserfolge hinweisen und gibt damit wertvolle Hinweise für die Gestaltung des persönlichen Lernrahmens. Daraus ergeben sich Chancen für eine Optimierung der selbstorganisierten Lernprozesse durch individuelle, zeitnahe, präzise, kompakte und anschauliche Rückmeldungen zu den einzelnen Lernhandlungen.
Zunächst definieren die Autoren in ihrem Planungsbuch den Begriff der Evaluation, den sie auf das wissenschaftlich abgestützte, systematische Beschreiben und Bewerten, insbesondere von Programmen und Projekten, begrenzen. Diese Bewertung geschieht systematisch, transparent sowie nachvollziehbar und basiert auf Daten und Informationen, die mithilfe sozialwissenschaftlicher Methoden gewonnen werden.
In den einzelnen Kapiteln wird der gesamte Evaluationsprozess in 10 Stufen systematisch beschrieben. Dabei gehen sie von einem Leitbild des Lernens aus, das gelungen ist, wenn ein Individuum sein Wissen und Können erweitert, seine Persönlichkeit entfaltet und seine soziale Integrität erhöht. Lernen erweitert damit „…die Handlungsfähigkeit des Subjektes und damit seine Möglichkeit, ein selbstbestimmtes Leben in der Gesellschaft zu führen. Deshalb kommt der Zielbestimmung der Evaluation eine besondere Bedeutung zu.
Das Werk bietet auf fast 200 Seiten einen sehr fundierten Überblick über den Stand der Theorie und Praxis der Bildungsevaluation. Viele Beispiele und Beschreibungen geben den Gestaltern von formellen Weiterbildungsmaßnahmen vielfältige Hinweise, die sie bei der Planung ihrer eigenen Evaluationsprozesse nutzen können.
Das Planugnsbuch hat dabei den erklärten Anspruch, einen praxisnahen Leitfaden für die Planung und Durchführung einer Bildungsevaluation bieten, die alle Bereiche der Bildung, einschließlich der beruflichen Bildung umfasst. Deshalb ist die Einschränkung auf Evaluationen des intentionalen Lernens im Rahmen von Programmen nicht nachvollziehbar. Gerade in diesem Bereich, aber auch in Konzepten des forschenden Lernens an Hochschulen, schlägt sich der Lernerfolg in der Lösung von, teilweise unerwarteten, Herausforderungen nieder. Im Rahmen der zunehmenden Kompetenzorientierung der Bildung wird dieser Lernbereich immer mehr an Bedeutung gewinnen.
Überwiegend beschäftigt sich das Werk mit der Frage, wie die Lehre in Bezug auf die Wissensweitergabe und der Qualifikation optimiert werden kann; Kompetenzen im Sinne von Selbstorganisationsdispositionen spielen kaum eine Rolle. Die Einschätzung des Transfererfolgs, z.B. von Entwicklungen der Handlungsweisen der Lerner im Forschungsprojekt oder in der Praxis, oder gar der Veränderungen auf Organisationsebene, z.B. in Form höherer Wirtschaftlichkeit, besserer Qualität, aber auch besserer Forschungsergebnisse, wird nur marginal berührt. Dass damit beispielsweise im betrieblichen Lernbereich etwa 90% des Lernens, das in der Kommunikation mit Kollegen und Partnern sowie durch eigenes Bemühen informell erfolgt, nicht evaluiert wird, ist nicht nachvollziehbar. Der Aspekt der Learning Analytics bleibt ebenfalls vollkommen unberührt.
Für den Fall, dass der Leser ein Planungsbuch zur Evaluierung von Seminaren oder Kursen sucht, bietet das Werk eine gute und anschauliche Basis. Sofern er selbstorganisierte Lernprozesse mit dem Ziel des Kompetenzaufbaus bewerten will, wird ihm das Werk keine Hilfe sein. Die Frage, wie informelles Lernen, das am wichtigsten für den Lernerfolg ist, zu evaluieren ist, bleibt unbeantwortet.
Ich hoffe, dass die pädagogische Forschung endlich aus ihrem Elfenbeinturm ausbricht und sich verstärkt dem Lernen, nicht der Lehre, und der Evaluation von selbstorganisierten Lernprozessen widmet. In diesem Bereich besteht erheblicher Forschungsbedarf, der aber voraussetzt, dass man die Lehre nicht mehr als die natürliche Form der Bildung sieht.
*Balzer, L.; Beywl, W. (2015): evaluiert. Planungsbuch für Evaluationen im Bildungsbereich, hep verlag ag, Bern
