Evaluation – was wollen wir eigentlich messen?

Das Buch von Stefan Rädiker „Evaluation von Weiterbildungsprozessen“ hat mich zum Nachdenken über  die Messung unserer Lernprozesse angeregt. Dr. Stefan Rädiker war bis August 2013 wissenschaftlicher Mitarbeiter der Marburger Arbeitsgruppe für Methoden & Evaluation (MAGMA) an der Philipps-Universität Marburg. Er beschäftigt sich seit mehreren Jahren mit der computergestützten Analyse qualitativer Daten und hat mehrere Publikationen zur qualitativen und quantitativen Sozialforschung verfasst.

Die Evaluation von Bildungsprozessen war schon immer ein wesentlicher Bestandteil professionellen pädagogischen Handelns.  Organisationen sollen veranlasst werden, systematischer und reflektierter als bisher mit ihrer Evaluationspraxis, insbesondere mit ihren Evaluationsinstrumenten und Verfahren und den evaluierten Gegenständen, auseinanderzusetzen und diese bei Bedarf in Hinblick  zu verbessern bzw. zu verändern. Bereits in der Einführungsphase dieses Evaluationssystems zeigen sich typische Schwierigkeiten: Es können Widerstände bei Teilnehmenden, Lehrenden und Beschäftigten auftreten; es können sich zahlreiche Fragen zur methodischen Umsetzung stellen; es könnte sich ein geringer praktischer Nutzen der Evaluation herausstellen und die Organisationen könnten mit „Datenfriedhöfen“ zu kämpfen haben.

Rädiker geht von folgender Definition aus: „ Evaluation ist eine Beschreibung und kriteriengestützte Bewertung eines konkreten Gegenstandes anhand systematisch erhobener qualitativer und/oder quantitativer Daten.“

Von pädagogischer Forschung unterscheidet sich die Evaluation in folgenden Punkten:

• Während Forschung vorrangig die allgemeine Wissensgewinnung, Theoriebildung und Theorieüberprüfung zum Ziel hat, steht bei Evaluationen meist die direkte Verbesserung  der konkreten Bildungspraxis im Vordergrund.
• Evaluation ohne Nutzung ist wertlos. Im Rahmen von Evaluationen wird häufig bereits zu Beginn die Ergebnisnutzung antizipiert, um den gesamten Evaluationsprozess auf die geplante Nutzung hin zu fokussieren.
• Jede Evaluation beinhaltet eine Bewertung.
• Der Kontext von Evaluationen ist häufig „politisch sensibel“, da sie  Entscheidungen vorbereiten und über den Fortbestand eines Bildungsprogramms entscheiden können.

Jede Evaluation liefert damit Wissen und Erkenntnisse, z.B. um rationale Entscheidungen treffen zu können: Hat der Programmablauf reibungslos funktioniert? Haben die Maßnahmen die Zielgruppen erreicht? Wie groß ist die Akzeptanz des Programms? Welche Beiträge hat das Programm zur Zielerreichung beigetragen?

Die Evaluation dient insbesondere der Überprüfung, ob die anvisierten Ziele erreicht wurden. Mit jeder Evaluation ist direkt oder indirekt eine Form von Kontrolle verbunden, weil Evaluationen beispielsweise offen legen, ob alle an einem Programm Beteiligten ihre Aufgaben erfüllen, ihre Kompetenzen ausreichen etc. Diese Befunde können genutzt werden, um das Programm zu optimieren und weiterzuentwickeln. In diesem Fall stehen Entwicklungs‐ und Lernprozesse im Vordergrund. Die im Rahmen einer Evaluation gewonnenen Erkenntnisse und Ergebnisse einer Kontrollüberprüfung können gegebenenfalls zusammen mit Belegen der durchlaufenen Entwicklung dazu dienen, die durchgeführte Arbeit zu legitimieren. Programmverantwortliche können mithilfe der Evaluation nachweisen, welcher Output mit welchen Vorgehensweisen und mit welchem Input erreicht wurde. In Zeiten von Finanzkrisen und knapper werdenden öffentlichen Kassen nimmt dieser Zweck eine zunehmend prominente Rolle ein.

Rädiker grenzt den Begriff der Weiterbildung auf formelles Lernen im Sinne des Deutschen Bildungsrates ein: „Fortsetzung oder Wiederaufnahme organisierten Lernens nach Abschluß einer unterschiedlich ausgedehnten ersten Ausbildungsphase“. Die verstärkt diskutierten Formen des informellen Lernens und des Selbstlernens werden nur berücksichtigt, wenn sie unter Organisation und Betreuung durch eine Weiterbildungsorganisation stattfinden und nicht gänzlich selbstorganisiert sind. Damit wird leider die mit – je nach Studie – mit 70 bis 90 Prozent wichtigste betriebliche Lernform außer Acht gelassen, ohne diese Einschränkung wirklich zu begründen.

Rädiker unterscheidet vier Dimensionen des Weiterbildungsprozesses:

1. Eine Dimension des Lernens: Aneignen von Wissen, Fertigkeiten und Haltungen,
2. eine des Lehrens: Alle Aspekte, welche die Lehrpersonen und ihr Lehrhandeln betreffen,
3. eine der Lerninfrastruktur: Räume, Mobiliar, aber auch auf die eingesetzten Lernmaterialien und Medien,
4. eine der Lernorganisation: Anmeldung und Beratung, die Information der Teilnehmenden im Vorfeld sowie die gesamte Kommunikation mit den Teilnehmenden außerhalb des direkten Lehr‐Lern‐Settings

Neben diesen vier Dimensionen ist zu berücksichtigen, dass Bildungsprozesse in ein Systemumfeld von Bildungscontrolling, Arbeitsmarkt, Bildungspolitik, Kundenbedürfnissen, Vorgaben des Auftraggebers etc. eingebettet sind.

Grundsätzlich kann die Evaluation der Weiterbildung auf folgenden Ebenen ansetzen:

• Weiterbildungslandschaft: Wirksamkeit von Weiterbildung, z.B. Bildung von Humankapital
• Weiterbildungsorganisation: Verbesserung der Organisationsabläufe, d.h. Strukturen und Prozesse, Programmentwicklung, Kompetenz und Entwicklung der Mitarbeiter, Organisationsentwicklung, Innovation, Infrastruktur, finanzielle Ressourcen
• Weiterbildungsprozess: Optimierung einer Bildungsveranstaltung, d.h. Inhalte, Didaktik, Interaktionen, Rahmenbedingungen, Ergebnisse, Transfer und Wirkungen

Ausführlich diskutiert Rädiker verschieden Evaluationskonzepte in der Literatur, insbesondere auch von Kirkpatrick D. und Kirkpatrick, J.. Die vier Ebenen Zufriedenheit und Lernerfolg/Wissen/Können am Ende eines Kurses sowie Lerntransfer und Lernergebnisse im Anschluss eines Kurses bauen nicht zwangsläufig aufeinander auf.

Meta‐Studien konnten nachweisen, dass zwischen der Zufriedenheit am Ende eines Kurses und dem Lernerfolg kein Zusammenhang bestehen muss (vgl. Alliger & Janak, 1989; Gessler & Sebe‐Opfermann, 2011). Man kann auch erfolgreich lernen und dabei unzufrieden sein – und umgekehrt.

Das Werk von Stefan Rädiker ermöglicht einen sehr fundierten und verständlichen Einblick in die wesentlichen theoretischen Grundlagen der Evaluation in der Weiterbildung. Die Reflexion der Ergebnisse aus der empirischen Analyse vor dem Hintergrund der theoretischen Ausführungen gibt auch Praktikern wertvolle Hinweise für ihre Evalutionsprojekte.

Sehr schade finde ich, dass sich Rädiker in seinen Ausführungen, ohne dies wirklich zu begründen, ausdrücklich auf organisiertes Lernen beschränkt. Nachdem sich die Erkenntnis immer mehr durchsetzt, dass wir uns in der betrieblichen Bildung vor allem auf die Ermöglichung informeller Lernprozesse, z.B. im Rahmen von Konzepten des Workplace Learning, konzentrieren müssen, ist diese Ausklammerung des mit Abstand wichtigsten Lernbereiches unverständlich. Deshalb ist dieses Werk leider nur für Bildungsanbieter empfehlenswert, die sich nach wie vor auf organisierte, formelle Lernprozesse beschränken.  Hoffen wir, dass sich solche Studien zukünftig auf den wesentlichen Bereich des betrieblichen Lernens, das Lernen im Arbeitsprozess und im Netz, konzentrieren.