Weiterbildungsmaßnahmen führen idealerweise zu Kompetenzzuwächsen bei den Mitarbeitenden. Doch wie kannst du Lerneffekte konkret messen? Das Learning Transfer Evaluation Model hilft dir, den Erfolg von Weiterbildungen zu ermitteln.
Jede Weiterbildungsmaßnahme zieht monetär messbare Effekte nach sich, die sich mit der ROI-Formel abbilden lassen. Konkrete Lerneffekte, wie Kompetenzzuwächse bei den Mitarbeitenden, eine verbesserte Stimmung der Belegschaft oder auch die Wettbewerbsfähigkeit des Unternehmens lassen sich dagegen nur schwer bis gar nicht monetär beziffern.
Trotzdem kannst du sie in deinem Unternehmen messen – und das solltest du auch!
Denn dadurch lassen sich entscheidende Einsichten dazu gewinnen, ob und inwiefern die Weiterbildungsmaßnahmen auf die strategischen Ziele des Unternehmens einzahlen.
Aber wie und wo fängt man an? Orientierung und Übersicht liefert das Learning Transfer Evaluation Model von Will Thalheimer von 2018. Es ist eine Weiterentwicklung des Kirkpatrick-Katzell-Modells aus den 1950er Jahren.
{{blog-highlight-box-de-kirkpatrick-katzell-modell="/custom-rich-text"}}
{{blog-cta-ltem-handbook-return-on-learning-de="/custom-rich-text"}}
Lernerfolg messen mit dem Learning Transfer Evaluation Modell (LTEM)
Das Learning Transfer Evaluation Model (LTEM) bietet dir eine hilfreiche Übersicht darüber, welche Kennzahlen, quantitativen und qualitativen Evaluationskonzepte du in welchen Phasen des Lernprozesses nutzen kannst, um fundierte Rückschlüsse über den Return on Learning im Sinne der Lerneffekte für Mitarbeitende zu erhalten.
Thalheimer unterteilt den Lernprozess in insgesamt acht Phasen. Für jede Phase hat er eigene Bewertungskategorien geschaffen. Ähnlich dem Kirkpatrick-Katzell-Modell wird die Erfolgsmessung mit jedem Level komplexer und die Aussagekraft bezüglich der Lerneffekte steigt.
Im Vergleich zum Kirkpatrick-Katzell-Modell stellt das LTEM allerdings noch eine detailliertere und umfassendere Methode zur Messung der Wirksamkeit von Schulungen dar.
So misst du Lerneffekte in acht Phasen
Die ersten vier Phasen beziehen sich auf den Umgang der Lernenden mit den Lernmaterialien. Messungen dienen weniger der Bewertung des Lernens, sondern liefern vor allem wichtige Informationen zu Motivation, Interessen und der Qualität des Lernprogramms.
Erst ab Phase 5 können Messungen Kompetenzzuwächsen ermitteln und fundierte Rückschlüsse auf die Wirksamkeit des Lernens liefern. Für die ersten fünf Level können Lernplattformen hilfreiche Daten liefern, für die letzten drei sind die L&D-Teams selbst gefordert, Daten durch qualitative Befragungen, quantitative Umfragen oder Beobachtungen zu sammeln.
{{blog-tabelle-ltem-phasen="/custom-rich-text"}}
1. Teilnahme
Die reine Teilnahme an Lernangeboten liefert zwar noch keine Erkenntnisse über den tatsächlichen Lernerfolg, sie ist jedoch ein wichtiger Indikator für „Lernappetit”. Dies ist insbesondere dann relevant, wenn Lernen keine Pflichtaufgabe ist (wie bei Pflichtschulungen zum Datenschutz oder zu Compliance), sondern auf freiwilliger Basis abläuft.
{{blog-highlight-box-de-ltem-teilnahme="/custom-rich-text"}}
2. Engagement
In der Phase des Engagements wird untersucht, wie aufmerksam Lernende an Schulungen teilnehmen. Im Seminarraum können Lehrende einschätzen, ob die Teilnehmenden der Schulungen aufmerksam folgen (und Fragen stellen). Beim Online-Lernen können alternative Indikatoren sein, ob Lernende Teile der Lektionen überspringen, auf Links aus den Lektionen klicken oder angebotene Sekundärmaterialien herunterladen.
{{blog-highlight-box-de-ltem-engagement="/custom-rich-text"}}
3. Bewertung
Wie bewerten Lernende die Inhalte? In Umfragen lässt sich erstens ermitteln, ob ihnen der Kurs prinzipiell gefallen hat und ob sie diesen weiterempfehlen würden.
Thalheimer weist jedoch darauf hin, dass gut bewertete Kurse nicht automatisch auch solche sind, die die Lernenden im Arbeitsalltag auch tatsächlich weiterbringen. Zweitens sollten Lernende deshalb dazu befragt werden, ob sie dem Kurs inhaltlich folgen konnten und ob sie glauben, dass ihnen der Inhalt in ihrem Arbeitsalltag weiterhelfen wird. Online-Lernplattformen können die Wahrnehmung kontinuierlich auswerten und Lernenden daraufhin relevante Anschlusskurse vorschlagen.
{{blog-highlight-box-de-ltem-bewertung="/custom-rich-text"}}
4. Wissensaufnahme
Können Wissen und Terminologien im Anschluss an den Kurs abgerufen werden und sind sie auch nach längerer Zeit noch präsent? Wissensabfragen dienen der Kontrolle der Wissensaufnahme. Sie erzielen in der Regel die besten Lerneffekte, wenn die Fragen weder zu schwer, noch zu leicht sind (mehr zum Yerkes-Dodsen-Effekt in unserem Trend-Report). Lernplattformen haben gegenüber Präsenzschulungen den Vorteil, dass Kurse und Wissensabfragen nach längerer Zeit zur Auffrischung wiederholt werden können, da sie prinzipiell flexibel von überall und zu jeder Zeit aufrufbar sind.
{{blog-highlight-box-de-ltem-wissensaufnahme="/custom-rich-text"}}
5. Entscheidungskompetenz
Im Gegensatz zum Rezitieren von Wissen setzt die Entscheidungskompetenz voraus, dass das Gelernte auch verstanden wurde und ein Transfer auf neue, unbekannte Situationen und Szenarien möglich ist.
Für Thalheimer ist die Überprüfung der Entscheidungskompetenz besonders relevant: Ob Schulungen tatsächlich einen Effekt in der Praxis haben oder nicht, zeigt sich daran, inwiefern Lernende tatsächlich andere Entscheidungen im Arbeitsalltag treffen als vorher.
{{blog-highlight-box-de-ltem-entscheidungskompetenz="/custom-rich-text"}}
6. Aufgabenkompetenz
Anhand der Aufgabenkompetenz zeigt sich, inwiefern Lernende nicht nur eine bestimmte Entscheidung richtig treffen, sondern selbstständig durch ein ganzes Szenario führen können. Thalheimer erläutert das am Beispiel von Führungsschulungen: Es geht nicht mehr nur um die Frage, ob eine Vorgesetzte ihr Team in eine strategische Entscheidung mit einbezieht oder nicht. Ausschlaggebend ist vielmehr, wie die Führungskraft zu dieser Entscheidung kommt und wie sie sie umsetzt. Zur Ermittlung der Aufgabenkompetenz braucht es Kolleg:innen, Mentor:innen, Dozent:innen oder Vorgesetzte, die die qualitative Beantwortung der Aufgaben sinnvoll auswerten können, unter anderem beispielsweise anhand von Hausaufgaben.
{{blog-highlight-box-de-ltem-aufgabenkompetenz="/custom-rich-text"}}
7. Transfer
Transfer bedeutet, dass Lernende ihr Wissen im realen Kontext anwenden können. Thalheimer weist darauf hin, dass dies das Arbeitsumfeld, aber auch Anwendungsbereiche außerhalb der Arbeit betreffen kann. Unternehmen sollten beide Formen des Wissenstransfers berücksichtigen. Wenn Lernende ihr erworbenes Wissen auch außerhalb der Arbeit nützlich anwenden, wird dies zu größerer Wertschätzung des Arbeitgebers und höherer Mitarbeiterbindung führen.
Die Anwendung erlernten Wissens geschieht per se außerhalb einer Lernplattform und lässt sich durch Beobachtungen, Selbsteinschätzungen und qualitative Erhebungen ermitteln.
{{blog-highlight-box-de-ltem-transfer="/custom-rich-text"}}
8. Transfereffekt
Im Transfereffekt wird die Wirkung eines veränderten Verhaltens untersucht. Ein Beispiel: Eine Führungskraft setzt einen neuen Ansatz zur Feedbackkultur im Team um. Der Wissenstransfer findet statt, die neue Methode wird angewendet.
Zu welchen positiven oder negativen (wirtschaftlichen oder sozialen) Effekten im Team oder Unternehmen dies führt, lässt sich in Beobachtungen, in Gesprächen zwischen Führungskraft und Mitarbeitenden oder in Umfragen erfassen. Dies lässt wiederum auch Rückschlüsse auf die Qualität der Lerninhalte zu – ein nicht zu unterschlagener Aspekt. Schließlich können qualitativ mangelhafte Lerninhalte auch zu keinen bzw. negativen Effekten führen, sei es durch Opportunitätskosten oder einer Verschlechterung der Feedbackkultur durch die erlernten Methoden.
LTEM in der Praxis: So solltest du das Learning Transfer Evaluation Model einsetzen
Das LTEM ist ein Fahrplan, um herauszufinden, wo Personaler:innen in Bezug auf die Lernevaluation stehen und fehlende Phasen zu identifizieren, in denen Evaluationen strategisch sinnvoll sind.
Es dient dir gewissermaßen als Karte für deine Trainingslandschaft und kann dir Orientierung bieten, damit du an den für dein Unternehmen relevanten Stellen die richtigen Evaluationsmethoden findest.
E-Learning-Anbieter, wie Masterplan, bauen bereits Bewertungen und Evaluationen in ihre Lernlösungen ein (insbesondere in den LTEM-Stufen 1 bis 4) und liefern L&D Manager:innen auf diese Weise passgenaue Reports mit wichtigen Insights zum Lernverhalten ihrer Mitarbeitenden.
{{blog-cta-ltem-interview-anke-wygold-de="/custom-rich-text"}}
Lernanbieter profitieren davon ebenfalls und können ihr Angebot auf Basis dessen kontinuierlich verbessern. Auf diese Weise wird der Grundstein für Lernerfolge gelegt.
Vertiefende Evaluierungsmethoden in den Phasen 6 bis 8 eignen sich vor allem, um den Return on Learning bei strategisch wichtigen, kostenintensiven und über viele Jahre hinweg eingesetzten Lernmaßnahmen zu ermitteln.
Durch ein systematisches Bildungscontrolling lässt sich sicherstellen, dass die Maßnahme tatsächlich auf die strategischen Ziele einzahlen.
Manfred Rump
