Zo meet en weet je wat je talentprogramma oplevert

Stel, je krijgt van je financieel directeur of CFO de vraag: Wat levert ons talentprogramma eigenlijk op? Wat is dan je antwoord? Beslissers willen immers zien wat de impact is en weten wat de financiële waarde is. En dat is nog best lastig.

Misschien ga je iets vertellen over de beoordelingen van de trainingen. Dat de medewerkers het zeer leerzaam en leuk vonden. Of je geeft wat voorbeelden van enkele medewerkers die het in de praktijk toegepast hebben waardoor ze makkelijker hun resultaten behalen. Maar onder de streep blijft het aantonen van de effecten vaag.

Ik was recentelijk bij een bijeenkomst van de Nederlandse Foundation voor Management Development (NFMD). De titel van de bijeenkomst was ‘Effectmeting bij MD programma's’’. Klaas Toes (CEO van het ROI Institute Europe) heeft ons meegenomen om op de cruciale vraag “wat levert training en ontwikkeling op?” een antwoord te vinden.

Besef je als HR- of Talentmanager het volgende: Als leren een waarde heeft, laat deze dan zien. Anders wordt leren en ontwikkelen als kosten beschouwd. En in kosten kun je makkelijk snijden.

Ik wil mijn inzichten en opgedane kennis in deze blog met je delen zodat je zelf de eerste stappen kunt zetten in het kwantificeren van leerinterventies.

Waar begin je met de effectmeting van je talent- of leiderschapsprogramma?

“De deelnemers beoordelen de trainingen gemiddeld met een 8,4!”. Wat is het toch heerlijk als de trainingen door je medewerkers zo goed beoordeeld worden. En wat is het fijn als je dat tegen je interne opdrachtgever kunt zeggen. Er is alleen één probleem met deze evaluaties: over het daadwerkelijk toepassen in de praktijk of de impact op belangrijke KPI’s zegt het niets. En toch is dit de standaard manier om een training te evalueren. Maar hoe dan wel?

Meet de effecten op 5 niveaus

In 1959 publiceerde Donald Kirkpatrick een serie artikelen in de US Training and Development Journal waarin hij vier niveaus van trainingsevaluatie betoogde. Het model van Kirkpatrick betreft de eerste vier niveaus van het onderstaande model en betreft de vier niveaus waarop je een opleiding of training kunt meten en beoordelen. Jack Phillips heeft het model van Kirkpatrick doorontwikkeld en voegde daar later de ‘Return on Investment’ aan toe. Je kunt je effectmeting dus opsplitsen in een ‘ROI on Learning’ en een ‘ROI on Performance’.

 

image

Bron: ROI Institute Europe, 2019

 

Niveau 1 - Leertevredenheid

Dit is het makkelijkst te meten en wordt al jaren als standaard ingezet om trainingen te beoordelen. Je evalueert de reacties van deelnemers aan een trainingsprogramma (hoe vond je de inhoud van de training, hoe vond je de trainer tot en met de kwaliteit van de kroketten en eventuele overnachtingen). Tevens evalueer je op dit niveau ook de bereidheid van de deelnemers om het geleerde toe te passen.

De kritiek om op dit niveau te evalueren is, dat een cijfer niets zegt over het feit of je iets geleerd hebt of niet. Het zijn slechts ‘happy sheets’. Tijdens de lezing schetste Klaas Toes een ander beeld. Vanuit ervaring blijkt het volgende het geval te zijn:

  • Is de tevredenheid > 7 – 7,5 dan is de kans groot dat je iets geleerd hebt.
  • Is de tevredenheid < 7 – 7,5 dan is er een kans dat je niets geleerd hebt.

Is de content van de training nieuw of relevant, dan is de kans dus groot dat mensen iets met het geleerde doen (‘planned action’).

Tip voor de praktijk om op niveau 1 te evalueren: Voeg op de evaluatieformulieren twee extra vragen toe:

  1. Hoe toepasbaar is het geleerde voor jou in de praktijk? [%]
  2. Hoe groot is je intentie om het geleerde in de praktijk toe te passen? [%]

Nu kun je deze 2 vragen al met elkaar combineren en een eerste rekensom genereren:

Een voorbeeld: Ik schat in dat het geleerde voor 40% toepasbaar is in de praktijk en mijn intentie om dit toe te passen in de praktijk is 80%. Dan kunnen we het volgende berekenen:

40% toepasbaarheid x 80% intentie = 32%.

Dat betekent dat de medewerker door deze training 32% beter geworden is. Zo heb je op niveau 1 al een eerste getal en wordt de ‘happy sheet’ meteen een performance voorspeller, ook al is die nog niet heel betrouwbaar.

Niveau 2 - Leeruitkomst

Op dit niveau evalueer je het resultaat van het geleerde, de verworven kennis en/of vaardigheden. Het meest voor de hand liggende is om dit te doen d.m.v. toetsen, rollenspellen, simulaties, groepsevaluaties of andere vormen van assessments. Je wilt immers weten of iemand het geleerde begrepen heeft en in het werk correct toepast. Maar let op: positieve resultaten zijn nog geen garantie dat je deelnemers het geleerde toepassen in de praktijk.

Maar hoe doe je dat nu in een talent- of leiderschapsprogramma? Je wilt mensen geen formele toets voorleggen die wat schools aanvoelt. Maar je wilt wel weten hoeveel procent iemand beter geworden is betreffende de trainings- of opleidingsleerdoelen.

Tip voor de praktijk om op niveau 2 te evalueren:

Neem de leerdoelen van de training op in je evaluatieformulier. Vraag de medewerkers om subjectief per leerdoel hun persoonlijke groei te kwantificeren.

Een voorbeeld: Geef de mate aan (op een schaal van 0 - 100%) waarin je na afloop van de training beter feedback kunt geven door het toepassen van het feedbackmodel in een 1-op-1 gesprek.

Natuurlijk blijft het zeer subjectief maar het helpt je om het leerrendement te kwantificeren. En als de resultaten laag zijn, kun je hierover in gesprek gaan met de deelnemers en de trainer.

Niveau 3 – Leertoepassing

“The moment when the rubber meets the road” oftewel, leidt de training tot aantoonbaar ander gedrag bij de deelnemers op de werkvloer? En in welke mate worden de verworven kennis, de nieuwe competenties of het geleerde gedrag toegepast? Daarnaast wil je ook weten wat het verschil is ten opzichte van vóór de start van je talent- of leiderschapsprogramma. Niveau 3 is de eerste effectmeting in de praktijk.

Vraag deelnemers om het regelmatig  bij te houden. En help je medewerkers hierbij door gestandaardiseerde vragenlijsten. Via verschillende apps op de smartphone kun je dat bewerkstelligen.

Niveau 4 – Business Impact

Business impact is de Nr. 1 meting die CEO’s graag willen zien (96%), maar slechts 8% van de CEO’s zien een directe business impact van hun organisaties L&D programma’s.
(bron: ROI Institute, Inc.)

Vanaf niveau 4 wordt het interessant voor je directie. Niveau 4 evalueert de business impact als gevolg van je talent- of leiderschapsprogramma. Je wilt immers dat de deelnemers na afloop van het programma impact hebben op belangrijke organisatiedoelstellingen. Is bijvoorbeeld de retentie van key medewerkers verbeterd? Is de klanttevredenheid gestegen?

Als de deelnemers het geleerde in de praktijk brengen, hier bewust mee bezig zijn en nieuwe betere gewoontes ontwikkelen, worden hierdoor belangrijke bedrijfsdoelstellingen positief beïnvloed.  

Wie in mensen investeert bouwt aan zijn bedrijf

Als er sprake is van een positieve impact komt snel de vraag: Hoe kunnen we er zeker van zijn dat dat door het programma komt? Of hoeveel van de verbeteringen op een bepaald gebied zijn aan het programma toe te schrijven? Best een complexe taak!

Isoleer op niveau 4 de opleidingseffecten t.o.v. andere effecten zoals het invoeren van nieuwe systemen, processen, incentives, aandacht van het MT/DT en andere externe factoren. Dat is noodzakelijk om de effecten te kunnen bepalen.

Tip voor de praktijk om op niveau 4 te evalueren:

Hieronder twee vragen die je in de effectmeting mee kunt nemen om de business impact in kaart te brengen:

  • “Welke voor jouw belangrijke KPI werd door dat wat je geleerd hebt in het opleidingsprogramma positief beïnvloed?
  • Geef de mate aan [%] waarin je KPI verbeterde.

Niveau 5 – Leerrendement - ROI

ROI is de Nr. 2 meting die CEO’s willen weten (74%).
Slechts 4% van de CEO’s zien op dit moment een ROI van hun organisaties L&D programma.
(bron: ROI Institute, Inc.)

Niveau 5 is het hoogste niveau van de effectmeting en kwantificeert de kosten en baten van je talent- of leiderschapsprogramma. Het vraagt veel denkwerk, voorbereiding en het verzamelen van data.

Als je op het niveau van business impact en ROI de effecten wilt berekenen, moeten ook de ertussen liggende niveaus geëvalueerd worden. Als je niet op elk niveau meet kun je moeilijk concluderen dat eventuele effecten in de business het gevolg zijn van het talentprogramma.

Maar ook voor jezelf als HR-professional, met elk niveau dat je bij je evaluatie betrekt, win je meer informatie over je eigen talent- of leiderschapsprogramma en hun impact op belangrijke bedrijfsdoelstellingen. Misschien heb je aan het einde van niveau 5 (ROI) geen percentage staan. Maar heb je op weg ernaartoe wel veel informatie verzameld om de vraag te kunnen beantwoorden “wat levert ons talentprogramma eigenlijk op?”.

Blijft nog dé afsluitende vraag: wat levert een leiderschapsprogramma gemiddeld op? Is er nou een antwoord op? Klaas Toes gaf aan dat alle ROI berekeningen in de afgelopen jaren waarden tussen 100% en 300% opgeleverd hebben, mits je het op de juiste manier ingestoken hebt. Dat betekent dat elke geïnvesteerde euro terugverdiend werd en er bovenop 1 tot 3 euro extra opgeleverd hebben. Daarmee is investeren in leiderschap een van de beste investeringen die je als bedrijf kunt doen.

Wil je meer weten over de succesfactoren van een talentprogramma? Download dan onderstaand white paper.

White paper talentprogramma

  • Een gewoonte kan je niet uit het raam gooien, je moet ze stap voor stap van de trap leiden - Mark Twain
  • Geef zelf vorm aan je leven; doe dingen niet omdat het zo hoort.
  • Verbinding maken met je kern en van daaruit creëren is zowel voor jou als je omgeving het beste dat je te bieden hebt.
  • Als je doet wat je leuk vindt en waarin je gelooft, hoef je nooit meer te werken.
  • Spelende kinderen zijn nieuwsgierig, avontuurlijk en veerkrachtig en hebben het vermogen tot verrassende inzichten te komen. Dat vermogen is er nog steeds, in ieder van ons.
  • Verbinding maken met je kern en van daaruit creëren is zowel voor jou als je omgeving het beste dat je te bieden hebt.
  • Als je doet wat je leuk vindt en waarin je gelooft, hoef je nooit meer te werken.
  • De meest inspirerende leiders zijn niet bewust bezig om te inspireren.
    Ze doen gewoon dat waar hun hart ligt, waar ze in geloven
    - Lenette Schuijt