Impact onderzoeken in 9 stappen

Nadat je het doel van je impactonderzoek hebt vastgesteld, kun je verder met stap 2, het impactonderzoek. Impactonderzoek is dé manier om scherp in beeld te brengen wat voor impact jouw organisatie heeft, en of je jouw impactdoelen bereikt. In deze blog leggen we je uit hoe je je impact onderzoekt in 9 stappen.

De Theory of Change

Wanneer wij een impactonderzoek uitvoeren, werken we vaak met de zogeheten Theory of Change. Dit is een instrument waarbij je stapsgewijs de oorzakelijke relatie tussen jouw activiteiten en je beoogde impact aan elkaar verbindt. Dat doe je op basis van aannames – het is een theorie – en je redeneert terug vanuit jouw beoogde impact. Bij dit instrument wordt elke stap beantwoord door de stap ervoor. Zo leggen de outcomes uit waarom er impact wordt gemaakt, en vertellen de activiteiten hoe de outputs zijn ontstaan.

De 9 stappen van een impactonderzoek

In een impactonderzoek ga je vaak de volgende stappen bij langs:

  1. Bepaal de beoogde impact
  2. Maak een overzicht van outputs en outcomes
  3. Koppel effecten aan jouw activiteiten
  4. Bepaal welke effecten je wilt onderzoeken
  5. Bepaal bij wie je deze effecten wilt onderzoeken
  6. Bepaal de meetmomenten
  7. Bepaal de meetinstrumenten
  8. Dataverzameling
  9. De data analyseren

1. Bepaal de beoogde impact

Allereerst is het van belang om te bepalen welke impact jij wilt maken met jouw organisatie. Op welke lange-termijn effecten wil jij een invloed hebben? Stel je ontwikkelt een coachingstraject voor mensen met een afstand tot de arbeidsmarkt. De beoogde impact zou hier kunnen zijn: mensen met een afstand tot de arbeidsmarkt nemen volwaardig deel aan de maatschappij.

2. Maak een overzicht van outputs en outcomes

Vervolgens maak je een overzicht van de verwachte directe effecten die jouw organisatie op jouw omgeving heeft. De verwachte directe effecten gaan over de verwachte outputs en outcomes.

  • Outputs: directe vaak kwantitatieve effecten. Denk hier bijvoorbeeld aan het aantal mensen dat heeft deelgenomen aan het coachingstraject, het aantal mensen die het coachingstraject heeft afgerond, en het aantal mensen dat tussentijds is gestopt met het traject.
  • Outcomes: directe kwalitatieve effecten. Hier kun je bijvoorbeeld denken aan het aantal mensen dat een baan heeft gevonden na het coachingstraject, of een stijging in zelfvertrouwen bij de mensen die het traject hebben gevolgd.

3. Koppel effecten aan jouw activiteiten

De effecten die je in de vorige fase hebt beschreven, probeer je in deze fase te linken aan de activiteiten die jouw organisatie of bedrijf uitvoert.

Net als in de vorige blogs, nemen we hier weer het voorbeeld van Artsen Zonder Grenzen. Deze organisatie brengt hulpgoederen naar ziekenhuizen in Ghana (activiteit). Artsen Zonder Grenzen deelt in totaal 800 klamboes en 750 noodpakketten uit (outputs). Door de klamboes en noodpakketten worden kinderen minder snel ziek (outcome). Hierdoor kunnen meer kinderen naar school en kan dit er op de langere termijn voor zorgen dat deze kinderen uit de armoede kunnen komen (impact). 

De situatie hierboven zou ideaal zijn. Helaas treden er soms onbedoelde negatieve effecten op. Ondanks de positieve directe effecten van de klamboes en noodpakketten, stoot het vliegtuig per rit wel 0.9 ton aan CO2 uit. En stel dat de organisatie na een maand terugkomt en erachter komt dat de klamboes niet worden gebruikt? Simpelweg, omdat de klamboes te kort zijn en niet tot de grond komen. Deze negatieve effecten had je van tevoren misschien niet verwacht en zeker niet bedoeld. Wees je dus bewust van zowel je positieve als negatieve impact.

4. Bepaal welke effecten je wilt onderzoeken

Zoals we in een eerdere blog hebben uitgelegd, is het niet nodig om al jouw mogelijke impact in kaart te brengen. Het is belangrijk om bij het bepalen van de te onderzoeken effecten, na te gaan of deze voldoen aan het volgende:

  • Relevant: zijn de effecten relevant voor jouw organisatie?
  • Significant: zijn de effecten groot en belangrijk genoeg? Ook voor jouw stakeholders?
  • Meetbaar: begin klein bij datgene wat meetbaar is.
  • Herleidbaar: in welke mate zijn de effecten terug te leiden naar jouw activiteiten?

Wees je ervan bewust dat je zowel negatieve als positieve effecten kan hebben. Breng niet alleen je positieve impact naar voren, maar geef ook eerlijk je negatieve impact toe.

5. Bepaal bij wie je deze effecten wilt onderzoeken

Nu je weet wat je wilt testen, kun je nagaan bij wie je deze effecten wilt testen. Kijk hier goed naar je doelgroep (wie wil je bereiken met jouw activiteiten) en je stakeholders (welke partijen zijn erbij betrokken).

6. Bepaal de meetmomenten

Wanneer wil je jouw verwachte effecten testen bij je doelgroep en stakeholders? Er zijn grofweg vier meetmomenten die je kunt kiezen. Aan de hand van het voorbeeld over het coachingstraject gaan we de meetmomenten bij langs.

  • Retrospectief: je meet het effect van het traject na afloop, bijvoorbeeld door de deelnemers een mail te sturen met een vragenlijst.
  • Gedurende het traject bevraag je de deelnemers over hun ervaringen.
  • Voor- en nameting: zowel voor als na het traject stuur je de deelnemers bijvoorbeeld een vragenlijst. Zo kun je de antwoorden van de deelnemers voor en na het traject goed vergelijken. Eventueel zou je ook nog een controlegroep kunnen meenemen – een groep die qua achtergrond lijkt op de testgroep (de deelnemers), maar die niet heeft meegedaan aan het coachingstraject. Wanneer de testgroep na het traject verschilt van de controlegroep, heb je sterker bewijs voor de impact van jouw coachingstraject.
  • Doorlopend: wanneer je wilt weten wat voor invloed jouw coachingstraject heeft op de deelnemers op de langere-termijn, kun je ervoor kiezen om deze deelnemers voor een langere tijd te volgen. 

Bij het bepalen van je meetmomenten moet je goed nagaan hoeveel tijd je nodig hebt: niet alleen voor het afnemen van de metingen maar ook voor het maken van de meetinstrumenten en het analyseren van de resultaten.

7. Bepaal de meetinstrumenten

Waar mogelijk en mits geschikt, is het altijd handig om gebruik te maken van de meetinstrumenten die er al zijn. Zo kun je de participatieladder gebruiken om te kijken of jouw coachingstraject ervoor zorgt dat deelnemers meer participeren in de maatschappij. Daarnaast is de milieubarometer bij uitstek geschikt om de milieuprestatie van jouw organisatie te meten. Mochten er geen geschikte meetinstrumenten beschikbaar zijn, dan is het zaak om deze te ontwikkelen. Het doen van deskresearch kan je hierbij ondersteunen. Meetinstrumenten zijn er grofweg in twee vormen:

  • Kwantitatief: zoals schalen en gesloten vragen
  • Kwalitatief: zoals interviews en open vragen

Hoeveel en welke van deze meetinstrumenten je nodig zult hebben, hangt af van de hoeveelheid meetmomenten en de effecten die je wilt onderzoeken. Ook hangt het af van de tijd die je hebt voor het maken van de meetinstrumenten, het afnemen van de metingen, en het analyseren van de resultaten.

8. Dataverzameling

De zeven stappen hiervoor leiden allemaal naar deze fase, waarin je de verwachte effecten gaat toetsen bij je doelgroep en/of stakeholders. Het is handig om vantevoren een plan te maken voor de dataverzameling en de relevante stakeholders hiervan op de hoogte te brengen, zodat je de data op een effectieve en efficiënte manier kunt verzamelen. Denk hierbij aan de volgende zaken:

  • Bepaal wie de dataverzameling gaat uitvoeren
  • Plan momenten in met de stakeholders en de doelgroep om de data te verzamelen
  • Stel een deadline voor de dataverzameling: wanneer moet alle data binnen zijn?

9. De data analyseren

Je hebt alle data verzameld en kan nu beginnen met het analyseren. Voor je door alle data het spreekwoordelijke bos niet meer ziet, is het handig om terug te refereren naar de de Theory of Change die je hebt opgesteld, en deze te valideren. Je wilt weten of het aannemelijk is dat je de beoogde impact hebt bereikt met jouw activiteiten. Wordt elke stap in de ToC beantwoord door de stap ervoor: dus is er een oorzakelijke relatie tussen jouw activiteiten en je beoogde impact? Op deze manier krijg je niet alleen inzicht in jouw impact, maar ook in je bedrijfsvoering!

En klaar is Kees!

Of toch niet? Want het zou toch zonde zijn als het resultaat van al je harde werk terecht komt in een of andere stoffige lade? Een impactonderzoek is niet het eindpunt, maar juist de start voor het optimaliseren van jouw impact!

Kim Bakker