Hoe beoordeel je een meetinstrument?

Een meetinstrument kan je beoordelen aan de hand van twee kwaliteiten:

  • Kan je er betrouwbaar mee meten?
  • Kan je er het juiste concept mee meten?

Stel dat je wilt weten hoe groot je bent. Een meetlat die krimpt en uitzet met de temperatuur zal dan erg onbetrouwbaar zijn. Als je volgens je meetlat van dag op dag centimeters groter of kleiner bent, dan kan je op basis van dat instrument geen geloofwaardige uitspraken doen over je grootte. Een weegschaal die correct gekalibreerd is en elke dag het juiste gewicht toont, is wél betrouwbaar, maar die meet dan weer niet het concept waarin je geïnteresseerd bent, namelijk je lengte. Zowel de warmtegevoelige meetlat als de weegschaal zijn dus geen geschikte instrumenten als je wilt weten hoe groot je bent. Bij het ontwikkelen van instrumenten zijn we daarom steeds op zoek naar een betrouwbaar en valide instrument.

meetlat

Hoe goed scoort de kwaliteit van Werkmeter? 

Voor de doorontwikkeling van Werkmeter doorheen onze onderzoeksprojecten hebben we ons steeds gebaseerd op de kwaliteit van onze meetschalen. Ons meest recente onderzoeksproject naar werkbaarheid in de woonzorgsector gaf ons de ideale gelegenheid om de kwaliteit van onze meetlat verder te onderzoeken.

Voor dit project bevraagden we namelijk een kleine 1700 medewerkers uit woonzorgcentra met de meest recente versie van Werkmeter. Voor elke medewerker kenden we de unieke functie die hij of zij uitoefent. Dat ging van zorg- en verpleegkundigen, over kinesisten, ergotherapeuten en animatoren, tot keuken- en poetsmedewerkers en zelfs stafmedewerkers en directie. Deze populatie is uitermate geschikt om statistische testen op te doen om twee redenen:

  • alle medewerkers werken in dezelfde sector, in min of meer gelijkaardige organisaties en met gelijkaardige processen;
  • deze sector is sterk gereguleerd waardoor de functies erg verschillen in de toegestane taken die zij mogen opnemen.

Slaagt Werkmeter erin om zinvolle uitspraken te doen over deze functies aan de hand van de antwoorden van de functie-uitvoerders?

Is Werkmeter betrouwbaar?

Hoe goed pikt Werkmeter de verschillen in jobinhoud op tussen verpleegkundigen en zorgkundigen? Hiervoor gebruiken we de maatstaf interrater reliability. Uit deze maatstaf blijkt dat, gemiddeld gezien, de antwoorden van medewerkers uit verschillende functies 10 keer meer verschillen dan de antwoorden van medewerkers uit dezelfde functie. 

In onze dataset hadden we bijna 300 verpleegkundigen, naast bijna 600 zorgkundigen. Uit de resultaten bleek dat een antwoord van één bepaalde zorgkundige 10 keer dichter zat bij het antwoord van een andere zorgkundige dan bij het antwoord van een verpleegkundige. Dit is een indicatie dat Werkmeter betrouwbare schalen bezit. Als je namelijk honderden verschillende zorgkundigen gaat bevragen, dan kan je er zeker van zijn dat hun antwoorden steeds dicht bij elkaar zullen liggen.

testing
Verschil

Meet Werkmeter de juiste concepten?

Werkmeter toont de resultaten binnen drie dimensies: kennis, informatie en planning. Zijn de resultaten van kennisautonomie wel verschillend van informatie-autonomie? Of zien we een verschil tussen de planningstaakeis en de informatie-taakeis? Opnieuw kunnen we dit statistisch bevestigen. We zien namelijk dat de verschillende jobkenmerken niet sterk gecorreleerd zijn met elkaar, maar elk verschillende aspecten van de takenpakketten oppikken. Zo varieert de off-diagonal correlation (een maatstaf voor discriminant validity) van de jobkenmerken van 0,14 (voor planningsbeslissings-autonomie) tot 0,25 (voor informatie-taakeis).

Kan Werkmeter jobs op een realistische manier
onderscheiden van elkaar?

Onze laatste test is wat we een eyeball test noemen. We groeperen de antwoorden van de medewerkers over hun jobkenmerken per functie en plotten deze gemiddelde antwoorden per functie naast elkaar. Zo kunnen we zien of profielen van de functies die we daarmee bekomen ook overeenkomen met onze praktijkkennis over deze functies.

De figuur hieronder toont op de x-as de overkoepelde taakeis (een soort gewogen gemiddelde van de verschillende taakeisen op vlak van kennis, informatie en planning) en de overkoepelende autonomie per functie.

test
  • Aan de kant van lage taakeisen en lage autonomie vinden we de keuken en logistieke medewerkers.
  • Ook met lage taakeisen, maar met meer autonomie, vinden we de poetsmedewerkers, die door de aard van hun taken hun job zelfstandiger kunnen uitvoeren.
  • Als we de twee voornaamste zorgfuncties vergelijken (zorgkundigen en verpleegkundigen), dan zien we dat de langer opgeleide verpleegkundigen meer taakeisen en meer autonomie rapporteren dan de korter opgeleide zorgkundigen.
  • In de zorgondersteunende functies ervaren kinesisten de hoogste autonomie, animatoren de minste, met ergotherapeuten er tussenin.
  • Tenslotte vinden we de staffuncties, leidinggevende functies en directies rechtsboven met veel taakeisen en veel autonomie.

De resultaten die we in deze figuur zien, bevestigen wat we in de praktijk weten over de functies. Dat geeft ons veel vertrouwen dat Werkmeter in staat is om ook nieuwe en onbekende functies goed te beoordelen aan de hand van de jobkenmerken op taakniveau.

De theorie achter Werkmeter

Wil je je graag verdiepen in de theorie en statistiek achter Werkmeter?
Onze onderzoekers Laura Nurski en Seth Maenen schreven er een wetenschappelijk artikel over. 

Werkmeter in de praktijk

De ultieme test van onze meetlat is natuurlijk of je op basis van de metingen zinvolle aanbevelingen kan doen naar job-, team- en organisatieontwerp. Daarover kan je meer lezen in onze Werkmeter-teaching case.

Werkbaarheid

Magazine

Doorlooptijd

Het geheim achter een korte doorlooptijd

In maakbedrijven worden vaak de juiste oorzaken van doorlooptijdproblemen over het hoofd gezien. Om problemen in de doorlooptijd op het spoor te komen is het in kaart brengen van de organisatiestructuur cruciaal.

Het veranderproces is van iedereen

Het veranderproces is van iedereen

Verandertrajecten worden vaak bedacht door het management, waarvoor ze soms jaren de tijd nemen en waarbij ze - bij wijze van spreken - na een korte introductie met prachtige powerpoints verwachten dat medewerkers deze onmiddellijk uitvoeren. Kan dit anders?

Werkstress

Tips om de werkstress in woonzorgcentra te verminderen

Om het risico op een burn-out te verminderen moeten de woonzorgcentra hun werk anders organiseren. Wie hiermee wil starten, kan alvast aan de slag met de inzichten uit ons werkbaarheidsonderzoek bij 20 woonzorgcentra. 

Wiser

Boekentip: Wiser

Kan een groep een betere beslissing nemen dan elk groepsindividu apart? Hiernaar kijken de auteurs Sunstein en Hastie met hun kritisch oog in het boek ‘Wiser’. Een boeiend thema en ongelooflijk relevant voor organisaties die zich anders organiseren. We delen enkele inzichten uit het boek.

Hart voor Wichelen

Anders organiseren in tijden van Corona

Hoe beleeft woonzorghuis Molenkouter de Coronacrisis? Interview met Els Meuleman, directeur van een woonzorghuis dat aan de slag is met innovatief organiseren, ook tijdens deze periode. 

Thuiswerken

Welke impact heeft thuiswerken op de werkbaarheid van je job?

Dat wilden we meten. Daarom lanceerden we de Thuiswerkmeter. Ontdek in dit artikel de resultaten van de bevraging. 

Werkstress

De curve van de werkstress-epidemie afvlakken

Bart Van Craeynest, hoofdeconoom bij Voka, voorspelde voor 2020 de grootste terugval van economische activiteit sinds WO II. Die economische crisis dreigt een werkstress-epidemie aan te drijven. Wie helpt om dat tegen te gaan?

werkbaarwerk

Hoe was het op het werk vandaag?

Het antwoord op deze dagelijkse vraag houdt meer in dan je zou verwachten. Het kan een indicatie zijn van de werkbeleving of de werkbaarheid van je job. 

Innovatieve woonzorgcentra

Hoe staat het met de werkbaarheid in onze woonzorgcentra?

We organiseerden een werkbaarheidsbevraging bij 20 Vlaamse woonzorgcentra. Uit deze studie kunnen we al 3 lessen trekken. 

Project Woonzorgcentra

Infosessies IAO in woonzorgcentra

In het voorjaar van 2019 starten we begeleidingstrajecten bij twintig woonzorgcentra. Deze woonzorgcentra worden twee jaar ondersteund in een veranderproces op vlak van ‘innovatieve arbeidsorganisatie’ (IAO).