Scorecard-weging: 5 stappen naar gewichten die stakeholders niet meer openbreken15 min read

Stel je een lange wegingssessie voor waarin elk criterium de kamer verlaat met een hoge score. 3 weken later verliest een favoriet idee, en de sponsor vraagt om de gewichten opnieuw te bekijken.

Dit is wat er in die kamer meestal misgaat:

• De vraag op tafel is “hoe belangrijk is dit?”, dus elk criterium komt terug als belangrijk.
• De meest senior stem spreekt als eerste, en de cijfers groeperen zich daaromheen.
• Iemand splitst een favoriet criterium op in 3 subcriteria en vergroot zo ongemerkt het aandeel ervan.
• Mensen zien de ideeën al, dus ze wegen in het voordeel van de ideeën die ze leuk vinden.

De 5 stappen hieronder geven je gewichten die de hele cyclus standhouden. Alleen triggers waarover je vooraf afspraken hebt gemaakt, kunnen ze weer openbreken.

Gewichten zijn een beleidsbeslissing, dus leg ze vast voordat er ideeën binnenkomen, veranker ze in het werkelijke bereik van elk criterium en discussieer alleen over verschillen die een rangorde veranderen.

Het doel is een verdedigbare beslissing die 1 benoemde eigenaar ondertekent en publiceert. Consensus is welkom als die ontstaat, maar het proces wacht er niet op.

Waarom “hoe belangrijk is het?” de verkeerde vraag is

Vraag een groep hoe belangrijk klantwaarde is, en iedereen antwoordt heel. Vraag naar haalbaarheid of strategische fit, en je krijgt hetzelfde antwoord.

De vraag is abstract, dus uiteraard krijgt ze een abstract antwoord. Vergelijk haar met de vragen die gewichten opleveren die je kunt verdedigen:

De handleiding voor multicriteria-analyse van de Britse overheid, gepubliceerd in 2000, maakt dit concreet met veiligheid en onderhoudskosten. Veiligheid klinkt belangrijker, maar kan toch een vergelijkbaar of lager gewicht krijgen.

Dat gebeurt wanneer elke optie ongeveer hetzelfde veiligheidsniveau biedt, maar sterk varieert in onderhoudskosten.

Von Nitzsch en Weber zeggen het onomwonden: “Hoe groter het bereik, hoe groter het gewicht moet zijn.” Hun proefpersonen pasten zich toch niet goed aan wanneer het bereik varieerde.

Een overzicht van elicitatiemethoden noemt wegen cognitief veeleisend en gevoelig voor bias. De uitkomsten kunnen sterk afhangen van de methode die je kiest.

Dus komt het bereik eerst, en het oordeel over belangrijkheid komt daarna, in elke stap hieronder. De rest van dit proces is op die volgorde gebouwd.

Voor de workshop: regel de criteria en de deelnemers

Onze ervaring is dat veel wegingsproblemen al ontstaan voordat iemand een pen oppakt. Deze voorbereiding gaat vooraf aan stap 1 en omvat 3 beslissingen.

Controleer de criteria op opsplitsingen

Weber, Eisenführ en von Winterfeldt ontdekten dat de meer gedetailleerde delen van een waardeboom significant zwaarder werden gewogen.

Ze herleidden het effect tot saillantie: attributen die gedetailleerder zijn uitgeschreven, voelen groter en komen sneller in gedachten.

Het opsplitsen van markt in 3 subcriteria verhoogt dus doorgaans het totale gewicht ervan, bewust of niet. Niemand in de kamer hoeft dat extra gewicht hardop te bepleiten.

Onze regel is om op slechts 1 niveau te wegen, met elk criterium op hetzelfde detailniveau. We houden het bij 4 tot 6 criteria per ideeëntrechter.

Bepaal wie er aan tafel zit en wie beslist

Benoem 1 beslissingseigenaar vóór de sessie, en vertel iedereen wie dat is. Deelnemers geven input op de gewichten, en de eigenaar keurt ze goed.

Het werk van Kim en Mauborgne over fair process legt uit waarom dit standhoudt. Mensen kunnen uitkomsten accepteren waartegen ze hebben gepleit, zolang het proces zelf eerlijk was.

Het model heeft 3 principes: betrokkenheid, uitleg en duidelijke verwachtingen. Onze ervaring is dat wegingssessies juist de laatste 2 vaak overslaan.

Nodig een mix van functies uit, zoals product, finance en technologie, plus degene die eigenaar is van de klantrelatie.

Houd de groep op 6 tot 8 mensen, zodat elke stem binnen 90 minuten aan bod komt.

Leg de gewichten vast voordat iemand een idee ziet

Uhlmann en Cohen onderzochten wervingsbeslissingen, en de uitkomst is ongemakkelijk. Mensen definieerden verdienste opnieuw, zodat die paste bij de kwalificaties van de kandidaat die ze prefereerden.

Wie zich aan wervingscriteria verbond voordat het geslacht van de sollicitant bekend was, liet de discriminatie verdwijnen.

Dat was een wervingsonderzoek, dus de toepassing op ideeënbeoordeling is onze eigen afleiding. Het sluit wel aan bij wat we zien wanneer gewichten halverwege een cyclus worden heropend.

Houd de wegingssessie dus voordat de intake of campagne opengaat. Zet de gewichten nooit halverwege de cyclus opnieuw, tenzij een trigger uit stap 5 afgaat.

Stap 1: bepaal het realistische bereik van elk criterium

Schrijf vóór de sessie het realistische bereik van elk criterium op. Elk uiteinde beschrijft het slechtste en het beste idee dat je deze cyclus redelijkerwijs kunt verwachten.

Loop elk criterium in deze volgorde door:

1. Leg de 2 ankers vast. Voor de tijd tot het eerste klantresultaat ligt het trage uiteinde misschien op 18 maanden en het snelle op 3 maanden, en elke swing wordt over dat verschil gemeten.
2. Als niemand het slechtste en het beste uiteinde kan beschrijven, is het criterium nog niet klaar om gewogen te worden. Verbeter eerst de definitie, of laat het deze cyclus vallen.
3. Controleer of elk te verwachten idee op ongeveer dezelfde plek zit. Is dat zo, dan verdient het criterium weinig gewicht, hoe belangrijk het ook klinkt in de strategiepresentatie.

Strategische fit is een bekend voorbeeld wanneer de campagnebrief al op fit filtert. Als elke inzending past, is de swing klein en volgt het gewicht.

Zet de bereiken op 1 pagina en deel die vóór de sessie, zodat niemand op basis van een eigen extreem weegt. Discussies over bereiken horen hier thuis, waar ze goedkoop te beslechten zijn.

De 1e keer voelt deze stap traag en vreemd concreet voor een strategiesessie, maar elk later getal hangt af van dat gedeelde referentiepunt.

Stap 2: verzamel swing-gewichten individueel

De swing-vraag vervangt de belangrijkheidsvraag, en ze is lastiger goed te stellen. Stel je een idee voor dat op alle bereiken uit stap 1 aan het slechtste uiteinde zit.

Vraag dan welk criterium mensen als eerste van slechtst naar best zouden verplaatsen, en doorloop de individuele ronde in deze volgorde:

1. Deel het bereikenoverzicht en de swing-vraag uit op papier of in een formulier, nog zonder discussie.
2. Ieder rangschikt de swings, van degene die hij als eerste zou verplaatsen tot degene die hij als laatste zou verplaatsen.
3. De bovenste swing krijgt 100 punten.
4. Elke andere swing wordt daartegen afgezet, dus een swing die half zoveel waard is, krijgt 50.
5. Ieder licht de nummer 1 toe in 1 zin en levert in voordat iemand iets zegt.

De Britse handleiding beschrijft deze familie van methoden als swing weighting. Ons anker van 100 punten is ontleend aan Max100, een schaal die Bottomley en Doyle testten op belangrijkheidsscores, niet op swings.

Ze vergeleken die met directe scoring en met Min10, dat verankert op het minst belangrijke criterium. Max100 bleek bij een hertest iets betrouwbaarder dan directe scoring.

Beide versloegen Min10 met ruime marge. Hun hertestsimulatie vond hetzelfde gekozen alternatief in 91% van de gevallen met Max100, 87% met directe scoring en 75% met Min10.

Dat je de cijfers individueel verzamelt, doet er ook toe. Bij de decision hygiene van Kahneman en Sibony beoordeelt ieder het materiaal onafhankelijk van alle anderen.

Stasser en Titus ontdekten dat discussies vaak worden gedomineerd door informatie die al gedeeld is en bestaande voorkeuren ondersteunt. We hebben gezien hoe daardoor de eerste senior mening het anker voor iedereen werd.

Als mensen alleen kunnen rangschikken: rank order centroid

Sommige stakeholders rangschikken de swings met plezier, maar weigeren er cijfers aan te hangen. Voor hen, of voor een 1e cyclus, zijn rank order centroid-gewichten een degelijk alternatief.

Barron en Barrett vonden ROC-gewichten nauwkeuriger dan de andere op rangorde gebaseerde formules. De tabel hieronder gebruikt hele percentages, dus door afronding telt de kolom met 5 criteria op tot 101%.

De keerzijde is resolutie, want ROC gaat ervan uit dat de rangen alles zijn wat je weet. Een nipte 2e plaats en een verre 2e plaats krijgen precies hetzelfde gewicht.

Gebruik het als standaard voor de eerste cyclus, en stap over op swing-scores zodra mensen de bereiken vertrouwen.

Het werkt ook als controle: als iemands swing-scores ver afliggen van de ROC-gewichten voor zijn eigen rangorde, is dat een vraag waard.

Stap 3: laat de spreiding zien en schat daarna één keer opnieuw

Loop de cijfers uit de 1e ronde in deze volgorde door:

1. Zet ieders cijfers anoniem op 1 scherm, criterium voor criterium.
2. Sorteer op spreiding, zodat de grootste verschillen bovenaan de lijst staan.
3. Bespreek alleen de grootste verschillen, en vraag de uitschieters uit te leggen hoe zij het bereik lazen.

In onze sessies zijn veel verschillen terug te voeren op een ander beeld van het slechtste of beste idee, en een kort gesprek lost ze vaak op.

Daarna schat iedereen individueel opnieuw, en middel je de scores uit de 2e ronde en deel je door hun totaal. Ga niet op jacht naar unanimiteit met een 3e of 4e ronde.

Het patroon is ontleend aan de Delphi-methode, waarbij deelnemers anoniem antwoorden, de groepsreactie zien, discussiëren en hun antwoord bijstellen.

Het leent ook van de nominale groepstechniek, die van stil genereren via een rondgang zonder debat eindigt met een individuele stemming.

Beide houden input op cruciale momenten individueel, terwijl mensen toch van elkaar kunnen leren. Eén herzieningsronde behoudt dat voordeel zonder de hele sessie op te slokken.

Stap 4: test welke meningsverschillen er echt toe doen

Een deel van de meningsverschillen overleeft de 2e ronde, en dat is prima. De enige vraag die het stellen waard is, is of het verandert welk idee wint.

Volgens de Britse handleiding laat een gevoeligheidsanalyse zien of meningsverschillen tussen mensen de uiteindelijke uitkomst veranderen. Ze voegt eraan toe dat de analyse kan helpen meningsverschillen tussen belangengroepen op te lossen.

Het Institute for Manufacturing van Cambridge waarschuwt dat wegen en scoren “uiterst gevoelig zijn voor kleine veranderingen” en het makkelijk maken om “met de cijfers te sjoemelen”.

Test een discussie dus eerst tegen echte ideeën, voordat de groep tijd besteedt aan het beslechten ervan. Elke functie die het nog steeds oneens is, schrijft haar voorkeursgewichten op als 1 alternatieve set.

Een uitgewerkt voorbeeld met 3 eerdere ideeën

Hier is een uitgewerkt voorbeeld met 3 ideeën uit de vorige cyclus, opnieuw gescoord op de bereiken van deze cyclus, waarbij 1 het slechtste uiteinde is en 5 het beste.

Na stap 3 waren de swing-scores: klantwaarde 100, strategische fit 70, haalbaarheid 50 en tijd tot impact 30. Deel je die door hun totaal van 250, dan krijg je de rij Voorgesteld hieronder.

Finance pleitte ervoor haalbaarheid even zwaar te laten wegen als klantwaarde, en elke score verschoof. De rangorde bleef B, C, A, dus dat argument verandert de beslissing niet.

Noteer het standpunt van Finance in de onderbouwing en ga verder zonder nog meer tijd van de groep te besteden.

De set van Product is anders, want die duwt C naar de 1e plaats, vóór B. Dat meningsverschil had veranderd welk idee financiering kreeg, dus het verdient de tijd van de groep.

Haal elk overgebleven argument door dezelfde test, vind de 1 of 2 die zich gedragen zoals dat van Product, en besteed daar je tijd aan.

Stap 5: teken af, publiceer de onderbouwing en stel een reviewtrigger in

De gemiddelde set (Voorgesteld in de tabel) is de standaard, en de eigenaar beslist alleen waar een betwiste set de rangorde omdraait.

Die beslissing staat voor de hele cyclus, ook als iemand het er nog steeds niet mee eens is.

Schrijf de onderbouwing in 2 of 3 zinnen, direct naast de gewichten. Vermeld welk argument won, welk verloor, en waarom.

Publiceer beide voor beoordelaars en indieners van ideeën, met een versienummer en een datum.

Door te publiceren lever je de uitleg en de duidelijke verwachtingen waar fair process om vraagt. Indieners kennen de spelregels voordat ze ook maar één regel schrijven.

Bepaal wat de gewichten weer openbreekt

Gewichten vastleggen betekent dat je een volle cyclus leeft met een set die iemand verkeerd vindt. Spreek vooraf af welke gebeurtenissen ze als enige kunnen heropenen:

• Een wijziging in de strategie of in het mandaat van het portfolio
• Een nieuw gat in het portfolio dat de huidige criteria niet zien
• Het einde van de cyclus, als geplande review

Al het andere wacht, ook het idee dat vorige week met een paar punten verschil verloor. Een getriggerde wijziging krijgt een nieuw versienummer en geldt alleen voor ideeën die nog niet zijn gescoord.

Dus wanneer de sponsor uit het begin erom vraagt, hoe luid ook, wijs je naar de gepubliceerde onderbouwing en de lijst met triggers. Het argument komt op de agenda van de volgende geplande review.

Een platform dat de gewichten bij elke scorecardversie opslaat en de berekening laat zien, houdt de beslissing traceerbaar voor iedereen die er later naar vraagt.

AI kan de toelichtingen van 1 zin uit de individuele ronde sorteren op de bereikinterpretatie erachter, of de gevoeligheidscheck opnieuw draaien wanneer een trigger afgaat.

Tools kunnen ook een gedisciplineerd proces versterken en gewichtswijzigingen controleerbaar houden. De discipline zelf komt van de eigenaar en de sessie.

Een agenda voor een wegingsworkshop van 90 minuten

Zo passen de stappen in 1 sessie met senior tijd. De bereiken worden vooraf opgesteld, dus de 90 minuten gaan naar wegen en testen.

90 minuten senior tijd is een reële kostenpost. Tegelijk kosten swing-vragen meer moeite dan een snelle score van 1 tot 5.

Zet dat af tegen een volle cyclus aan financieringsbeslissingen op basis van gewichten die niemand kan verdedigen. Doe het één keer per cyclus, en de kosten spreiden zich over elke beslissing die volgt.

Leg de gewichten vast voordat je de ideeën ziet

Wegen gaat mis wanneer het als open discussie wordt gevoerd terwijl de ideeën al op tafel liggen. Doorloop de 5 stappen, en het verzoek van die sponsor wordt beantwoord in plaats van ingewilligd.

Controleer deze punten voordat je volgende cyclus opengaat:

• Elk criterium zit op hetzelfde detailniveau, en het zijn er 4 tot 6.
• Elk criterium heeft voor deze cyclus een uitgeschreven slechtste en beste uiteinde.
• 1 benoemde eigenaar tekent de gewichten af, en iedereen in de kamer weet wie.
• Je hebt 3 ideeën uit de vorige cyclus, opnieuw gescoord op de bereiken van deze cyclus (of 3 realistische testprofielen in een 1e cyclus), klaar voor de gevoeligheidstest.
• De heropeningstriggers staan op papier voordat het eerste idee binnenkomt.

De waarschuwing van Cambridge over kwetsbare, makkelijk te manipuleren gewichten blijft staan, want wegen blijft een kwestie van oordeelsvorming. Dit proces geeft je gewichten die je kunt uitleggen aan iemand wiens idee verloor.

Gepubliceerde gewichten geven indieners bovendien een helder doel, zodat hun creatieve inspanning terechtkomt waar de scorecard die echt beloont.

Download ons e-book over ideeënbeoordeling en governance. Het behandelt gestructureerde scoringsmethoden, governancekaders en de overdracht van goedgekeurde ideeën naar portfoliomanagement.

Of plan een demo om te zien hoe Accept Mission scorecards, geautomatiseerde routering, escalatieworkflows en audittrails afhandelt in elke fase van je ideeëntrechter.