Scoringsbias: 6 controles om “de luidste stem wint” in je panel te stoppen14 min read

Stel je een beoordelingspanel voor met 7 beoordelaars en een shortlist van ideeën. Iemand met een senior functie zegt: “Ik geef deze een 8”, en de zaal stemt stilletjes in.

Zo schuift die score daarna op:

• Het 1e zelfverzekerde getal wordt hardop uitgesproken.
• Anderen passen hun eigen inschatting daarop aan, soms zonder het te merken.
• Twijfelaars zwijgen, want het oneens zijn betekent nu het oneens zijn met een persoon.
• Het panel noteert een gemiddelde dat op consensus lijkt, maar uiteindelijk kan weerspiegelen wie als eerste sprak.

“De luidste stem wint” is vooral een volgordeprobleem. Mensen horen een getal voordat ze hun eigen getal hebben opgeschreven.

De oplossing zit dus in wanneer en hoe mensen scoren en praten. Een herinnering om “je bewust te zijn van bias” laat die volgorde onaangeroerd.

Hieronder staan 6 controles die die volgorde veranderen, en wat elke controle kost. Een aparte beoordelaarsaudit dekt de bias die ze niet kunnen bereiken.

Waarom “de luidste stem wint” een volgordeprobleem is

Groepsoordelen veranderen zodra mensen elkaars getallen kunnen zien.

In een laboratoriumexperiment in PNAS met 144 deelnemers schatten mensen numerieke feiten. Sommigen van hen konden zien wat anderen hadden geraden.

Lorenz en collega’s ontdekten dat “zelfs milde sociale invloed het effect van de wijsheid van de menigte kan ondermijnen”. Invloed “vermindert de diversiteit van de groep zonder de nauwkeurigheid te verbeteren”.

Erger nog, er was een “vertrouwenseffect”. Mensen kregen meer vertrouwen naarmate hun schattingen naar elkaar toe groeiden, hoewel hun nauwkeurigheid niet verbeterde.

Dat waren schattingen van feiten, dus pas de bevindingen naar analogie toe op het scoren van ideeën. En de invloed kwam van het zien van getallen, zonder gesprek van persoon tot persoon.

Toch voert een panel dat getallen hoort voordat iemand privé scoort elke keer iets uit dat sterk op dat experiment lijkt.

Verankering voegt een 2e laag toe

Een getal kan een schatting beïnvloeden zonder dat iemand ergens op aandringt. In de studie van Tversky en Kahneman gaf een rad van fortuin mensen een willekeurig startgetal.

Daarna schatten ze het percentage Afrikaanse landen in de VN:

• Groepen die 10 kregen, gaven een mediane schatting van 25%.
• Groepen die 65 kregen, gaven een mediane schatting van 45%.

Als een willekeurig getal een schatting zo ver kan verschuiven, kan een zelfverzekerd uitgesproken getal dat waarschijnlijk ook. Dat is onze gevolgtrekking, want de studie testte geen uitgesproken scores.

Het grotere verlies is de spreiding. Als beoordelaars onafhankelijk op 4, 6 en 9 uitkomen, is die onenigheid informatie waar je om hebt gevraagd.

Als die vroeg instort, heb je 1 mening die een paar keer wordt herhaald. Meer ideeën in de funnel lossen dat niet op.

Wiens visie een score weerspiegelt, hangt af van het moment waarop mensen zich aan een getal binden.

Waar invloed een score binnenkomt

Invloed heeft meerdere ingangen, en sommige daarvan zijn helemaal niet sociaal. Hier is eerst een kort overzicht:

De bovenste 2 rijen zijn sociaal en werken via praten en vermeende status. De onderste 2 kunnen een score verschuiven, zelfs in een stille zaal.

De 6 controles pakken spreektijd, status en beoordelingsvolgorde aan. De beoordelaarsaudit dekt wat in beoordelaars zelf zit.

Spreektijd komt over als competentie

In kleine groepen loont het om meer te praten. Onderzoek naar de “babble-hypothese” vond dat spreektijd voorspelt wie als leider naar voren komt.

Dat effect bleef bestaan na correctie voor intelligentie, persoonlijkheid en geslacht. Spreektijd “behoudt zijn directe effect op het naar voren komen als leider”.

Het onderzoek van Anderson en Kilduff wijst dezelfde kant op. In studententeams van 4 personen werden dominante leden “als competenter gezien, zelfs als hun werkelijke vaardigheden niet op dat niveau liggen”.

Zoals Berkeley Haas het samenvatte: “het maakte niet uit of de gekozen leiders de juiste antwoorden gaven, alleen dat ze meer antwoorden gaven”.

Geen van beide studies mat ideescores, dus de koppeling met scoren is onze gevolgtrekking.

De beoordelaar die het meest praat, kan dus het meeste gewicht krijgen, zelfs als zijn of haar inschatting niet beter is.

Status wordt veronderstelde expertise

Status werkt via een stillere route. In de studie van Bunderson naar zelfsturende productieteams bij een Fortune 100-techbedrijf voorspelden statussignalen wie een expert leek.

Die vermeende expertise verklaarde vervolgens het verband tussen statussignalen en invloed binnen de groep. Met andere woorden: mensen schikken zich naar wie volgens hen het best op de hoogte is.

In een beoordeling kunnen een functietitel, een zelfverzekerde toon of een eerder succes als zo’n signaal werken. Geen daarvan zegt of de score van vandaag klopt.

Daarom werkt scores verbergen tot iedereen heeft ingediend beter dan senior mensen vragen zich in te houden. Zodra een getal er al staat, heeft een functietitel of een zelfverzekerde toon minder vat op de score.

Volgorde en nabijheid verschuiven ook getallen

De beoordelingsvolgorde kan scores vertekenen zonder dat er iets wordt gezegd.

Een studie naar juryoordelen verwoordde het helder: “Wanneer concurrerende opties na elkaar worden bekeken, kunnen hun beoordelingen worden beïnvloed door de volgorde van verschijnen.”

In gegevens van het Eurovisie Songfestival en het kunstschaatsen stegen de beoordelingen met een latere positie. Die jury’s zijn geen ideeënpanels, maar de analogie is sterk genoeg om ernaar te handelen.

Nabijheid is het vreemdere geval. In een gerandomiseerde beoordeling van subsidievoorstellen met 2.130 koppels van beoordelaar en voorstel gaven beoordelaars lagere scores aan voorstellen dicht bij hun expertise.

Ook gaven ze meer vernieuwende voorstellen lagere scores. De auteurs noemen de patronen consistent met begrensd rationele beoordeling.

De luidste persoon is niet de enige bron van vertekening. Een deel ervan zit in individuele beoordelaars, en de audit verderop is er om dat op te vangen.

6 biascontroles voor je volgende scoresessie

Elke controle hieronder verandert wanneer of hoe een score in je panel ontstaat. Je hebt ze niet allemaal tegelijk nodig, en een later onderdeel helpt je kiezen.

In de praktijk kan zo’n structuur ongewone ideeën een eerlijkere kans geven, omdat de hoge score van een stille beoordelaar de discussie haalt.

Scoor alleen voordat iemand spreekt

Laat de presentator pitchen en eerst feitelijke vragen beantwoorden. Daarna scoort elke beoordelaar privé, voordat iemand een mening deelt.

Een artikel in MIT Sloan Management Review stelt dat “de nauwkeurigheid van intuïtief oordelen sterk verbetert door een totaaloordeel uit te stellen tot het einde van een gestructureerd proces”.

Het voegt eraan toe dat mensen die over één aspect oordelen “niet door elkaar beïnvloed mogen worden”. De onderbouwing komt uit personeelsselectie en is doorgetrokken naar strategische beslissingen.

Een geschreven score legt de eigen inschatting van de beoordelaar vast, zodat je elke latere verschuiving kunt zien.

De keerzijde is een paar extra minuten per idee. Sommige beoordelaars scoren ook met minder context dan een discussie hun zou geven.

Houd scores verborgen tot elke beoordelaar heeft ingediend

Privé scoren helpt alleen als niemand kan meekijken. Vergrendel de resultaten tot de laatste beoordelaar heeft ingediend en toon ze dan allemaal tegelijk.

De Delphi-methode werkt op een vergelijkbare manier. Deelnemers beantwoorden anoniem vragenlijsten, krijgen feedback op de antwoorden van de groep en passen hun antwoorden aan.

Het risico van te vroeg onthullen is het risico dat dezelfde PNAS-studie beschrijft. Zodra mensen de getallen van anderen zien, neemt de diversiteit van de groep af en verbetert de nauwkeurigheid niet om dat te compenseren.

De kosten zijn hier vooral sociaal, want sommige beoordelaars kunnen zich gecontroleerd voelen. Presenteer de regel als bescherming van hun onafhankelijke inschatting, want dat is hij ook.

Bespreek de spreiding in plaats van het gemiddelde

Sla na het onthullen van de scores het gemiddelde over. Vraag de hoogste en laagste scorer om eerst hun redenering toe te lichten en open daarna het gesprek.

Je hebt nog steeds discussie nodig, maar die vraagt om structuur. In het oorspronkelijke hidden-profile-experiment slaagden groepen van 4 personen er vaak niet in om informatie te bundelen die leden individueel hadden.

Die groepen “kozen voor de kandidaat die aanvankelijk door een relatieve meerderheid werd verkozen, in plaats van voor de gunstigste kandidaat”.

Een overzicht van meer dan 25 jaar van dit onderzoek wijst op betere beslissingen door “de intensiteit te vergroten en de bias te verkleinen in de discussie en verwerking van informatie”.

Beginnen met de uitschieters is onze manier om beide te doen. Het brengt feiten naar boven die slechts 1 of 2 beoordelaars hadden en laat de minderheidsvisie vroeg horen.

Daarna scoort iedereen opnieuw privé. Dat kost meer tijd, maar zo komt de discussie in het getal terecht.

Leg de spreekvolgorde en de klok vast

Stel voor de sessie begint 3 regels vast:

1. Leg de spreekvolgorde zo vast dat de meest junior beoordelaar of de beoordelaar met de laagste status als 1e spreekt, en de meest senior als laatste.
2. Voeg per idee een zichtbare tijdslimiet toe, met een vaste limiet per spreker.
3. Schud de volgorde waarin ideeën worden beoordeeld.

Die spreekvolgorde is ons oordeel, gebaseerd op het onderzoek naar spreektijd hierboven. Het is een manier om spreektijd bewust te verdelen, zodat senioriteit de toon niet kan zetten voordat anderen spreken.

De tijdslimiet voorkomt dat één stem de klok volpraat. Voor het schudden is de studie naar juryoordelen hierboven de reden, omdat latere plekken hogere beoordelingen kregen.

De prijs is wat starheid in een levendig debat. Zodra elke beoordelaar heeft gesproken, opent de facilitator het gesprek.

Haal sponsors en auteurs uit de score

Als iemand een idee heeft bedacht of sponsort, zou die persoon het niet moeten scoren. Laat diegene presenteren en vragen beantwoorden en daarna buiten het scoren blijven.

Het peer-reviewbeleid van de NIH biedt een werkbaar model. Een reviewer met een belangenconflict mag die aanvraag niet beoordelen en moet tijdens de bespreking ervan de zaal verlaten.

Voor contractbeoordelingen definieert het een schijnbaar conflict ruim: “elke situatie die ertoe kan leiden dat een redelijk persoon met alle relevante feiten de onpartijdigheid van de reviewer in twijfel trekt”.

Je hebt geen formaliteit op NIH-niveau nodig. Maar een sponsor die in de zaal zit terwijl scores ontstaan, kan een statussignaal afgeven, zelfs in stilte.

Je betaalt met een kleiner panel en een sponsor die zich misschien gepasseerd voelt. Vertel sponsors vooraf dat hun rol de pitch en de vragenronde is.

Leg elke scorewijziging met een reden vast

Laat beoordelaars hun scores na de discussie aanpassen. Vraag alleen om een reden van 1 regel bij elke wijziging, genoteerd naast het oude en nieuwe getal.

Een gewijzigde score zonder reden kan op invloed wijzen. Met een reden erbij kun je zien wat de beoordelaar van gedachten heeft doen veranderen.

Na een paar cycli wordt dat logboek een audittrail. Het laat zien welke ideeën verschoven, welke beoordelaars verschoven en wiens argumenten hen in beweging brachten.

De kosten zijn frictie, en dat is deels de bedoeling. Een beoordelaar die “eens met de directeur” moet opschrijven, denkt er twee keer over na waarom.

Wat deze controles je kosten

Elke controle zorgt voor wat vertraging, dus kies de controles die een bepaalde beslissing verdient.

De afwegingen die je accepteert

Reken op deze kosten zodra de controles draaien:

• Tragere vergaderingen, omdat privé scoren, onthullen en opnieuw scoren stappen toevoegen aan elk idee.
• Beoordelaars die zich gecontroleerd voelen, vooral senior mensen die gewend zijn vroeg te spreken.
• Wat minder verantwoordelijkheid, naar onze mening, als scores na het onthullen anoniem blijven.
• Minder informatie-uitwisseling als je de discussie helemaal overslaat, het gat dat hidden-profile-onderzoek steeds weer vindt.
• Onenigheid die helemaal geen bias is, maar simpelweg komt doordat beoordelaars verschillende dingen weten.

De laatste 2 verdienen de meeste aandacht. In de discussie kunnen niet-gedeelde feiten naar boven komen, dus de controles moeten die later in de sessie plaatsen.

En een grote spreiding kan betekenen dat je beoordelaars over verschillende informatie beschikken. Behandel het als een vraag om te onderzoeken voordat je het als een probleem behandelt dat moet worden opgelost.

Welke controles je als eerste inschakelt

Stem de controles af op wat er op het spel staat bij de beslissing. Dit is onze vuistregel:

Vooraf scoren en verborgen scores komen eerst omdat ze goedkoop zijn en spreektijd en status uit de eerste score houden.

Wraking en wijzigingslogboeken worden belangrijker naarmate budgetten groeien. Dan kosten de aanwezigheid van een sponsor of een stille verandering van gedachten het meest.

Audit je beoordelaars, niet alleen je ideeën

De 6 sessiecontroles pakken invloed op het moment zelf aan. Bekijk voor patronen in individuele beoordelaars elk kwartaal 3 dingen:

• Beoordelaarsspreiding: wie scoort consequent hoger of lager dan het panel.
• Wie verschuift na de discussie, en naar wie toe.
• Wie nooit verschuift, zelfs als er nieuwe feiten naar boven komen.

Het artikel van HBR over ruis beschrijft een “ruisaudit”, waarbij leden van een professionele eenheid dezelfde reeks gevallen beoordelen.

“De mate waarin hun beoordelingen verschillen, vormt de maat voor ruis.” Voer elk kwartaal dezelfde oefening uit met 2 of 3 eerdere ideeën.

De studie naar subsidievoorstellen van eerder laat zien waarom dit ertoe doet. Beoordelaars gaven voorstellen dicht bij hun eigen vakgebied lagere scores, een vertekening die geen sociale druk nodig heeft om te ontstaan.

Software kan hierbij helpen, ook AI-ondersteuning bij het scoren. Die kan de spreiding van scores zichtbaar maken, afwijkende beoordelaars signaleren of voor de discussie een 2e onafhankelijke inschatting geven.

Maar een tool bepaalt niet wat een patroon betekent en handelt er niet naar. Dat moet je team doen.

Regel de volgorde voordat je de mensen aanpakt

Je kunt status en zelfvertrouwen niet uit je panel halen. Maar je kunt wel bepalen wanneer ze een score mogen raken.

Begin met deze 4 stappen:

1. Laat elke beoordelaar privé scoren voordat iemand spreekt.
2. Vergrendel de scores tot de laatste beoordelaar heeft ingediend en open dan de discussie over de spreiding in plaats van het gemiddelde.
3. Haal sponsors uit de score.
4. Leg elke scorewijziging met een reden vast.

Voer ze alle 4 in voor je volgende panel. Samen dekken ze 5 van de 6 controles.

Voeg daarna de spreekvolgorde en de klok toe zodra de gewoonte is ingesleten. Zo blijft de kwaliteit van beslissingen boven de hoeveelheid ideeën staan en krijgt een ongewoon idee een eerlijke kans.

Accept Mission ondersteunt dit met groepsscoresessies, geaggregeerde resultaten en een transparante beslisgeschiedenis.

Download ons e-book over ideeënbeoordeling en governance voor het bredere plaatje. Het behandelt scoringsmethoden, governancekaders en de weg van intake naar portfolio.

Of boek een demo om te zien hoe Accept Mission geautomatiseerde routering, escalatieworkflows en audittrails regelt in elke fase van je ideeënbeoordelingen.