De reviewertoolkit: 7 sjablonen voor commentaar waar indieners iets mee kunnen15 min read

Open een idee na een reviewronde en lees wat het panel heeft teruggestuurd. Je vindt waarschijnlijk commentaren waar de indiener niets mee kan.

Een gemiddeld idee verzamelt een mix van:

• Een oordeel: “Niet overtuigd.”
• Een smaak: “Ik zou hier een andere richting mee op gaan.”
• Een vaag verzoek: “Meer detail nodig over de business case.”
• Een oplossingswissel, waarbij de reviewer het idee herschrijft tot het idee dat hij zelf had ingediend

Voor de auteur voelt elk hiervan als feedback. Maar de indiener weet niet wat hij moet veranderen, dus komt het idee terug met cosmetische aanpassingen, of helemaal niet.

Een reviewercommentaar heeft dus eigenlijk één taak: de volgende versie van het idee veranderen, of de beslissing erover duidelijk maken.

En de 7 sjablonen hieronder zijn voor die taak gemaakt. Elk sjabloon plak je zo in je reviewformulier, of het antwoord nu ja, nee of nu niet is.

Waar reviewercommentaren de ideekwaliteit schaden

Feedback helpt niet altijd, en een deel ervan maakt het zelfs erger.

In hun meta-analyse uit 1996 vonden Kluger en DeNisi dat feedbackinterventies de prestaties gemiddeld verbeterden (d = .41), maar meer dan een derde ervan verlaagde ze.

Kijk nu nog eens naar de soorten commentaar uit de opening. Geen enkele geeft de indiener een volgende stap:

• Het oordeel (“niet overtuigd”) sluit het idee af zonder te zeggen waarom.
• De smaak (“een andere richting”) vertelt de indiener iets over de reviewer.
• Het vage verzoek (“meer detail nodig”) zegt nooit welk detail, of hoeveel.

Dus lijkt de volgende versie sterk op de vorige.

Reviewers beoordelen ideeën ook door de bril van hun eigen expertise, en dat vertekent de scores. Boudreau en collega’s onderzochten 2.130 combinaties van beoordelaar en voorstel bij subsidiebeoordelingen aan één onderzoeksuniversiteit.

Beoordelaars gaven lagere scores aan zeer vernieuwende voorstellen, een patroon dat wij een noviteitsstraf noemen. Ook scoorden ze voorstellen die dichter bij hun eigen expertise lagen lager, een expertisestraf.

Die studie ging over subsidiebeoordelingen, dus zie het als een waarschuwingssignaal voor ideepanels. Een paper uit 2012 over vooroordelen tegen creativiteit vond iets vergelijkbaars.

Zoals Mueller, Melwani en Goncalo schreven: “Mensen wijzen creatieve ideeën vaak af, zelfs als ze creativiteit als gewenst doel uitdragen.”

Wat een commentaar nodig heeft voordat het een idee kan verbeteren

Een bruikbaar commentaar bestaat uit 3 delen. Laat er één weg en de indiener moet gaan raden.

We passen het Situation-Behavior-Impact-model van het Center for Creative Leadership aan voor ideereview en bouwen elk commentaar op uit:

1. Observatie: wat je in de inzending zag, zo specifiek dat de indiener het kan terugvinden. Dit sluit aan bij de instructie van het model: “Beschrijf het feitelijke, waarneembare gedrag.”
2. Gate-impact: waarom het ertoe doet voor de beslissing bij deze gate. Het model spreekt over resultaten in het algemeen, en dit deel vernauwt die tot de beslissing die op het spel staat.
3. Volgende stap: het bewijs, de aanpassing of het beslispad dat het idee verder helpt.

De volgende stap is onze toevoeging. Zonder die stap weet de indiener wat er mis is, maar niet wat hij er deze week aan kan doen.

Structuur heeft ook bewijs achter zich. Cook, Streit en Davage voerden een gerandomiseerde studie in BMJ Open uit waarin ze gestructureerde en vrije reacties van experts vergeleken.

De experts gaven commentaar op onderzoek dat een grote financier wilde laten uitvoeren. Het gestructureerde formulier leverde meer bruikbare informatie op dan vrije antwoorden per e-mail.

Gestructureerde reacties scoorden 0,335 punten hoger op een kwaliteitsinstrument met 4 punten (Cohen’s d = 0,353).

Dat is een andere taak dan ideereview, dus de effectgrootte is niet zomaar over te zetten. Maar de richting klopt, want een formulier dat om specifieke punten vraagt, krijgt er ook meer.

De 7 sjablonen voor commentaar

Elk sjabloon hieronder past bij een situatie waar reviewers bij de gate tegenaan lopen. De tabel geeft de korte versie, en de volledige sjablonen volgen erna:

De eerste 4 sjablonen dichten gaten in bewijs, aannames, scope en fit. Het 5e is er om ideeën te beschermen die een streng panel anders zou bijschaven tot iets gewoons.

De laatste 2 maken de beslissing duidelijk als het antwoord “nog niet” of “nee” is. Welk sjabloon je ook gebruikt, vul de velden in met je eigen woorden.

1. Het bewijsgatcommentaar

Gebruik dit als de inzending een claim doet die ze niet onderbouwt. Dit schrijf je in plaats van “meer detail nodig”.

Observatie: De inzending zegt [claim, geciteerd of samengevat].

Gate-impact: Om bij deze gate te beslissen over [criterium, bijv. kosten, haalbaarheid of vraag], hebben we [soort bewijs] nodig.

Volgende stap: Kun je [specifieke data, bron of kleine test] toevoegen vóór [datum of volgende review]?

Voorbeeld: De inzending zegt dat voorspellende onderhoudsmeldingen ongeplande stilstand op de verpakkingslijn verminderen. Om de besparing bij deze gate te beoordelen, hebben we een nulmeting nodig.

Kun je de stilstandsuren van het afgelopen kwartaal toevoegen, plus de meldingsdrempels die je zou gebruiken, vóór de review in maart?

Het commentaar zegt geen ja of nee. Het noemt alleen het bewijs dat de claim zou beslechten, en een datum ervoor.

Vraag dus om het kleinste stukje bewijs dat je score zou veranderen.

2. De aannamecheck

Gebruik dit als het idee afhangt van iets dat iedereen als waar beschouwt. Ongetest gebruikersgedrag is een typisch voorbeeld.

Observatie: Dit idee gaat ervan uit dat [aanname, bijv. gebruikers X gaan omarmen of leveranciers Y gaan delen].

Gate-impact: Als dat niet klopt, [wat er misgaat: de kostenonderbouwing, de planning of de adoptiecijfers].

Volgende stap: Wat is de goedkoopste manier om dit te testen vóór [gate of datum]? Een optie is [voorgestelde test].

Voorbeeld: De snelle onboarding voor leveranciers gaat ervan uit dat leveranciers hun eigen compliancedocumenten uploaden. Doen ze dat niet, dan blijft inkoop achter papierwerk aan jagen en verdwijnt de tijdwinst.

Kun je drie huidige leveranciers vragen om de uploadflow vóór de volgende gate uit te proberen?

Formuleer de aanname neutraal. De indiener moet zich uitgenodigd voelen om haar te testen, zonder zich betrapt te voelen.

En als de indiener haar al heeft getest, zet het commentaar dat bewijs voor de rest van het panel op tafel.

3. De scopeverscherper

Dit sjabloon past bij een idee dat alles tegelijk probeert op te lossen. Op die schaal heeft het panel niets concreets om te scoren.

Observatie: Het idee beslaat [gebieden, gebruikersgroepen of locaties].

Gate-impact: Op deze schaal kunnen we [kosten, inspanning of risico] niet met enige zekerheid inschatten.

Volgende stap: Met welke [ene gebruikersgroep, welk proces of welke locatie] zou je beginnen, en hoe ziet succes er daar uit?

Voorbeeld: Het selfserviceportaal voor klanten omvat facturatie, retouren, reparaties en contractwijzigingen. Op die schaal kunnen we de bouwkosten en de adoptie niet beoordelen.

Met welk onderdeel zou je als eerste live gaan, en welke daling in het aantal telefoontjes zou als succes tellen?

Als je het als vraag stelt, kiest de indiener het onderdeel, en blijft het idee van hem.

Een smallere eerste versie geeft het panel ook kosten en een risico die het bij deze gate echt kan inschatten.

4. De vraag naar strategische fit

Gebruik dit als het idee goed zou kunnen zijn, maar de link met de strategie niet duidelijk is. Stel de vraag in plaats van haar voor de indiener te beantwoorden.

Observatie: Ik zie niet hoe dit aansluit bij [strategische prioriteit of portfoliothema].

Gate-impact: Ideeën bij deze gate hebben een duidelijke link met [prioriteit] nodig om te concurreren om [budget, teamtijd of pilotplekken].

Volgende stap: Kun je laten zien welk [doel, welke KPI of welk thema] dit beweegt, of aangeven of het thuishoort bij [ander team of kanaal]?

Voorbeeld: Ik zie niet hoe de carpoolapp voor medewerkers aansluit bij het kostenbesparingsthema van dit jaar. Zonder die link maakt hij weinig kans op een pilotplek.

Kun je het effect op de parkeerkosten van de locatie laten zien, of hoort hij thuis op de eigen verbeterbacklog van het facilitaire team?

De laatste regel biedt een tweede pad, want sommige goede ideeën horen thuis op de backlog van een ander team.

De indiener een route geven voorkomt dat zijn inzet verloren gaat.

5. Het doorbouwcommentaar

Bewaar dit voor een idee dat ongewoon en vroeg is, maar iets bevat dat de moeite waard is. Het gaat in tegen de noviteitsstraf uit de subsidiestudie.

Observatie: Het sterkste deel van dit idee is [specifiek element].

Gate-impact: Dat deel is nieuw voor ons, en het is de moeite waard om het in deze fase te beschermen, zelfs voordat [ontbrekend stuk] is opgelost.

Volgende stap: Hoe zou het eruitzien als je [element] verder doortrekt? Probeer [één richting of vraag om te verkennen].

Voorbeeld: Het sterkste deel van het idee voor voorspellend onderhoud is het combineren van notities van operators met sensordata. Die combinatie hebben we hier nog niet eerder gezien.

Hoe zou een versie eruitzien die vooral op notities van operators is gebouwd? Twee weken notities van één ploeg zouden laten zien of er een signaal in zit.

Begin bij ongewone ideeën met wat sterk is. Begin je met de gaten, dan loop je het risico op dezelfde noviteitskorting die de subsidiebeoordelaars lieten zien.

Gebruik het ook spaarzaam, zodat het iets betekent als een indiener er een krijgt.

6. Het niet-nu-commentaar

Gebruik dit als het idee deugt, maar de timing, het budget of de afhankelijkheden er nog niet zijn. Zorg wel dat het een specifieke trigger noemt.

Observatie: Het idee houdt stand op [criteria waaraan het voldoet].

Gate-impact: We parkeren het omdat [specifieke reden, bijv. budgetcyclus, afhankelijkheid of capaciteit].

Volgende stap: We kijken er opnieuw naar als [benoemde trigger]. [Eigenaar] brengt het terug naar het panel.

Voorbeeld: Het selfserviceportaal houdt stand op vraag en fit. We parkeren het omdat het nieuwe CRM pas in het voorjaar live gaat.

We openen het opnieuw bij de eerste gate na de livegang, en de portfoliolead zet het weer op de agenda.

Als er geen trigger is, klinkt “nu niet” gewoon als een beleefd nee. Een benoemde trigger vertelt de indiener dat het idee nog leeft en wat er eerst moet gebeuren.

Leg de trigger vast waar iemand hem ziet, anders blijft het idee in het ongewisse hangen.

7. De afwijzing met redenen

Gebruik dit als het idee niet door deze gate komt. Onderzoek onder eerste indieners suggereert dat een duidelijk nee met redenen mensen beter laat blijven indienen dan stilte.

Observatie: De kern van dit idee is [het voorstel, in de eigen woorden van de indiener].

Gate-impact: Het voldoet niet aan [specifiek criterium], omdat [reden].

Volgende stap: Een sterkere inzending zou [wat ze nodig heeft]. [Naam] kreeg een vergelijkbaar idee erdoor door [aanpak] en is een gesprek waard.

Voorbeeld: De kern van je idee is nieuwe leveranciers sneller laten instromen via een korter onboardingtraject. Het voldoet niet aan ons risicocriterium, omdat het de financiële gezondheidscheck overslaat.

Een versie die die check behoudt, zou een reële kans maken. Praat met het logistieke team, dat vorig jaar zijn onboarding heeft ingekort.

Het bewijs komt van Piezunka en Dahlander, die 1.336.154 deelnemers bij 70.159 organisaties op crowdsourcingplatforms onderzochten. Afgewezen eerste indieners waren eerder bereid opnieuw in te dienen dan genegeerde.

Het effect was sterker met een uitleg, vooral een die aansloot bij de taalstijl van het idee. Gebruik dus de termen van de indiener zelf, zoals de eerste regel van het sjabloon doet.

Een studie van Dirk Deichmann van RSM, gepubliceerd in 2014, vond hetzelfde in de ideeënbus van één bedrijf.

Over ongeveer 1.800 suggesties in zo’n 12 jaar bleven mensen indienen na afwijzingen. Pas na een omslagpunt van 27 afgewezen ideeën gingen ze minder indienen.

De publicatie van RSM raadt aan medewerkers te vertellen “aan welke algemene criteria moet worden voldaan” of ze in contact te brengen met mensen die succesvol waren. De laatste 2 regels van het sjabloon doen allebei.

Commentaren die de pijplijn ongemerkt schaden

Sommige commentaren lijken behulpzaam en richten toch schade aan. Let op deze 4:

• De oplossingswissel: de reviewer herontwerpt het idee, en de indiener verdedigt uiteindelijk een voorstel dat niet meer van hem is.
• De stapeling: vijf reviewers maken hetzelfde punt, en één oplosbaar gat gaat eruitzien als een fatale fout. Oplossing: wijs 1 reviewer aan die het gedeelde punt opschrijft.
• De verborgen slag om de arm: de score zegt het ene en het commentaar het andere, zodat de indiener niet weet wat hij moet geloven. Oplossing: laat elk commentaar bij de score passen.
• De onverklaarde lage score: een 2 op 5 zonder commentaar, waardoor de indiener niets heeft om mee aan de slag te gaan. Oplossing: eis een volgende stap onder elke lage score.

De oplossingswissel is lastiger te verhelpen, omdat hij gul aanvoelt. Maar hij kan ideeën vernauwen in de richting van wat reviewers al kennen.

Wooten en Ulrich zagen een vergelijkbaar patroon in veldexperimenten met zes logo-ontwerpwedstrijden op online wedstrijdplatforms.

Gerichte feedback verbeterde de gemiddelde kwaliteit van de inzendingen, terwijl de spreiding in kwaliteit afnam. Ze merken op dat “geen feedback of willekeurige feedback mogelijk betere kwaliteit aan de top oplevert”.

Ed Catmull beschreef de Braintrust van Pixar als een groep die “geen gezag had” en de regisseur niet kon vertellen wat hij moest doen, in een lezing op Stanford in 2014.

Ideereview zou net zo moeten werken. Reviewers adviseren, de eigenaar van het idee bepaalt hoe hij reageert, en de gate beslist over go of no-go.

De toolkit uitrollen naar je panel

Sjablonen op een gedeelde schijf doen op zichzelf niet veel. Bouw ze in de manier waarop het panel werkt:

1. Voeg de drie delen toe als velden in het reviewformulier: observatie, gate-impact en volgende stap.
2. Kalibreer in één sessie: neem drie oude ideeën, laat elke reviewer commentaar geven en vergelijk de resultaten.
3. Neem elk kwartaal een steekproef van de commentaren en controleer één ding: heeft elk commentaar een volgende stap?
4. Rouleer de toewijzingen, zodat niet steeds dezelfde reviewer de vernieuwende ideeën in zijn eigen vakgebied krijgt.

De roulatiestap is er vanwege de expertisestraf. In de subsidiestudie gaven beoordelaars lagere scores aan voorstellen die dichter bij hun eigen vakgebied lagen.

Kalibratie doet een ander werk, namelijk reviewers laten zien hoe ver hun commentaren uiteenlopen voordat er een echt idee op het spel staat.

Software kan het werk verlichten door commentaren zonder volgende stap te markeren of een eerste versie op te stellen. Het oordeel blijft aan de reviewer.

Waar structuur formulematig wordt

Structuur kan ook averechts werken, als reviewers op de automatische piloot velden gaan invullen.

In een abstract voor het Peer Review Congress vonden Ghazaryan, Broitman en Sox dat gestructureerde formulieren meer opmerkingen per review opleverden, 39,4 tegenover 17,7.

Gestructureerde commentaren herhaalden ook vaker een eerder punt van de reviewer zelf, 13,4% tegenover 2,2%. De auteurs noemen de steekproef te klein om een van beide verschillen te koppelen aan kwaliteit of snelheid.

Gebruik het sjabloon dus als checklist voor je eigen denken, en schrijf de zinnen elke keer opnieuw.

Beoordeel een commentaar op de volgende versie die het oplevert

Een goed commentaar is er een waar de indiener mee aan de slag kan, of een dat de beslissing duidelijk maakt. Elk sjabloon hier is daarvoor gemaakt.

Controleer dit voordat je een review indient:

• Kan de indiener vinden waar je naar wijst?
• Zegt het waarom het bij deze gate belangrijk is?
• Is er één volgende stap?
• Als het een nee of een nu-niet is, zijn de reden en de weg terug allebei duidelijk?

Maar sjablonen worden formulematig als reviewers alleen de velden invullen. Het sjabloon zet je oordeel neer waar de indiener het kan zien, en het oordelen moet je nog steeds zelf doen.

Waar je naar streeft, zijn betere beslissingen over de ideeën die je al hebt, en mensen die blijven indienen.

Download onze e-book over idee-evaluatie en governance om het bredere systeem te zien waarin deze commentaren passen, van scoringsmethoden tot de overdracht naar het portfolio.

Of boek een demo om te zien hoe Accept Mission scorecards, reviewvelden en transparante, traceerbare beslissingen afhandelt voor elke reviewer in je ideereviewpanel.