Prioritering Voorbij ROI: Ideeën Scoren Wanneer Gegevens Onzeker Zijn14 min read

Je innovatieteam heeft net twee weken besteed aan het maken van financiële projecties voor een nieuw productconcept.

De spreadsheet is haarscherp:

• 3-jarige ROI van 240%
• Terugverdientijd in 18 maanden
• Adresseerbare markt van $50M

Het ziet er waterdicht uit, dus je financiert het. Achttien maanden later schrijf je het af. Dit gebeurt vaker dan de meeste leiders willen toegeven, en het is een symptoom van een kapot evaluatieproces.

Ideeën in een vroeg stadium hebben geen betrouwbare financiële gegevens, maar toch doen de meeste scoringsmethoden alsof dat wel zo is.

Teams eindigen met het reverse-engineeren van spreadsheets om troetelprojecten te rechtvaardigen, of ze laten structuur helemaal los en laten de luidste stem winnen.

Maar er is een derde weg:

Een die specifiek werkt voor innovatiemanagers en R&D-leiders die verdedigbare investeringsbeslissingen moeten nemen zonder betrouwbare gegevens.

Gewogen scoringsmodellen gekoppeld aan betrouwbaarheidsfactoren die onzekerheid zichtbaar, meetbaar en bruikbaar maken, zodat investeringsniveaus overeenkomen met wat je daadwerkelijk weet.

Waarom ROI Faalt voor Ideeën in een Vroeg Stadium

ROI werkt uitstekend wanneer je over historische gegevens beschikt.

Als je je vijfde e-commerce magazijn lanceert in een markt waar je er al vier hebt gebouwd, is het projecteren van kosten en opbrengsten relatief eenvoudig. Je hebt een precedent.

Ideeën in een vroeg stadium leven in een andere wereld.

Economen hebben er een term voor: Knightiaanse onzekerheid, waarbij uitkomsten niet betrouwbaar kunnen worden geschat op basis van ervaringen uit het verleden.

Wanneer een oprichter “20% marktpenetratie in jaar drie” in een businesscase schrijft, is dat geen voorspelling. Het is een gok verkleed in decimalen. En iedereen in de kamer weet het, zelfs als niemand het zegt.

Toch is dat precies wat er in ROI-modellen wordt gestopt.

Teams fabriceren specificiteit (of erger nog, ze worden daartoe onder druk gezet door stakeholders die een getal verwachten) of ze laten gestructureerde evaluatie los en vallen terug op onderbuikgevoel en hiërarchie.

En de kosten lopen snel op.

70% van de digitale transformatie-initiatieven behaalt de doelstellingen niet, grotendeels door hiaten in de uitvoering, maar ook omdat investeringen werden geprioriteerd op basis van opgeblazen financiële projecties.

Organisaties verliezen jaarlijks gemiddeld $9,7-15 miljoen door gebrekkige besluitvorming veroorzaakt door slechte datakwaliteit, wat doorsijpelt door de hele portfolio.

Neem Zillow’s iBuying experiment.

Het bedrijf bouwde een geavanceerd algoritmisch model om de waarde van huizen te schatten en investeringen in residentieel vastgoed op te schalen. De ROI-berekening zag er overtuigend uit.

Maar het model hield geen rekening met ongestructureerde data, gedragsveranderingen tijdens marktvolatiliteit en oplopende kosten door prijsfouten. Het resultaat: meer dan $500 miljoen aan verliezen en een ontslagronde van 25% van het personeel.

De onderliggende fout: niemand kwantificeerde wat ze niet wisten.

Het financiële model creëerde schijnprecisie in een domein waar hoge onzekerheid vanaf het begin de investeringsstrategie had moeten bepalen.

Een voor betrouwbaarheid gecorrigeerde aanpak zou de kloof tussen de specificiteit van het model en de daadwerkelijke bewijsbasis van het team hebben gesignaleerd.

De Vooroordelen Die Scoren Kapot Maken

Zelfs teams die afstappen van pure ROI vallen vaak nog in voorspelbare valkuilen. Gestructureerde scoringsmodellen zijn slechts zo goed als de mensen die ze uitvoeren. En mensen brengen vooroordelen (biases) met zich mee.

Schijnprecisie

Wanneer een scoringsmodel om een numerieke beoordeling vraagt, voldoen mensen daaraan. Iemand beoordeelt “marktpotentieel” met een 7,2 uit 10. Een ander geeft het een 7,8. Het verschil voelt betekenisvol.

Teams besteden tijd aan het debatteren of 7,2 of 7,8 de kans beter weergeeft. Ondertussen behandelen ze schattingen die met heel weinig bewijs zijn gemaakt alsof ze tot op één decimaal nauwkeurig zijn.

Onderzoek toont aan dat het omzetten van kwalitatieve, zeer onzekere oordelen in nauwkeurige decimale scores leidt tot informatieverlies en schijnprecisie.

Het vertrouwen dat precisie impliceert, komt niet overeen met de onderliggende realiteit.

Een score van 7,2 suggereert dat je iets specifieks weet. Als dat getal gebaseerd is op een enkel gesprek met een potentiële klant, is dat waarschijnlijk niet zo.

Het HiPPO Effect

HiPPO staat voor “Highest Paid Person’s Opinion” (de mening van de best betaalde persoon). Het is wat er gebeurt wanneer de organisatorische hiërarchie zich mengt in datagedreven evaluatie.

De VP of Product loopt de scoringssessie binnen met een favoriet idee. Zelfs als de gegevens suggereren dat het zwak is, stelt het team hun scores naar boven bij omdat ze in de loop van de tijd hebben geleerd wat de VP wil horen.

Teams die dit spel spelen, leren welke criteria ze kunnen uitbuiten, waardoor prioriteringsdebatten veranderen in ruzies over subjectieve beoordelingen.

Zombieprojecten die continu budget opslokken ondanks zwakke prestaties blijven bestaan omdat het annuleren ervan ingaat tegen organisatorische macht.

Het toestaan dat de mening van de best betaalde persoon zwaarder weegt dan data, leidt tot projecten die voor onbepaalde tijd middelen uitputten.

Verankering en Gaming (Manipulatie)

De eerste persoon die spreekt in een scoringssessie zet een onzichtbaar anker uit.

De schattingen van alle anderen clusteren rond dat getal, zelfs als ze het idee op zichzelf anders zouden beoordelen. Onderzoek naar schattingen toont aan dat de eerste spreker de resultaten tot 67% kan vertekenen.

Teams leren ook het systeem te manipuleren (‘gamen’).

Als je weet dat ideeën die boven de 7,0 scoren doorgaan en die onder de 5,0 worden geschrapt, leer je welke criteria “makkelijk” hoog te scoren zijn en welke poortwachters zijn.

Troetelprojecten krijgen opgeblazen scores op de criteria waar de lat lager ligt.

Het goede nieuws: deze vooroordelen zijn niet onoplosbaar. Ze zijn op te lossen als je waarborgen inbouwt in je proces.

Gewogen Scoringsmodellen Die Rekening Houden Met Onzekerheid

De meeste innovatieteams hebben ooit wel eens een gewogen scoringsmodel gezien. De vraag is of het model dat ze gebruiken daadwerkelijk rekening houdt met wat het team niet weet in innovatiemanagement.

RICE (Reach, Impact, Confidence, Effort) is het meest geaccepteerde prioriteringsframework bij 38% van de productteams.

RICE vermenigvuldigt Bereik (Reach: hoeveel gebruikers) met Impact (hoeveel elke gebruiker profiteert) en met Vertrouwen (Confidence: de overtuiging van het team, meestal uitgedrukt als een percentage) en deelt dit door Inspanning (Effort).

De Vertrouwensvermenigvuldiger is het belangrijkste inzicht: een idee met hoge impact dat is beoordeeld met 50% vertrouwen, wordt gehalveerd vergeleken met hetzelfde idee dat met 100% vertrouwen is beoordeeld.

Dit voorkomt dat gissingen met weinig vertrouwen de portfolio domineren.

ICE (Impact, Confidence, Ease) volgt een vergelijkbare logica, waarbij snelheid en eenvoud prioriteit krijgen. Het is handig voor teams die snelle beslissingscycli nodig hebben, maar zich wat verlies van nuance kunnen veroorloven.

Strategyzer’s evidence-based innovation scorecard vervangt opiniegedreven pitches door evaluatie over vier dimensies: Wenselijkheid (Desirability), Haalbaarheid (Feasibility), Levensvatbaarheid (Viability) en Aanpasbaarheid (Adaptability).

De werkelijke waarde ligt in het dwingen van teams om bewijs te verzamelen voor elke dimensie en te erkennen wat ze niet weten.

WSJF (Weighted Shortest Job First) en Cost of Delay zijn krachtig in omgevingen waar snelheid naar de markt en concurrerende timing ertoe doen.

Maar voor ideeën in een vroeg stadium waarbij de vraag onzeker is, kunnen deze raamwerken tijdkritische voordelen overschatten die zich mogelijk niet realiseren.

Elk van deze is beter dan pure ROI voor ideeën in een vroeg stadium.

Maar ze delen allemaal een beperking: ze behandelen vertrouwen als een enkele vermenigvuldigingsfactor in plaats van te ondervragen wat voor soort bewijs elke score ondersteunt. Dat is waar betrouwbaarheidsfactoren om de hoek komen kijken.

De Betrouwbaarheidsfactor: Scores Verankeren Aan Bewijs

Vraag aan een willekeurig teamlid: “Hoe zeker ben je van die score?” en je krijgt een antwoord. Maar vertrouwen op zich is subjectief. Wat voor de één 60% zeker is, is voor een ander 80%.

Itamar Gilad’s Confidence Meter lost dit op door ideeën in kaart te brengen op een spectrum van bewijs, waardoor gegarandeerd wordt dat investeringsniveaus proportioneel blijven aan gevalideerd leren.

In plaats van te vragen “Hoe zeker?”, vraag “Welk bewijs hebben we?” en laat het type bewijs het betrouwbaarheidsniveau bepalen.

Bekijk het zo: een score van 7 uit 10 betekent iets heel anders, afhankelijk van hoe je eraan bent gekomen.

Is het gebaseerd op één informeel gesprek met een potentiële klant? Gegevens uit een marktonderzoeksrapport? Gevalideerde resultaten van een betalende bètaklant? Of een interne mening?

De score moet het bewijstype weerspiegelen.

Hier zie je hoe dit in de praktijk werkt: Twee ideeën scoren beide 7,5 op “marktpotentieel” in je gewogen model. Zonder betrouwbaarheidsfactoren worden ze als gelijken behandeld.

Maar de een wordt ondersteund door uitgebreide feedback van bètaklanten. De ander is gebaseerd op interne intuïtie. De voor betrouwbaarheid gecorrigeerde scores laten het echte verschil zien: 7,5 x 1,0 = 7,5 versus 7,5 x 0,4 = 3,0.

Betrouwbaarheidscorrectie straft ideeën in een vroege fase niet af. Het verduidelijkt waar ze staan.

Een idee dat na betrouwbaarheidscorrectie een 3,0 scoort, is niet dood. Het zit in de verkenningsfase. Het heeft onderzoek nodig. De volgende werkfase is het verzamelen van bewijs om het van Mening naar Thematische Ondersteuning te verplaatsen.

68% van de ondernemingen integreert beoordeling van strategische fit in financiële analyse met behulp van gewogen scoring, en dit correleert met 29% hogere langetermijnwaardecreatie.

De organisaties die dit het beste doen, verbergen onzekerheid niet achter decimalen in portfoliomanagement. Ze maken het zichtbaar. Je kunt dit zelfs overbruggen naar financiële governance door de voor betrouwbaarheid gecorrigeerde verwachte waarde te berekenen.

Als een idee een potentiële waarde heeft van $10M maar wordt ondersteund door slechts 40% vertrouwen (bewijs op meningsniveau), is de verwachte waarde voor planningsdoeleinden $4M.

Dit geeft CFO’s het numerieke anker dat ze willen, terwijl het wordt gebaseerd op realistische waarschijnlijkheid.

Het In De Praktijk Brengen: Een Governance Model

Voor betrouwbaarheid gecorrigeerde scoring werkt het beste wanneer het gekoppeld is aan een duidelijke governance structuur die verschillende stadia van ideevolwassenheid erkent.

Scheid Je Portfolio’s per Horizon

Stage-Gate-processen worden overgenomen door grofweg 80% van de Noord-Amerikaanse ondernemingen en verhogen de succespercentages van producten naar 63-78% vergeleken met 24% zonder formele processen.

Maar traditioneel stage-gate denken werkt niet meer bij innovatie in een vroeg stadium. Denk in plaats daarvan in termen van horizonten.

Horizon 1 ideeën zijn incrementele verbeteringen aan bestaande producten en bedrijfsmodellen.

Hier zijn historische gegevens aanwezig. Op ROI gebaseerde scoring is logisch. Je kunt met redelijke nauwkeurigheid projecteren omdat je een precedent hebt.

Horizon 3 ideeën zijn verkennend en transformationeel.

Je betreedt nieuwe markten, test nieuwe bedrijfsmodellen of ontwikkelt nieuwe technologieën. Hier is op betrouwbaarheid gebaseerde scoring verplicht.

ROI-projecties zijn fictie. Wat telt is bewijs van wenselijkheid, haalbaarheid en het tempo waarin je gevalideerd leren verzamelt.

Horizon 2 zit in het midden. Er zijn enkele gegevens, maar deze zijn onvolledig. Gewogen scoring met betrouwbaarheidsfactoren werkt hier goed.

Doseer Financiering op Basis van Betrouwbaarheidsniveau

Dit is waar governance operationeel wordt. Budgetallocatie zou bewijs moeten volgen, niet alleen de grootte van de kans.

Een idee dat gescoord is met betrouwbaarheid op meningsniveau krijgt geen miljoenenfinanciering.

Het krijgt tienduizend dollar om de volgende kritische vraag te beantwoorden. Als het team bewijs verzamelt en doorgaat naar thematische ondersteuning, stroomt het door naar de validatiefase.

Dit dwingt discipline af: je zet niet je hele bedrijf op het spel voor voorgevoelens. Je investeert in leren.

Spotify gebruikt betrouwbaarheidsscoring voor GenAI financiële automatisering, waarbij ze gebruik maken van kalibratiemodellen en meerderheidsstemming (majority voting) om voorspellingsnauwkeurigheid te garanderen.

Het principe is hetzelfde: stem de investering af op het betrouwbaarheidsniveau.

Vier de Annuleringsratio (Kill Rate)

Hier is een mentaliteitsverandering die veel organisaties nodig hebben: vroegtijdige annulering is bespaard kapitaal, geen falen. Als je 50% van de ideeën doodt na de verkenningsfase, is dat een succes.

Je hebt voorkomen dat je middelen verspilt aan concepten met een laag potentieel.

Geweldige ideeën en slechte ideeën zien er in een vroege fase vrijwel identiek uit; succes vereist dat je kleine bedragen investeert in veel teams en vervolgens meedogenloos de helft elimineert op basis van een gebrek aan bewijs.

Dat is optionaliteit. Je koopt het recht om bij te sturen (‘te pivoten’), de informatie om te beslissen, het bewijs om je vast te leggen.

Kader het intern op deze manier in: “We hebben $30K geïnvesteerd om een slecht idee te elimineren. Die beslissing heeft ons zojuist $1,2M aan verspilde ontwikkelings- en go-to-market-uitgaven bespaard.” Plotseling is de annuleringsratio een positief signaal.

Begin met Investeren in Bewijs, Niet in Voorgevoelens

De vraag die er het meest toe doet in vroege-fase-evaluatie is: “Wat is het bewijs?” ROI vraagt je de toekomst te voorspellen met precisie die je niet hebt.

Voor betrouwbaarheid gecorrigeerde scoring dwingt eerlijkheid af over wat je weet en wat je gokt.

Voor innovatiemanagers betekent dit een betere portfoliobalans en minder verrassingen. Voor leidinggevenden betekent dit dat kapitaal naar bewijs stroomt in plaats van naar politiek.

De goede ideeën krijgen de startbaan die ze nodig hebben, niet gebaseerd op wie ze het hardst heeft gepitcht, maar op wat klanten daadwerkelijk zeggen in ideemanagement.

Klaar om te stoppen met het verliezen van goede ideeën aan de verkeerde scoringscriteria?

Download ons e-book over het bouwen van een voor betrouwbaarheid gecorrigeerd scoringssysteem, of boek een demo om te zien hoe Accept Mission omgaat met gewogen criteria, bewijsniveaus en portfolioprioritering.