Beslissen onder onzekerheid: financier je volgende test, geen grote gok12 min read

Je reviewboard heeft vandaag een businesscase van EUR 1,2 miljoen over 5 jaar op de agenda. Niemand heeft het idee getest, en de sponsor wil voor de lunch een ja of nee.

Waar de spreadsheet op leunt:

• Een gok over de vraag of klanten hun manier van werken gaan veranderen.
• Een adoptiecurve die van een ander product is geleend.
• Kostenramingen van een team dat dit nooit eerder heeft gebouwd.
• Een terugverdiendatum die niemand in de zaal de komende 3 jaar kan controleren.

Een ja verbindt het volledige bedrag aan een prognose. Een nee schiet een idee af dat misschien had gewerkt, op basis van hetzelfde dunne bewijs.

Keur dus geen van beide goed, maar financier in plaats daarvan je volgende test: een klein experiment met één vraag, een begrensd budget en een vooraf vastgelegde beslisregel.

Dan vraagt je board niet langer “gaat dit werken?”, maar hoe je het goedkoop kunt testen. Elk antwoord financiert of stopt de volgende test, en grote gokken komen nog steeds later.

Waarom een businesscase een onzeker idee niet kan dragen

Dan Lovallo en Daniel Kahneman beschreven het probleem in Delusions of Success.

Vooroordelen en druk vanuit de organisatie, schreven ze, zorgen ervoor dat managers bij grote investeringen “te optimistische prognoses maken”.

En optimisme is niet het enige dat tegen de prognose werkt:

• Doelen die zich voordoen als prognoses. Kahneman, Lovallo en Olivier Sibony trekken die grens in een HBR-artikel uit 2011: “Prognoses moeten nauwkeurig zijn, terwijl doelen ambitieus moeten zijn.” Een financieringsaanvraag kan die grens vervagen, omdat een sponsor die een ambitieus doel nodig heeft om de plek te winnen, dat doel uiteindelijk als prognose kan presenteren.
• Gemiddelden die de staart verbergen. In een studie uit 2011 naar 1.471 IT-projecten ontdekten Bent Flyvbjerg en Alexander Budzier dat de gemiddelde kostenoverschrijding 27% was. Toch was één op de zes een black swan, met kostenoverschrijdingen van gemiddeld 200% en planningsoverschrijdingen van bijna 70%. Het gaat om IT-projecten, dus zie het als een analogie.
• Kansen voor nieuwe ondernemingen die vooraf niet te kennen zijn. In Entrepreneurship as Experimentation noemen Kerr, Nanda en Rhodes-Kropf slagingskansen “laag, extreem scheef verdeeld en onkenbaar totdat er een investering is gedaan”.

De oplossing van Lovallo en Kahneman is de buitenkijk, ook wel reference class forecasting genoemd. Je bestudeert een klasse vergelijkbare projecten en plaatst het jouwe binnen die verdeling.

Maar een echt nieuw idee heeft misschien geen referentieklasse die die naam verdient. Dus valt de prognose terug op het verhaal dat het team over zichzelf vertelt.

In de praktijk is dat verhaal een stapel aannames. Elke aanname lijkt redelijk, en geen enkele is al getest.

Zo beoordeelt het board een verhaal, en krijgt een zelfverzekerde presentator een voorsprong die het bewijs niet heeft verdiend.

Een businesscase blijft later wel het juiste instrument. Zodra de grote onbekenden zijn opgelost, is het de manier om de volledige investering te bepalen en vast te leggen.

Wat een grote ja daarna met het board doet

Goedkeuring kan de mensen veranderen die haar gaven, en 2 studies laten zien hoe:

• Persoonlijke verantwoordelijkheid. Barry Staw testte escalerende betrokkenheid in een laboratoriumexperiment uit 1976, Knee-Deep in the Big Muddy. Zijn deelnemers “zetten de meeste middelen in op een eerder gekozen koers wanneer zij persoonlijk verantwoordelijk waren voor negatieve gevolgen.” Het is een bevinding uit het lab, dus lees het als een richting.
• Groepsgeloof. Het HBR-artikel van Isabelle Royer beschrijft “een vurig geloof in de onvermijdelijkheid van het uiteindelijke succes van een project.” Dat geloof verspreidt zich totdat onheilspellende signalen eruitzien als “tijdelijke tegenvallers”. Haar openingscasus, RCA’s SelectaVision, “had het bedrijf maar liefst $580 miljoen gekost en 14 jaar lang middelen vastgelegd.”

Dit is onze lezing: iedereen die ja stemde, is nu eigenaar van de hele gok. Een gemiste mijlpaal voelt als een aanval op hun oordeel, en de volgende review verdedigt de stem.

De remedies van Royer zijn praktisch: teams die “niet volledig uit gelijkgestemde mensen bestaan”, “goed gedefinieerde reviewprocessen” die blijven staan, en een exit champion die de aannames van het team ter discussie stelt.

Kijk wat die remedies gemeen hebben. Elk ervan bouwt onenigheid in het proces in, bij voorkeur voordat iemand aan de uitkomst gehecht raakt.

Gate-frameworks bieden al een uitweg. Het Stage-Gate-beslismenu noemt “Go (financieren), Kill (financiering stoppen), Recycle (informatie verkrijgen), Hold (financieren zodra middelen beschikbaar zijn).”

Boards die alleen Go en Kill gebruiken, slaan de optie over die voor onzekerheid is gebouwd. Recycle, met een schriftelijke vraag erbij, is de experimentgoedkeuring.

De rekensom die in het voordeel van het experiment uitvalt

Kerr, Nanda en Rhodes-Kropf werken een voorbeeld uit: een project dat $110 kost om te commercialiseren en met 1% kans $10.000 oplevert, en anders $0.

De getallen zijn bewust klein gehouden. Vermenigvuldig ze met 10.000 en de rekensom klopt ook op boardniveau.

Nu financieren is min $10 waard. De test valt 1 op de 10 keer positief uit, en een positief resultaat verhoogt de kans naar 10%, goed voor $890.

Dus voeren de auteurs de test uit “zolang het experiment minder dan $89 kost” (10% x $890), en stoppen of commercialiseren ze het project op basis van het resultaat.

Echte experimentdata wijzen dezelfde kant op. Het verslag uit 2017 over online experimenten van Ron Kohavi en Stefan Thomke behandelt Microsoft, Bing en Google.

Bij Google en Bing leverde slechts ongeveer 10% tot 20% van de experimenten positieve resultaten op. Zelfs experts, schrijven ze, “schatten vaak verkeerd in welke zich zullen terugbetalen.”

En ook grote bouwprojecten missen: de social-media-integratie van Bing kostte Microsoft meer dan $25 miljoen voor verwaarloosbare winst. Het testen van een idee met lage prioriteit voor de weergave van advertentiekoppen verhoogde de omzet met 12%.

Wat het board in plaats daarvan moet goedkeuren

De goedkeuring moet één test dekken, op papier gezet voordat het werk begint. Die experimentgoedkeuring past op één pagina:

Begin met de rij van de vraag. Intuit beschrijft leap-of-faith-aannames als de aannames die “het meest cruciaal zijn voor het succes van een product of functie”.

Ze “zijn ook nog niet elders in de praktijk bewezen”. Als een aanname zich al ergens vergelijkbaars heeft bewezen, test dan de volgende.

Voor de maatstaf definieert het Seven Pitfalls-paper waaraan Kohavi meeschreef het Overall Evaluation Criterion als “een kwantitatieve maatstaf voor het doel van het experiment.”

Het waarschuwt voor een maatstaf “waarbij het makkelijk is om de controlegroep te verslaan door iets te doen wat vanuit bedrijfsperspectief duidelijk ‘fout’ is.”

De laatste rij leent van venture capital, zoals het paper van Kerr het beschrijft.

Investeerders “koppelen elke financiële injectie aan mijlpalen”, en stemmen elke ronde af op de specifieke onzekerheid die ze oplost.

Een uitgewerkt voorbeeld uit operations

Hier is een illustratieve casus. Een operationsteam stelt predictive maintenance voor en vraagt EUR 900k om het op 8 locaties uit te rollen.

Het model heeft elders gewerkt, dus de riskantste aanname is menselijk. Het board keurt dit schriftelijk goed:

• Vraag: gaan technici op locatie handelen op de meldingen?
• Maatstaf: het aandeel meldingen dat binnen 48 uur tot een geregistreerde werkorder leidde.
• Limiet: EUR 20k en een pilot van 6 weken op één locatie.
• Beslisregel: doorgaan bij 60% of meer, stoppen onder 30%, en aanpassen bij alles daartussen.
• Datum en beslisser: de boardvergadering in week 7, voorgezeten door de innovatiedirecteur, die de knoop doorhakt.
• Volgende tranche: doorgaan financiert 3 extra locaties tot EUR 300k; aanpassen herhaalt de pilot van EUR 20k (een 2e middenresultaat betekent stoppen); stoppen sluit het af.

Elk getal hierboven is vastgelegd voordat de pilot begon. Als het aandeel op 45% uitkomt, discussieert niemand over wat dat betekent.

Het betekent aanpassen: misschien de formulering van de melding, misschien de dienst die haar ontvangt. Het board financiert nog één ronde en houdt de limiet aan.

Bij 20% is de stop al afgesproken, en blijft de rest van de EUR 900k onuitgegeven.

Kerr en zijn coauteurs merken op dat “een belangrijke rol van venture-capitalfirma’s is om ondernemingen stop te zetten die slechte signalen ontvangen.”

De limiet volgt de logica van Kerrs rekenvoorbeeld. EUR 20k is weinig vergeleken met wat een helder antwoord waard is bij een beslissing van EUR 900k.

Hoe het board samen beslist als de resultaten binnenkomen

Wanneer resultaten binnenkomen, begint hindsight bias te herschrijven wat iedereen verwachtte. Brian Nosek en collega’s wijzen op “hindsight bias” in The Preregistration Revolution.

Die maakt voorspellingen en achteraf-verklaringen moeilijk van elkaar te onderscheiden. Hun oplossing: “definieer de onderzoeksvragen en het analyseplan voordat je de onderzoeksuitkomsten bekijkt.”

De experimentgoedkeuring doet dat werk voor een board. Daarna heeft de review zelf een vaste volgorde nodig:

1. Elk lid legt alleen vast of het doorgaan, aanpassen of stoppen wordt, gemeten aan de beslisregel.
2. De voorzitter leest elk oordeel hardop voor, verdeeldheid inbegrepen.
3. Het board bespreekt de verschillen tussen de oordelen en de regel.
4. De aangewezen beslisser hakt de knoop door, en elke afwijking van de beslisregel wordt met de reden vastgelegd.

Stap 1 leent van Gary Kleins project premortem, waarbij deelnemers “onafhankelijk elke reden opschrijven die ze kunnen bedenken voor het mislukken.”

Stap 1 dempt ook de HiPPO, de “Highest Paid Person’s Opinion” (de mening van de best betaalde persoon), zoals gedefinieerd in een paper uit 2013 waaraan Kohavi meeschreef. Senior leden schrijven hun oordeel op voordat iemand iets zegt.

Stap 2 legt schijnovereenstemming bloot. Kahneman, Lovallo en Sibony schrijven dat “het ontbreken van tegenspraak” bij een complex probleem “alarmbellen moet doen rinkelen.”

Bij stap 3 kan software helpen. Een AI-samenvatting van het bewijs afgezet tegen de beslisregel, gecontroleerd door de voorzitter, geeft elk lid hetzelfde beeld.

Stap 4 is onze vaste regel: een overrule is toegestaan, maar de reden wordt vastgelegd. Ongemerkt de doelpalen verzetten na de resultaten is precies hoe het misgaat.

Wanneer een grote gok de juiste keuze is

Experimenten zijn niet altijd de juiste keuze. In zijn brief uit 2016 schreef Jeff Bezos dat omkeerbare “two-way doors” “een lichtgewicht proces kunnen gebruiken.”

Zijn brief uit 2015 reserveerde een traag, zorgvuldig proces voor one-way doors, de beslissingen die je niet kunt terugdraaien. Dit zijn signalen dat het idee in plaats daarvan een grote-gokbeslissing nodig heeft:

• De beslissing kan niet worden teruggedraaid zodra ze is genomen.
• Onder volledige schaal valt er niets zinvols te leren.
• De test zelf zou klanten of het merk schaden.
• Uitstel kost meer dan ernaast zitten.

Het 2e signaal weerspiegelt het voorbehoud van Kerr. Experimenten lonen wanneer vroege informatie “bijzonder informatief” is over het project en “kosteneffectief te verkrijgen”.

Het 3e komt uit Stefan Thomkes werk bij Bank of America, dat service-experimenten uitvoerde in echte filialen. Hij waarschuwt dat “live tests de kosten van falen uitvergroten.”

Voor het 4e geldt Bezos’ vuistregel: beslis met “ongeveer 70% van de informatie die je zou willen hebben.”

Ook kleine experimenten hebben een grens. Kohavi’s paper uit 2013 waarschuwt dat “je de maan niet bereikt door in steeds hogere bomen te klimmen.”

Zelfs een grote gok verdient een gefaseerde aanpak, plus de buitenkijk waar een referentieklasse bestaat. Financier het onomkeerbare deel als laatste, en test wat nog op kleine schaal te testen valt.

Financier de volgende test, en beslis dan

Als niemand eerlijk kan zeggen of een idee gaat werken, kan de businesscase het niet beslissen. Je board kan nog steeds de volgende test financieren.

Probeer dit tijdens je volgende boardvergadering:

• Vraag elke sponsor de ene aanname te noemen die het idee zou laten zinken.
• Stuur elke financieringsaanvraag terug die geen vooraf vastgelegde beslisregel heeft.
• Laat elk lid alleen een oordeel vastleggen voordat de discussie begint.
• Bekijk de goedkeuringen van vorig jaar en tel hoeveel er terugkwamen met een duidelijke stop, aanpassing of doorgang.

Reken op tragere eerste reviews en wat weerstand van sponsors tegen de limiet. Maar onthoud dat een begrensde ronde het board eerder ja laat zeggen dan een volledige businesscase zou doen.

En een stop sluit alleen de versie af die is getest, dus een sponsor met een nieuwe vraag kan die opnieuw aan het board voorleggen.

Na verloop van tijd koopt elke goedkeuring een antwoord, en verdedigt je board geen gokken meer die het niet kan controleren. Financier dus je volgende test, en laat het antwoord de test daarna bepalen.

Download ons e-book over ideeënbeoordeling en governance. Het behandelt gestructureerde pipelines, scoringsmethodieken, governanceframeworks en de overdracht van goedgekeurde ideeën naar portfoliomanagement.

Of boek een demo om te zien hoe Accept Mission scorecards, beslisworkflows en audittrails afhandelt, zodat elk goedgekeurd experiment een zichtbare uitkomst heeft.