Van intake naar inzicht: lees je funnel als bewijs, niet als wachtrij15 min read

Vorige cyclus scoorde je team vierhonderd ideeën, financierde er negen en archiveerde de rest. De 391 die sneuvelden zijn één keer gelezen, als kandidaten.

Een goed ingerichte funnel kan vier dingen vastleggen:

• Wie heeft ingediend, en vanuit welk deel van de organisatie
• Waar ze over indienden, in hun eigen woorden
• Waar elk idee sneuvelde, en bij welke gate
• Hoe lang het bleef liggen voordat iemand reageerde

Stuk voor stuk gelezen zijn die records kandidaten voor financiering. Samen gelezen vormen ze een kaart van waar de organisatie steeds vastloopt.

Vierhonderd inzendingen zijn vierhonderd observaties over waar indieners verspilde moeite, klantfrictie en processen onder druk zien.

Lees dat als een wachtrij en het resultaat is een lege wachtrij. Lees het als bewijs en dezelfde export bepaalt het budget van de volgende cyclus.

Wat de funnel vastlegt en de scorecard niet

Een scorecard beoordeelt één idee tegen criteria die je vooraf vastlegt. Dat ondersteunt triage, validatie en portfolio review.

Het totaalbeeld beantwoordt iets waar de scorecard nooit voor gemaakt is: wat probeert deze organisatie steeds opnieuw op te lossen?

Het ideeënsysteem van Toyota registreerde 810.000 inzendingen in 2023. Het nuttigere document is vijftig jaar ouder.

Een categorieverdeling die Toyota in 1973 publiceerde, over de voorgaande jaren, zag er zo uit:

• 70% over het elimineren of vereenvoudigen van productieprocessen, of het invoeren van automatisering
• 10% over het verbeteren van productkwaliteit
• 10% over het verlagen van materiaalkosten
• 7% over het vereenvoudigen van bedrijfsprocessen of interne formulieren

Gelezen als verdeling laat die uitsplitsing zien waar het werk pijn deed, getekend door de mensen die het werk deden. Decennia later benoemt het nog steeds waar de werkvloer tegen vocht.

Het Aviation Safety Reporting System van NASA verzamelde sinds 1976 ruim 2,3 miljoen meldingen. Het programma heeft meer dan 8.150 waarschuwingsberichten uitgegeven.

De sterile cockpit rule uit 1981 kreeg volgens NASA zelf substantiële input uit dat systeem. Losse meldingen kunnen ernstige incidenten beschrijven, maar elke melding blijft een geïsoleerd signaal.

Het totaalbeeld vormde federaal beleid. Dat is een leeswijze waar een scorecard niet om vraagt.

De helft van de respondenten die zichzelf een toonaangevend innovatievermogen toeschrijft stelt doelen en meet actief ideevorming en conversie, tegenover 39% van de gemiddelde respondenten, vond Deloitte in 2021.

Beide leeswijzen draaien op dezelfde intake. Maar één ervan vertelt je waar je het mandaat van volgend jaar op richt.

Een thema is een budgetclaim

Mintzberg en Waters trokken de lijn in 1985. Deliberate strategieën zijn de strategieën die worden gerealiseerd zoals bedoeld, en emergente strategieën zijn patronen die ontstaan ondanks intenties, of bij afwezigheid daarvan.

Een funnel kan signalen van het emergente type naar boven halen: patronen die buiten eerdere intenties ontstaan, in de eigen taal van de indieners.

Een thema benoemen is de deliberate handeling. Het is het moment waarop een patroon in het plan wordt opgenomen en een budgetregel krijgt.

Het patroon verschuift geld voordat iemand het benoemt

Bij Intel wezen middenmanagers steeds meer middelen toe aan gespecialiseerde microprocessors en steeds minder aan het commoditiserende DRAM, voordat de leiding de officiële strategie herschreef.

In het verslag van Burgelman steunde het topmanagement dat gedrag al voordat de bedrijfsstrategie daadwerkelijk veranderde. Het patroon verschoof geld voordat iemand het benoemde.

Dat is het controleren waard voordat je een herverdeling voorstelt. De verschuiving is misschien al ergens in de organisatie gaande.

Dan is het de taak van je thema om bij te trekken en er een getal aan te hangen.

De faalmodus is een spreadsheet met nieuwe labels

Een thema-exercitie kan ver voor een getal blijven steken. Onderzoek naar innovatietheater beschrijft zichtbare symbolische activiteit met geen impact op het innovatieproces.

Twaalf categorieën hernoemen tot vier domeinen kan theater worden. Als er stroomafwaarts niets verandert, bleef de exercitie symbolisch.

Dit is de test die je kunt toepassen voordat de slide wordt gemaakt.

Als een thema geen enkele toewijzing, eigenaar of stage gate verandert, is het een label. Goedkoop om te maken, en makkelijk als zodanig te herkennen.

Lees de verdeling voordat je de ideeën leest

Bij een paar honderd inzendingen past de eerste ronde in een middag. Bevestigen wat die oplevert kost meer tijd.

Vijf leeswijzen zijn het waard om eerst te draaien:

• Concentratie per categorie, en of die verschoven is sinds de vorige cyclus
• Waar elk thema sneuvelt: intake, scoring, of de gate na de pilot
• Herhaalde inzendingen van dezelfde klacht, ingediend door verschillende mensen
• Convergentie tussen afdelingen die niet met elkaar praten
• Het gat tussen waar inzendingen vandaan komen en waar de uitgesproken strategie naartoe wijst

Reken erop dat de tweede leeswijze de ongemakkelijke is. Een thema dat herhaaldelijk bij dezelfde gate sneuvelt, geeft aan dat de gate en de fit van het thema onderzoek verdienen.

Misschien zijn de criteria onduidelijk, misschien ontbreekt de sponsor, of misschien kost het thema meer dan die gate ooit mocht goedkeuren.

Convergentie verdient een eigen overleg. Als finance, field service en twee fabrieken onafhankelijk van elkaar dezelfde klacht indienen, behandel het dan als een systeemprobleem tot iets dat uitsluit.

De vijfde leeswijze wordt politiek. Als de intake zich clustert weg van de uitgesproken strategie, vraagt die mismatch om onderzoek en wordt hij mogelijk gepresenteerd als communicatie.

Die divergentie is het thema dat je mee naar boven neemt. Draai dezelfde leeswijzen ook op de export van de vorige cyclus, want een verdeling zonder vergelijkingspunt is decoratie.

Je verdeling is deels een gevolg van je eigen reacties

Onder dit alles zit een feedbackloop. Feedback op de ideeën van vorige cyclus kan het succes van latere inzendingen bepalen.

Onderzoekers die 1.143 ideeën over vijf jaar volgden bij een autobedrijf vonden dat succesfeedback en constructieve, idee-gerelateerde faalfeedback samenhingen met hoger toekomstig ideesucces.

Faalfeedback gericht op de indiener hing samen met lager toekomstig ideesucces. Hun advies is bot: geef prioriteit aan feedback op ideeën in plaats van op indieners.

Een dunne categorie kan simpelweg een categorie zijn waar de laatste drie indieners stilte kregen. Het reactielog helpt een stil thema te onderscheiden van een verwaarloosd thema.

De steekproef is niet de organisatie

Bewijs is niet beter dan de steekproef. Alles hierboven gaat ervan uit dat de funnel de organisatie vertegenwoordigt, en niet alleen iedereen die zich veilig en rustig genoeg voelde om in te dienen.

Een Harvard-promotieonderzoek volgde crowdsourced ideevorming bij het cardiologisch centrum van een ziekenhuis. Bij de cijfers is het even stilstaan waard:

• 72 zorgverleners en medewerkers dienden 138 ideeën in tijdens de wedstrijd
• Van de 354 medewerkers die de bijbehorende enquête invulden, een steekproef en niet het hele centrum, deed 11% mee aan ideevorming
• 31% van diezelfde respondenten stemde

Een ondersteunende leeromgeving, met waardering voor nieuwe ideeën, ruimte voor verschillen en het toestaan van fouten, hing samen met wie er meedeed. Ervaren steun van de leiding hing niet significant samen met deelname.

De categorieën die er het dikst uitspringen zijn misschien de categorieën van managers die goed reageren als iemand zegt dat er iets stuk is.

Wie zitten er eigenlijk in je steekproef

Bijna 90% van de oplossingen uit de interne crowdsourcingchallenge van één bedrijf kwam van junior tot medior medewerkers, rapporteerde MIT Sloan Management Review in 2017.

Ongeveer 30% kwam van ondersteunende functies zoals HR, IT en finance. Dat is bruikbaar signaal, en het is ook een waarschuwing over dekking.

Een intake met veel volume kan senior operators alsnog missen; controleer de rolverdeling. Volume verbergt samenstelling.

Lees de stilte

Campagnevragen bepalen wat er terugkomt. Behandel een thema dat zwaar op kosten leunt als campagnespecifiek signaal, tot een ongestuurde nulmeting bredere vraag bevestigt.

Een business unit die niets indiende is een datapunt, en reken erop dat de verklaring ongemakkelijk is.

Twee plausibele verklaringen zijn het controleren waard:

• De campagne heeft hen niet bereikt
• Ze geloofden niet dat er iets mee zou gebeuren

Beide bevindingen zijn bruikbaar zodra je ze gecontroleerd hebt. Lees de funnel net zo goed als bewijs over aandacht als over ideeën.

Anders dan een ontworpen enquêtepanel corrigeert gewone funnel-intake niet automatisch voor ontbrekende groepen. De ontbrekende input moet je direct ophalen.

Organiseer gerichte sessies met de stille units, en schrijf de dekkingsgaten daarna naast de cijfers op.

Waar clustering helpt en waar het je stilletjes misleidt

Vierhonderd inzendingen zijn misschien handmatig te behappen. Bij vierduizend wordt het argument voor machinaal ondersteunde triage sterker, afhankelijk van teamcapaciteit en cyclusduur.

Topic modeling groepeert inzendingen op taalgebruik, stelt clusters voor, en geeft een mens iets om mee in discussie te gaan.

De eerlijke vraag is hoe goed die clusters zijn. Een benchmark van het team achter één LLM-versterkte topic modeling-methode zet er cijfers bij:

• Topiccoherentie: 70%, tegenover 65% voor BERTopic en 57% voor LDA
• Topicdiversiteit: 95,5%, tegenover 85% voor BERTopic en 72% voor LDA
• Topicwoordlijsten die door minstens drie van de vier beoordelaars identiek aan dezelfde ground-truth categorie werden gekoppeld: 50%, tegenover 25% voor beide baselines

Dat zijn de resultaten bij 20 topics, gelijk aan de 20 categorieën van het testcorpus zelf. Bij 40 en 50 topics gaat de BERTopic-baseline net voor op coherentie.

Die laatste regel is de regel die telt. Bij de helft van de 20 topicwoordlijsten van QualIT kozen minstens drie beoordelaars onafhankelijk dezelfde ground-truth categorie.

En dat is op een publiek benchmarkcorpus, niet op interne bedrijfstekst, die rommeliger en veel contextafhankelijker is.

Ingediende ideeën kunnen het werk lastiger maken. Veel inzendingen in een vroeg stadium zijn kort, soms maar één of twee zinnen, waardoor er nauwelijks woordco-occurrentie overblijft om mee te werken.

Een overzicht van short-text methoden merkt op dat PLSA en LDA dit niet goed kunnen oplossen, omdat het signaal waar ze op leunen nauwelijks bestaat.

Machines stellen voor, mensen beslissen

De Innovation Jam van IBM uit 2006 leest nog steeds als een werkend model. 150.000 deelnemers plaatsten meer dan 46.000 ideeën, verdeeld over medewerkers, partners, klanten en universitaire onderzoekers.

Het bedrijf draaide text-mining software. Het verslag is openhartig: door software gegenereerde categorieën moesten alsnog door mensen worden verfijnd tot begrijpelijke thema’s.

De oplossing was mankracht: IBM vloog ongeveer 50 mensen naar New York om de output terug te brengen tot 31 ideeën. IBM lanceerde 10 nieuwe bedrijven met 100 miljoen dollar startkapitaal.

Behandel een cluster als kandidaat, niet als bevinding. Bevestiging kost menselijke uren, en die uren begroten hoort bij de methode.

Importeer niet de ratio van iemand anders

Ergens in je deck staat waarschijnlijk een funnelratio. Die komt ergens vandaan, en dat ergens is het controleren waard.

Het artikel van Stevens en Burley uit 1997 in Research-Technology Management zette het getal op 3.000 ruwe ideeën voor één commercieel succes. Hun keten loopt zo:

• 3.000 ruwe ideeën
• 300 op de shortlist voor een tweede fase
• 125 kleine projecten
• 9 grote projecten
• 4 tot vlak voor lancering gebracht
• 1,7 daadwerkelijk gelanceerd
• 1 commercieel succes

Het duikt op in decks en leveranciersrapporten, en het zit achter een betaalmuur. De methode erachter kun je niet zomaar nagaan.

Dat heeft het getal niet afgeremd. Een getal dat vaak genoeg herhaald wordt, krijgt geen vraag meer naar zijn bewijs.

Wat er gebeurt als iemand een ratio toetst

De 300:29:1 veiligheidsdriehoek van Heinrich droeg die autoriteit decennialang. Een studie uit 2018 in Risk Analysis putte uit meer dan 25.000 vestigingen over 13 jaar.

Er was een piramide, maar de vorm hing af van hoe ernst werd afgebakend. Waar je de grenzen trekt, bepaalt welke ratio’s je krijgt.

De 70/20/10-verdeling heeft dezelfde aantrekkingskracht. Nagji en Tuff vonden dat outperformers 70% aan core toewijzen, waarbij het rendement precies omgekeerd loopt:

De auteurs noemden 70-20-10 een gemiddelde verdeling, geen toverformule voor alle bedrijven. Die kanttekening reist minder vaak mee dan de verdeling zelf.

Het publieke-sectoronderzoek van Deloitte uit 2018 laat die contextafhankelijkheid duidelijk zien. Het Bureau for Global Health van USAID zat op 70% tot 90% core en aangrenzend, met 10% tot 30% transformationeel.

Daar bepaalde de missie de ambitiemix, niet de marktpositie. Geen van de bovenstaande ratio’s kwam uit jouw funnel.

Een thema langs een leiderschapsteam krijgen

Een thema dat de analyse overleeft, kan alsnog in de vergaderzaal sneuvelen. Het onderzoek van BCG uit 2024 geeft de omvang van de kloof die het moet overbruggen.

Drie bevindingen liggen onder dat probleem:

• Slechts 12% van de bedrijven meldt een sterke koppeling tussen bedrijfsstrategie en innovatiestrategie
• Strategiegedreven innovators halen een omzetaandeel uit nieuwe producten dat 74% hoger ligt dan bij bedrijven met een zwakke koppeling
• 83% ziet innovatie als top-drie-prioriteit, en 3% is klaar om die prioriteiten om te zetten in resultaat

Een thema brengt funnelbewijs in de ruimte tussen die 83% en die 3%, in een vorm die een budgetgesprek kan gebruiken.

Dat lukt alleen als het thema als besluit wordt gepresenteerd. Het model van Dutton en Ashford over hoe kwesties omhoog worden verkocht legt uit waarom.

Zij stellen dat kwesties die als strategisch worden gepresenteerd de kwesties zijn die het topmanagement relevant vindt, en dat een beknopte framing meer aandacht trekt.

Een thema dat als categorie wordt gepresenteerd nodigt uit tot nieuwsgierigheid. Een thema dat als een middelenbesluit wordt gepresenteerd nodigt uit tot een oordeel.

Een gat in die lijst wordt de vraag die je in de vergaderzaal niet kunt beantwoorden. Reken erop dat die vraag het thema om zeep helpt.

Thema’s hebben een verversingsritme nodig

Zodra een thema is goedgekeurd, gaat de volgende discussie over tempo. McKinsey onderzocht portfolio’s van business units, niet innovatiethema’s, dus behandel wat volgt als indicatief.

Het verversingstempo van het portfolio hing samen met rendement in drie bandbreedtes:

• Onder de 10 procentpunt over tien jaar: ongeveer de helft van de onderzochte bedrijven
• 10 tot 30 procentpunt over het decennium: het jaarlijkse excess TRS lag 5,2% hoger
• Meer dan 30 procentpunt over het decennium: het jaarlijkse excess TRS licht negatief

Toppresteerders in die studie delen bedrijfsonderdelen in als groeien, behouden of afstoten, met verschillende kapitaalregels per categorie.

Thema’s krijgen dezelfde behandeling. Beoordeel ze op een vaste cadans, en schrap de thema’s die twee cycli aan data niet langer ondersteunen.

Lees de funnel voordat je de strategie schrijft

Veel van de benodigde data bestaat waarschijnlijk al binnen je organisatie. Begin met de export die sinds het gate-overleg onaangeroerd bleef.

Drie stappen, in deze volgorde:

1. Exporteer de volledige intake van vorige cyclus, inclusief alles wat je hebt gestopt, en lees de verdeling voordat je één afzonderlijk idee herleest
2. Controleer de steekproef: deelnamepercentage, welke units ontbreken, en waar de campagnevraag precies om vroeg
3. Neem twee of drie kandidaat-thema’s mee in een clusteringronde, en laat mensen elk thema daarna bevestigen of verwerpen tegen de ruwe inzendingen

Minimaal kost dat een besluit en uren van je mensen; grotere of rommeligere datasets vragen mogelijk ook om tooling of externe hulp. Het besluit is dat intake telt als bewijs.

Uit het onderzoek van NewVantage Partners uit 2023 bleek dat slechts 24% van de respondenten het eigen bedrijf datagedreven noemde. Tachtig procent noemde menselijke factoren, niet technologie, als grootste obstakel.

De strategie van de volgende cyclus wordt hoe dan ook geschreven. De vraag is of de funnel van vorige cyclus opduikt als bewijs, of wordt leeggeruimd als een wachtrij.

Als intake, scoringshistorie en stagedata op één plek staan, wordt de tweede leeswijze iets wat je kunt inplannen in plaats van improviseren.

Download ons ebook over ideebeoordeling en governance, of plan een demo om te zien hoe Accept Mission verspreide funneldata omzet in portfoliobesluiten.