De wet van het kleine aantal

De wet van de kleine aantallen
Een van de meest voorkomende misvattingen in PPC is de wet van de kleine aantallen. Deze term is bedacht door Kahneman om te beschrijven hoe mensen de mate waarin de kansverdeling in een kleine groep sterk lijkt op de kansverdeling in de totale populatie overdrijven. Kahneman illustreert hoe mensen in kleine groepen bijna dezelfde waarschijnlijkheidsverdeling van types verwachten als in grote groepen, door een groep studenten de volgende vraag te stellen:

Een stad wordt bediend door twee ziekenhuizen. In het grotere ziekenhuis worden ongeveer 45 baby’s per dag geboren en in het kleinere ziekenhuis ongeveer 15 baby’s per dag. Zoals je weet, is ongeveer 50 procent van alle baby’s een jongetje. Het exacte percentage varieert echter van dag tot dag. Gedurende 1 jaar registreerde elk ziekenhuis de dagen waarop meer dan 60 procent van de baby’s jongens waren. Welk ziekenhuis registreert volgens jou meer van dit soort dagen?

Slechts 22% van de proefpersonen antwoordde correct dat het kleinere ziekenhuis meer van dergelijke dagen zou rapporteren.

Data Sparsity
Hoewel we als adverteerders een enorme hoeveelheid gegevens krijgen, zijn er een aantal uitdagingen bij het schatten van conversiekansen. Een van de grootste uitdagingen is de beperkte hoeveelheid gegevens. De meeste zoekwoorden in het portfolio van een adverteerder genereren maar weinig verkeer. Voor deze schaarse zoekwoorden is het nemen van eenvoudige gemiddelden van klikken en conversies in het verleden onvoldoende om de CVR te schatten, omdat deze schattingen zeer onnauwkeurig kunnen zijn. Zoals geïllustreerd in deze afbeelding*, toont het de proportie conversies die we kunnen verwachten te observeren gegeven een bepaalde steekproefgrootte voor 2 waarschijnlijkheden: 1% en 5%. De figuur laat zien dat je minstens een paar honderd klikken nodig hebt om het steekproefgemiddelde een betrouwbare schatter van de echte CVR te laten zijn. Als een trefwoord weinig verkeer genereert, kan het een tijdje duren voordat er genoeg klikken zijn verzameld. De werkelijke waarschijnlijkheid kan binnen dit tijdsbestek al veranderd zijn. Waar vaak geen rekening mee wordt gehouden, is het effect van de CVR zelf op de mate van vertrouwen die je kunt hebben in hoe waarschijnlijk het CVR van de steekproef zal lijken op het werkelijke CVR. Zoals je in de afbeelding kunt zien, hoe lager de CVR, hoe meer gegevens je nodig hebt om er zeker van te zijn dat het op een vergelijkbaar percentage zal lijken. Om het nog erger te maken, zijn de CVR’s vaak laag in een typisch PPC-account. Dat maakt het moeilijk om vertrouwen te hebben in de CVR die we zien op de laagste niveaus. Dit resulteert vaak in het te vroeg pauzeren van advertentiegroepen of het geven van te veel gewicht aan de winnaars van gisteren.

Monte Carlo Model
Als je dus je kostbare tijd hebt opgeofferd om deze toch al lange post te lezen, vraag je je misschien af: kunnen we niets doen? Gelukkig ja, dit is ook in andere vakgebieden geen ongewoon probleem en slimme statistici bedachten een methode: het Monte Carlo-experiment. Maar dat is een onderwerp voor een andere keer