Meting
Incrementaliteit
Incrementaliteit is het aandeel conversies dat plaatsvond dankzij een marketingactiviteit en zonder die activiteit niet zou zijn gebeurd.
Het is de vraag die attributie niet kan beantwoorden. Attributie kent de eer toe aan conversies die hebben plaatsgevonden; incrementaliteit vraagt welke daarvan zijn veroorzaakt. Een retargetingcampagne die wordt getoond aan mensen die al van plan zijn te kopen, kan een uitstekende toegeschreven ROAS opleveren, terwijl deze bijna volledig niet-incrementieel is.
Het meten ervan vereist een 'holdout' — geografisch, op basis van doelgroep of op basis van tijd — waarbij de activiteit wordt achtergehouden en het verschil wordt waargenomen. Dat is ongemakkelijk, omdat het betekent dat je opzettelijk niet adverteert aan sommige mensen, en het is de enige methode die een causaal antwoord oplevert.
Het tegenfeitelijke is het hele idee
Elke incrementaliteitsvraag komt neer op één vergelijking: wat er gebeurde, tegenover wat er zou zijn gebeurd als je de activiteit niet had uitgevoerd. De tweede helft van die zin is niet waarneembaar. Niemand kan dezelfde week twee keer bekijken, dus het tegenfeitelijke moet altijd worden geconstrueerd uit een groep mensen, markten of tijdsperioden die staan voor de versie van het bedrijf waarin de advertentie niet werd getoond.
Attributie probeert dit nooit. Het observeert conversies die hebben plaatsgevonden en verdeelt de eer onder de touchpoints die het kan zien, volgens een regel — laatste klik, datagestuurd, positiegebaseerd. Elk van die regels verdeelt 100% van de eer, omdat een regel die concludeerde "geen van deze touchpoints heeft dit veroorzaakt" er kapot uit zou zien. Dus attributie beantwoordt 'wie heeft deze bestelling aangeraakt' en wordt routinematig gelezen als een antwoord op 'wat heeft deze bestelling veroorzaakt', wat een andere vraag is met vaak een ander antwoord.
De duidelijkste illustratie is branded search en retargeting. Beide worden bijna uitsluitend getoond aan mensen die al een beslissing hebben genomen, beide leveren uitstekende toegeschreven rendementen op, en beide kunnen bijna volledig niet-incrementieel zijn — de conversies zouden zijn binnengekomen via een organisch resultaat of een direct bezoek. Ze uitschakelen is de enige manier om erachter te komen, en de reden dat zo weinig merken dit weten, is dat het uitschakelen ervan betekent dat je een toegeschreven ROAS-getal ziet instorten terwijl het bedrijf dat niet doet.
De tests die een causaal antwoord opleveren
Ze verschillen in hoe de controlegroep wordt opgebouwd en wat het uitvoeren van de test kost. De onderstaande rangschikking is grofweg gebaseerd op bewijskracht, en bewijskracht wordt in elk geval gekocht met gederfde inkomsten.
| Methode | Hoe de controle wordt gecreëerd | Wat het kost | Wanneer het de juiste tool is |
|---|---|---|---|
| Geo holdout | Gematched markten, waarbij advertenties in de helft ervan zijn uitgeschakeld | Werkelijke gederfde inkomsten in de controlemarkten voor de duur van de test | Vragen op kanaalniveau voor elk kanaal dat geografisch kan worden getarget |
| PSA-test | De controlegroep krijgt een niet-gerelateerde publieke dienstverleningsadvertentie te zien in dezelfde veiling | De mediakosten voor het tonen van advertenties die niets verkopen | Vragen op doelgroepniveau waarbij geografie geen bruikbare splitsing is |
| Ghost ads / ghost bids | Het platform registreert wie de veiling voor de controlegroep zou hebben gewonnen en toont niets | Bijna geen mediakosten, maar het platform voert de test uit en beoordeelt deze | Een goedkope eerste indicatie waar het platform dit aanbiedt |
| Platform conversielift | Het platform houdt een deel van zijn eigen adresseerbare doelgroep achter | Gratis uit te voeren; de partij die wordt gemeten, ontwerpt en beoordeelt het | Een richtinggevende controle, geen bewijs dat sterk genoeg is om een budget om te gooien |
| Uitlezing van uitgavenverandering | Het vorige uitgavenniveau dient als het tegenfeitelijke | Niets meer dan de uitgavenverandering die je toch al deed | Continu en goedkoop, en verward door al het andere dat die week veranderde |
| Marketingmixmodellering | Een statistische controle opgebouwd uit geschiedenis in plaats van een echte holdout | Twee tot drie jaar aan wekelijkse gegevens en een trage feedbackloop | Allocatie over kanalen, niet een beslissing over één campagne |
Waarom een PSA- of ghost-ad-controle beter is dan 'mensen die we niet hebben getarget'
De naïeve controlegroep is iedereen die de campagne niet heeft bereikt. Dit is bijna altijd verkeerd, omdat de mensen aan wie een advertentieplatform ervoor kiest om je advertentie te tonen, precies worden geselecteerd op hun waarschijnlijkheid om te converteren. Ze vergelijken met de mensen aan wie het platform weigerde te tonen, is het vergelijken van een groep met hoge intentie met een groep met lage intentie en het lezen van het reeds bestaande verschil als advertentielift.
Een PSA-test lost dit op door dezelfde targeting en dezelfde veiling uit te voeren voor beide groepen en de creative te vervangen — de controlegroep ziet een niet-gerelateerde publieke dienstverleningsadvertentie. Ghost bids gaan verder en registreren de veilingen die de controlegroep zou hebben gewonnen zonder iets te tonen. In beide gevallen is de controle de populatie die het platform daadwerkelijk heeft geselecteerd, wat de enige populatie is waarmee je behandelingsgroep vergelijkbaar is.
Geotests omzeilen het probleem anders: markten worden toegewezen voordat het platform iemand selecteert, dus de selectie gebeurt identiek binnen beide takken. De kosten zijn dat markten ruiseriger zijn dan individuen en er veel minder van zijn, daarom hebben geo-ontwerpen gematchte paren en een voorperiode nodig waarin de twee groepen al samen worden gevolgd.
Wat een liftgetal je wel en niet toestaat te concluderen
Neem een voorbeeld. Een geotest wordt uitgevoerd in 40 gematchte markten, 20 behandeling en 20 controle, en de voorperiode toont dat beide groepen elk $900.000 aan omzet genereren, wat ze bruikbaar maakt als een gematcht paar. Tijdens de test genereren de behandelingsmarkten $1.200.000 en de controlemarkten $1.000.000. De incrementele omzet is $200.000. De uitgaven voor de behandeling waren $80.000, dus de incrementele ROAS is 2.5, tegenover de 5.0 die het platform rapporteerde voor dezelfde campagnes.
Dat resultaat staat één conclusie toe: op dat uitgavenniveau, in die markten, in die periode, met die creative, leverde de campagne $2.50 aan omzet per dollar op. Bij een dekkingsbijdrage van 45% is het break-evenpunt 2.22, dus het werd gehaald — nipt. Het staat niet de conclusie toe dat het kanaal 2.5 oplevert bij tweemaal de uitgaven, omdat rendementen afnemen; de marginale dollar bij $160.000 aan uitgaven is een andere dollar en moet afzonderlijk worden gemeten.
Een nulresultaat is de meest verkeerd geïnterpreteerde uitkomst van allemaal. 'Geen significante lift' betekent meestal dat de test geen effect kon detecteren van de grootte die je zocht, niet dat het effect nul is. Voordat je iets uitvoert, beslis welke lift je beslissing zou veranderen, en wees eerlijk over de vraag of de test zoals ontworpen dit kon zien — een kanaal dat 10% van de uitgaven vertegenwoordigt en twee weken loopt, kan dit over het algemeen niet.
En een liftgetal verloopt. Het is een meting van een markt, een creatieve set en een competitieve veiling op één moment. Behandel het als bewijs met een houdbaarheid van een kwartaal of twee, in plaats van een constante die je in een model kunt plaatsen en daar kunt laten.
Het praktische minimum voor een DTC-merk
De meeste merken hebben geen meetleverancier nodig om te beginnen, en degenen die er als eerste een kopen, kunnen meestal niet handelen op basis van de output. De onderstaande ladder is gerangschikt op kosten, en elke trede is alleen de moeite waard om te beklimmen wanneer de trede eronder de vraag niet meer beantwoordt.
- Volg de marginale MER continu. Elke bewuste wijziging in uitgaven is een gratis, zwak experiment: deel de verandering in omzet door de verandering in uitgaven en vergelijk dat met het break-evenpunt in plaats van met de gemengde verhouding.
- Voer eerst de branded-search test uit. Het is de goedkoopste zinvolle holdout die de meeste merken beschikbaar hebben, de effectgrootte is meestal groot, en het resultaat maakt vaak onmiddellijk budget vrij.
- Ga over op een geo holdout voor het grootste kanaal. Houd advertenties achter in vergelijkbare markten die voldoende volume dekken om het effect te detecteren dat u belangrijk vindt, voer het uit gedurende ten minste één volledige aankoopcyclus plus het attributievenster, en controleer of de twee groepen in de voorperiode gelijk liepen voordat u iets in de testperiode vertrouwt.
- Behandel door platforms uitgevoerde liftstudies als een sanity check, nooit als het doorslaggevende bewijs. Het platform ontwerpt de test, selecteert de controlegroep en beoordeelt het resultaat.
- Accepteer de beperking: als u het niet kunt verdragen om een aanzienlijk deel van de uitgaven gedurende meerdere weken uit te schakelen, kunt u geen incrementaliteit meten. Er is geen versie hiervan die niets kost, en elke methode die dat beweert, is aan het modelleren in plaats van meten.
Veelgestelde vragen
- Wat is incrementaliteit?
- Incrementaliteit is het deel van de conversies dat wordt veroorzaakt door een marketingactiviteit — de conversies die zonder die activiteit niet zouden hebben plaatsgevonden. Het wordt gemeten door de activiteit achter te houden bij een vergelijkbare groep en het verschil te observeren, wat de enige manier is om de contrafeitelijke situatie te construeren die attributiemodellen aannemen in plaats van meten.
- Wat is het verschil tussen incrementaliteit en attributie?
- Attributie wijst de eer toe voor conversies die al hebben plaatsgevonden, verdeeld over de contactpunten die het kan zien, en elke attributieregel verdeelt alle eer. Incrementaliteit vraagt welke van die conversies werden veroorzaakt. Een retargetingcampagne die wordt getoond aan mensen die al een beslissing hadden genomen, kan een uitstekend toegeschreven rendement opleveren, terwijl het bijna niets veroorzaakt.
- Wat is een incrementaliteitstest?
- Een test die advertenties achterhoudt bij een controlegroep en de resultaten vergelijkt met een behandelde groep. Veelvoorkomende ontwerpen zijn geo holdouts, waarbij in vergelijkbare markten de campagne is uitgeschakeld; PSA-tests, waarbij de controlegroep een niet-gerelateerde publieke-dienstadvertentie ziet; en ghost bids, waarbij het platform veilingen registreert die de controlegroep zou hebben gewonnen en niets serveert.
- Wat is incrementele ROAS (iROAS)?
- Incrementele omzet gedeeld door de uitgaven die deze hebben geproduceerd, waarbij incrementele omzet het verschil is tussen de behandelde groep en de controlegroep, in plaats van wat een platform heeft toegeschreven. Het wordt vergeleken met break-even ROAS — één gedeeld door de contributiemarge — niet met het door het platform gerapporteerde cijfer, dat iets anders meet.
- Hoe lang moet een incrementaliteitstest lopen?
- Minimaal één volledige aankoopcyclus plus het attributievenster, zodat conversies die tijdens de test zijn veroorzaakt, de tijd hebben om daarbinnen te vallen. Kortere tests onderschatten systematisch de lift voor weloverwogen aankopen. De testduur moet ook lang genoeg zijn om de effectgrootte te detecteren die uw beslissing zou veranderen, wat voor een klein kanaal maanden kan betekenen.
- Heb ik een leverancier nodig om incrementaliteit te meten?
- Niet om te beginnen. Een branded-search holdout en een matched-market geo test kunnen beide worden uitgevoerd met de tools die al in een advertentieaccount aanwezig zijn, en marginale MER op bewuste uitgavenwijzigingen kost helemaal niets. Leveranciers en marketingmixmodellen verdienen hun plaats wanneer de allocatie over vele kanalen de vraag wordt.