Messung
Inkrementalität
Inkrementalität ist der Anteil der Conversions, die aufgrund einer Marketingaktivität zustande kamen und ohne diese nicht stattgefunden hätten.
Es ist die Frage, die die Attribution nicht beantworten kann. Attribution schreibt Conversions, die stattgefunden haben, einen Wert zu; Inkrementalität fragt, welche davon verursacht wurden. Eine Retargeting-Kampagne, die Personen gezeigt wird, die bereits kaufwillig sind, kann einen hervorragenden zugeschriebenen ROAS aufweisen, während sie nahezu vollständig nicht-inkrementell ist.
Ihre Messung erfordert einen Holdout – geografisch, zielgruppenbasiert oder zeitbasiert –, bei dem die Aktivität zurückgehalten und der Unterschied beobachtet wird. Das ist unangenehm, weil es bedeutet, bestimmte Personen bewusst nicht zu bewerben, und es ist die einzige Methode, die eine kausale Antwort liefert.
Das Kontrafaktische ist die ganze Idee
Jede Inkrementalitätsfrage reduziert sich auf einen Vergleich: Was geschah, im Vergleich zu dem, was geschehen wäre, wenn Sie die Aktivität nicht durchgeführt hätten. Die zweite Hälfte dieses Satzes ist nicht beobachtbar. Niemand kann dieselbe Woche zweimal beobachten, daher muss das Kontrafaktische immer aus einer Gruppe von Personen, Märkten oder Zeiträumen konstruiert werden, die für die Version des Geschäfts stehen, in der die Werbung nicht geschaltet wurde.
Attribution versucht dies nie. Sie beobachtet eingetretene Conversions und teilt den Wert unter den sichtbaren Touchpoints gemäß einer Regel auf – letzter Klick, datengesteuert, positionsbasiert. Jede dieser Regeln verteilt 100 % des Werts, denn eine Regel, die zu dem Schluss käme „keiner dieser Touchpoints hat es verursacht“, würde fehlerhaft erscheinen. Attribution beantwortet also „wer diese Bestellung berührt hat“ und wird routinemäßig als Antwort auf „was diese Bestellung verursacht hat“ gelesen, was eine andere Frage mit einer häufig anderen Antwort ist.
Die deutlichste Veranschaulichung sind Branded Search und Retargeting. Beide werden fast ausschließlich Personen gezeigt, die sich bereits entschieden haben, beide weisen hervorragende zugeschriebene Erträge auf, und beide können nahezu vollständig nicht-inkrementell sein – die Conversions wären über ein organisches Ergebnis oder einen direkten Besuch zustande gekommen. Sie abzuschalten ist der einzige Weg, dies herauszufinden, und der Grund, warum so wenige Marken dies wissen, ist, dass das Abschalten bedeutet, einen zugeschriebenen ROAS-Wert zusammenbrechen zu sehen, während das Geschäft selbst nicht zusammenbricht.
Die Tests, die eine kausale Antwort liefern
Sie unterscheiden sich darin, wie die Kontrollgruppe aufgebaut ist und was die Durchführung des Tests kostet. Die folgende Rangliste ist grob nach Beweiskraft geordnet, und Beweiskraft wird in jedem Fall mit entgangenem Umsatz erkauft.
| Methode | Wie die Kontrolle erstellt wird | Was es kostet | Wann es das richtige Werkzeug ist |
|---|---|---|---|
| Geo-Holdout | Abgestimmte Märkte, wobei die Werbung in der Hälfte davon abgeschaltet ist | Tatsächlicher entgangener Umsatz in den Kontrollmärkten für die Dauer des Tests | Fragen auf Kanalebene für jeden Kanal, der geografisch ausgerichtet werden kann |
| PSA-Test | Der Kontrollgruppe wird in derselben Auktion eine nicht verwandte Public-Service-Anzeige gezeigt | Die Mediakosten für die Schaltung von Anzeigen, die nichts verkaufen | Fragen auf Zielgruppenebene, wo Geografie keine nutzbare Aufteilung ist |
| Ghost Ads / Ghost Bids | Die Plattform zeichnet auf, wer die Auktion für die Kontrollgruppe gewonnen hätte, und zeigt nichts an | Fast keine Mediakosten, aber die Plattform führt den Test durch und bewertet ihn | Eine günstige erste Einschätzung, wo die Plattform es anbietet |
| Plattform-Conversion-Lift | Die Plattform hält einen Teil ihrer eigenen ansprechbaren Zielgruppe zurück | Kostenlos durchzuführen; die gemessene Partei entwirft und bewertet ihn | Eine richtungsweisende Überprüfung, keine Beweise, die stark genug wären, um ein Budget umzuwerfen |
| Auswertung der Ausgabenänderung | Das vorherige Ausgabenniveau dient als Kontrafaktisches | Nichts über die Ausgabenänderung hinaus, die Sie ohnehin vorgenommen haben | Kontinuierlich und günstig, und durch alles andere, was sich in dieser Woche bewegt hat, verfälscht |
| Marketing-Mix-Modellierung | Eine statistische Kontrolle, die aus der Historie statt aus einem echten Holdout aufgebaut ist | Zwei bis drei Jahre wöchentliche Daten und eine langsame Feedbackschleife | Zuweisung über Kanäle hinweg, nicht eine Entscheidung über eine einzelne Kampagne |
Warum eine PSA- oder Ghost-Ad-Kontrolle „Personen, die wir nicht angesprochen haben“ übertrifft
Die naive Kontrollgruppe sind alle, die die Kampagne nicht erreicht hat. Das ist fast immer falsch, denn die Personen, denen eine Werbeplattform Ihre Anzeige zeigt, werden genau nach ihrer Wahrscheinlichkeit, zu konvertieren, ausgewählt. Sie mit den Personen zu vergleichen, denen sie die Anzeige nicht gezeigt hat, bedeutet, eine Gruppe mit hoher Absicht mit einer Gruppe mit geringer Absicht zu vergleichen und den bereits bestehenden Unterschied als Werbe-Lift zu interpretieren.
Ein PSA-Test behebt dies, indem er dasselbe Targeting und dieselbe Auktion für beide Gruppen durchführt und das Creative ersetzt – die Kontrolle sieht eine nicht verwandte Public-Service-Anzeige. Ghost Bids gehen noch weiter und zeichnen die Auktionen auf, die die Kontrollgruppe gewonnen hätte, ohne etwas auszuliefern. In beiden Fällen ist die Kontrolle die Population, die die Plattform tatsächlich ausgewählt hat, was die einzige Population ist, mit der Ihre Behandlungsgruppe vergleichbar ist.
Geo-Tests umgehen das Problem anders: Märkte werden zugewiesen, bevor die Plattform jemanden auswählt, sodass die Auswahl in beiden Armen identisch erfolgt. Die Kosten bestehen darin, dass Märkte „rauschiger“ sind als Individuen und es viel weniger davon gibt, weshalb Geo-Designs abgestimmte Paare und eine Vorperiode benötigen, in der die beiden Gruppen bereits zusammen verfolgt werden.
Was eine Lift-Zahl Ihnen erlaubt und nicht erlaubt zu schlussfolgern
Ein Beispiel: Ein Geo-Test läuft über 40 abgestimmte Märkte, 20 Behandlungs- und 20 Kontrollmärkte, und die Vorperiode zeigt, dass beide Gruppen jeweils $900,000 Umsatz erzielen, was sie als abgestimmtes Paar nutzbar macht. Während des Tests erzielen die Behandlungs-Märkte $1,200,000 und die Kontrollmärkte $1,000,000. Der inkrementelle Umsatz beträgt $200,000. Die Behandlungsausgaben betrugen $80,000, sodass der inkrementelle ROAS 2.5 beträgt, gegenüber den 5.0, die die Plattform für dieselben Kampagnen gemeldet hat.
Dieses Ergebnis erlaubt eine Schlussfolgerung: Bei diesem Ausgabenniveau, in diesen Märkten, in diesem Zeitraum, mit diesem Creative, erzielte die Kampagne $2.50 Umsatz pro Dollar. Bei einer Deckungsbeitragsmarge von 45% liegt der Break-Even bei 2.22, sodass er – knapp – erreicht wurde. Es erlaubt nicht die Schlussfolgerung, dass der Kanal bei doppelten Ausgaben 2.5 zurückgibt, da die Erträge abnehmen; der marginale Dollar bei $160,000 Ausgaben ist ein anderer Dollar und muss separat gemessen werden.
Ein Nullergebnis ist das am häufigsten falsch interpretierte Ergebnis überhaupt. „Kein signifikanter Lift“ bedeutet normalerweise, dass der Test keinen Effekt der von Ihnen gesuchten Größe erkennen konnte, nicht dass der Effekt null ist. Bevor Sie etwas durchführen, entscheiden Sie, welcher Lift Ihre Entscheidung ändern würde, und seien Sie ehrlich, ob der Test in seiner Konzeption dies erkennen könnte – ein Kanal, der 10% der Ausgaben für zwei Wochen ausmacht, kann dies im Allgemeinen nicht.
Und eine Lift-Zahl verfällt. Sie ist eine Messung eines Marktes, eines Creative-Sets und einer kompetitiven Auktion zu einem bestimmten Zeitpunkt. Behandeln Sie sie als Beweis mit einer Haltbarkeit von ein oder zwei Quartalen und nicht als Konstante, die Sie in ein Modell einfügen und dort belassen können.
Das praktische Minimum für eine DTC-Marke
Die meisten Marken benötigen zu Beginn keinen Messanbieter, und diejenigen, die zuerst einen kaufen, können die Ergebnisse meist nicht umsetzen. Die folgende Leiter ist nach Kosten geordnet, und jede Sprosse ist nur dann das Klettern wert, wenn die darunterliegende Sprosse die Frage nicht mehr beantwortet.
- Verfolgen Sie den marginalen MER kontinuierlich. Jede bewusste Ausgabenänderung ist ein kostenloses, schwaches Experiment: Teilen Sie die Umsatzänderung durch die Ausgabenänderung und vergleichen Sie das Ergebnis mit dem Break-Even-Punkt statt mit dem gemischten Verhältnis.
- Führen Sie zuerst den Branded-Search-Test durch. Es ist der günstigste aussagekräftige Holdout, den die meisten Marken zur Verfügung haben, die Effektgröße ist normalerweise groß, und das Ergebnis setzt häufig sofort Budget frei.
- Gehen Sie zu einem Geo-Holdout für den größten Kanal über. Halten Sie Werbung in vergleichbaren Märkten zurück, die genügend Volumen abdecken, um den Effekt zu erkennen, der Sie interessiert, führen Sie ihn für mindestens einen vollständigen Kaufzyklus plus das Attributionsfenster durch und überprüfen Sie, ob die beiden Gruppen im Vorfeld zusammenliefen, bevor Sie den Ergebnissen im Testzeitraum vertrauen.
- Betrachten Sie von Plattformen durchgeführte Lift-Studien als Plausibilitätsprüfung, niemals als entscheidenden Beweis. Die Plattform entwirft den Test, wählt die Kontrollgruppe aus und bewertet das Ergebnis.
- Akzeptieren Sie die Einschränkung: Wenn Sie es nicht tolerieren können, einen signifikanten Teil der Ausgaben für mehrere Wochen abzuschalten, können Sie keine Inkrementalität messen. Es gibt keine Version davon, die nichts kostet, und jede Methode, die dies behauptet, modelliert eher, als dass sie misst.
Häufige Fragen
- Was ist Inkrementalität?
- Inkrementalität ist der Anteil der Conversions, die durch eine Marketingaktivität verursacht wurden – jene, die ohne sie nicht stattgefunden hätten. Sie wird gemessen, indem die Aktivität einer vergleichbaren Gruppe vorenthalten und der Unterschied beobachtet wird, was die einzige Möglichkeit ist, das Kontrafaktum zu konstruieren, das Attributionsmodelle annehmen, anstatt es zu messen.
- Was ist der Unterschied zwischen Inkrementalität und Attribution?
- Attribution weist den bereits erfolgten Conversions den Touchpoints, die sie sehen kann, Gutschriften zu, und jede Attributionsregel verteilt die gesamte Gutschrift. Inkrementalität fragt, welche dieser Conversions verursacht wurden. Eine Retargeting-Kampagne, die Personen gezeigt wird, die sich bereits entschieden hatten, kann einen hervorragenden zugeschriebenen Ertrag erzielen, während sie selbst fast nichts bewirkt.
- Was ist ein Inkrementalitätstest?
- Ein Test, der einer Kontrollgruppe Werbung vorenthält und die Ergebnisse mit einer behandelten Gruppe vergleicht. Gängige Designs sind Geo-Holdouts, bei denen in vergleichbaren Märkten die Kampagne abgeschaltet wird; PSA-Tests, bei denen die Kontrollgruppe eine nicht verwandte öffentliche Dienstleistungsanzeige sieht; und Ghost Bids, bei denen die Plattform Auktionen aufzeichnet, die die Kontrollgruppe gewonnen hätte, und nichts ausliefert.
- Was ist inkrementeller ROAS (iROAS)?
- Inkrementeller Umsatz geteilt durch die Ausgaben, die ihn erzeugt haben, wobei der inkrementelle Umsatz der Unterschied zwischen der behandelten Gruppe und der Kontrollgruppe ist, und nicht das, was eine Plattform zugeschrieben hat. Er wird mit dem Break-Even-ROAS verglichen – eins geteilt durch den Deckungsbeitrag – nicht mit der von der Plattform gemeldeten Zahl, die etwas anderes misst.
- Wie lange sollte ein Inkrementalitätstest laufen?
- Mindestens ein vollständiger Kaufzyklus plus das Attributionsfenster, damit die während des Tests verursachten Conversions Zeit haben, innerhalb dieses Zeitraums zu landen. Kürzere Tests unterschätzen systematisch den Lift bei überlegten Käufen. Die Testdauer muss auch lang genug sein, um die Effektgröße zu erkennen, die Ihre Entscheidung ändern würde, was bei einem kleinen Kanal Monate bedeuten kann.
- Brauche ich einen Anbieter, um Inkrementalität zu messen?
- Zunächst nicht. Ein Branded-Search-Holdout und ein Geo-Test in vergleichbaren Märkten können beide mit den bereits in einem Werbekonto vorhandenen Tools durchgeführt werden, und marginaler MER bei bewussten Ausgabenänderungen kostet überhaupt nichts. Anbieter und Marketing-Mix-Modelle verdienen ihren Platz, wenn die Allokation über viele Kanäle hinweg zur Frage wird.