Incrémentalité

Le contrefactuel est au cœur de l'idée

Chaque question d'incrémentalité se réduit à une seule comparaison : ce qui s'est passé, par rapport à ce qui se serait passé si vous n'aviez pas mené l'activité. La seconde moitié de cette phrase n'est pas observable. Personne ne peut observer la même semaine deux fois, donc le contrefactuel doit toujours être construit à partir d'un groupe de personnes, de marchés ou de périodes qui représentent la version de l'entreprise où la publicité n'a pas été diffusée.

L'attribution ne tente jamais cela. Elle observe les conversions qui se sont produites et attribue le mérite parmi les points de contact qu'elle peut voir, selon une règle — dernier clic, basée sur les données, basée sur la position. Chacune de ces règles distribue 100 % du crédit, car une règle qui conclurait « aucun de ces points de contact ne l'a causée » semblerait défectueuse. Ainsi, l'attribution répond à « qui a touché cette commande » et est couramment interprétée comme une réponse à « qu'est-ce qui a causé cette commande », ce qui est une question différente avec une réponse souvent différente.

L'illustration la plus claire est la recherche de marque et le reciblage. Les deux sont montrés presque exclusivement à des personnes qui ont déjà décidé, les deux affichent d'excellents retours attribués, et les deux peuvent être presque entièrement non incrémentaux — les conversions seraient arrivées via un résultat organique ou une visite directe. Les désactiver est le seul moyen de le savoir, et la raison pour laquelle si peu de marques le savent est que les désactiver signifie voir un chiffre de ROAS attribué s'effondrer alors que l'activité, elle, ne s'effondre pas.

Les tests qui produisent une réponse causale

Ils diffèrent par la manière dont le groupe de contrôle est construit et par le coût de l'exécution du test. Le classement ci-dessous est approximativement par force probante, et la force probante s'acquiert au prix d'un manque à gagner dans tous les cas.

Pourquoi un contrôle PSA ou d'annonces fantômes est meilleur que « les personnes que nous n'avons pas ciblées »

Le groupe de contrôle naïf est constitué de toutes les personnes que la campagne n'a pas atteintes. C'est presque toujours faux, car les personnes qu'une plateforme publicitaire choisit de montrer votre annonce sont sélectionnées précisément pour leur probabilité de conversion. Les comparer aux personnes qu'elle a refusé de montrer, c'est comparer un groupe à forte intention avec un groupe à faible intention et interpréter la différence préexistante comme un lift publicitaire.

Un test PSA corrige cela en exécutant le même ciblage et la même enchère pour les deux groupes et en substituant la création — le groupe de contrôle voit une publicité d'intérêt public sans rapport. Les enchères fantômes vont plus loin et enregistrent les enchères que le groupe de contrôle aurait gagnées sans rien diffuser. Dans les deux cas, le contrôle est la population que la plateforme a réellement sélectionnée, qui est la seule population à laquelle votre groupe de traitement est comparable.

Les tests géographiques contournent le problème différemment : les marchés sont attribués avant que la plateforme ne sélectionne qui que ce soit, donc la sélection se produit de manière identique dans les deux groupes. Le coût est que les marchés sont plus bruyants que les individus et qu'il y en a beaucoup moins, c'est pourquoi les conceptions géographiques nécessitent des paires appariées et une période préalable où les deux groupes suivent déjà la même tendance.

Ce qu'un chiffre de lift vous autorise et ne vous autorise pas à conclure

Prenons un exemple. Un test géographique est mené sur 40 marchés appariés, 20 de traitement et 20 de contrôle, et la période préalable montre que les deux groupes génèrent 900 000 $ de revenus chacun, ce qui les rend utilisables comme paire appariée. Pendant le test, les marchés de traitement génèrent 1 200 000 $ et les marchés de contrôle 1 000 000 $. Le revenu incrémental est de 200 000 $. La dépense de traitement était de 80 000 $, donc le ROAS incrémental est de 2,5, contre les 5,0 que la plateforme a rapportés pour les mêmes campagnes.

Ce résultat autorise une conclusion : à ce niveau de dépense, sur ces marchés, pendant cette période, avec cette création, la campagne a rapporté 2,50 $ de revenus par dollar. Avec une marge de contribution de 45 %, le seuil de rentabilité est de 2,22, donc il l'a dépassé — de justesse. Il n'autorise pas la conclusion que le canal rapporte 2,5 avec le double de la dépense, car les rendements diminuent ; le dollar marginal à 160 000 $ de dépense est un dollar différent et doit être mesuré séparément.

Un résultat nul est le résultat le plus mal interprété de tous. « Pas de lift significatif » signifie généralement que le test n'a pas pu détecter un effet de la taille que vous recherchiez, et non que l'effet est nul. Avant de lancer quoi que ce soit, décidez quel lift changerait votre décision, et soyez honnête quant à savoir si le test tel que conçu pourrait le détecter — un canal qui représente 10 % des dépenses et qui fonctionne pendant deux semaines ne le peut généralement pas.

Et un chiffre de lift expire. C'est une mesure d'un marché, d'un ensemble créatif et d'une enchère concurrentielle à un instant donné. Traitez-le comme une preuve avec une durée de vie d'un trimestre ou deux plutôt qu'une constante que vous pouvez mettre dans un modèle et y laisser.

Le minimum pratique pour une marque DTC

La plupart des marques n'ont pas besoin d'un fournisseur de mesure pour commencer, et celles qui en achètent un en premier ne peuvent généralement pas agir sur les résultats. L'échelle ci-dessous est classée par coût, et chaque échelon ne vaut la peine d'être gravi que lorsque l'échelon inférieur a cessé de répondre à la question.

• Suivez le MER marginal en continu. Chaque changement délibéré de dépenses est une expérience gratuite et faible : divisez le changement de revenus par le changement de dépenses et comparez cela au seuil de rentabilité plutôt qu'au ratio global.
• Effectuez d'abord le test de recherche de marque. C'est le test de contrôle significatif le moins cher dont la plupart des marques disposent, la taille de l'effet est généralement importante, et le résultat libère fréquemment du budget immédiatement.
• Passez à un test de contrôle géographique (geo holdout) pour le canal le plus important. Retirez la publicité dans des marchés appariés couvrant un volume suffisant pour détecter l'effet qui vous intéresse, exécutez-le pendant au minimum un cycle d'achat complet plus la fenêtre d'attribution, et vérifiez que les deux groupes ont évolué de manière similaire pendant la période préalable avant de faire confiance à quoi que ce soit pendant la période de test.
• Considérez les études de lift (augmentation) menées par la plateforme comme une vérification de bon sens, jamais comme la preuve décisive. La plateforme conçoit le test, sélectionne le groupe de contrôle et évalue le résultat.
• Acceptez la contrainte : si vous ne pouvez pas tolérer de désactiver une part significative des dépenses pendant plusieurs semaines, vous ne pouvez pas mesurer l'incrémentalité. Il n'existe aucune version de cela qui ne coûte rien, et toute méthode qui prétend le contraire fait de la modélisation plutôt que de la mesure.