Incrementalità

Il controfattuale è l'intera idea

Ogni domanda sull'incrementalità si riduce a un unico confronto: cosa è successo, rispetto a cosa sarebbe successo se non avessi svolto l'attività. La seconda metà di questa frase non è osservabile. Nessuno può osservare la stessa settimana due volte, quindi il controfattuale deve sempre essere costruito da un gruppo di persone, mercati o periodi di tempo che rappresentano la versione dell'attività in cui la pubblicità non è stata eseguita.

L'attribuzione non tenta mai questo. Osserva le conversioni avvenute e alloca il merito tra i touchpoint che può vedere, secondo una regola — ultimo clic, data-driven, basata sulla posizione. Ognuna di queste regole distribuisce il 100% del merito, perché una regola che concludesse "nessuno di questi touchpoint l'ha causata" sembrerebbe difettosa. Quindi l'attribuzione risponde a "chi ha toccato questo ordine" ed è regolarmente interpretata come una risposta a "cosa ha causato questo ordine", che è una domanda diversa con una risposta spesso diversa.

L'illustrazione più chiara è la ricerca brandizzata e il retargeting. Entrambi vengono mostrati quasi esclusivamente a persone che hanno già deciso, entrambi registrano eccellenti ritorni attribuiti, ed entrambi possono essere quasi interamente non incrementali — le conversioni sarebbero arrivate tramite un risultato organico o una visita diretta. Disattivarli è l'unico modo per scoprirlo, e la ragione per cui così pochi brand lo sanno è che disattivarli significa vedere un numero di ROAS attribuito crollare mentre l'attività non lo fa.

I test che producono una risposta causale

Differiscono nel modo in cui viene costruito il gruppo di controllo e nel costo di esecuzione del test. La classifica seguente è approssimativamente per forza probatoria, e la forza probatoria si acquista con il mancato guadagno in ogni caso.

Perché un controllo PSA o con annunci fantasma è migliore di "persone che non abbiamo targettizzato"

Il gruppo di controllo ingenuo è costituito da tutti coloro che la campagna non ha raggiunto. È quasi sempre sbagliato, perché le persone a cui una piattaforma pubblicitaria sceglie di mostrare il tuo annuncio sono selezionate proprio per la loro probabilità di conversione. Confrontarle con le persone a cui ha rifiutato di mostrare l'annuncio significa confrontare un gruppo ad alta intenzione con un gruppo a bassa intenzione e interpretare la differenza preesistente come un lift pubblicitario.

Un test PSA risolve questo problema eseguendo lo stesso targeting e la stessa asta per entrambi i gruppi e sostituendo la creatività — il controllo vede una pubblicità di servizio pubblico non correlata. Le offerte fantasma vanno oltre e registrano le aste che il gruppo di controllo avrebbe vinto senza mostrare nulla. In entrambi i casi il controllo è la popolazione che la piattaforma ha effettivamente selezionato, che è l'unica popolazione a cui il tuo gruppo di trattamento è paragonabile.

I test geografici eludono il problema in modo diverso: i mercati vengono assegnati prima che la piattaforma selezioni chiunque, quindi la selezione avviene in modo identico all'interno di entrambi i rami. Il costo è che i mercati sono più rumorosi degli individui e ce ne sono molti meno, motivo per cui i design geografici richiedono coppie abbinate e un periodo preliminare in cui i due gruppi stanno già tracciando insieme.

Cosa un numero di lift ti autorizza e non ti autorizza a concludere

Facciamo un esempio. Un test geografico viene eseguito su 40 mercati abbinati, 20 di trattamento e 20 di controllo, e il periodo preliminare mostra entrambi i gruppi con un fatturato di $900,000 ciascuno, il che li rende utilizzabili come coppia abbinata. Durante il test i mercati di trattamento generano $1,200,000 e i mercati di controllo $1,000,000. Il fatturato incrementale è di $200,000. La spesa per il trattamento è stata di $80,000, quindi il ROAS incrementale è 2.5, contro il 5.0 che la piattaforma ha riportato per le stesse campagne.

Quel risultato autorizza una conclusione: a quel livello di spesa, in quei mercati, in quel periodo, con quella creatività, la campagna ha generato $2.50 di fatturato per dollaro. Con un margine di contribuzione del 45% il punto di pareggio è 2.22, quindi lo ha superato — di poco. Non autorizza la conclusione che il canale restituisca 2.5 con il doppio della spesa, perché i rendimenti diminuiscono; il dollaro marginale a $160,000 di spesa è un dollaro diverso e deve essere misurato separatamente.

Un risultato nullo è l'esito più frainteso di tutti. "Nessun lift significativo" di solito significa che il test non è riuscito a rilevare un effetto della dimensione che stavi cercando, non che l'effetto sia zero. Prima di eseguire qualsiasi cosa, decidi quale lift cambierebbe la tua decisione, e sii onesto riguardo al fatto che il test, così come progettato, potrebbe rilevarlo — un canale che rappresenta il 10% della spesa e che funziona per due settimane generalmente non può.

E un numero di lift scade. È una misurazione di un mercato, di un set creativo e di un'asta competitiva in un dato momento. Trattalo come una prova con una durata di uno o due trimestri piuttosto che una costante che puoi inserire in un modello e lasciare lì.

Il minimo pratico per un brand DTC

La maggior parte dei brand non ha bisogno di un fornitore di misurazioni per iniziare, e quelli che ne acquistano uno per primi di solito non possono agire sui risultati. La scala seguente è in ordine di costo, e ogni gradino vale la pena di essere salito solo quando il gradino sottostante ha smesso di rispondere alla domanda.

• Monitora il MER marginale continuamente. Ogni modifica intenzionale della spesa è un esperimento gratuito e debole: dividi la variazione dei ricavi per la variazione della spesa e confrontala con il punto di pareggio anziché con il rapporto combinato.
• Esegui prima il test di ricerca brandizzata. È il test di controllo (holdout) significativo più economico disponibile per la maggior parte dei brand, la dimensione dell'effetto è solitamente grande e il risultato spesso libera immediatamente del budget.
• Passa a un test di controllo geografico (geo holdout) per il canale più grande. Sospendi la pubblicità in mercati abbinati che coprano un volume sufficiente a rilevare l'effetto che ti interessa, eseguilo per almeno un ciclo di acquisto completo più la finestra di attribuzione, e verifica che i due gruppi abbiano avuto un andamento simile nel periodo precedente prima di fidarti di qualsiasi cosa nel periodo di test.
• Considera gli studi di lift eseguiti dalla piattaforma come un controllo di buon senso, mai come la prova decisiva. La piattaforma progetta il test, seleziona il gruppo di controllo e valuta il risultato.
• Accetta il vincolo: se non puoi tollerare di disattivare una quota significativa di spesa per diverse settimane, non puoi misurare l'incrementalità. Non esiste una versione di questo che non costi nulla, e ogni metodo che lo afferma sta modellando piuttosto che misurando.