O que é incrementalidade?

Incrementalidade é a parcela de conversões causadas por uma atividade de marketing — aquelas que não teriam acontecido sem ela. É medida retendo a atividade de um grupo comparável e observando a diferença, que é a única maneira de construir o contrafactual que os modelos de atribuição assumem em vez de medir.

Qual é a diferença entre incrementalidade e atribuição?

A atribuição aloca crédito para conversões que já aconteceram entre os pontos de contato que pode ver, e cada regra de atribuição distribui todo o crédito. A incrementalidade pergunta quais dessas conversões foram causadas. Uma campanha de retargeting mostrada a pessoas que já haviam decidido pode apresentar um excelente retorno atribuído enquanto causa quase nada.

O que é um teste de incrementalidade?

Um teste que retém a publicidade de um grupo de controle e compara os resultados com um grupo tratado. Modelos comuns são geo holdouts, onde mercados correspondentes têm a campanha desativada; testes de PSA, onde o controle vê um anúncio de serviço público não relacionado; e ghost bids, onde a plataforma registra leilões que o controle teria vencido e não exibe nada.

O que é ROAS incremental (iROAS)?

Receita incremental dividida pelos gastos que a produziram, onde a receita incremental é a diferença entre o grupo tratado e o controle, em vez do que uma plataforma atribuiu. É comparado com o ROAS de ponto de equilíbrio — um dividido pela margem de contribuição — não com o valor reportado pela plataforma, que mede outra coisa.

Quanto tempo um teste de incrementalidade deve durar?

No mínimo um ciclo de compra completo mais a janela de atribuição, para que as conversões causadas durante o teste tenham tempo de ocorrer dentro dela. Testes mais curtos subestimam sistematicamente o lift (aumento) para compras consideradas. A duração do teste também deve ser longa o suficiente para detectar o tamanho do efeito que mudaria sua decisão, o que para um canal pequeno pode significar meses.

Preciso de um fornecedor para medir a incrementalidade?

Para começar, não. Um holdout de busca de marca e um teste geo de mercado correspondente podem ser executados com as ferramentas já existentes em uma conta de anúncios, e o MER marginal em mudanças intencionais de gastos não custa absolutamente nada. Fornecedores e modelos de mix de marketing ganham seu lugar quando a alocação entre muitos canais se torna a questão.

Medição

Incrementalidade

Incrementalidade é a parcela de conversões que ocorreram por causa de uma atividade de marketing e não teriam acontecido sem ela.

É a pergunta que a atribuição não consegue responder. A atribuição concede crédito por conversões que ocorreram; a incrementalidade pergunta quais delas foram causadas. Uma campanha de retargeting exibida para pessoas que já pretendem comprar pode apresentar um ROAS atribuído excelente, embora seja quase totalmente não incremental.

Medi-la requer um grupo de controle (holdout) — geográfico, baseado em público ou baseado em tempo — onde a atividade é retida e a diferença observada. Isso é desconfortável, porque significa deliberadamente não anunciar para algumas pessoas, e é o único método que produz uma resposta causal.

O contrafactual é a ideia central

Toda pergunta sobre incrementalidade se resume a uma comparação: o que aconteceu, versus o que teria acontecido se você não tivesse executado a atividade. A segunda metade dessa frase não é observável. Ninguém pode observar a mesma semana duas vezes, então o contrafactual sempre precisa ser construído a partir de um grupo de pessoas, mercados ou períodos de tempo que representem a versão do negócio onde a publicidade não foi veiculada.

A atribuição nunca tenta isso. Ela observa as conversões que ocorreram e aloca crédito entre os pontos de contato que pode ver, de acordo com uma regra — último clique, baseada em dados, baseada em posição. Cada uma dessas regras distribui 100% do crédito, porque uma regra que concluísse "nenhum desses pontos de contato causou isso" pareceria quebrada. Assim, a atribuição responde "quem tocou neste pedido" e é rotineiramente lida como uma resposta para "o que causou este pedido", que é uma pergunta diferente com uma resposta frequentemente diferente.

A ilustração mais clara é a pesquisa de marca e o retargeting. Ambos são exibidos quase exclusivamente para pessoas que já decidiram, ambos apresentam excelentes retornos atribuídos, e ambos podem ser quase totalmente não incrementais — as conversões teriam chegado por meio de um resultado orgânico ou uma visita direta. Desativá-los é a única maneira de descobrir, e a razão pela qual tão poucas marcas sabem é que desativá-los significa ver um número de ROAS atribuído desabar enquanto o negócio não desaba.

Os testes que produzem uma resposta causal

Eles diferem na forma como o grupo de controle é construído e no custo de execução do teste. A classificação abaixo é aproximadamente pela força da evidência, e a força da evidência é comprada com receita perdida em todos os casos.

Método	Como o controle é criado	Custo	Quando é a ferramenta certa
Holdout geográfico	Mercados pareados, com a publicidade desativada em metade deles	Receita real perdida nos mercados de controle pela duração do teste	Perguntas em nível de canal em qualquer canal que possa ser segmentado geograficamente
Teste PSA	O grupo de controle recebe um anúncio de serviço público não relacionado no mesmo leilão	O custo de mídia de veicular anúncios que não vendem nada	Perguntas em nível de público onde a geografia não é uma divisão utilizável
Anúncios fantasmas / lances fantasmas	A plataforma registra quem teria vencido o leilão para o grupo de controle e não mostra nada	Quase nenhum custo de mídia, mas a plataforma executa e avalia o teste	Uma primeira leitura barata onde a plataforma o oferece
Aumento de conversão da plataforma	A plataforma retém uma parcela de seu próprio público endereçável	Gratuito para executar; a parte sendo medida o projeta e pontua	Uma verificação direcional, não uma evidência forte o suficiente para derrubar um orçamento
Leitura de mudança de gasto	O nível de gasto anterior serve como contrafactual	Nada além da mudança de gasto que você já estava fazendo	Contínuo e barato, e confundido por todo o resto que se moveu naquela semana
Modelagem de mix de marketing	Um controle estatístico construído a partir do histórico em vez de um holdout real	Dois a três anos de dados semanais e um ciclo de feedback lento	Alocação entre canais, não uma decisão sobre uma campanha

Formas de construir um contrafactual, e o custo de cada uma

Por que um controle de PSA ou anúncio fantasma supera "pessoas que não segmentamos"

O grupo de controle ingênuo é todo mundo que a campanha não alcançou. Está quase sempre errado, porque as pessoas que uma plataforma de anúncios escolhe para exibir seu anúncio são selecionadas precisamente por sua probabilidade de conversão. Compará-las com as pessoas para as quais ela recusou exibir é comparar um grupo de alta intenção com um grupo de baixa intenção e ler a diferença pré-existente como aumento de publicidade.

Um teste PSA corrige isso executando a mesma segmentação e o mesmo leilão para ambos os grupos e substituindo o criativo — o controle vê um anúncio de serviço público não relacionado. Lances fantasmas vão além e registram os leilões que o grupo de controle teria vencido sem veicular nada. Em ambos os casos, o controle é a população que a plataforma realmente selecionou, que é a única população com a qual seu grupo de tratamento é comparável.

Testes geográficos contornam o problema de forma diferente: os mercados são atribuídos antes que a plataforma selecione qualquer pessoa, então a seleção acontece de forma idêntica em ambos os braços. O custo é que os mercados são mais ruidosos do que os indivíduos e há muito menos deles, e é por isso que os designs geográficos precisam de pares pareados e um período prévio onde os dois grupos já estão acompanhando juntos.

O que um número de aumento permite e não permite concluir

Vamos a um exemplo. Um teste geográfico é executado em 40 mercados pareados, 20 de tratamento e 20 de controle, e o período prévio mostra ambos os grupos gerando $900,000 de receita cada, o que os torna utilizáveis como um par pareado. Durante o teste, os mercados de tratamento geram $1,200,000 e os mercados de controle $1,000,000. A receita incremental é de $200,000. O gasto de tratamento foi de $80,000, então o ROAS incremental é de 2.5, contra os 5.0 que a plataforma relatou para as mesmas campanhas.

Esse resultado permite uma conclusão: nesse nível de gasto, nesses mercados, nesse período, com esse criativo, a campanha retornou $2.50 de receita por dólar. Com uma margem de contribuição de 45%, o ponto de equilíbrio é 2.22, então ela o superou — por pouco. Não permite a conclusão de que o canal retorna 2.5 com o dobro do gasto, porque os retornos diminuem; o dólar marginal com $160,000 de gasto é um dólar diferente e precisa ser medido separadamente.

Um resultado nulo é o desfecho mais mal interpretado de todos. "Nenhum aumento significativo" geralmente significa que o teste não conseguiu detectar um efeito do tamanho que você procurava, não que o efeito seja zero. Antes de executar qualquer coisa, decida qual aumento mudaria sua decisão e seja honesto sobre se o teste, conforme projetado, poderia vê-lo — um canal que representa 10% do gasto e é executado por duas semanas geralmente não consegue.

E um número de aumento expira. É uma medição de um mercado, um conjunto de criativos e um leilão competitivo em um determinado momento. Trate-o como evidência com uma vida útil de um trimestre ou dois, em vez de uma constante que você pode colocar em um modelo e deixar lá.

O mínimo prático para uma marca DTC

A maioria das marcas não precisa de um fornecedor de medição para começar, e as que compram um primeiro geralmente não conseguem agir com base nos resultados. A escada abaixo está em ordem de custo, e cada degrau só vale a pena subir quando o degrau abaixo parou de responder à pergunta.

Acompanhe o MER marginal continuamente. Cada mudança intencional nos gastos é um experimento gratuito e fraco: divida a mudança na receita pela mudança nos gastos e compare isso com o ponto de equilíbrio em vez de com a taxa combinada.
Execute o teste de busca de marca primeiro. É o holdout significativo mais barato que a maioria das marcas tem disponível, o tamanho do efeito é geralmente grande, e o resultado frequentemente libera orçamento imediatamente.
Passe para um geo holdout para o maior canal. Retenha a publicidade em mercados correspondentes que cubram volume suficiente para detectar o efeito que lhe interessa, execute-o por pelo menos um ciclo de compra completo mais a janela de atribuição, e verifique se os dois grupos se comportaram de forma semelhante no período pré-teste antes de confiar em qualquer coisa no período de teste.
Trate os estudos de lift (aumento) executados pela plataforma como uma verificação de bom senso, nunca como a evidência decisiva. A plataforma projeta o teste, seleciona o controle e pontua o resultado.
Aceite a restrição: se você não pode tolerar desligar uma parcela significativa dos gastos por várias semanas, você não pode medir a incrementalidade. Não existe uma versão disso que não custe nada, e todo método que afirma isso está modelando em vez de medindo.

Perguntas frequentes

O que é incrementalidade?: Incrementalidade é a parcela de conversões causadas por uma atividade de marketing — aquelas que não teriam acontecido sem ela. É medida retendo a atividade de um grupo comparável e observando a diferença, que é a única maneira de construir o contrafactual que os modelos de atribuição assumem em vez de medir.
Qual é a diferença entre incrementalidade e atribuição?: A atribuição aloca crédito para conversões que já aconteceram entre os pontos de contato que pode ver, e cada regra de atribuição distribui todo o crédito. A incrementalidade pergunta quais dessas conversões foram causadas. Uma campanha de retargeting mostrada a pessoas que já haviam decidido pode apresentar um excelente retorno atribuído enquanto causa quase nada.
O que é um teste de incrementalidade?: Um teste que retém a publicidade de um grupo de controle e compara os resultados com um grupo tratado. Modelos comuns são geo holdouts, onde mercados correspondentes têm a campanha desativada; testes de PSA, onde o controle vê um anúncio de serviço público não relacionado; e ghost bids, onde a plataforma registra leilões que o controle teria vencido e não exibe nada.
O que é ROAS incremental (iROAS)?: Receita incremental dividida pelos gastos que a produziram, onde a receita incremental é a diferença entre o grupo tratado e o controle, em vez do que uma plataforma atribuiu. É comparado com o ROAS de ponto de equilíbrio — um dividido pela margem de contribuição — não com o valor reportado pela plataforma, que mede outra coisa.
Quanto tempo um teste de incrementalidade deve durar?: No mínimo um ciclo de compra completo mais a janela de atribuição, para que as conversões causadas durante o teste tenham tempo de ocorrer dentro dela. Testes mais curtos subestimam sistematicamente o lift (aumento) para compras consideradas. A duração do teste também deve ser longa o suficiente para detectar o tamanho do efeito que mudaria sua decisão, o que para um canal pequeno pode significar meses.
Preciso de um fornecedor para medir a incrementalidade?: Para começar, não. Um holdout de busca de marca e um teste geo de mercado correspondente podem ser executados com as ferramentas já existentes em uma conta de anúncios, e o MER marginal em mudanças intencionais de gastos não custa absolutamente nada. Fornecedores e modelos de mix de marketing ganham seu lugar quando a alocação entre muitos canais se torna a questão.