Medición
Incrementalidad
La incrementalidad es la proporción de conversiones que ocurrieron debido a una actividad de marketing y que no habrían ocurrido sin ella.
Es la pregunta que la atribución no puede responder. La atribución asigna crédito por las conversiones que ocurrieron; la incrementalidad pregunta cuáles de ellas fueron causadas. Una campaña de retargeting mostrada a personas que ya tienen la intención de comprar puede registrar un excelente ROAS atribuido, mientras que es casi completamente no incremental.
Medirla requiere una exclusión — geográfica, basada en la audiencia o basada en el tiempo — donde la actividad se retiene y se observa la diferencia. Esto es incómodo, porque significa deliberadamente no anunciarse a algunas personas, y es el único método que produce una respuesta causal.
El contrafactual es la idea central
Cada pregunta de incrementalidad se reduce a una comparación: lo que sucedió, frente a lo que habría sucedido si no hubieras ejecutado la actividad. La segunda mitad de esa frase no es observable. Nadie puede observar la misma semana dos veces, por lo que el contrafactual siempre debe construirse a partir de un grupo de personas, mercados o períodos de tiempo que representen la versión del negocio donde la publicidad no se ejecutó.
La atribución nunca intenta esto. Observa las conversiones que ocurrieron y asigna crédito entre los puntos de contacto que puede ver, según una regla — último clic, basada en datos, basada en la posición. Cada una de esas reglas distribuye el 100% del crédito, porque una regla que concluyera "ninguno de estos puntos de contacto lo causó" parecería defectuosa. Así que la atribución responde "quién tocó este pedido" y se interpreta rutinariamente como una respuesta a "qué causó este pedido", lo cual es una pregunta diferente con una respuesta frecuentemente diferente.
La ilustración más clara es la búsqueda de marca y el retargeting. Ambos se muestran casi exclusivamente a personas que ya han decidido, ambos registran excelentes retornos atribuidos, y ambos pueden ser casi completamente no incrementales — las conversiones habrían llegado a través de un resultado orgánico o una visita directa. Apagarlos es la única forma de averiguarlo, y la razón por la que tan pocas marcas lo saben es que apagarlos significa ver cómo se desploma un número de ROAS atribuido mientras el negocio no lo hace.
Las pruebas que producen una respuesta causal
Difieren en cómo se construye el grupo de control y en lo que cuesta ejecutar la prueba. La clasificación a continuación es aproximadamente por fuerza probatoria, y la fuerza probatoria se compra con ingresos perdidos en cada caso.
| Método | Cómo se crea el control | Lo que cuesta | Cuándo es la herramienta adecuada |
|---|---|---|---|
| Exclusión geográfica | Mercados emparejados, con la publicidad desactivada en la mitad de ellos | Ingresos reales perdidos en los mercados de control durante la duración de la prueba | Preguntas a nivel de canal en cualquier canal que pueda ser segmentado geográficamente |
| Prueba de PSA | Al grupo de control se le muestra un anuncio de servicio público no relacionado en la misma subasta | El costo de medios de servir anuncios que no venden nada | Preguntas a nivel de audiencia donde la geografía no es una división utilizable |
| Anuncios fantasma / pujas fantasma | La plataforma registra quién habría ganado la subasta para el grupo de control y no muestra nada | Casi ningún costo de medios, pero la plataforma ejecuta y califica la prueba | Una primera lectura económica donde la plataforma lo ofrece |
| Aumento de conversión de la plataforma | La plataforma excluye una parte de su propia audiencia direccionable | Gratuito de ejecutar; la parte que se mide lo diseña y califica | Una verificación direccional, no una evidencia lo suficientemente fuerte como para anular un presupuesto |
| Lectura de cambio de gasto | El nivel de gasto anterior sirve como contrafactual | Nada más allá del cambio de gasto que ya estabas haciendo | Continuo y económico, y confundido por todo lo demás que se movió esa semana |
| Modelado de mezcla de marketing | Un control estadístico construido a partir del historial en lugar de una exclusión real | Dos a tres años de datos semanales y un ciclo de retroalimentación lento | Asignación entre canales, no una decisión sobre una campaña |
Por qué un control de PSA o anuncio fantasma supera a "personas a las que no segmentamos"
El grupo de control ingenuo es todo el mundo al que la campaña no llegó. Casi siempre es incorrecto, porque las personas a las que una plataforma publicitaria elige mostrar tu anuncio son seleccionadas precisamente por su probabilidad de convertir. Compararlas con las personas a las que se negó a mostrar es comparar un grupo de alta intención con un grupo de baja intención y leer la diferencia preexistente como un aumento de la publicidad.
Una prueba de PSA soluciona esto ejecutando la misma segmentación y la misma subasta para ambos grupos y sustituyendo la creatividad — el control ve un anuncio de servicio público no relacionado. Las pujas fantasma van más allá y registran las subastas que el grupo de control habría ganado sin servir nada. En ambos casos, el control es la población que la plataforma realmente seleccionó, que es la única población con la que tu grupo de tratamiento es comparable.
Las pruebas geográficas evitan el problema de manera diferente: los mercados se asignan antes de que la plataforma seleccione a nadie, por lo que la selección ocurre de manera idéntica dentro de ambos brazos. El costo es que los mercados son más ruidosos que los individuos y hay muchos menos, por lo que los diseños geográficos necesitan pares emparejados y un período previo donde los dos grupos ya estén siguiendo un patrón similar.
Lo que un número de aumento te permite y no te permite concluir
Veamos un ejemplo. Una prueba geográfica se ejecuta en 40 mercados emparejados, 20 de tratamiento y 20 de control, y el período previo muestra que ambos grupos generan $900,000 de ingresos cada uno, lo que los hace utilizables como un par emparejado. Durante la prueba, los mercados de tratamiento generan $1,200,000 y los mercados de control $1,000,000. Los ingresos incrementales son $200,000. El gasto de tratamiento fue de $80,000, por lo que el ROAS incremental es 2.5, frente al 5.0 que la plataforma informó para las mismas campañas.
Ese resultado permite una conclusión: a ese nivel de gasto, en esos mercados, en ese período, con esa creatividad, la campaña generó $2.50 de ingresos por dólar. Con un margen de contribución del 45%, el punto de equilibrio es 2.22, por lo que lo superó — por poco. No permite la conclusión de que el canal devuelve 2.5 con el doble de gasto, porque los retornos disminuyen; el dólar marginal con $160,000 de gasto es un dólar diferente y debe medirse por separado.
Un resultado nulo es el resultado más malinterpretado de todos. "No hay un aumento significativo" generalmente significa que la prueba no pudo detectar un efecto del tamaño que buscabas, no que el efecto sea cero. Antes de ejecutar cualquier cosa, decide qué aumento cambiaría tu decisión y sé honesto sobre si la prueba, tal como fue diseñada, podría verlo — un canal que representa el 10% del gasto y se ejecuta durante dos semanas generalmente no puede.
Y un número de aumento expira. Es una medición de un mercado, un conjunto creativo y una subasta competitiva en un momento dado. Trátalo como evidencia con una vida útil de uno o dos trimestres en lugar de una constante que puedas poner en un modelo y dejar allí.
El mínimo práctico para una marca DTC
La mayoría de las marcas no necesitan un proveedor de medición para empezar, y las que compran uno primero generalmente no pueden actuar sobre los resultados. La escalera a continuación está en orden de costo, y cada peldaño vale la pena subirlo solo cuando el peldaño inferior ha dejado de responder la pregunta.
- Rastrea el MER marginal continuamente. Cada cambio deliberado en el gasto es un experimento gratuito y débil: divide el cambio en los ingresos por el cambio en el gasto y compáralo con el punto de equilibrio en lugar de con la relación combinada.
- Ejecuta primero la prueba de búsqueda de marca. Es el grupo de exclusión significativo más barato que la mayoría de las marcas tienen disponible, el tamaño del efecto suele ser grande, y el resultado frecuentemente libera presupuesto de inmediato.
- Pasa a una prueba de exclusión geográfica para el canal más grande. Retén la publicidad en mercados emparejados que cubran suficiente volumen para detectar el efecto que te interesa, ejecútala durante al menos un ciclo de compra completo más la ventana de atribución, y verifica que los dos grupos se comportaron de manera similar en el período previo antes de confiar en cualquier cosa del período de prueba.
- Trata los estudios de lift (incremento) realizados por la plataforma como una verificación de cordura, nunca como la evidencia decisiva. La plataforma diseña la prueba, selecciona el control y puntúa el resultado.
- Acepta la restricción: si no puedes tolerar desactivar una parte significativa del gasto durante varias semanas, no puedes medir la incrementalidad. No existe una versión de esto que no cueste nada, y cada método que afirma hacerlo está modelando en lugar de midiendo.
Preguntas frecuentes
- ¿Qué es la incrementalidad?
- La incrementalidad es la proporción de conversiones causadas por una actividad de marketing — aquellas que no habrían ocurrido sin ella. Se mide reteniendo la actividad de un grupo comparable y observando la diferencia, que es la única forma de construir el contrafactual que los modelos de atribución asumen en lugar de medir.
- ¿Cuál es la diferencia entre incrementalidad y atribución?
- La atribución asigna crédito por las conversiones que ya ocurrieron entre los puntos de contacto que puede ver, y cada regla de atribución distribuye todo el crédito. La incrementalidad pregunta cuáles de esas conversiones fueron causadas. Una campaña de retargeting mostrada a personas que ya habían decidido puede registrar un excelente retorno atribuido mientras que no causa casi nada.
- ¿Qué es una prueba de incrementalidad?
- Una prueba que retiene la publicidad de un grupo de control y compara los resultados con un grupo tratado. Los diseños comunes son las pruebas de exclusión geográfica (geo holdouts), donde los mercados emparejados tienen la campaña desactivada; pruebas de PSA, donde el control ve un anuncio de servicio público no relacionado; y pujas fantasma (ghost bids), donde la plataforma registra las subastas que el control habría ganado y no sirve nada.
- ¿Qué es el ROAS incremental (iROAS)?
- Ingresos incrementales divididos por el gasto que los produjo, donde los ingresos incrementales son la diferencia entre el grupo tratado y el control en lugar de lo que una plataforma atribuyó. Se compara con el ROAS de punto de equilibrio — uno dividido por el margen de contribución — no con la cifra reportada por la plataforma, que mide otra cosa.
- ¿Cuánto tiempo debe durar una prueba de incrementalidad?
- Como mínimo, un ciclo de compra completo más la ventana de atribución, para que las conversiones causadas durante la prueba tengan tiempo de registrarse dentro de ella. Las pruebas más cortas subestiman sistemáticamente el lift (incremento) para compras consideradas. La duración de la prueba también debe ser lo suficientemente larga para detectar el tamaño del efecto que cambiaría tu decisión, lo que para un canal pequeño puede significar meses.
- ¿Necesito un proveedor para medir la incrementalidad?
- Para empezar, no. Una prueba de exclusión de búsqueda de marca (branded-search holdout) y una prueba geográfica de mercado emparejado (matched-market geo test) pueden ejecutarse con las herramientas que ya están en una cuenta de anuncios, y el MER marginal sobre cambios deliberados en el gasto no cuesta nada en absoluto. Los proveedores y los modelos de marketing mix se ganan su lugar cuando la asignación entre muchos canales se convierte en la pregunta.