Por las redes sociales circula una frase anónima que dice que “los datos no son solo números, son el reflejo de tus decisiones”. Esta frase viene a cuento de lo siguiente. Cuando una métrica se convierte en un objetivo, deja de ser una buena métrica. Es lo que se conoce como la ley de Goodhart, e implica que la gente manipula ese instrumento de medida, a veces de forma deliberada, a veces sin querer. Pero el resultado es que las decisiones que se toman sobre esa métrica corrompida acaban alejándose de lo que realmente importaba. Así es que si se manipula el instrumento de medida, deliberada o accidentalmente, lo que muestran los datos no es la realidad, sino el reflejo de esa manipulación. Es como hacerse trampas al solitario. Alex Schultz, director de marketing y responsable de analítica de Meta, lleva años lidiando con este problema en la mayor empresa de datos del mundo. Su diagnóstico, por eso, empieza con una distinción que parece obvia pero que casi nadie aplica: un objetivo no es una métrica.
El papel del marketing en el crecimiento empresarial
Schultz parte de una premisa que el marketing suele olvidar. El crecimiento de la empresa es bueno. El marketing impulsa ese crecimiento. Y el marketing personalizado lo impulsa más que cualquier otra forma de marketing. ¿Por qué? Pues porque el marketing conecta a las personas con bienes y servicios que no encontrarían por sí solas. Ese es el motor que está detrás del crecimiento de las empresas. Esas empresas crean empleo; ese empleo financia las vidas de la gente; esos empleados pagan impuestos; esos impuestos financian carreteras, ambulancias, servicios públicos. Este es nuestro sistema económico fundamental. Por supuesto, no es perfecto, pero aun así merece la pena recordar que el crecimiento es bueno y que el marketing es lo que lo impulsa.
Cuando la métrica deja de representar el objetivo
El problema empieza cuando se confunde el objetivo de una empresa con la métrica para medir sus resultados. Schultz pone el ejemplo de Facebook. El objetivo que tenía la compañía era conectar al mundo a través de sus servicios. La métrica que se utilizó para medir si se alcanzaba el objetivo o no era el número mensual de usuarios activos. Pero esa métrica tenía un defecto: se medía desde el servidor. ¿Por qué era un problema? Pues porque cuando las aplicaciones de los móviles empezaron a llamar al servidor para precargar el feed de noticias, el sistema contaba eso como un usuario activo. El usuario no había hecho nada, no había abierto la aplicación. Pero el sistema lo contaba como si en efecto lo hubiera hecho. Así es que hay una brecha entre el objetivo y la métrica. Siempre la hay.
La importancia de una “estrella polar”
Un buen objetivo funciona como una estrella polar. Conectar al mundo. Que todo el mundo se sienta en casa esté donde esté, en el caso de Airbnb. Ese objetivo tiene que implicar renuncias. Si no duele, no es prioritario. En Facebook, el departamento de ventas quería hacer lo que hacía MySpace: que Hulk destrozara la pantalla de inicio para promocionar una película de Marvel. Eso daba mucho dinero, pero iba contra el objetivo de conectar al mundo. Es cierto que hubo momentos en que la empresa necesitaba ese dinero. Pero la segunda prioridad, por tentadora que sea, no puede tragarse a la primera. Tu mayor amenaza no es tu décima prioridad. Es tu segunda prioridad.
Incentivos perversos y manipulación de métricas
Una vez que tienes el objetivo y la métrica, llega la ley de Goodhart como un tren. Schultz cuenta el caso de eBay. Allí cambiaron la métrica de usuarios registrados a usuarios registrados activados. Aquello suponía un avance, pero dio lugar a la aparición de incentivos perversos en el programa de afiliación. Los afiliados animaban a la gente a pujar en subastas para que contaran como usuarios activados y luego los compradores ganaban la subasta y no pagaban. Así es que la métrica se manipulaba sin que nadie lo hubiera diseñado así. Los resultados fueron el reflejo de las decisiones que se tomaron. Así es que hace falta poner algo para detectar los errores que no se ven.
La medición de incrementalidad
Esto lleva a Schultz a abordar algo que considera esencial: la medición de incrementalidad. Su filosofía vital y profesional cabe en una frase: quiero que importe que yo haya aparecido. Quiero que algo sea diferente porque hice mi trabajo. En marketing digital, lo habitual es decir que alguien hizo clic en un anuncio, compró un producto y por tanto el clic generó la compra. Pero eso es malinterpretar el embudo de marketing. Cuando alguien busca WhatsApp en Google y compra un anuncio para que se lo instale, detrás de esa búsqueda hay cientos de millones de dólares gastados en visibilidad. Así es que no se puede atribuir todo el mérito al último clic.
El experimento de Meta en India
Schultz lo demostró de forma radical. Cuando Meta tuvo que realizar despidos, el departamento de finanzas preguntó qué impacto tenía el marketing. Entonces, Zuckerberg quiso apagar todo el marketing en el mundo entero para demostrarlo. Pero como su equipo le dijo que aquello era infantil, lo apagaron solo en India para Facebook. El resultado fue que Facebook dejó de crecer allí. De esta forma se demostró que el marketing importaba de verdad. Por eso, la pregunta que todo equipo de marketing debe poder responder ante su consejo de administración es: ¿qué habría cambiado si no hubiéramos hecho marketing? Si se necesita un científico de datos y un microscopio para saber si se tuvo impacto, es que no se tuvo.
Cómo medir correctamente el impacto del marketing
Schultz describe una jerarquía de medición. En la cima, los tests de control aleatorio: se expone a un grupo al anuncio, a otro no, y se mide la diferencia. Es el estándar de oro. Si no puedes hacerlo, entonces se utilizan los mercados emparejados: se toman dos regiones equivalentes, se hacen promociones en una, pero no en la otra. Si tampoco se puede, entonces enciendes y apagas la campaña y observas qué pasa. Solo en último recurso recurres a la atribución por clic.
Los riesgos del P-hacking y la cultura de la medición
Pero advierte de los peligros del P-hacking: parar el experimento el día que sale verde, descartar 19 tests negativos y quedarte con el positivo, cambiar la métrica a mitad del experimento, bajar el umbral de confianza. Hay que establecer la hipótesis antes de empezar.
La ley de Goodhart sigue vigente. Cuando una métrica se convierte en un objetivo, deja de ser una buena métrica. Pero si se construye una cultura donde el equipo se pregunta cada día qué impacto real tuvo, esa cultura compensa y permite superar todo lo demás.
