Favorece el pensamiento con métricas

En el Instituto Tramontana solíamos abrir la puerta cada dos meses con encuentros donde se podía vivir el programa de dirección de producto en pequeñito. Por un lado daba una vuelta por lo que estaba ocurriendo en la edición en curso: los contenidos, las personas que lo cursaban, la batería de ejercicios y casos prácticos. Por otro hacía una suerte de simulación abreviada de una clase, para que se entendiera, mientras la hacíamos, la dinámica de debate y reflexión que acompañaba a todo el programa.

En uno de esos encuentros tuve la suerte de contar con un buen número de personas interesadas en ampliar su perspectiva sobre producto digital y métricas. Lo que sigue son las notas de aquella sesión, que sigue siendo, creo, uno de los temas donde nuestra industria tiene más margen y menos costumbre.

Los encuentros abiertos del Instituto Tramontana funcionaban como una versión en pequeño del programa.

Organizaciones anuméricas

La naturaleza del software hace que lo cuantitativo adquiera una connotación especial. Esto explica por qué es habitual que muchas compañías cuyo negocio pasa por su producto digital piensen y actúen de una forma anumérica.

John Allen Paulos hizo popular ese término con su libro Innumeracy: Mathematical Illiteracy and its Consequences, traducido al español como El hombre anumérico. Quizás como una forma de enlazar con una tradición de obras tan significativas como Homo ludens de Johan Huizinga, Homo faber de Max Frisch, El hombre en busca de sentido de Viktor Frankl, El hombre sin atributos de Robert Musil o El hombre común de Gilbert Keith Chesterton.

Hay una paradoja en llamar anumérica a una industria que produce más datos que ninguna otra en la historia. Pero el anumerismo no consiste en no tener números: consiste en no poder hacer nada con ellos. Una organización puede tener paneles en todas las pantallas y seguir decidiendo por anécdota, por jerarquía o por analogía con lo que hizo otra empresa. De hecho, es un desenlace bastante frecuente: los paneles funcionan como coartada, no como instrumento.

Una de las cajas más opacas de cualquier organización es la del dinero: se habla mucho de él y se mide poco.

A menudo confundimos pensamiento cuantitativo con pensamiento exacto. Y son cosas distintas, casi opuestas en su espíritu. El pensamiento exacto busca la cifra correcta; el pensamiento cuantitativo busca el orden de magnitud, la proporción, la posición relativa dentro de un rango. El primero se siente más riguroso y suele ser más frágil, porque una cifra concreta sin escala no admite discusión ni corrección: solo admite ser creída o no.

Lo cuantitativo en lo digital

Durante el encuentro traje algunos materiales empíricos comunes, cosas que acababan de suceder en mis entornos de trabajo. Es decir, experiencias que cualquiera tiene con frecuencia. A través de esas anécdotas pudimos ver algunos de los retos a los que lo digital nos enfrenta cuando queremos salirnos de la trampa anumérica.

El primero es que no es trivial encontrar la señal entre el ruido. Toda la información que tenemos que digerir es ruido hasta que no encontramos en ella alguna señal que o bien nos ayuda a articular la información, o bien nos ayuda a sacar alguna consecuencia para orientar nuestra acción. La información que tenemos que manejar se incrementa en una proporción mucho mayor que la señal que somos capaces de encontrar, y además es una información cambiante, sistémica y con muchos elementos inciertos que hace que trabajar con ella no resulte fácil.

Aquí tenemos una primera advertencia: no consideres siempre mejor contar con más información. Sé prudente cuando tengas que enfrentar un proyecto de instrumentalización de datos, porque es fácil naufragar en ellos. Lo digital tiene un comportamiento orgánico difícil de controlar, y la instrumentación crece con la misma exuberancia que el resto del sistema.

El segundo es que en tu producto digital las fuentes de datos siempre estarán bajo sospecha. Ellas y los conceptos —por lo tanto los modelos— construidos a partir de ellas. No hay dato sin interpretación. Un evento no registra lo que alguien hizo: registra lo que alguien decidió, hace meses y con otras preguntas en la cabeza, que merecía la pena registrar. Hasta los indicadores más obvios esconden mucha complejidad, y basta con preguntar en una reunión qué cuenta exactamente como "usuario activo" para que aparezcan tres definiciones incompatibles que llevaban años conviviendo en paz.

Esto conduce a una sensación habitual de cierta desconfianza con la que hay que saber lidiar. La respuesta madura no es resolverla —no se resuelve— sino administrarla: saber de qué fuente desconfías y cuánto, y decidir en consecuencia.

El tercero es que la analítica de comportamiento es especialmente exigente. Lo que solemos conocer como analítica de producto nos obliga a lanzar conjeturas sobre la intencionalidad de lo que hacen las personas —o cualquier ente al otro lado de la pantalla— a partir de sus atributos, es decir, de eventos. Estamos infiriendo motivos desde huellas. A menudo, lo cualitativo, la empatía que te ayuda a hablar con ellas, opera como un ancla que te ayuda a reducir ese ruido. No como una fuente alternativa de verdad, sino como el mecanismo que te dice qué hipótesis merece la pena buscar en los datos.

Otro aspecto crucial de nuestro trabajo con nociones estadísticas es el de muestra. Es especialmente relevante en la captura de problemas y oportunidades, que muchas veces se hace a partir de anclas, bien por encuestas, bien por procesos de muestreo. Las dos características más importantes de una muestra, para evaluar lo que podemos inferir a partir de ella, son la representatividad —señal respecto del resto— y la variabilidad —señal respecto de otra muestra. Cinco conversaciones con clientes pueden ser suficientes o completamente inútiles, y la diferencia no está en el número sino en cómo se eligieron.

Trabajando un caso de uso en sesión: calcular el LTV obliga a poner números donde antes había intuiciones.

Métricas como brújula

Después de recorrer varios retos como estos, tuvimos la oportunidad de debatir —al mismo tiempo que ejercitábamos nuestros músculos numéricos— sobre algunos de los beneficios que tiene el instrumental estadístico, incluso en su forma más elemental. Es importante incluirlo como otra fuerza más en el campo gravitacional de tus decisiones. Lo desarrollé con más detalle al hablar de cómo favorecer el pensamiento estadístico, pero merece la pena recoger aquí los puntos que más discusión generaron.

En primer lugar, no puedes sacar consecuencias que cada vez tengan mejor encaje si no pones a prueba tus intuiciones contra las referencias estadísticas que tienes a tu disposición. Puedes pensar que lo que haces cada vez que obtienes mejores referencias es ampliar tu muestra respecto de la población entera.

Los estadísticos nos ayudan además a aplicar una operación simple pero potente: empezar a hacer agrupaciones respecto del conjunto total. Podemos establecer una correspondencia entre estadísticos y segmentos, y a partir de ahí empezar a pensar en cada elemento de un producto desde una mirada multidimensional, así como en funcionalidades por dimensiones.

Pensar en números no exactos es la mejor manera de ir acomodando tus sentidos a las magnitudes con las que trabajas. Los números exactos son convenientes para los objetivos; las magnitudes lo son para enmarcar posibles iniciativas. Al pensar en magnitudes entras en un terreno de medidas relativas, que es el principio para poder articular una conjetura. Los números exactos en el vacío no significan nada: cuando los sitúas en una escala y en relación con otros puntos de esa escala, empiezan a resultar interesantes y pueden ser el inicio de alguna acción.

CAC y LTV solo cobran sentido mirados con perspectiva de tiempo. La magnitud importa más que la cifra.

Es habitual que tengas que enfrentarte a acciones y objetivos que no están contextualizados, es decir, que no tienen una escala ni una referencia relativa. Cuantificar te permitirá empezar a deshacer ese primer obstáculo, situando un índice de confianza y a partir de ahí una cierta probabilidad, aunque sea intuida.

Por último, es sano que contemples lo cuantitativo como una forma de descubrir y no únicamente como una forma de predecir. Alcanzar la causalidad, y junto a ella la predicción, no puede ser tu primer objetivo cuando trabajas con referencias estadísticas. El primer beneficio suele ser poder descubrir algunos temas que de otra forma eran simplemente desconocidos desconocidos. En ese sentido, el pensamiento estadístico es una herramienta útil para entender y encontrar potenciales mejoras que de otra forma permanecerían ocultas.

Las métricas son brújulas que indican dirección, no destino exacto. Es una distinción que parece menor y decide bastante: una brújula te sirve para corregir el rumbo mientras andas; un destino exacto te sirve para justificar por qué no llegaste.

Nos quedamos con que el espíritu que resuena en todo esto puede ayudarnos a profesionalizar nuestras organizaciones y equipos. Los entornos complejos —y ya sabemos que la mancha de aceite que es el software lo hace todo especialmente complejo— reformulan nuestra forma de entender y trabajar con lo cuantitativo. H.G. Wells escribió que el pensamiento estadístico llegaría a ser tan necesario para la ciudadanía eficaz como saber leer y escribir. No parece que hayamos llegado aún a satisfacer esa profecía, y desde luego no en la industria que más datos produce.