Favorece el pensamiento estadístico

Statistical thinking will one day be as necessary for efficient citizenship as the ability to read and write.

— H.G. Wells

A veces puedes sentir que la civilización del siglo XX, que vino en buena medida a lomos de la estadística, aún no ha llegado a tu trabajo en producto digital. La tecnología más sofisticada puede estar orientada desde decisiones salvajes.

La sesión 5 del programa de dirección de producto del Instituto Tramontana la dedicamos a este tema. Y además de practicar MUCHO —en ejercicios orales, en ejercicios escritos y en casos de uso para poner en forma nuestro pensamiento estadístico— recorrimos varios aspectos que destacan por encima del resto.

Conviene empezar por una definición de trabajo, porque la palabra arrastra malentendidos. El pensamiento estadístico es una manera sistemática de pensar acerca de cómo describir el mundo y de usar información para tomar decisiones y hacer predicciones o correlaciones, todo ello en el contexto de la incertidumbre inherente que existe en la realidad. Nada de eso exige matemáticas avanzadas. Exige, sobre todo, el hábito de preguntarse respecto a qué.

No es trivial encontrar la señal entre el ruido

La dirección de producto implica una búsqueda habitual de patrones cuantitativos. Esa búsqueda suele consistir en referencias de magnitudes, números y proporciones para sacar consecuencias. Tienes que contar con una serie de aspectos para que esa actividad no resulte inútil o se te vuelva en contra.

Toda la información que tenemos que digerir es ruido hasta que no encontramos en ella alguna señal que o bien nos ayuda a articular la información, o bien nos ayuda a sacar alguna consecuencia para orientar nuestra acción.

Como vimos en la primera sesión, y en varios temas de las siguientes, la información que tenemos que manejar se incrementa en una proporción mucho mayor que la señal que somos capaces de encontrar. Y además es una información cambiante, sistémica y con muchos elementos inciertos, lo que hace que trabajar con ella no resulte fácil.

Aquí tenemos una primera advertencia: no consideres siempre mejor contar con más información. Sé prudente cuando tengas que enfrentar un proyecto de instrumentalización de datos, porque es fácil naufragar en ellos. Merece la pena tener presente la distinción que la teoría de la información hizo explícita: la cantidad de datos y la cantidad de información no son la misma cosa, y un canal puede saturarse sin transmitir nada nuevo. La versión práctica de esto es una pregunta que conviene hacerse antes de ampliar la captura: qué decisión concreta va a mejorar por tener este dato.

No des por supuestas las fuentes de datos

En el ejercicio de la semana tuvimos la oportunidad de asomarnos a una fuente pública, estandarizada, consensuada y validada con una frecuencia establecida: el INE. Puedes tomar esa referencia como la situación idónea, para sacar algunas consideraciones útiles.

La primera es que la mayoría de las veces vas a estar MUY lejos de poder contar con una fuente de datos como esa. Tanto en la calidad del dato como en la validación entre los diferentes agentes que la utilizan; tanto como en la generación constante y el consenso en torno a las variables. Por lo tanto, asume que vas a trabajar siempre en un nivel inferior, más provisional, fragmentario y menos establecido. Ese es tu punto de partida.

Instrumentalizar datos pesa más de lo que parece antes de empezar.

La segunda es que incluso en un escenario como ese hay espacio para la divergencia en las conjeturas, e incluso en la interpretación de variables aparentemente tan planas como la población y la edad. Lo hemos podido ver en un ejercicio compartido por tan solo 14 personas: catorce lecturas de la misma tabla produjeron más de una interpretación incompatible, y ninguna era descuidada.

De estas dos primeras no deberías sacar la conclusión de que trabajar con datos es imposible, ni que para poder hacerlo deberías alcanzar un nivel INE. Tendrás que trabajar en el amplio gris entre esos dos puntos. Para empezar, no es frecuente contar con indicadores OBVIOS: casi cualquier indicador que parezca evidente esconde una decisión de definición que alguien tomó hace tiempo y que nadie ha vuelto a revisar.

Los indicadores que parecen obvios son los que menos se han discutido.

El pensamiento estadístico no toma decisiones por ti

Cuando recibes, exploras, descubres o trabajas con un dato, este no vive en un espacio sin gravitación. Entra en lo que podemos entender como el campo de fuerzas de una decisión. Las fuerzas que intervienen en él son las que aportan un significado final a ese dato: la urgencia del momento, los incentivos de quien mira, lo que se decidió el trimestre anterior, la relación entre las personas que están en la sala. Tienes que tenerlas en cuenta, tanto respecto de ti como respecto del resto, para poder llegar a hacer algo útil con esa dimensión estadística.

Un dato entra en una decisión que ya está tirando de varios sitios a la vez.

Esto no es un argumento contra el rigor, es una descripción de dónde ocurre. La ilusión contraria —la de que un dato suficientemente bueno resuelve la discusión— produce dos desenlaces igual de malos: o se busca indefinidamente el dato definitivo que nunca llega, o se le atribuye a un dato mediocre una autoridad que no tiene porque hacía falta cerrar la reunión.

Contrastar nuestras intuiciones, opiniones e instintos

No puedes sacar consecuencias que cada vez tengan mejor encaje si no pones a prueba tus intuiciones contra las referencias estadísticas que tienes a tu disposición. Puedes pensar que lo que haces cada vez que obtienes mejores referencias estadísticas es ampliar tu muestra respecto de la población entera. El esquema de la caja estadística, que divide los extremos y la parte central, así como los porcentajes representados, te puede ayudar a entender la utilidad de los principales estadísticos.

La caja estadística separa los extremos de la parte central.

Los estadísticos nos ayudan a aplicar una operación simple pero potente, que consiste en empezar a hacer agrupaciones respecto del conjunto total. Podemos hacer una correspondencia entre estadísticos y segmentos, y a partir de ahí empezar a pensar en cada elemento de un producto desde una mirada multidimensional, así como en funcionalidades por dimensiones. Es un ejercicio que cambia bastante la conversación de priorización: en lugar de discutir si una funcionalidad es importante, se puede discutir para qué parte de la distribución lo es.

La visualización es una herramienta muy efectiva para reconocer patrones cuantitativos. Muchas veces es la mejor forma de dar con algo cuando estás explorando datos. Asimismo, te ayuda mucho cuando quieres tener una sensación de la frecuencia, del ritmo de algo. Hay figuras muy habituales que te vendrá bien tener asimiladas: campanas, campanas invertidas, toboganes, picos sobre valles, olas. Tufte insistía en que un buen gráfico no es el que decora un argumento, sino el que permite comparar; y la comparación es exactamente la operación que necesitas cuando todavía no sabes qué estás buscando.

Pensar en magnitudes para disponer de métricas relativas

Pensar en números no exactos es la mejor manera de ir acomodando tus sentidos a las magnitudes con las que trabajas. Los números exactos son convenientes para los objetivos; las magnitudes lo son para enmarcar posibles iniciativas.

Al pensar en magnitudes entras en un terreno de medidas relativas, que es el principio para poder articular una conjetura. Los números exactos en el vacío no significan nada. Cuando los sitúas en una escala y en la referencia con otros puntos de esa escala, empiezan a resultar interesantes y pueden ser el inicio para alguna acción.

La misma pregunta admite dos respuestas muy distintas según el estadístico que uses.

Es habitual que tengas que enfrentarte a acciones y objetivos que en muchos casos no están contextualizados, es decir, que no tienen una escala ni una referencia relativa. Cuantificar te permitirá empezar a deshacer ese primer obstáculo, situando un índice de confianza y a partir de ahí una cierta probabilidad, aunque sea intuida.

Estadística para descubrir y entender, no tanto para predecir

Alcanzar la causalidad, y junto a ella la predicción, no puede ser tu primer objetivo cuando trabajas con referencias estadísticas. El primer beneficio suele ser el de poder descubrir algunos temas que de otra forma eran simplemente desconocidos desconocidos. En ese sentido, el pensamiento estadístico es una herramienta útil para entender y encontrar potenciales mejoras que de otra forma permanecerían ocultas.

Es una inversión de prioridades que cuesta aceptar, porque toda la presión organizativa empuja en el otro sentido: se pide un pronóstico, no un hallazgo. Pero pedirle predicción a un instrumental que apenas puede describir bien el presente es la forma más rápida de desacreditarlo, y de que la organización concluya, tras el segundo pronóstico fallido, que los datos no sirven para nada. Volví sobre esta idea al hablar de cómo favorecer el pensamiento con métricas y de las organizaciones que, teniendo datos en abundancia, siguen decidiendo de forma anumérica.

¿Y si el problema no fuera que nos faltan datos, sino que nos falta el hábito de preguntar respecto a qué?