El puntito

One of the pervasive risks that we face in the information age, as I wrote in the introduction, is that even if the amount of knowledge in the world is increasing, the gap between what we know and what we think we know may be widening.

— The Signal and the Noise, Nate Silver

La frase habla de predicción, pero describe casi cualquier reunión de revisión de producto a la que he asistido.

La brecha que señala Silver no está entre la ignorancia y el conocimiento. Está entre el conocimiento y la sensación de conocimiento, y la sensación es lo que circula en las organizaciones. Nadie presenta una diapositiva que diga que esto no lo entendemos. La diapositiva tiene una gráfica. La gráfica tiene un puntito.

Lo que cuesta un puntito

Cada punto de un cuadro de mando es una compresión. Debajo de un solo punto marcado como tasa de activación: 31% hay varios miles de personas, cada una de las cuales llegó una tarde concreta, con un estado de ánimo concreto, con una conexión de una calidad concreta, habiéndose formado alguna expectativa a partir de algo que leyó en algún sitio. Todo eso se aplana en un decimal. El aplanamiento no es un defecto: es el sentido mismo de medir, y Tufte dedicó tres libros a explicar cómo hacerlo con honestidad.

El problema es lo que la compresión le hace a nuestra sensación de estar pisando suelo firme. El número llega con aspecto de acabado. Tiene un color, una comparación con el mes pasado, una flecha. Parece el final de una indagación en vez del principio, y en la mayoría de las organizaciones se usa exactamente así.

Richard Saul Wurman llamó a esta condición ansiedad informativa: la distancia entre lo que entendemos y lo que creemos que deberíamos entender. Dos décadas de mejores herramientas no la han cerrado. La instrumentación escala barata —añadir una métrica es un ticket—. La interpretación no escala en absoluto, porque interpretar es juzgar, y el juicio se acumula despacio en personas concretas que después se van de la empresa.

Así que el número de puntos crece y la capacidad de leerlos se queda más o menos plana. Esa es la brecha que se ensancha, y tiene un síntoma muy preciso: los equipos se vuelven más confiados sin volverse más certeros.

La confianza no es el mismo instrumento que la precisión

El trabajo de Kahneman sobre esto resulta incómodo precisamente porque el mecanismo es invisible desde dentro. No experimentamos nuestra confianza como una señal separada de nuestra precisión. Llegan fusionadas. Una historia coherente se siente verdadera, y un punto en una gráfica es una forma muy eficiente de hacer coherente una historia.

La aportación de Taleb consiste en señalar la forma de lo que el punto no puede contener. Una métrica informa sobre la población que se presentó. No dice nada de la gente que se fue antes de que cargara la instrumentación, del segmento que nunca oyó hablar de ti, o del modo de fallo que aún no ha ocurrido y que importará más que todo el cuadro de mando junto. La ausencia no aparece como un hueco en la gráfica. Aparece como nada, que es mucho peor, porque la nada es invisible.

Una disciplina barata

El hábito al que vuelvo viene de Annie Duke y no cuesta dinero: antes de mirar el número, di en voz alta qué número te haría cambiar de opinión.

Suena trivial. No lo es, porque la mayoría de las veces no puedes contestar. Descubres que habrías encontrado la manera de animarte con un 31% y la manera de animarte con un 24%, lo que significa que la métrica nunca estuvo haciendo trabajo de decisión. Estaba haciendo trabajo de moral. Es una función legítima, pero conviene etiquetarla.

El segundo hábito consiste en seguir preguntando de qué está hecho un punto. Croll y Yoskovitz defienden una métrica que importa cada vez, y la razón no es el foco por el foco: es que solo puedes sostener en la cabeza la realidad subyacente de uno o dos números a la vez. Seis cuadros de mando no te dan seis veces la comprensión. Te dan una agradable sensación de cobertura.

Esto conecta directamente con el problema de las cajas negras. No tenemos visibilidad completa de nuestros propios sistemas, y el cuadro de mando es precisamente la superficie donde finge lo contrario. Convierte la opacidad en un renderizado. Nadie miente. La gráfica es exacta. Y aun así la brecha se ensancha, porque la exactitud de la gráfica trata del pasado y nuestra confianza trata del futuro.

El puntito no es el problema. Confundirlo con el territorio, sí.