Cualifica tus conjeturas

In relation to any experiment we may speak of this hypothesis as the "null hypothesis," and it should be noted that the null hypothesis is never proved or established, but is possibly disproved, in the course of experimentation. Every experiment may be said to exist only in order to give the facts a chance of disproving the null hypothesis.

— The Design of Experiments, R. A. Fisher

Fisher escribió esto en 1935, y es una de las frases más extrañas de la historia del método. Léela otra vez despacio. Un experimento existe para dar a los hechos una oportunidad. No para dársela al investigador. Los hechos son el agente; nosotros solo somos quienes preparamos el encuentro.

La dirección de la carga

La hipótesis nula es la suposición de que tu cambio no marca ninguna diferencia. Enunciarla primero no es una formalidad. Es lo que fija la carga de la prueba, y la fija en la dirección que a ti te cuesta algo.

Las organizaciones de producto hacen casi invariablemente lo contrario. La hipótesis se escribe como «creemos que añadir X aumentará Y», y todo el aparato se apunta después a la confirmación. No es deshonesto, y eso es lo que lo hace difícil de corregir. Todos los implicados quieren una respuesta verdadera. Simplemente han montado una indagación que solo puede devolver un tipo de respuesta en voz alta y el otro en voz baja.

La asimetría de Fisher es el correctivo. Nunca pruebas el efecto. Fracasas en refutar la ausencia de efecto, y de vez en cuando la ausencia no sobrevive al contacto con los datos. Es una epistemología más humilde que la de la mayoría de las diapositivas de hoja de ruta, y es la única que ha producido conocimiento duradero a escala.

Popper la generalizó en una teoría del conocimiento: una afirmación que no puede refutarse no te ha dicho nada. Peter Medawar, que pasó la vida haciendo el trabajo en vez de teorizar sobre él, añadió el corolario práctico: la habilidad del investigador consiste en elegir qué preguntas refutables son asequibles ahora.

Qué implica cualificar

Cualificar una conjetura, antes de construir nada, se reduce a responder dos preguntas por escrito.

La primera: qué resultado contaría como refutación. No qué resultado nos decepcionaría, que es un sentimiento, sino qué observación nos haría parar. El valor de escribirlo está en que la mayoría de las veces descubres que no puedes. Descubres que habrías encontrado la manera de seguir adelante con cualquier número plausible. Ese descubrimiento vale los diez minutos que cuesta, porque te dice que la métrica nunca estuvo aguantando peso.

La segunda: qué costaría obtener ese resultado, y si el coste es proporcional a la decisión. Kohavi, Tang y Xu son cuidadosos con esto de una forma que el entusiasmo habitual por los tests no es. Un test sin potencia suficiente no devuelve una señal débil. Devuelve un número con toda la confianza puesta y ninguna relación con la realidad, lo que es bastante peor que no tener número, porque con un número no se puede discutir en una reunión.

El relato de James Flier sobre la irreproducibilidad en biociencia es el acompañamiento sobrio. Un campo con mucho más rigor que el nuestro, y con mucho más en juego, sigue produciendo un volumen elevado de hallazgos publicados que no sobreviven a la replicación. El método no es una garantía. Es una disciplina, y las disciplinas se degradan cuando nadie mira.

La alternativa honesta

Nada de esto es un argumento a favor de que cada iniciativa necesite un experimento. La mayoría no lo necesita, y fingir lo contrario produce el teatro que describía la sesión sobre experimentación: la palabra pronunciada en mayúsculas, el andamiaje construido a medias, los resultados interpretados por quien propuso el cambio.

La alternativa honesta consiste en decir que esta es una apuesta de juicio. El planteamiento de Annie Duke sirve precisamente porque elimina la pretensión: estás apostando bajo incertidumbre, tu juicio es el instrumento, y la forma de mejorar el instrumento es anotar lo que esperabas antes de averiguarlo. No después. Después, la memoria se encarga de editar por ti, en silencio y con generosidad.

Así que cualifica tus conjeturas. No todas, y no con la misma profundidad. Pero sabe en qué escalón de la escalera está apoyada cada una, y sábelo antes de comprometer el dinero.

Fisher les dio una oportunidad a los hechos. Lo mínimo que podemos hacer es no colocar la sala de forma que no puedan hablar.