Producto digital y experimentación
Del escorbuto a la estreptomicina: qué enseñan siglos de ensayos clínicos a los equipos de producto sobre eficacia, mejora relativa y el coste de experimentar.
En el Instituto Tramontana celebrábamos con regularidad eventos para presentar el programa de dirección y cultura de producto a las personas interesadas. En vez de describir el contenido, prefería reproducirlo: mitad recorrido por lo que estaba ocurriendo en la edición en curso, mitad simulación abreviada de una clase real, de forma que la dinámica de debate y reflexión se pudiera experimentar en vez de resumir.
Una de esas sesiones trató sobre producto digital y experimentación. Lo que sigue es, más o menos, el hilo que seguimos.
Pirámides y medicina
La síntesis más completa para adentrarse en los experimentos de producto digital sigue siendo Trustworthy Online Controlled Experiments. A Practical Guide to A/B Testing, de Ron Kohavi, Diane Tang y Ya Xu. El uso de la palabra trustworthy es significativo, puesto que en la literatura se ha ido convirtiendo en el tercer eslabón de una cadena empezada con cause, seguida por correlation y, finalmente, terminada con trustworthiness.
En el principal argumentario que utilizan los autores para situar el marco de la experimentación aparecen dos referencias que utilizamos como hilo conductor en la sesión.
La jerarquía de la evidencia llega al producto digital prestada de la literatura médica.
La pirámide de la evidencia se ha convertido en la referencia habitual cuando se jerarquizan las fuentes que sirven para tomar decisiones. Una de las reflexiones que hicimos durante la sesión fue cómo sería llevar algo similar al terreno del producto digital, imaginando que podríamos clasificar iniciativas en distintos escalones.
En la base de la pirámide, la opinión experta aparece rotulada como HiPPO.
El ejercicio incomoda de una forma útil. La mayoría de las decisiones de producto, clasificadas con honestidad, se sitúan cerca de la base de esa pirámide: opinión experta y reporte de casos. No es un escándalo —la medicina pasó siglos ahí— pero sí cambia cómo hablas de una decisión cuando sabes en qué escalón está apoyada.
La eficacia y lo relativo
La referencia a la literatura médica nos condujo directamente a los ensayos clínicos. Se trata de un experimento comparativo que, como tantas ideas sencillas, esconde varios puntos potentes.
Comparar exige dar por despreciables las diferencias dentro de cada grupo.
El primero es que asume que los individuos se pueden agrupar a partir de semejanzas suficientes como para despreciar las diferencias. La idea es aplicar distintos tratamientos, e incluso ninguno si queremos tener un grupo de control nulo, a distintos grupos para evaluar los resultados. El segundo punto fuerte viene conectado a esta idea de evaluación: la eficacia se convierte en el concepto principal, haciéndose operativa a partir de algún criterio. Por ejemplo, el tratamiento C es mejor que el tratamiento B porque reduce en dos días la baja laboral, al permitir una recuperación más rápida.
La eficacia solo existe cuando alguien fija el criterio con el que se mide.
Por supuesto, la eficacia es siempre relativa. Encontramos aquí otro punto fuerte que le puede sentar muy bien al pensamiento sobre producto digital, tan dado a criterios absolutos: «vamos a rediseñar toda la web para corregir todos los problemas», «¿cuándo dejaremos de tener problemas de pagos con Apple?», «vamos a darle tiempo a esto y así quitamos todas las incidencias».
El encuadre absoluto no es solo optimista. Es inmedible, y ese es su defecto real. Si el objetivo es todo, no hay aritmética que pueda decirte si te has acercado.
Del escorbuto a la tuberculosis
La historia de los ensayos clínicos es una historia de siglos. Nos viene fenomenal, porque una vez más aprendemos que cabalgamos a hombros de gigantes. Es, encima, una historia con muchas anécdotas interesantes. El que se considera el primer proto ensayo clínico va de barcos, escorbuto, y un cirujano naval, James Lind, que se pone a probar —experimentar— distintos tratamientos aplicados a distintos grupos, es decir, segmentos. El tratamiento a base de cítricos es el que acabó siendo el más eficaz.
James Lind reparte tratamientos distintos entre grupos distintos, a bordo.
¿Cuánto de eficaz? En el siglo XVIII todavía no podían responder a esa pregunta. Distintos experimentos se sucedieron a lo largo del tiempo y se fueron combinando con la principal fuente de decisión en la prescripción: el ojo clínico. Basado en la experiencia, en la observación de casos, en el conocimiento de la diversidad, el juicio experto no dejará de ser el protagonista de las decisiones, incluso en nuestros días. Su principal objeción será la que nos acompaña siempre como población biológica: los sesgos.
El ojo clínico sigue siendo el protagonista de la decisión, con sus sesgos incluidos.
Pero en las primeras décadas del siglo XX el desarrollo de la estadística como disciplina, y su uso expansivo en distintas áreas, sí que empezó a responder a esa pregunta del «¿cuánto?», relacionada con la eficacia. Es casi en la mitad de siglo cuando se da el que se considera el ensayo clínico de referencia.
La estadística permite por fin responder a la pregunta del «¿cuánto?».
Es, además, una pequeña obra de arte del conocimiento humano, por cómo combina una humildad en el planteamiento con una ambición en los resultados. En este caso ya no se trataba del escorbuto, sino del tratamiento de la tuberculosis. Bradford Hill sintetizó en una tabla los porcentajes de eficacia, a partir de un grupo de tratamiento de estreptomicina y un grupo de control, que en total sumaban 107 pacientes.
El ensayo clínico de la estreptomicina, publicado en 1948.
Además de evaluar varias dimensiones, en la que se consideraba la más crítica, las defunciones, empezaba a aparecer ya un criterio cuantitativo: un 7% frente a un 27%. La eficacia no busca anular el problema —se asumen las muertes como parte de la ecuación— sino mejoras relativas.
Esa frase es la que me llevaría de la sesión para colgarla en una pared.
En qué gastar
Una instrumentalización de la eficacia como esta no tendría por qué llegar a convertirse, por sí sola, en el estándar con el que hoy nos manejamos. Una serie de factores sociales, puestos en juego al mismo tiempo, fueron conduciendo a la situación actual.
El primero era el papel del estado como agente económico y, en particular, su protagonismo en la creación de seguros sociales y la subvención de tratamientos. Empieza a surgir una pregunta lógica, fácil de entender desde la industria de producto digital aunque muchas veces no la veamos en el día a día: ¿en qué debemos gastar el dinero? O, dicho de otra forma, ¿cómo podemos tener confianza de que estamos poniendo el dinero en los problemas y las soluciones que realmente consiguen resultados?
Quien paga los tratamientos acaba pidiendo pruebas de que funcionan.
El segundo factor tiene que ver con el otro protagonista de la historia: la industria farmacéutica. ¿Cómo conseguimos corregir unos incentivos que pueden falsear una supuesta eficacia? Hay una búsqueda de cierta imparcialidad, y esta es la razón de que instrumentos como el doble ciego —ni el paciente ni el profesional deben conocer el tratamiento que se está aplicando— se acaben convirtiendo también en un estándar.
El doble ciego existe porque los incentivos distorsionan los resultados.
El paralelismo merece un momento. Toda organización de producto tiene una parte interesada en el resultado. Quien propuso la iniciativa suele diseñar la medición, interpretar el desenlace y presentarlo. La medicina tardó un siglo en concluir que ese arreglo no funciona, y construyó maquinaria para evitarlo. Nosotros tenemos retrospectivas.
Cuidado con jugar al laboratorio
Este breve recorrido, además de animarnos al debate y a intercambiar distintas experiencias, nos ayudó a ampliar nuestra perspectiva: más allá de modificar unos textos o unos botones en un flujo de alta, más allá de cambiar un diseño en un correo transaccional.
Ampliar la mirada te ayuda a tener una perspectiva más crítica de lo que estás haciendo: ya sabes que cuando pronuncias la palabra «experimento» hay un peso histórico y metodológico, y eso te puede ayudar a pronunciarla en minúsculas en vez de en mayúsculas. También te puede ayudar a pensar el coste que tiene: el andamiaje para instrumentalizar todo esto no es trivial. El éxito o el fracaso a menudo tienen que ver con la dosis.
El argumento de James Flier sobre la irreproducibilidad en biociencia es el contrapeso necesario a cualquier entusiasmo aquí. El método no garantiza el resultado. Un campo con mucho más rigor que el nuestro, y con bastante más en juego, sigue produciendo un volumen elevado de hallazgos que no sobreviven a la replicación. Un test A/B corrido con tráfico insuficiente no produce conocimiento; produce un número con aspecto de certeza, que es peor que no tener número.
Nos quedamos con que el espíritu que resuena en todo esto puede ayudarnos a profesionalizar nuestras organizaciones y equipos: los entornos complejos —y ya sabemos que la mancha de aceite que es el software lo hace todo especialmente complejo— requieren de una reflexión sobre cómo deciden lo que deciden, qué coste de oportunidad tienen sus decisiones y, finalmente, qué eficacia acaban teniendo. Sea en forma de experimentos, de apuestas elaboradas a partir de juicios cualificados, o de simples intuiciones.
La expresión de Peter Medawar para esto era el arte de lo soluble: la habilidad real del investigador consiste menos en responder preguntas difíciles que en reconocer qué preguntas son respondibles ahora mismo. Esa habilidad se transfiere directamente, y es la única que ningún marco te puede instalar.