Imagina que trabajas en lo que Ionnidis, en su artículo Why Most Published Research Findings Are False, llama un null field; es decir, un área de investigación (tipo homeopatía o percepción extrasensorial) en la que no hay resultados ciertos, en la que las relaciones causa-efecto no pasan de ser presuntas. O tienes un conjunto de datos en un campo no nulo pero que, por algún motivo, no recoge las variables necesarias para explicar un cierto fenómeno.
Aun en esas circunstancias es posible, como comentábamos ayer, comenzar a plantear hipótesis, muchas hipótesis. Realizar un test de Student sobre cada una de ellas es como ejecutar la función
¿Y qué pasa si se ejecuta muchas veces? Esto:
Que gráficamente, para los perezosos, tiene esta pinta:
Este gráfico pone de manifiesto que los p-valores obtenidos siguen una ley uniforme (en [0,1]) tal y como cabe esperar de la teoría. Porque el p-valor no es otra cosa que donde en este caso, bajo la hipótesis nula,
tiene la distribución dada por
.
Es decir, probadas un número suficiente de hipótesis, siempre habrá alguna que resulte significativa.
El lector interesado podrá encontrar una discusión similar en los enlaces de la entrada que publiqué ayer.
Hace tiempo escribí algo que tiene relación con esto:
http://analisisydecision.es/muchas-variables-no-implican-una-mejor-prediccion/
Se me ocurrió cuando escuché hablar del código secreto de la biblia. Y recientemente viví una situación parecida: si te pones cabezón sale lo que tu quieres y se rechazan hipótesis verdaderas con cierta facilidad.