Ajustar o no ajustar, esta es la cuestión

Hoy traigo a colación dos artículos que dicen, en esencia, lo contrario. El primero, No Adjustments Are Needed for Multiple Comparisons dice… lo que su título indica. Su resumen plantea el asunto un tanto menos sucintamente:

Se recomienda realizar ajustes al realizar múltiples tests sobre grandes conjuntos de datos para evitar rechazar la hipótesis nula demasiado fácilmente. Desafortunadamente, al reducir el error de tipo I se incrementa el error de tipo II. La hipótesis subyacente para realizar el ajuste es la de la hipótesis nula universal, según la cual, el azar es la explicación primera para todo fenómeno. Esta hipótesis está en contradicción con las premisas básicas de la investigación empírica, según la cual la naturaleza obedece leyes regulares que pueden ser estudiadas a través de su observación. Es preferible no aplicar ajustes al realizar múltiples tests porque da lugar a menos errores de interpretación cuando los datos no son números aleatorios sino observaciones extraídas de fenómenos naturales. Además, los científicos no deberían rehuir la exploración de hipótesis que pueden resultar ser falsas dada la posibilidad de no advertir fenómenos potencialmente importantes.

La visión alternativa es la de S. Stanley Young en Everything is Dangerous: A Controversy, que puede también verse como conferencia en Vimeo. Compara en él dos visiones distintas:

  • El de los epidemiologistas: es peor obviar algo real que controlar el número de falsedades que se realizan
  • El de los estadísticos: hay que poner un límite a la probabilidad de extraer una conclusión falsa

De hecho, menciona evidencias empíricas según las cuales entre el 80% y el 90% de los resultados publicados por epidemiologistas son falsas y que son imposibles de replicar en entornos rigurosamente controlados.

Sí, efectivamente, el contexto al que se refieren estos artículos es el de la epidemiología, principalmente. Pero hemos visto y sufrido el efecto de esta falta de control, todo por el afán de obtener un p-valor menor que el consabido 0.05 en muchos otros ámbitos.

3 comentarios sobre “Ajustar o no ajustar, esta es la cuestión

  1. Daniel 23 agosto, 2012 10:15

    Me gusta mucho la frase «Pero hemos visto y sufrido el efecto de esta falta de control, todo por el afán de obtener un p-valor menor que el consabido 0.05 en muchos otros ámbitos».

    A pesar de ser un reconocido Epidemiólogo, me atrevo a opinar que no tiene muy claro el concepto de p-valor. Lo de que «cuando los datos no son números aleatorios» me suena a cuando oí a un médico decir en una ponencia que una probabilidad podía ser mayor que uno, en respuesta a otro médico que cuestionaba uno de sus planteamientos.

    Para los que les guste «ver» las cosas, más que hacer actos de fe, les animo a que en un SPSS o similar, hagan la siguiente prueba: Generen 100 variables aleatorias normales de 100 registros y por último una variable 101 donde los primeros 50 datos sean «0» y los últimos 50 sean «1». Apliquen regresión logística y verán la cantidad de variables que resultan ser significativas.

    Es evidente que hay que protegerse ante significaciones espúreas. De hecho el metaanálisis sirve entre otras cosas para detectar conclusiones científicas erróneas de artículos donde probablemente primaba más el afán de encontrar un p-valor menor que 0.05, justificar un presupuesto y publicar algo a toda costa, que el rigor científico.

    De todas maneras, en la investigación no hay que ser tan extremista como para deshechar los p-valores de 0.051 y aceptar con los ojos cerrados p-valores de 0.049. Hay que profundizar más en el estudio pero muy probablemente si tienes 200 variables y obtienes un p-valor de 0.049 lo primero que deberías pensar es que ha sido puro azar y ser muy prudente en tus conclusiones.

  2. Paco 24 agosto, 2012 11:20

    Creo que la palabra correcta es espurio. Me tocó ser «epidemiólogo» una temporada y recuerdo que el afán de encontrar lo que fuera para que el p-valor fuese menor de 0.05 era el único objetivo.
    Los meta-análisis están bien pero nunca olvides que son estudios ecológicos.

Los comentarios están desabilitados.