Sobre la "inferencia basada en magnitudes"

Este artículo (sobre si los estadísticos se autoaplican el mismo rigor metodológico a la hora de seleccionar herramientas de análisis que luego exigen a otros) me llevó a este otro artículo donde se menciona una técnica, la inferencia basada en magnitudes, MBI en lo que sigue, por sus siglas en inglés, de la que trata lo que sigue.

Buscaban las autoras del segundo artículo un ejemplo de una técnica de esas que se publican en revistas de metodología estadística que acabara no teniéndose de pie. La encontraron en la MBI, que es una técnica:

  • Publicada en una revista de ciencias del deporte (enlace).
  • Que se distribuye en forma de hoja de cálculo (Excel, para más señas).
  • Con el propósito más o menos explícito de estudiar efectos pequeños en muestras pequeñas (!!!!) no detectados por los métodos tradicionales.

Para centrar ideas, es un test de Student (sirve para comparar medias, de hecho) que casi nunca deja de dar significativo.

MBI tiene dos versiones. La primera es más o menos estándar (y, de hecho, recomendable). Se quieren comparar dos medias y lo que propone es esencialmente lo que indica el siguiente gráfico (extraído de aquí):

Es decir, se crea un intervalo de confianza para la diferencia y se estudia no si no tanto si contiene al cero como su posición con respecto a un umbral que define la significancia material (y no necesariamente la estadística). Los cosas casos señalados en rojo en el gráfico distinguen ambos casos.

Esa es la parte buena pero no original del método; pero tiene otra que es original y… mala. Es como quien monta un after ilegal al que se accede por una trampilla en una cafetería del montón. Si el método anterior no funciona, como cabe esperar con efectos pequeños y muestras cortas, MBI tiene cosa buena en la trastienda.

Lo he mirado por encima aquí (y dejo el enlace por referencia). Se trata del método descrito en la sección dedicada al approach 2. No voy a abundar en él porque no tengo tiempo para magufadas. Pero si alguien se anima…