La paradoja de Lord

Hace unos meses una clienta me propuso un problema relativamente (¿aparentemente?) sencillo. Era el siguiente:

  • A cierto número de pacientes se les hizo una medida (de qué, es irrelevante) antes y después de un tratamiento.
  • A unos se les aplicó el tratamiento tradicional (grupo de control).
  • A otros, uno novedoso (grupo de tratamiento).

El objetivo era el obvio: ¿es mejor el nuevo tratamiento? Parece sencillo, ¿verdad?

Hay dos mecanismos obvios para tratar de verificar la hipótesis. El primero es un t-test sobre

(después - antes) ~ tratamiento

que recibe, en la jerga, el nombre de GSA (o gain score analysis). El segundo, la siguiente ANCOVA:

después ~ tratamiento + antes

El hecho de que ambos análisis puedan dar respuestas divergentes se conoce como paradoja de Lord. Existe una literatura extensa sobre el fenómeno. A mí me sirvió, p.e., este artículo. No obstante, dicen que

What remains uncontested is Lord’s (1965, p. 305) conclusion from his first article: «with the data usually available for such studies, there simply is no logical or statistical procedure that can be counted on to make proper allowances for uncontrolled pre-existing differences between groups.»

(Coda: en mi caso, tenía medidas repetidas y me decanté, no sin cierto desasosiego, por la ANCOVA dado que podía gestionarlas más adecuadamente. No obstante, ¿hasta qué punto puede uno complicarle la vida a una clienta que no más quiere que presentar de una vez su bendita tesis?).