Reglas de “scoring” impropias: un ejemplo

Todo lo que he venido escribiendo sobre reglas de scoring propias vino en el fondo motivado por Damage Caused by Classification Accuracy and Other Discontinuous Improper Accuracy Scoring Rules, una entrada en el blog de Frank Harrell en la que se discute el siguiente caso.

El tipo simula unos datos para ser ajustados mediante una regresión logística (de manera que conoce la verdad subyacente). Después construye varios modelos alternativos para ajustarlos y utiliza varios scorings distintos para seleccionar el mejor modelo.

Uno de los scorings elegidos es el accuracy (es decir, el número de observaciones correctamente clasificadas). Pero resulta que este criterio, contra lo que cabría esperar, prefiere un modelo distinto del óptimo.

Hummmm…

No discutiré más el caso; está suficientemente bien descrito en el enlace que aparece más arriba. Pero no está de más tener en cuenta ese tipo de cosas. Por si acaso.

3 comentarios sobre “Reglas de “scoring” impropias: un ejemplo

  1. Iñaki 23 enero, 2019 13:56

    Es una de las cosas en las que más insiste Frank Harrell, en su blog y en otros foros de discusión, y es que utilizar accuracy como regla de scoring es anticipar el proceso de decisión y mezclarlo indebidamente con el modelado: donde hay un threshold, hay una decisión.

  2. Jose Luis 23 enero, 2019 22:27

    De acuerdo con lo que comenta Iñaki.
    El tema de las reglas de decisión impropias no lo conocía y es interesante.

  3. Daniel 23 enero, 2019 23:57

    Habría que ver primero si edad y sexo están correladas, antes de tomar una decisión. Da la impresión que sí. En ese caso, no es necesariamente una mala opción quedarse solo con una variable.

Comenta

Your email address will not be published.

Puedes usar estas etiquetas y atributos de HTML: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code class="" title="" data-url=""> <del datetime=""> <em> <i> <q cite=""> <s> <strike> <strong> <pre class="" title="" data-url=""> <span class="" title="" data-url="">

Este sitio usa Akismet para reducir el spam. Aprende cómo se procesan los datos de tus comentarios.