Consecuencias indeseadas de la falta de humildad

Me refiero a estas:

La historia, resumida, es que Kiko Llaneras publica sus predicciones para el mundial en El País, i.e.,

y a la vista de los acontecimientos balompédicos, tiempo le ha faltado al del tuit para lanzarse en tromba contra quienes prentenden cuantificar fenónenos complejos y contra Llaneras en particular. Y luego, claro, parte de nosotros, le hemos atizado con bastante razón. Pero no, argumentaré, toda.

Me retrotraigo. Hay mucha gente que paga su hipoteca escribiendo bonito. La forma lo es casi y el fondo es secundario porque, las más de las veces, viene impuesto desde arriba (o desde antes). Pueden escribir cualitativamente sobre fenómenos complejos y pueden errar o no en sus apreciaciones. Esta gente, sin embargo, observa con cierto desasosiego cómo la dirección de los vientos está cambiando y no precisamente en su favor: otra gente es capaz de argumentar sobre los mismos temas cuantitativamente arrastrando tras de sí parte de sus antiguos lectores. Pasa en prensa, pasa en la academia, pasa en consultoría y si, indagamos, seguro que en más sitios.

Unos claman contra el terrorismo metodológico, otros acusan a los llaneras de periodismo amarillista. Otros, yo qué sé qué harán.

De todos modos, quienes aventuran pronósticos, probabilidades, etc. basadas en datos (y los entusiastas de esta relativamente nueva manera de hacer las cosas) tienden a cometer un error: celebrar asimétricamente éxitos y fracasos. Acertar lo tienden a considerar una proeza merecedora de todo tipo de reconocimientos. ¿Dónde fue que leí que ciertos pronosticadores se autoinvitaban a paellas cuando clavaban determinados porcentajes en sus encuestas electorales? ¿Qué no se ha dicho de Nate Silver tras acertar los resultados electorales en todos los estados de EE.UU. en nosequé año?

Frente al desacierto, sin embargo, el argumento cambia y, entonces si, se invocan oscuras razones técnicas cuyo desconocimiento desautoriza la opinión del populacho. Ahí sí que aparece la aleatoriedad, la varianza y lo que mucha gente con más sentido común que conocimiento en la materia confundiría con razones de mal perdedor.

En resumen, estamos maleducando a la gente. No se puede razonar sobre el éxito o fracaso de una única predicción. Ni premiar ni castigar por ella (¡leed a/sobre Oliver Hart!). Hay que reaccionar con humildad frente al acierto y restarle tanta importancia como se hace con el desacierto. Lo importante es la calibración (véase este ejemplo), es decir, si alrededor del X% de los eventos al que se asignó una probabilidad del X% ocurrieron.

Hay que tener en cuenta, además, que acertar es un subproducto, no siempre deseable, de un análisis estadístico. Las más de las veces, el objetivo no es tanto ese sino minimizar un daño de acuerdo con las probabilidades asignadas a eventos (si no, los geólogos siempre predirían no terremoto y las pruebas del sida, negativo).

En resumen, hace falta una sana campaña de humildad. Por decencia y también para quitarles la razón a los guillermolópez que por los despachos de las universidades públicas aún pululan.

3 comentarios sobre “Consecuencias indeseadas de la falta de humildad

  1. Daniel 16 julio, 2018 11:03

    Parece que el var (sistema de videoarbitraje) jugó un papel importante en la final del mundial. Por otro lado, en mi humilde opinión de persona que no sabe de fútbol, creo que el papel de los guardametas ha tenido un peso muy grande, por un lado en los desenlaces de los penalties. Creo que si Egea y el portero de la selección Croata hubiesen estado más acertados el resultado de la final bien pudiese ser otro. Finalmente comentar que el uso de resultados de torneos anteriores no es un buen predictor ya que la forma física de los jugadores e incluso los entranadores cambian (en España cambiaron al entrenador al principio del mundial). En definitiva, cualquier modelo de predicción de resultados de fútbol contiene un porcentaje enorme de hipótesis a justo del diseñador sin fundamento estadístico. Feliz Verano a todos los lectores del blog.

  2. Jose Luis Cañadas-Reche 16 julio, 2018 19:11

    Buen post. Algo similar venía comentando con nuestro común amigo Francisco. Hablando de señal y ruido y de que el éxito o fracaso de “nuestro modelo” es a veces una v.a. en la que muchas veces nosotros ni siquiera somos una variable explicativa con un efecto importante.

Los comentarios están desabilitados.