Construcción de intervalos de confianza para gráficos de calibración vía "bootstrap" y algunos asuntos más

Visualizing XGBoost Models with SHAP in Python: Feature Importance, Dependence, and Interaction Plots es otro tutorial sobre todas esas cosas. Pero a los interesados en la materia, les recomiendo la lectura sosegada de Interpretable Machine Learning.

Andrew Gelman discute el problema común de que los intervalos subjetivos del 50% suelen ser demasiado estrechos y que, como consecuencia, no capturan realmente el 50% de los resultados. Como solución, propone la siguiente estrategia: construir el intervalo intuitivo y luego ampliarlo por un factor fijo (p. ej., 1.5×) para mejorar la calibración. Aunque no es, obviamente, una solución completa, ofrece un punto de partida práctico para mejorar la calibración subjetiva de la incertidumbre.

Bending Over Backwards: The Quadratic Puts the U in AI de DataColada critica un estudio que afirma una relación en forma de U invertida entre uso de IA y la creatividad basada en una regresión cuadrática. Como no puede ser realmente de otra manera usando ese tipo de modelos, cabe añadir. Uri Simonsohn muestra cómo, aunque el término cuadrático es significativo, la supuesta U invertida no está respaldada una vez se considera la incertidumbre, etc. y argumenta que el modelo cuadrático es sensible a la distribución y puede generar una U espuria. En este blog también se ha escrito alguna vez sobre cómo el instrumento (o el método) es la respuesta.

Aki Vehtari explica en Effective sample size por qué el término número efectivo de muestras en MCMC es engañoso y por qué prefiere tamaño muestral efectivo, ESS. El motivo es que lo importante no es tanto el número en sí de muestras como el efecto global de la muestra completa porque la dependencia entre las distintas iteraciones reduce la cantidad de información efectiva con respecto a la que ofrecerían muestras independientes.

Mientras que Bob Carpenter explica cómo muestrear distribuciones multimodales con Stan. No es un problema nada fácil, como bien sabemos los que nos lo hemos tropezado en el pasado.

Hasta no hace tanto estuve trabajando en un proyecto en el que tanto Be Mindful of the Time como A Simple Bayesian Multi-state Survival Model for a Clinical Trial podrían haber resultado útiles. Había agentes que iban transicionando entre distintos estados discretos a lo largo del tiempo y era de interés estimar tanto la matriz de probabilidades de transición como la distribución de los tiempos entre los correspondientes saltos. Aunque admito que no me dio tiempo a poner nada de esto en práctica.

Y también hube de prestarle interés al problema de la calibración de modelos y, en particular, el cálculo de intervalos de confianza en gráficos de calibración. Frank Harrell aborda esos problemas en Bootstrap Confidence Limits for Bootstrap Overfitting-Corrected Model Performance usando bootstrap.