Scorings: interpolando (y extrapolando) entre el de Brier y el lineal

Rápidamente y para poner el limpio unas cosas que tenía en borrador. El scoring lineal del que me he ocupado en entradas anteriores (p.e., esta o esta) está asociado a un exponente \lambda = 1 y el de Brier, a \lambda = 2. Entre ambos (y a la derecha del 2) hay otros scorings posibles.

Una penalización de (1-p)^\lambda (véanse las entradas enlazadas más arriba para averiguar a qué me refiero), un predictor tiene un incentivo para modificar su predicción para alcanzar un scoring más alto, salvo en el caso en que \lambda = 2, en el que le compensa ser lo más sincero posible.

Modificando los valores de \lambda, se obtienen las curvas

que muestran la relación entre las probabilidades reales (abscisas) y las que conviene manifestar al predictor. Solo en el caso en que \lambda = 2 la relación está dada por la curva y = x. Cuando \lambda < 2, al predictor le conviene exagerar y cuando \lambda crece, ser conservador y quedarse próximo al 50%.

Esto que es cierto matemáticamente parece casi una lección de vida. Frente a castigos severos, la gente tenderá a anclarse en el yo nu sé. Sin carne en el asador (o sin arriesgar, o sin la talebiana skin in the game) la gente vendrá con ocurrencias y certezas implausibles. Solo en \lambda = 2, la mitad en la que mora la virtud,…

Y para terminar y como referencia, el código:

foo <- function(alpha){
  exponente <- 1 / (alpha - 1)
  curve(x^exponente / (x^exponente + (1 - x)^exponente), 0, 1, 
        main = format(alpha, digits = 3),
        xlab = "probabilidad real", ylab = "estimación óptima")
}

alphas <- -4:4
alphas <- 1 + 2^alphas

par(mfrow = c(3, 3))
sapply(alphas, foo)
par(mfrow = c(1, 1))