Bayesianismo

Escribí hace un tiempo sobre las probabilidades subjetivas y cómo Leonard Savage sugería pensar en la probabilidad de un evento como

la [máxima] cantidad que uno debería estar dispuesto a pagar por el derecho a recibir 100 € si el evento finalmente ocurre.

De acuerdo con esa definición, ¿cuál sería la probabilidad de que 2+2 siga siendo 4 dentro de doce meses? Uno estaría tentado a decir que es del 100%, es decir, que pagaría hasta 100 € por el derecho a recibir 100 € en un año si 2+2 es todavía 4 para entonces.

Esta entrada no versa propiamente sobre estadística bayesiana (aunque también) sino sobre el bayesianismo entendido —exageradamente, a veces— como la columna vertebral de la epistemología. De acuerdo con tal visión, solo podemos conocer las cosas —concedido: no todas— con cierto grado de certeza y tanto este conocimiento como la incertidumbre van adaptándose a la información adicional que llega de acuerdo con un criterio: la regla de Bayes.

Pensemos en el ejemplo clásico del lanzamiento de monedas. No sabemos nada a priori sobre la probabilidad $p$ de cara, por lo que nuestro conocimiento sobre el asunto puede modelarse con una beta $B(1,1)$, una distribución uniforme sobre el intervalo $[0,1]$. Conforme observamos lanzamientos, de ser racionales, iremos modificando esa distribución. Si al cabo de $n$ lanzamientos observamos $c$ caras y $n-c$ cruces, nuestro conocimiento sobre $p$ estará recogido en una $B(c+1, n-c+1)$. Esa distribución estará típicamente centrada alrededor del valor real de $p$ y tendrá una dispersión que decrecerá con $n$. (En otra versión, hay un primer conjunto de datos, se obtiene una posteriori y dicha posteriori se convierte en la priori de un análisis ulterior cuando se observa un conjunto de datos adicional).

Tiene Tyler Cowen un artículo en Bloomberg sobre la neutralidad en la red que un LLM me resume así:

El larguísimo debate sobre la neutralidad de la red ha resultado ser irrelevante. Una reciente decisión judicial ha eliminado nuevamente la normativa. Sin embargo, la experiencia de los usuarios de internet apenas ha cambiado, y riesgos previstos, como la limitación de contenido o el aumento de tarifas, no se han materializado. Esto demuestra que la abundancia, más que la regulación, puede resolver el problema de acceso.

[Esta es la cuarta y última (por el momento) de una serie de entradas sobre el tema que se anuncia en el título.]

En la tercera entrega de la serie se introdujo el frecuentismo como una particular manera de resolver el problema de minimización asociado a la expresión

$$L(\hat{\theta}) = \int_\theta \int_X L(\theta, \hat{\theta}) p(X | \theta) p(\theta) dX d\theta.$$

En esta entrada se introducirá el bayesianismo de manera análoga con el concurso del teorema de Fubini (que, recuérdese, permite conmutar las integrales):

[Esta es la tercera de una serie de cuatro o cinco entradas sobre el tema que se anuncia en el título.]

Terminó la segunda entrada de anunciando cómo la manera de operar con la expresión

$$L(\hat{\theta}) = \int_\theta \int_X L(\theta, \hat{\theta}) p(X | \theta) p(\theta) dX d\theta$$

determina las dos grandes corrientes dentro de la estadística. Para entender la primera, el frecuentismo, se debe reescribir la expresión anterior como

$$L(\hat{\theta}) = \int_\theta \left[\int_X L(\theta, \hat{\theta}) p(X | \theta) dX \right] p(\theta)d\theta$$

[Esta es la segunda de una serie de tres o cuatro entradas sobre el tema que se anuncia en el título.]

Terminó la primera entrada de la serie reconociendo que aún no se había entrado en materia estadística, que para ello habría que hablar de datos. Y, en efecto, la estadística principia cuando, por decirlo de manera sugerente aunque breve e imprecisa, $\theta$ genera unos datos $X$ que proporcionan pistas sobre su naturaleza.

[Esta es la primera de una serie de tres o cuatro entradas sobre el tema que se anuncia en el título.]

$\theta$ es un valor desconocido. Por algún motivo, necesitamos encontrar un valor $\hat{\theta}$ —que podríamos llamar de cualquier manera, pero que, por lo que sigue, será podemos convenir en denominar estimación de $\theta$— tal que minimicemos una determinada función de error

$$L(\theta, \hat{\theta}).$$

Por fijar ideas, un ejemplo: alguien nos puede haber dicho que ha pensado un número (entero) entre el 1 y el 10, $\theta$ y que nos dará un premio si lo acertamos, es decir, si proporcionamos un $\hat{\theta}$ y resulta que $\theta = \hat{\theta}$. Una función de error aplicable sería: