Aquí argumenté que
$$\sum_i p^2_i$$
es una versión barata de la entropía. Que sin embargo se usa para:
Medir la concentración empresarial: es el que los economistas llaman índice de Hirschman. Crear el llamado número efectivo de partidos en ciencias políticas (a través de su inverso). La versión barata de la entropía tiene una ventaja y una desventaja con respecto a la buena; la ventaja, que es más fácil de calcular, comunicar, etc.
Llegaré a la normal. Antes, algo sobre la entropía.
Nos interesa saber y medir el grado de concentración de una distribución. Por ejemplo, si X es una variable aleatoria con función de densidad $latex f(x)$ y $latex x_1, \dots, x_n$ es una muestra de X, entonces, la expresión
$$ \frac{1}{n} \sum_i f(x_i)$$
da una idea de la concentración vs dispersión de X:
Si es grande, muchos de los $latex x_i$ procederán de lugares donde $latex f$ es grande; en un caso discreto, que tal vez ayude a mejorar la intuición sobre la cosa, habría muchos valores repetidos.
Esta es una cosa bastante contraintituiva. Uno diría que en la moda, pero no es exactamente así.
Veamos qué pasa con la distribución normal conforme aumenta la dimensión.
En una dimensión son más frecuentes los valores próximos al centro:
hist(abs(rnorm(10000)), breaks = 100, main = "distribución de la distancia al centro") Pero en dimensiones más altas (p.e., 10), la cosa cambia:
library(mvtnorm) muestra <- rmvnorm(10000, rep(0, 10), diag(rep(1, 10))) distancias <- apply(muestra, 1, function(x) sqrt(sum(x^2))) hist(distancias, breaks = 100, main = "distribución de la distancia al centro") Lo más frecuente es obtener observaciones ya no próximas al centro sino en un anillo alrededor de él y a cierta distancia del mismo.
