Distribución normal multivariante

Distribución normal multivariante

Distribución normal multivariante

Normal multivariante
Función de distribución de probabilidad
Parámetros \mu = [\mu_1, \dots, \mu_n]^T (vector real)
Σ matriz de covarianza (matriz real definida positiva de dimensión n\times n )
Dominio x \in\mathbb{R}^n\!
Función de densidad (pdf) f_X(x_1, \dots, x_n)=\frac {1} {(2\pi)^{n/2} \left|\Sigma\right|^{1/2}}

                 \exp\left( -\frac{1}{2}( x - \mu)^\top \Sigma^{-1} (x - \mu)\right)
Función de distribución (cdf) Sin expresión analítica
Media \mu \,\!
Mediana \mu \,\!
Moda \mu \,\!
Varianza \sigma^2 \,\!
Coeficiente de simetría 0
Curtosis 0
Entropía \ln\left(\sqrt{(2\,\pi\,e)^n \left| \Sigma \right|}\right)\!
Función generadora de momentos (mgf) M_X(t)= \exp\left( \mu^\top t + \frac{1}{2} t^\top \Sigma t\right)
Función característica \phi_X(t;\mu,\Sigma)=\exp\left( i \mu^\top t - \frac{1}{2} t^\top \Sigma t\right)

En probabilidad y estadística, una distribución normal multivariante, también llamada distribución gaussiana multivariante, es una generalización de la distribución normal unidimensional a dimensiones superiores.

Contenido

Caso general

Un vector aleatorio \ X = [X_1, \dots, X_n]^T sigue una distribución normal multivariante si satisface las siguientes condiciones equivalentes:

  • Toda combinación lineal \ Y = a_1 X_1 + \cdots + a_n X_n está normalmente distribuida.
  • Hay un vector aleatorio \ Z = [Z_1, \dots, Z_M]^T, cuyas componentes son independientes son variables aleatorias distribuidas según la normal estándar, un vector \ \mu = [\mu_1, \dots, \mu_n]^T y una matriz n \times M \ A tal que \ X = A Z + \mu.
  • Hay un vector μ y una matriz semidefinida positiva simétrica \ \Sigma tal que la función característica de X es

\phi_X\left(u;\mu,\Sigma\right)
=
\exp
\left(
 i \mu^\top u - \frac{1}{2} u^\top \Sigma u
\right).

Si \ \Sigma es una matriz no singular, entonces la distribución puede describirse por la siguiente función de densidad:


f_X(x_1, \dots, x_n)
=
\frac
 {1}
 {(2\pi)^{n/2}|\Sigma|^{1/2}}
\exp
\left(
 -\frac{1}{2}
 ( x - \mu)^\top \Sigma^{-1} (x - \mu)
\right)

donde \ \left| \Sigma \right| es el determinante de \ \Sigma. Nótese como la ecuación de arriba se reduce a la distribución normal si \ \Sigma es un escalar (es decir, una matriz 1x1).

El vector μ en estas circunstancias es la esperanza de X y la matriz \ \Sigma = A A^T es la matriz de covarianza de las componentes Xi.

Es importante comprender que la matriz de covarianza debe ser singular (aunque no esté así descrita por la fórmula de arriba, para la cual \ \Sigma^{-1} está definida).

Este caso aparece con frecuencia en estadística; por ejemplo, en la distribución del vector de residuos en problemas ordinarios de regresión lineal. Nótese también que los Xi son en general no independientes; pueden verse como el resultado de aplicar la transformación lineal A a una colección de variables normales Z.

Esta distribución de un vector aleatorio X que sigue una distribución normal multivariante puede ser descrita con la siguiente notación:

X\ \sim \mathcal{N}(\mu, \Sigma),

o hacer explícito que X es n-dimensional,

X\ \sim \mathcal{N}_N(\mu, \Sigma).

Función de distribución

La función de distribución F(x) se define como la probabilidad de que todos los valores de un vector aleatorio X sean menores o iguales que los valores correspondientes de un vector x. Aunque F no tenga una fórmula, hay una serie de algoritmos que permiten estimarla numéricamente.[1]

Un contraejemplo

El hecho de que dos variables aleatorias X e Y sigan una distribución normal, cada una, no implica que el par (XY) siga una distribución normal conjunta. Un ejemplo simple se da cuando Y = X si |X| > 1 e Y = −X si |X| < 1. Esto también es cierto para más de dos variables aleatorias.[2]

Normalmente distribuidas e independencia

Si X e Y están normalmente distribuidas y son independientes, su distribución conjunta también está normalmente distribuida, es decir, el par (XY) debe tener una distribución normal bivariante. En cualquier caso, un par de variables aleatorias normalmente distribuidas no tienen por qué ser independientes al ser consideradas de forma conjunta.

Caso bivariante

En el caso particular de dos dimensiones, la función de densidad (con media (0, 0) es


f(x,y) = \frac{1}{2 \pi \sigma_x \sigma_y \sqrt{1-\rho^2}}
\exp
\left(
 -\frac{1}{2 (1-\rho^2)}
 \left(
  \frac{x^2}{\sigma_x^2} +
  \frac{y^2}{\sigma_y^2} -
  \frac{2 \rho x y}{ (\sigma_x \sigma_y)}
 \right)
\right)

donde ρ es el coeficiente de correlacion entre X e Y. En este caso,


\Sigma =
\begin{bmatrix}
\sigma_x^2              & \rho \sigma_x \sigma_y \\
\rho \sigma_x \sigma_y  & \sigma_y^2
\end{bmatrix}.

Transformación afín

Si Y = c + B X \, es una transformación afín de X\ \sim \mathcal{N}(\mu, \Sigma), donde c\, es un M \times 1 vector de constantes y B\, una M \times N matriz, entonces Y\, tiene una distribución normal multivariante con esperanza c + B \mu \, y varianza B \Sigma B^T \, esto es, Y \sim \mathcal{N} \left(c + B \mu, B \Sigma B^T\right). En particular, cualquier subconjunto de las X_i\, tiene una distribución marginal que es también una normal multivariante.

Para ver esto, considérese el siguiente ejemplo: para extraer el subconjunto (X_1, X_2, X_4)^T \,, úsese


B =
\begin{bmatrix}
 1 & 0 & 0 & 0 & 0 & \ldots & 0 \\
 0 & 1 & 0 & 0 & 0 & \ldots & 0 \\
 0 & 0 & 0 & 1 & 0 & \ldots & 0
\end{bmatrix}

lo que extrae directamente los elementos deseados.

Otro corolario sería que la distribución de Z=b\cdot X, donde b es un vector de la misma longitud que X y el punto indica un producto vectorial, sería una distribución gaussiana unidimensional con Z\sim\mathcal{N}\left(b\cdot\mu, b^T\Sigma b\right). Este resultado se obtiene usando


B=\begin{bmatrix}
b_1    & b_2    & \ldots & b_n    \\
0      & 0      & \ldots & 0      \\
\vdots & \vdots & \ddots & \vdots \\
0      & 0      & \ldots & 0
\end{bmatrix}

y considerando sólo la primera componente del producto (la primera fila de B es el vector b). Obsérvese cómo la definición positiva de Σ implica que la varianza del producto vectorial debería ser positiva.

Interpretación geométrica

Las curvas de equidensidad de una distribución normal multivariante son elipsoides (es decir, transformaciones lineales de hiperesferas) centrados en la mdia.[3] Las direcciones de los ejes principales de los elipsoides vienen dados por los vectores propios de la matriz de covarianza Σ. Las longitudes relativas de los cuadrados de los ejes principales vienen dados por los correspondientes vectores propios.

Si Σ = UΛUT = UΛ1 / 2(UΛ1 / 2)T es una descomposición espectral donde las columnas de U son vectores propios unitarios y Λ es una matriz diagonal de valores propios, entonces tenemos

X\ \sim N(\mu, \Sigma) \iff X\ \sim \mu+U\Lambda^{1/2}N(0, I) \iff X\ \sim \mu+UN(0, \Lambda).

Además, U puede elegirse de tal modo que sea una matriz de rotación, tal que invirtiendo un eje no tenga ningún efecto en N(0,Λ), pero invirtiendo una columna, cambie el signo del determinante de U'. La distribución N(μ,Σ) es en efecto N(0,I) escalada por Λ1 / 2, rotada por U y trasladada por μ.

Recíprocamente, cualquier elección de μ, matriz de rango completo U, y valores diagonales positivos Λi cede el paso a una distribución normal no singular multivariante. Si cualquier Λi es cero y U es cuadrada, la matriz de covarianza UΛUT es una singular. Geométricamente esto significa que cada curva elipsoide es infinitamente delgada y tiene volumen cero en un espacio n-dimensional, así como, al menos, uno de los principales ejes tiene longitud cero.

Correlaciones e independencia

En general, las variables aleatorias pueden ser incorreladas, pero altamente dependientes. Pero si un vector aleatorio tiene una distribución normal multivariante, entonces cualesquiera dos o más de sus componentes que sean incorreladas, son independientes.

Pero no es cierto que dos variables aleatorias que están (separadamente, marginalmente) normalmente distribuidas e incorreladas sean independientes. Dos variables aleatorias que están normalmente distribuidas pueden que no lo estén conjuntamente. Para un ejemplo de dos variables normalmente distribuidas que sean incorreladas pero no independientes, véase normalmente distribuidas e incorreladas no implica independencia.

Momentos más altos

El momento de k-ésimo orden de X se define como


\mu _{1,\dots,N}(X)\ \stackrel{\mathrm{def}}{=}\  \mu _{r_{1},\dots,r_{N}}(X)\ \stackrel{\mathrm{def}}{=}\  E\left[
\prod\limits_{j=1}^{N}X_j^{r_{j}}\right]

donde r_1 +r_2 + \cdots + r_N =k.

Los momentos centrales de orden k viene dados como sigue:

(a) Si k es impar, \mu _{1,\dots,N}(X-\mu )=0.

(b) Si k es par, con k = 2λ, entonces


\mu _{1,\dots,2\lambda }(X-\mu )=\sum \left( \sigma _{ij}\sigma _{k\ell}\cdots\sigma _{XZ}\right)

donde la suma se toma sobre todas las disposiciones de conjuntos \left\{ 1,\dots,2\lambda
\right\} en λ parejas (no ordenadas). Esto es, si se tiene un k-ésimo ( = 2λ = 6) momento central, se estarán sumando los productos de λ = 3 covarianzas (la notación -μ se ha despreciado para facilitar la lectura):

\begin{align}
& {} E[X_1 X_2 X_3 X_4 X_5 X_6] \\
&{} = E[X_1 X_2 ]E[X_3 X_4 ]E[X_5 X_6 ] + E[X_1 X_2 ]E[X_3 X_5 ]E[X_4 X_6] + E[X_1 X_2 ]E[X_3 X_6 ]E[X_4 X_5] \\
&{} + E[X_1 X_3 ]E[X_2 X_4 ]E[X_5 X_6 ] + E[X_1 X_3 ]E[X_2 X_5 ]E[X_4 X_6 ] + E[X_1 X_3]E[X_2 X_6]E[X_4 X_5] \\
&+ E[X_1 X_4]E[X_2 X_3]E[X_5 X_6]+E[X_1 X_4]E[X_2 X_5]E[X_3 X_6]+E[X_1 X_4]E[X_2 X_6]E[X_3 X_5] \\
& + E[X_1 X_5]E[X_2 X_3]E[X_4 X_6]+E[X_1 X_5]E[X_2 X_4]E[X_3 X_6]+E[X_1 X_5]E[X_2 X_6]E[X_3 X_4] \\
& + E[X_1 X_6]E[X_2 X_3]E[X_4 X_5 ] + E[X_1 X_6]E[X_2 X_4 ]E[X_3 X_5] + E[X_1 X_6]E[X_2 X_5]E[X_3 X_4].
\end{align}

Esto da lugar a (2λ − 1)! / (2λ − 1(λ − 1)!) términos en la suma (15 en el caso de arriba), cada uno siendo el producto de λ (3 en este caso) covarianzas. Para momentos de cuarto orden (cuatro variables) hay tres términos. Para momentos de sexto orden hay 3 × 5 = 15 términos, y para momentos de octavo orden hay 3 × 5 × 7 = 105 términos.

Las covarianzas son entonces determinadas mediante el reemplazo de los términos de la lista \left[ 1,\dots,2\lambda \right] por los términos correspondientes de la lista que consiste en r1 unos, entonces r2 doses, etc... Para ilustrar esto, examínese el siguiente caso de momento central de cuarto orden:

E\left[ X_i^4\right] = 3\sigma _{ii}^2
E\left[ X_i^3 X_j\right] = 3\sigma _{ii} \sigma _{ij}
E\left[ X_i^2 X_j^2\right] = \sigma _{ii}\sigma_{jj}+2\left( \sigma _{ij}\right) ^2
E\left[ X_i^2X_jX_k\right] = \sigma _{ii}\sigma _{jk}+2\sigma _{ij}\sigma _{ik}
E\left[ X_i X_j X_k X_n\right] = \sigma _{ij}\sigma _{kn}+\sigma _{ik}\sigma _{jn}+\sigma _{in}\sigma _{jk}.

donde σij es la covarianza de Xi y Xj. La idea del método de arriba es que primero se encuentra el caso general para el momento k-ésimo, donde se tiene k diferentes variables X - E\left[ X_i X_j X_k X_n\right] y entonces se pueden simplificar apropiadamente. Si se tiene E\left[ X_i^2 X_k X_n\right] entonces, simplemente sea Xi = Xj y se sigue que \sigma_{ii}=\sigma_i^2.

Distribuciones condicionales

Si μ y Σ son divididas como sigue:


\mu =
\begin{bmatrix}
 \mu_1 \\
 \mu_2
\end{bmatrix}
\quad con tamaños \begin{bmatrix} q \times 1 \\ (N-q) \times 1 \end{bmatrix}

\Sigma =
\begin{bmatrix}
 \Sigma_{11} & \Sigma_{12} \\
 \Sigma_{21} & \Sigma_{22}
\end{bmatrix}
\quad con tamaños \begin{bmatrix} q \times q & q \times (N-q) \\ (N-q) \times q & (N-q) \times (N-q) \end{bmatrix}

entonces la distribución de x1 condicionada a x2 = a es una normal multivariante (X_1|X_2=a) \sim N(\bar{\mu}, \overline{\Sigma}) donde


\bar{\mu}
=
\mu_1 + \Sigma_{12} \Sigma_{22}^{-1}
\left(
 a - \mu_2
\right)

y matriz de covarianza


\overline{\Sigma}
=
\Sigma_{11} - \Sigma_{12} \Sigma_{22}^{-1} \Sigma_{21}.

Esta matriz es el complemento de Schur de {\mathbf\Sigma_{22}} en {\mathbf\Sigma}. Esto significa que para calcular la matriz condicional de covarianza, se invierte la matriz global de covarianza, se desprecian las filas y columnas correspondientes a las variables bajo las cuales está condicionada y entonces se invierte de nuevo para conseguir la matriz condicional de covarianza.

Nótese que se sabe que x2 = a altera la varianza, aunque la nueva varianza no dependa del valor específico de a; quizás más sorprendentemente, la media se cambia por \Sigma_{12} \Sigma_{22}^{-1} \left(a - \mu_2 \right); compárese esto con la situación en la que no se conoce el valor de a, en cuyo caso x1 tendría como distribución

N_q \left(\mu_1, \Sigma_{11} \right).

La matriz \Sigma_{12} \Sigma_{22}^{-1} se conoce como la matriz de coeficientes de regresión.

Esperanza condicional bivariante

En el caso


\begin{pmatrix}
 X_1 \\
 X_2
\end{pmatrix}  \sim \mathcal{N} \left( \begin{pmatrix}
 0 \\
 0
\end{pmatrix} , \begin{pmatrix}
 1 & \rho \\
 \rho & 1 
\end{pmatrix} \right)

entonces


E(X_1 | X_2 > z) = \rho { \phi(z) \over \Phi(-z) }

donde esta última razón se llama a menudo razón inversa de Mills.

Matriz de información de Fisher

La matriz de información de Fisher (MIF) para una distribución normal toma una formulación especial. El elemento (m,n) de la MIF para X˜N(μ(θ),Σ(θ)) es


\mathcal{I}_{m,n}
=
\frac{\partial \mu}{\partial \theta_m}
\Sigma^{-1}
\frac{\partial \mu^\top}{\partial \theta_n}
+
\frac{1}{2}
\mathrm{tr}
\left(
 \Sigma^{-1}
 \frac{\partial \Sigma}{\partial \theta_m}
 \Sigma^{-1}
 \frac{\partial \Sigma}{\partial \theta_n}
\right)

donde

  • 
\frac{\partial \mu}{\partial \theta_m}
=
\begin{bmatrix}
 \frac{\partial \mu_1}{\partial \theta_m} &
 \frac{\partial \mu_2}{\partial \theta_m} &
 \cdots &
 \frac{\partial \mu_N}{\partial \theta_m} &
\end{bmatrix}
  • 
\frac{\partial \mu^\top}{\partial \theta_m}
=
\left(
 \frac{\partial \mu}{\partial \theta_m}
\right)^\top
=
\begin{bmatrix}
 \frac{\partial \mu_1}{\partial \theta_m} \\  \\
 \frac{\partial \mu_2}{\partial \theta_m} \\  \\
 \vdots \\  \\
 \frac{\partial \mu_N}{\partial \theta_m} \\  \\
\end{bmatrix}
  • 
\frac{\partial \Sigma}{\partial \theta_m}
=
\begin{bmatrix}
 \frac{\partial \Sigma_{1,1}}{\partial \theta_m} &
 \frac{\partial \Sigma_{1,2}}{\partial \theta_m} &
 \cdots &
 \frac{\partial \Sigma_{1,N}}{\partial \theta_m} \\  \\
 \frac{\partial \Sigma_{2,1}}{\partial \theta_m} &
 \frac{\partial \Sigma_{2,2}}{\partial \theta_m} &
 \cdots &
 \frac{\partial \Sigma_{2,N}}{\partial \theta_m} \\  \\
 \vdots & \vdots & \ddots & \vdots \\  \\
 \frac{\partial \Sigma_{N,1}}{\partial \theta_m} &
 \frac{\partial \Sigma_{N,2}}{\partial \theta_m} &
 \cdots &
 \frac{\partial \Sigma_{N,N}}{\partial \theta_m}
\end{bmatrix}
  • tr is the trace function

Divergencia de Kullback-Leibler

La divergencia de Kullback-Leibler de N0N00) a N1N11) es:


D_\text{KL}(N0 \| N1) = { 1 \over 2 } \left( \log_e \left( { \det \Sigma_1 \over \det \Sigma_0 } \right) + \mathrm{tr} \left( \Sigma_1^{-1} \Sigma_0 \right) + \left( \mu_1 - \mu_0\right)^\top \Sigma_1^{-1} ( \mu_1 - \mu_0 ) - N \right).

El logaritmo debe tomarse con base e en los dos términos (logaritmos neperianos), siguiendo el logaritmo están los logaritmos neperianos de las expresiones que son ambos factores de la función de densidad o si no, surgen naturalmente. La divergencia de arriba se mide en nats. Dividiendo la expresión de arriba por loge 2 se da paso a la divergencia en bits.

Estimación de parámetros

La derivación del estimador de máxima verosimilitud de la matriz de covarianza de una distribución normal multivariante es, quizás sorprendentemente, sutil y elegante. Véase estimación de matrices de covarianza.

En pocas palabras, la función de densidad de probabilidad de una normal multivariante N-dimensional es

f(x)=(2 \pi)^{-N/2} \det(\Sigma)^{-1/2} \exp\left(-{1 \over 2} (x-\mu)^T \Sigma^{-1} (x-\mu)\right)

y el estimador MV de la matriz de covarianza para una muestra de n observaciones es

\widehat\Sigma = {1 \over n}\sum_{i=1}^n (X_i-\overline{X})(X_i-\overline{X})^T

lo cual es, simplemente, la matriz muestral de covarianza. Este es un estimador sesgado cuya esperanza es

E[\widehat\Sigma] = {n-1 \over n}\Sigma.

Una covarianza muestral insesgada es

\widehat\Sigma = {1 \over n-1}\sum_{i=1}^n (X_i-\overline{X})(X_i-\overline{X})^T.

Entropía

La entropía diferencial de la distribución normal multivariante es[4]


\begin{align}
h\left(f\right) & = -\int_{-\infty}^\infty \int_{-\infty}^\infty \cdots\int_{-\infty}^\infty f(x) \ln f(x)\,dx \\
& = \frac12 \left(N+N\ln\left(2\pi\right) + \ln\left| \Sigma \right|\right) \\
& =\frac{1}{2}\ln\{(2\pi e)^N \left| \Sigma \right|\}
\end{align}

donde \left| \Sigma \right| es el determinante de la matriz de covarianza Σ.

Tests de normalidad multivariante

Los tests de normalidad multivariante comprueban la similitud de un conjunto dado de datos con la distribución normal multivariante. La hipótesis nula es que el conjunto de datos es similar a la distribución normal, por consiguiente un p-valor suficientemente pequeño indica datos no normales. Los tests de normalidad multivariante incluyen el test de Cox-Small[5] y la adaptación de Smith y Jain [6] del test de Friedman-Rafsky.

Dibujando valores de la distribución

Un metodo ampliamente usado para el dibujo de un vector aleatorio X de la distribución normal multivariante N-dimensional con vector de medias μ y matriz de covarianza Σ (requerida para ser simétrica y definida positiva) funciona como sigue:

  1. Se calcula la descomposición de Cholesky de Σ, esto es, se encuentra la única matriz triangular inferior A tal que A\,A^T = \Sigma. Nótese que cualquier otra matriz A que satisfaga esta condición, o sea, que es uno la raíz cuadrada de Σ, podría usarse, pero a menudo encontrar tal matriz, distinta de la de la descomposición de Cholesky, sería bastante más costoso en términos de computación.
  2. Sea Z=(z_1,\dots,z_N)^T un vector cuyas componentes N normales e independientes varían (lo cual puede generarse, por ejemplo, usando la transformada de Box-Muller.
  3. Sea X = \, \mu + AZ \,.

Referencias

  1. Véase MVNDST en [1] (incluye código FORTRAN) o [2] (incluye código MATLAB).
  2. Véase también normalmente distribuidas e incorreladas no implica independencia
  3. Nikolaus Hansen. «The CMA Evolution Strategy: A Tutorial» (PDF).
  4. Gokhale, DV; NA Ahmed, BC Res, NJ Piscataway (May de 1989). «Entropy Expressions and Their Estimators for Multivariate Distributions» Information Theory, IEEE Transactions on. Vol. 35. n.º 3. pp. 688–692. DOI 10.1109/18.30996.
  5. Cox, D. R.; N. J. H. Small (August de 1978). «Testing multivariate normality» Biometrika. Vol. 65. n.º 2. pp. 263–272. DOI 10.1093/biomet/65.2.263.
  6. Smith, Stephen P.; Anil K. Jain (September de 1988). «A test to determine the multivariate normality of a dataset» IEEE Transactions on Pattern Analysis and Machine Intelligence. Vol. 10. n.º 5. pp. 757–761. DOI 10.1109/34.6789.
Obtenido de "Distribuci%C3%B3n normal multivariante"

Wikimedia foundation. 2010.

См. также в других словарях:

  • Distribución normal — Saltar a navegación, búsqueda Distribución normal Función de densidad de probabilidad La línea verde corresponde a la distribución normal estandar Función de distribución de probabilidad …   Wikipedia Español

  • Análisis multivariante — Saltar a navegación, búsqueda El análisis multivariante es un método estadístico utilizado para determinar la contribución de varios factores en un simple evento o resultado. Los factores de estudio son los llamados factores de riesgo… …   Wikipedia Español

  • Check Wikipedia — Wikiproyecto:Check Wikipedia Saltar a navegación, búsqueda Esta página contiene de forma consciente fallos ortográficos. Los bots no deben intentar corregirlos. Atajo PR:CWPR:CW …   Wikipedia Español

  • Psicología educativa — Saltar a navegación, búsqueda La letra mayúscula griega Psi se usa habitualmente para representar la palabra o el estudio de la Psicología. Por ejemplo: Ψ = Psicología; Ψista = Psicólogo. La psicología educativa (o psicología educacional) es el… …   Wikipedia Español

  • Meningioma — Clasificación y recursos externos CIE 10 C70, D32 …   Wikipedia Español


Поделиться ссылкой на выделенное

Прямая ссылка:
Нажмите правой клавишей мыши и выберите «Копировать ссылку»