Matriz de covarianza

En estadística y teoría de la probabilidad, la matriz de covarianza es una matriz que contiene la covarianza entre los elementos de un vector. Es la generalización natural a dimensiones superiores del concepto de varianza de una variable aleatoria escalar.

Definición

Si las entradas del vector-columna

$X = \begin{bmatrix}X_1 \\ \vdots \\ X_n \end{bmatrix}$

son variables aleatorias, cada una con varianza finita, entonces la matriz de covarianza Σ es la matriz cuya entrada (i, j) es la covarianza

$\Sigma_{ij} =\mathrm{E}\begin{bmatrix} (X_i - \mu_i)(X_j - \mu_j) \end{bmatrix}$

donde

$\mu_i = \mathrm{E}(X_i)\,$

es el valor esperado de la entrada i-ésima del vector X. En otras palabras, tenemos

$\Sigma = \begin{bmatrix} \mathrm{E}[(X_1 - \mu_1)(X_1 - \mu_1)] & \mathrm{E}[(X_1 - \mu_1)(X_2 - \mu_2)] & \cdots & \mathrm{E}[(X_1 - \mu_1)(X_n - \mu_n)] \\ \\ \mathrm{E}[(X_2 - \mu_2)(X_1 - \mu_1)] & \mathrm{E}[(X_2 - \mu_2)(X_2 - \mu_2)] & \cdots & \mathrm{E}[(X_2 - \mu_2)(X_n - \mu_n)] \\ \\ \vdots & \vdots & \ddots & \vdots \\ \\ \mathrm{E}[(X_n - \mu_n)(X_1 - \mu_1)] & \mathrm{E}[(X_n - \mu_n)(X_2 - \mu_2)] & \cdots & \mathrm{E}[(X_n - \mu_n)(X_n - \mu_n)] \end{bmatrix}.$

Como una generalización de la varianza

La anterior definición es equivalente a la igualdad matricial

$\Sigma=\mathrm{E} \left[ \left( \textbf{X} - \mathrm{E}[\textbf{X}] \right) \left( \textbf{X} - \mathrm{E}[\textbf{X}] \right)^\top \right]$

Por tanto, se entiende que esto generaliza a mayores dimensiones el concepto de varianza de una variable aleatoria escalar X, definida como

$\sigma^2 = \mathrm{var}(X) = \mathrm{E}[(X-\mu)^2], \,$

donde

$\mu = \mathrm{E}(X).\,$

Propiedades

Para $\Sigma=\mathrm{E} \left[ \left( \textbf{X} - \mathrm{E}[\textbf{X}] \right) \left( \textbf{X} - \mathrm{E}[\textbf{X}] \right)^\top \right]$ y $\mu = \mathrm{E}(\textbf{X})$, las siguientes propiedades fundamentales se demuestran correctas:

1. $\Sigma = \mathrm{E}(\mathbf{X X^\top}) - \mathbf{\mu}\mathbf{\mu^\top}$
   
   
2. $\mathbf{\Sigma}$ es semidefinida positiva
   
   
3. $\operatorname{var}(\mathbf{A X} + \mathbf{a}) = \mathbf{A}\, \operatorname{var}(\mathbf{X})\, \mathbf{A^\top}$
   
   
4. $\operatorname{cov}(\mathbf{X},\mathbf{Y}) = \operatorname{cov}(\mathbf{Y},\mathbf{X})^\top$
   
   
5. $\operatorname{cov}(\mathbf{X_1} + \mathbf{X_2},\mathbf{Y}) = \operatorname{cov}(\mathbf{X_1},\mathbf{Y}) + \operatorname{cov}(\mathbf{X_2}, \mathbf{Y})$
   
   
6. Si los vectores $\mathbf{X}$ y $\mathbf{Y}$ son de igual dimensión, entonces $\operatorname{var}(\mathbf{X} + \mathbf{Y}) = \operatorname{var}(\mathbf{X}) + \operatorname{cov}(\mathbf{X},\mathbf{Y}) + \operatorname{cov}(\mathbf{Y}, \mathbf{X}) + \operatorname{var}(\mathbf{Y})$
   
   
7. $\operatorname{cov}(\mathbf{AX}, \mathbf{BY}) = \mathbf{A}\, \operatorname{cov}(\mathbf{X}, \mathbf{Y}) \,\mathbf{B}^\top$
   
   
8. Si $\mathbf{X}$ y $\mathbf{Y}$ son independientes, entonces $\operatorname{cov}(\mathbf{X}, \mathbf{Y}) = 0$
   
   

donde $\mathbf{X}, \mathbf{X_1}$ y $\mathbf{X_2}$ son vectores aleatorios de dimensión $\mathbf{(p \times 1)}$, $\mathbf{Y}$ es un vector aleatorio $\mathbf{(q \times 1)}$, $\mathbf{a}$ es $\mathbf{(p \times 1)}$, $\mathbf{A}$ y $\mathbf{B}$ son matrices de $\mathbf{(p \times q)}$.

La matriz de covarianza (aunque muy simple) es una herramienta muy útil en varios campos. A partir de ella se puede derivar una transformación lineal que puede de-correlacionar los datos o, desde otro punto de vista, encontrar una base óptima para representar los datos de forma óptima (véase cociente de Rayleigh para la prueba formal y otras propiedades de las matrices de covarianza). Esto se llama análisis del componente principal (PCA por sus siglas en inglés) en estadística , y transformada de Karhunen-Loève en procesamiento de la imagen.

Lecturas avanzadas

• Covariance Matrix en MathWorld
• van Kampen, N. G. Stochastic processes in physics and chemistry. New York: North-Holland, 1981.