Modelo lineal

En estadística, un modelo lineal predice el valor de una variable a través de otras que llamaremos factores mediante una función lineal de estos.^[1] Estos factores están determinados por el escenario donde observamos la variable a predecir, a la cual llamaremos variable endógena -generada por el modelo-.

La función lineal suele representarse por:

$\varphi ( x_1 , x_2 , ... , x_p ) = \sum_{j=1}^n \beta_j x_j = \beta_1 x_1 + \beta_2 x_2 + ... + \beta_n x_p$

A veces los factores son valores anteriores de la variable dependiente o de otras variables: los modelos lineales también se usan en el contexto de las series temporales.

Expresión del modelo

Si llamamos y a la variable dependiente, la expresión del modelo es:

y = β₁x₁ + β₂x₂ + ... + β_nx_p + ε

$\varepsilon$ representa el error cometido por el modelo.

Modelo afín

Es frecuente que nos interese que el modelo lineal tenga un sumando constante. Podemos llamar este caso modelo afín. Para construir este modelo, basta con dar al primer factor el valor constante uno. El modelo quedaría así:

y = β₁ + β₂x₂ + ... + β_px_p + ε

Modelos polinomiales

Sorprendentemente, los modelos lineales sirven también para estimar modelos polinomiales. Por ejemplo, si las potencias de una variable explican la variable endógena, el modelo sería:

$y = \beta_1 + \beta_2 \ x + \beta_3 \ x^2 + ... + \beta_p \ x^{p-1} + \varepsilon$

Modelos multinomiales

También podemos recurrir a los modelos lineales para estimar modelos multinomiales. Un ejemplo es el siguiente:

$y = \beta_1 + \beta_2 \, x + \beta_3 \, y + \beta_4 \, x^2 + \beta_5 \, xy + \beta_6 \, y^2 + \varepsilon$

Estimación del modelo

Para estimar el modelo, tenemos que observar el valor de la variable dependiente y de los factores en m casos. En este caso, las ecuaciones serán:

$\left . \begin{matrix} y_1 = \beta_1 x_{11} + \beta_2 x_{12} + ... + \beta_n x_{1p} + \varepsilon_1 \\ y_2 = \beta_1 x_{21} + \beta_2 x_{22} + ... + \beta_n x_{2p} + \varepsilon_2 \\ .... \\ y_n = \beta_1 x_{n1} + \beta_2 x_{n2} + ... + \beta_n x_{np} + \varepsilon_n \end{matrix} \right \}$

Este sistema de ecuaciones admite la siguiente expresión vectorial:

$\bold y = \bold X \cdot \boldsymbol \beta + \boldsymbol \varepsilon$

El vector de errores cometido por el modelo viene dado por:

$\bold \varepsilon = \bold y - \bold X \cdot \boldsymbol \beta$

El estimador minimo cuadrático es aquel que hace mínima la suma de los cuadrados de estos errores. Esta suma es:

No se pudo entender (La conversión a PNG ha sido errónea): SCE = \sum_{i=1}^n \varepsilon_i^2 = \boldsymbol \varepsilon ' \boldsymbol \varepsilon = ( \bold y - \bold X \boldsymbol \hat { \beta } ) ' (\bold y - \bold X \boldsymbol \hat { \beta } )

Observemos que no hemos establecido ninguna restricción para el valor de $\bold \beta$. Estamos pues ante un problema de optimización sin restricciones. Los cálculos llevan a las llamadas ecuaciones normales que tiene que verificar el valor de $\bold \beta$ que hace mínima la suma de los cuadrados de los errores.

No se pudo entender (La conversión a PNG ha sido errónea): \bold X ' \bold X \boldsymbol \hat { \beta } = \bold X ' \bold y

El estimador mínimo-cuadrático para $\bold \beta$ resulta ser:

No se pudo entender (La conversión a PNG ha sido errónea): { \color{Red} \boldsymbol \hat{ \beta } = ( \bold X ' \bold X )^{-1} \bold X ' \bold y }

El Teorema de Gauss-Márkov nos informa sobre la eficacia de este estimador.

Insesgado

Si los errores -que son variables aleatorias- son insesgados $E( \boldsymbol \varepsilon ) = \bold 0$, el estimador mínimo-cuadrático también lo es:

No se pudo entender (La conversión a PNG ha sido errónea): E(\boldsymbol \hat {\beta} ) = E( ( \bold X ' \bold X ) ^{-1} \bold X ( \bold X \boldsymbol \beta + \boldsymbol \varepsilon ) ) = \boldsymbol \beta + E( ( \bold X ' \bold X) ^{-1} ) X ' \boldsymbol \varepsilon )= \boldsymbol \beta

Es importante que incluyamos en el modelo todos los factores relevantes: si falta alguno, es posible que los errores no tengan media cero y el estimador de los coeficientes será sesgado. No obstante, cualquier buen modelo lineal ayuda a comprender un fenómeno y a hacer buenas estimaciones. Si incluimos factores de influencia dudosa, también podemos provocar un sesgo en el estimador mínimo-cuadrático. Desde hace muchos años, existe una teoría de inferencia en modelos lineales que nos permite decidir -con un pequeño margen de error- si un factor es o no relevante.

Residuos

Los errores cometidos por el modelo cuando se usa el verdadero valor del parámetro son $\boldsymbol \varepsilon = \bold Y - \bold X \boldsymbol \beta$. No obstante, nosotros no conocemos el verdadero valor del parámetro $\bold \beta$, sino sólo su estimación No se pudo entender (La conversión a PNG ha sido errónea): \bold \hat {\beta}

y esto provoca que no manejemos los verdaderos errores cometidos, sino su estimación, a la que llamaremos residuos y que vienen dados por:

No se pudo entender (La conversión a PNG ha sido errónea): \boldsymbol \hat {\varepsilon} = \bold y - \bold X \boldsymbol \hat {\beta}

En nuestros cálculos, tampoco manejaremos la suma de los cuadrados de los errores, sino la suma de los cuadrados de los residuos:

No se pudo entender (La conversión a PNG ha sido errónea): SCR = \sum_{i=1}^n \hat {\varepsilon_i}^2 = \boldsymbol \hat{\varepsilon} ' \boldsymbol \hat {\varepsilon} = ( \bold y - \bold X \boldsymbol \hat { \beta } ) ' (\bold y - \bold X \boldsymbol \hat { \beta } )

Homocedasticidad

Una cuestión clave es la homocedasticidad de los errores. Decimos que los errores son homocedásticos cuando:

$\exist \sigma^2 \quad \forall i \quad E( \varepsilon _i^2 )= \sigma^2$

Si el error presenta una varianza distinta en cada caso, hablamos de heterocedasticidad.

Modelos de series temporales

Un ejemplo de modelo lineal en series temporales es el Modelo autorregresivo integrado de media móvil, en el que los valores {X_t} de la serie pueden representarse de la forma

$X_t = c + \varepsilon_t + \sum_{i=1}^p \varphi_i X_{t-i} + \sum_{i=1}^q \theta_i \varepsilon_{t-i}.\,$

donde, de nuevo, ε_t son variables aleatorias que representan las innovaciones: nuevos efectos aleatorios que aparecen en un determinado instante y que afectan a X en lo sucesivo. En este contexto, modelo lineal se refiere de nuevo a la forma algebraica de la relación entre X_t y los valores anteriores de la serie.^[2]

Véase también

• Modelo estadístico
• Modelo lineal generalizado

Referencias

1. ↑ "Linear Regression Analysis" G.A.F Seber Editorial Wiley-Interscience
2. ↑ Priestley, M.B. (1988) Non-linear and Non-stationary time series analysis, Academic Press. ISBN 0-12-564911-8