Divergencia de Kullback-Leibler

Divergencia de Kullback-Leibler

Saltar a navegación, búsqueda

En teoría de la probabilidad la divergencia de Kullback-Leibler es un indicador de la similitud entre dos funciones de distribución. Dentro de la teoría de la información también se la conoce como divergencia de la información, ganancia de la información o entropía relativa.

La divergencia de Kullback-Leibler entre dos funciones de distribución P y Q suele representarse así:

$D_{\mathrm{KL}}(P\|Q).$

Se trata de una divergencia y no una métrica por no ser simétrica, es decir, no siempre se cumple que

$D_{\mathrm{KL}}(P\|Q) = D_{\mathrm{KL}}(Q\|P).$

Formulación matemática

Si P es una medida de probabilidad es absolutamente continua con respecto a otra, Q, (condición necesaria para que $D_{\mathrm{KL}}(P\|Q)$ sea finito) y si $\frac{dP}{dQ}$ es la derivada de Radon–Nikodym de P con respecto a Q, se define la divergencia de Kulllback-Leibler desde P hasta Q de la forma

$D_{KL}(P\|Q) = \int_X \log \frac{dP}{dQ} \; dP = \int_X \frac{dP}{dQ} \log\frac{dP}{dQ}\; dQ.$,

De la misma manera, si Q es absolutamente continua con respecto a P, entonces

$D_{\mathrm{KL}}(P\|Q) = -\int_X \log \frac{d Q}{d P} \; dP \!$

Si ambas medidas son absolutamente continuas con respecto a una tercera medida μ, de forma que dP = pdμ y dQ = qdμ, entonces la fórmula anterior puede reescribirse de la siguiente manera:

$D_{\mathrm{KL}}(P\|Q) = \int_X p \log \frac{p}{q} \;d\mu \!$

La divergencia de Kullback-Leibler no depende de la medida μ. Cuando esta medida es la de medida de Lebesgue sobre el eje real, resulta

$D_{\mathrm{KL}}(P\|Q) = \int_{-\infty}^{\infty} p(x) \log \frac{p(x)}{q(x)} \; dx \!$

y cuando está concentrada sobre un conjunto discreto, se obtiene

$D_{\mathrm{KL}}(P\|Q) = \sum_i P(i) \log \frac{P(i)}{Q(i)} \!.$

Propiedades

• Es siempre positiva (puede probarse usando la desigualdad de Jensen).
• Es nula si y sólo si P = Q.
• No es simétrica (por lo que no se trata de una distancia).

Aplicaciones

Teoría de la información

Los logaritmos en estas fórmulas se toman en base 2 si la información se mide en unidades de bits, o en base e si la información se mide en nats. La mayoría de las fórmulas que involucran la divergencia de Kullback-Leibler son independientes de la base del logaritmo que se tome.

Estadística

En estadística, la divergencia de Kullback-Leibler está íntimamente relacionada con el método de ajuste de distribuciones por máxima verosimilitud. En efecto, si se tienen observaciones x₁,...,x_n independientes de una variable aleatoria con función de densidad desconocida f y se tratan de ajustar dentro de una familia de funciones de densidad f_λ, de acuerdo con la teoría de la máxima verosimilitud, se busca el parámetro λ que minimiza la función

Lλ =	∑	logfλ(xi),
	i

que puede aproximarse (cuando n es grande) por

$\int f(x) \log f_{\lambda} (x ).$

Restando dicha expresión del término constante

$\int f(x) \log f (x )$

se obtiene

$\int f(x) \log f (x ) - \int f(x) \log f_\lambda (x ) = \int f(x) \log \frac {f (x )}{f_\lambda (x )},$

que es la divergencia de Kullback-Leibler entre f_λ y la distribución verdadera determinada por f. Es decir, maximizar la función de verosimilitud es (aproximadamente) equivalente a encontrar el parámetro λ que minimiza la divergencia de Kullback-Leibler entre la distribución real y la familia de distribuciones parametrizadas por dicho parámetro.

Obtenido de "Divergencia de Kullback-Leibler"