Función de activación


Función de activación

En redes computacionales, la Función de Activación de un nodo define la salida de un nodo dada una entrada o un conjunto de entradas. Se podría decir que un circuito estándar de computador se comporta como una red digital de funciones de activación al activarse como "ON" (1) u "OFF" (0), dependiendo de la entrada. Esto es similar al funcionamiento de un Perceptrón en una Red neuronal artificial.

Funciones

En las redes neurales inspiradas sobre la biología, la función de activación es usualmente una abstracción representando un tasa de potencial de activación gatillándose en la celda. En su forma simplificada, esta función es binaria, esto es, se activa la neurona o no. La función se ve como ϕ(vi) = U(vi), donde U es la función escalón. En este caso, un gran número de neuronas deben ser usadas en computación más allá de la separación lineal de las categorías.

Una función rampa también puede ser usada para reflejar el incremento del potencial de activación que ocurre cuando la entrada se incrementa. La función podría ser de la forma ϕ(vi) = μvi, donde μ es la pendiente. Esta función de activación es lineal, y por consiguiente tiene los mismos problemas que la función binaria. En adición, las redes neurales construidas usando este modelo tienen convergencia inestable porque a la larga, las entradas a la neurona tienden a incrementarse sin límite, esta función no es normalizable.

Los problemas mencionados anteriormente, pueden ser manejados usando una función de activación sigmoidal. Un modelo realístico permanece en cero hasta que una entrada es recibida, en este punto la frecuencia de activación se incrementa rápidamente, pero gradualmente llega a ser asíntota cuando la frecuencia es 100%. Matemáticamente, esto se ve como ϕ(vi) = U(vi)tanh(vi), donde la función de tangente hiperbólica puede también ser cualquier función sigmoidal. Esta conducta es realísticamente reflejada en la neurona, ya que las neuronas no pueden físicamente activarse más rápido que una cierta tasa.

El modelo final que es usado en perceptrones multicapa es el modelo de activación sigmoidal en la forma de tangente hiperbólica. Dos formas de esta función son comúnmente usados: ϕ(vi) = tanh(vi) cuyos rangos son normalizados desde -1 hasta 1, y ϕ(vi) = (1 + exp( − vi)) − 1 es verticalmente normalizado desde 0 a 1. El último modelo es frecuentemente considerado más biológicamente realístico, pero tiene dificultades teóricas y experimentales en ciertos tipos de problemas computacionales.

Estructuras alternativas

Una clase especial de funciones de activación conocidas como Funciones de Base Radial (RBFs) son usadas en Redes de neuronas de base radial, las cuales son extremadamente eficientes como funciones universales de aproximación. Esas funciones de activación pueden tomar cualquier forma, pero usualmente se encuentran una de estas tres:

  • Gausiana: \,\phi(v_i)=\exp\left(-\frac{\|v_i-c_i\|^2}{2\sigma^2}\right)
  • Multicuadráticas: \,\phi(v_i)=\sqrt{\|v_i-c_i\|^2 + a^2}
  • Multicuadráticas Inversas: \,\phi(v_i)=(\|v_i-c_i\|^2 + a^2)^{-1/2}

donde ci es el vector representando la función central y a y σ son parámetros affectando la magnitud del radio.

Máquinas de Soporte Vectorial (SVMs) pueden efectivamente utilizar una clase de funciones de activación que incluyen funciones sigmoidales y Funciones de Base Radial. En este caso, el vector de entrada es transformado para reflejar un límite de decisión hiplerplano basado en unas pocas entradas de entrenamiento llamadas vectores de soporte x. La función de activación para las capas ocultas de esas maquinas son referidas como producto del núcleo interno, K(vi,x) = ϕ(vi). Los vectores de soporte son representados como los centros en RBFs con el núcleo igual a la función de activación, pero toman una fórma única en el perceptrón como :\,\phi(v_i)=\tanh\left(\beta_1 + \beta_0 \sum_j v_{i,j} x_j \right), donde β0 y β1 deben satisfacer ciertas condiciones de convergencia. Esas máquinas también pueden aceptar funciones de polinomios de orden arbitrario donde:\,\phi(v_i)=\left(1+\sum_j v_{i,j} x_j \right)^p.[1]

Referencias

  1. Haykin, Simon (1998). Neural Networks: A Comprehensive Foundation (2 edición). Prentice Hall. ISBN 0132733501. 

Wikimedia foundation. 2010.

Mira otros diccionarios:

  • activación — promoción o producción de una actividad, como la producida por un catalizador, la síntesis proteica o una función enzimática. Apertura tiempo dependiente de los canales iónicos en respuesta a un estímulo, generalmente la despolarización de la… …   Diccionario médico

  • Activación de producto de Windows — La activación de producto de Windows es una medida anti piratería creada por Microsoft Corporation que refuerza los acuerdos de uso de licencia por el usuario. Si el sistema operativo Windows no se activa en un periodo limitado de tiempo, se… …   Wikipedia Español

  • Conexionismo — El conexionismo es un conjunto de enfoques en los ámbitos de la inteligencia artificial, psicología cognitiva, ciencia cognitiva, neurociencia y filosofía de la mente, que presenta los fenómenos de la mente y del comportamiento como procesos que… …   Wikipedia Español

  • Red neuronal artificial — perceptrón simple con n neuronas de entrada, m neuronas en su capa oculta y una neurona de escape. Las redes de neuronas artificiales (denominadas habitualmente como RNA o en inglés como: ANN [1] ) so …   Wikipedia Español

  • Hopfield (RNA) — Una red de Hopfield es una forma de red neuronal artificial recurrente inventada por John Hopfield. Las redes de Hopfield se usan como sistemas de Memoria asociativa con unidades binarias. Están diseñadas para converger a un mínimo local, pero la …   Wikipedia Español

  • Neurona — Diagrama básico de una neurona …   Wikipedia Español

  • Método de la fase estacionaria — En matemáticas, el método de la fase estacionaria o aproximación de fase estacionaria es un principio básico del análisis asintótico, se aplica a las integrales oscilatorias, una clase de integrales de Fourier del tipo. definidas en el espacio n… …   Wikipedia Español

  • Neurona de McCulloch-Pitts — Contenido 1 Definición 2 Historia 3 Usos de las neuronas 4 Autómatas finitos equivalentes a células 5 …   Wikipedia Español

  • Adaline — El adaline (de ADAptative LINear Element) es un tipo de red neuronal artificial desarrollada por Bernie Widrow en la Universidad de Stanford. Aunque originalmente el nombre correspondía a ADAptative LInear NEuron, al caer las redes neuronales en… …   Wikipedia Español

  • PROMOTER BASED GENETIC ALGORITHM (PBGA) — Saltar a navegación, búsqueda El Promoter Based Genetic Algorithm (PBGA) es un algoritmo genético para neuroevolución desarrollado por F. Bellas y R.J. Duro en la Universidade da Coruña. El PBGA evoluciona una perceptrón multicapa de tamaño… …   Wikipedia Español