¿Qué son las redes neuronales recurrentes?

Las redes neuronales recurrentes, o Recurrent Neural Networks (RNN) en inglés, son una clase de redes para analizar datos de series temporales permitiendo tratar la dimensión de “tiempo”, que hasta ahora no habíamos considerado con las redes neuronales vistas en capítulos anteriores.

¿Qué es el entrenamiento de una red neuronal recurrente?

El entrenamiento de una red neuronal recurrente debe prolongarse para cada paso temporal, lo que es muy costoso en tiempo de proceso y memoria RAM. Esto se simplifica “desenrollando” la red en tantas capas como pasos temporales o de datos se dispone en la secuencia temporal de entrenamiento, como si fuese una red no recurrente ( feed-forward ).

¿Cuáles son los parámetros de una neurona recurrente?

Ahora cada neurona recurrente tienen dos conjuntos de parámetros, uno que lo aplica a la entrada de datos que recibe de la capa anterior y otro conjunto que lo aplica a la entrada de datos correspondiente al vector salida del instante anterior.

¿Cómo analizar la red neuronal?

Intentemos analizar un poco más esta red neuronal. Para cada carácter de entrada (transformado a su equivalente numérico), el modelo busca su vector de Embedding correspondiente y luego ejecuta la capa LSTM con este vector Embedding como entrada. A la salida de la LSTM aplica la capa Densepara decidir cual es el siguiente carácter.