Prévia do material em texto

Tema 35: Redes Neurais Recorrentes (RNNs) 
As Redes Neurais Recorrentes (RNNs) são um tipo de rede neural que são particularmente 
eficazes para tarefas que envolvem sequências de dados, como séries temporais, texto ou áudio. 
Ao contrário das redes neurais tradicionais, que consideram as entradas de forma independente, 
as RNNs têm conexões que permitem que a informação flua de um passo para outro ao longo da 
sequência, dando-lhes a capacidade de "lembrar" informações de passos anteriores. 
Funcionamento das RNNsEm uma rede neural recorrente, a saída de uma célula de rede em 
um momento específico depende não apenas da entrada atual, mas também da saída do 
momento anterior. Esse ciclo de feedback permite que a rede mantenha uma memória do que 
aconteceu anteriormente, o que é útil para sequências temporais. 
1. Equações das RNNs Para cada entrada de sequência, a RNN processa os dados da 
seguinte forma: 
o A entrada xtx_txt no tempo ttt é combinada com o estado oculto anterior 
ht−1h_{t-1}ht−1 para calcular o novo estado oculto hth_tht. 
o A saída yty_tyt é gerada com base no estado oculto hth_tht, que é calculado 
pela fórmula: ht=f(Whh⋅ht−1+Wx⋅xt+b)h_t = f(W_hh \cdot h_{t-1} + W_x 
\cdot x_t + b)ht=f(Whh⋅ht−1+Wx⋅xt+b) Onde fff é a função de ativação, 
WhhW_hhWhh é o peso da transição de estados, WxW_xWx é o peso da 
entrada, e bbb é o viés. 
2. Problemas das RNNs SimplesDesvanecimento do Gradiente: As RNNs podem 
enfrentar dificuldades em aprender dependências de longo prazo devido ao problema do 
desvanecimento do gradiente, em que os gradientes ficam muito pequenos durante o 
treinamento, dificultando o aprendizado. 
o Explosão do Gradiente: Também pode ocorrer quando os gradientes se tornam 
muito grandes, o que faz com que os pesos da rede se ajustem de maneira 
instável.Variante das RNNs: LSTMs e GRUsPara resolver os problemas das 
RNNs tradicionais, foram introduzidas variantes, como as LSTMs (Long 
Short-Term Memory) e GRUs (Gated Recurrent Units), que possuem 
mecanismos de porta para controlar o fluxo de informações entre os estados 
ocultos, permitindo que a rede retenha informações por mais tempo e evite o 
desvanecimento do gradiente.Aplicações das RNNs 
Processamento de Linguagem Natural (NLP): As RNNs são amplamente usadas em 
tarefas de NLP, como tradução automática, análise de sentimentos e modelagem de 
linguagem.Previsão de Séries Temporais: RNNs são eficazes para prever valores 
futuros com base em dados passados, como em modelos financeiros ou previsão de 
demanda..Qual é a principal característica das Redes Neurais Recorrentes (RNNs)? 
• a) X A capacidade de processar dados sequenciais e manter uma memória de passos 
anteriores 
• b) A capacidade de aplicar convoluções em imagens 
• c) A habilidade de trabalhar com dados não rotulados 
• d) A utilização de camadas totalmente conectadas para classificação 
2. O que é um problema comum enfrentado pelas RNNs simples ao lidar com dados de 
longo prazo? 
• a) Overfitting 
• b) X Desvanecimento do gradiente 
• c) Subtreinamento 
• d) Falta de dados rotulados