O algoritmo de retropropagação tradicional não é adequado para treinar redes neurais recorrentes (RNNs) principalmente porque ele pressupõe que as conexões entre estados acontecem em um único sentido. As RNNs, por sua natureza, têm conexões que podem se retroalimentar, o que cria dependências temporais. Isso leva ao problema do "desvanecimento" ou "explosão" do gradiente, dificultando o treinamento eficaz. Portanto, para RNNs, utiliza-se uma versão modificada chamada retropropagação através do tempo (BPTT), que lida melhor com essas características.