Обучение рекурентных нейронных сетей

[BeS 53]

Всем привет,

А может кто-то сталкивался с исчерпывающим описанием процесса обучения рекурентных сетей (конкретно интересует обучение LSTM'а)?

Собственно имеются два вопроса по этому поводу:

1) PBTT подразумевает, что ошибка считается в виде суммы ошибок для всей цепочки LSTM'ов, и не понятно, откуда брать эталонный выход для промежуточных моментов времени, или все таки процесс тренировки там подразумевает, что в момент обуения мы полностью контролируем клеточное состояние в каждый момент времени?

2) Кто-нибудь расписывал руками производные для LSTM'а? А то chain rule расписывать там как-то совсем не радостно.

[mrgloom 242]

что такое PBTT ?

 

я правда по RNN только это читал

http://karpathy.github.io/2015/05/21/rnn-effectiveness/

 

она там дает пример на 100 строк

https://gist.github.com/karpathy/d4dee566867f8291f086

не знаю правда насколько кардинально это отличается от этого https://github.com/karpathy/char-rnn

[BeS 53]

5 minutes ago, mrgloom said:

что такое PBTT ?

Опечаталася) BPTT(backpropagation through time) - обобщение метода обратного распространения ошибки для случая систем с динамикой по времени (по факту там тупо идет суммирование ошибок по времени).

Посты Карпати я видел, но там как-то больше практических примеров, чем теории, а в книге у Бенджио рассматривается только простейший случай рекурентных сетей