Вентильний рекурентний вузол

Ве́нтильні рекуре́нтні вузли́ (ВРВ, англ. Gated recurrent units, GRU) — це вентильний механізм у рекурентних нейронних мережах, представлений 2014 року.^[1] Вони подібні до довгої короткочасної пам'яті з вентилем забування,^[2] але мають менше параметрів, оскільки не мають вентиля виходу.^[3]

Було виявлено, що їхня продуктивність на моделюванні поліфонічної музики та мовленнєвого сигналу аналогічна продуктивності ДКЧП.^[4]

Однак, як показали Гейл Вейз (англ. Gail Weiss), Іов Голдберг (англ. Yoav Goldberg) та Еран Яхав (англ. Eran Yahav), ДКЧП «суттєво сильніше» ВРВ, бо може виконувати необмежений підрахунок, неможливий для ВРВ.^[5] Ось чому ВРВ не може вивчити прості мови, з якими впоралась ДКЧП.^[5]

Аналогічно, як показали Денні Бритз (англ. Denny Britz), Анна Голді (англ. Anna Goldie, Мінь-Тханг Луонг (англ. Minh-Thang Luong) і Куок Лей (англ. Quoc Le) з Google Brain, вузли ДКЧП незмінно перевершують вузли ВРВ у «передовому широкомасштабному аналізі варіацій архітектури для нейронного машинного перекладу».

Архітектура

Символ $\circ$ позначає добуток Адамара. Початкове значення $h_{0}=0$ .

Повний рекурентний вузол

Повний рекурентний вузол працює наступним чином. На вхід подаються значення вектору входу $x_{t}$ та значення виходу $h_{t-1}$ (при $t=0$ , вектор виходу $h_{0}=0$ ). По ним обчислюється претендент на нове значення виходу — вектор вузла скидання (англ. reset gate vector) $r_{t}$ , який обчислюється як функція активації (зазвичай сигмоїд) від матричного виразу по параметрам $W$ , $U$ та $b$ . Незалежно, подібним чином, обчислюється вектор вузла уточнення (англ. update gate vector) $z_{t}$ . Цей вектор містить значення, які визначають, чи варто залишити значення зі старого вектору, чи взяти нове значення. Фактично, це набір «вентилів» (англ. gate), які «пропускають» або старе, або нове значення. Далі обчислюється вектор виходу $h_{t}$ , в якому з ймовірністю $z_{t}$ береться старе значення з вектору $h_{t-1}$ , або з ймовірністю $(1-z_{t})$ обчислюється нове значення.^[6]

Формули для обчислень наступні:

{\begin{aligned}z_{t}&=\sigma _{g}(W_{z}x_{t}+U_{z}h_{t-1}+b_{z})\\r_{t}&=\sigma _{g}(W_{r}x_{t}+U_{r}h_{t-1}+b_{r})\\h_{t}&=z_{t}\circ h_{t-1}+(1-z_{t})\circ \sigma _{h}(W_{h}x_{t}+U_{h}(r_{t}\circ h_{t-1})+b_{h})\end{aligned}}

Змінні

$x_{t}$ : вектор входу
$h_{t}$ : вектор виходу
$z_{t}$ : вектор вузла уточнення
$r_{t}$ : вектор вузла скидання
$W$ , $U$ та $b$ : матриці та вектор параметрів

Функції активації

$\sigma _{g}$ : В оригіналі є сигмоїдною функцією.
$\sigma _{h}$ : В оригіналі є гіперболічним тангенсом.

Примітки

↑ Cho, Kyunghyun; van Merrienboer, Bart; Gulcehre, Caglar; Bahdanau, Dzmitry; Bougares, Fethi; Schwenk, Holger; Bengio, Yoshua (2014). Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation. arXiv:1406.1078 [cs.CL].
↑ Felix Gers; Jürgen Schmidhuber; Fred Cummins (1999). Learning to Forget: Continual Prediction with LSTM. Proc. ICANN'99, IEE, London: 850—855. Архів оригіналу за 1 квітня 2019. Процитовано 1 квітня 2019.
↑ Recurrent Neural Network Tutorial, Part 4 – Implementing a GRU/LSTM RNN with Python and Theano – WildML. Wildml.com. Архів оригіналу за 10 листопада 2021. Процитовано 18 травня 2016. (англ.)
↑ Chung, Junyoung; Gulcehre, Caglar; Cho, KyungHyun; Bengio, Yoshua (2014). Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling. arXiv:1412.3555 [cs.NE]. (англ.)
↑ ^а ^б Weiss, Gail; Goldberg, Yoav; Yahav, Eran (2018). On the Practical Computational Power of Finite Precision RNNs for Language Recognition. arXiv:1805.04908 [cs.NE].
↑ Knowledge Center (24 вересня 2018), RNN W1L09 : Gated Recurrent Unit GRU, процитовано 1 квітня 2019

[1] Cho, Kyunghyun; van Merrienboer, Bart; Gulcehre, Caglar; Bahdanau, Dzmitry; Bougares, Fethi; Schwenk, Holger; Bengio, Yoshua (2014). Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation. arXiv:1406.1078 [cs.CL].

[lstm1999-2] Felix Gers; Jürgen Schmidhuber; Fred Cummins (1999). Learning to Forget: Continual Prediction with LSTM. Proc. ICANN'99, IEE, London: 850—855. Архів оригіналу за 1 квітня 2019. Процитовано 1 квітня 2019.

[MyUser_Wildml.com_May_18_2016c-3] Recurrent Neural Network Tutorial, Part 4 – Implementing a GRU/LSTM RNN with Python and Theano – WildML. Wildml.com. Архів оригіналу за 10 листопада 2021. Процитовано 18 травня 2016. (англ.)

[MyUser_Arxiv.org_May_18_2016c-4] Chung, Junyoung; Gulcehre, Caglar; Cho, KyungHyun; Bengio, Yoshua (2014). Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling. arXiv:1412.3555 [cs.NE]. (англ.)

[weiss2018-5] а ^б Weiss, Gail; Goldberg, Yoav; Yahav, Eran (2018). On the Practical Computational Power of Finite Precision RNNs for Language Recognition. arXiv:1805.04908 [cs.NE].

[6] Knowledge Center (24 вересня 2018), RNN W1L09 : Gated Recurrent Unit GRU, процитовано 1 квітня 2019

[1]

[2]

[3]

[4]

[5]

[6]