Машина екстремального навчання

Маши́ни екстрема́льного навча́ння (МЕН, англ. extreme learning machines, ELM) — це нейронні мережі прямого поширення для класифікування або регресії з єдиним шаром прихованих вузлів, у яких ваги, що з'єднують входи з прихованими вузлами, є випадково призначеними й ніколи не уточнюваними. Ваги між прихованими вузлами та виходами навчаються за один крок, який по суті становить навчання лінійної моделі. Назву «машини екстремального навчання» (англ. extreme learning machine, ELM) цим моделям дав Гуан-Бін Хуан (англ. Guang-Bin Huang).

Згідно їхніх творців, ці моделі здатні видавати добру продуктивність узагальнення, і вчитися в тисячі разів швидше за мережі, треновані застосуванням зворотного поширення.^[1]

Алгоритм

Найпростіший алгоритм тренування МЕН вчиться моделі вигляду

\mathbf {\hat {Y}} =\mathbf {W} _{2}\sigma (\mathbf {W} _{1}x)

де $W 1$ є матрицею ваг від входового до прихованого шару, $σ$ є деякою передавальною функцією, а $W 2$ є матрицею ваг від прихованого до виходового шару. Алгоритм діє наступним чином:

Заповнити $W 1$ випадковим гауссовим шумом;
оцінити $W 2$ допасовуванням найменшими квадратами до матриці змінних відгуку $Y$ , обчисленої застосуванням псевдообернення $\cdot +$ для заданої матриці плану^[en] $X$ :
$\mathbf {W} _{2}=\sigma (\mathbf {W} _{1}\mathbf {X} )^{+}\mathbf {Y}$

Надійність

Чорноскриньковий характер нейронних мереж загалом і машин екстремального навчання (МЕН) зокрема є одним з основних занепокоєнь, які відштовхують інженерів від застосування їх у небезпечних задачах автоматизації. До цього конкретного питання підходили за допомогою декількох різних методик. Одним з підходів є зниження залежності від випадкового входу.^[2]^[3] Інший підхід зосереджується на включенні до процесу навчання МЕН неперервних обмежень,^[4]^[5] які виводять з попереднього знання про конкретне завдання. Це має сенс, оскільки рішення машинного навчання в багатьох областях застосування мають гарантувати безпечну дію. Зазначені дослідження показали, що особливий вигляд МЕН, з його функційним розділенням та лінійними вагами зчитування, є особливо зручним для дієвого включення неперервних обмежень до визначених наперед областей входового простору.

Полеміка

Заява на винахід МЕН 2008 року спровокувала деяку суперечку. Зокрема, в листі до редактора «IEEE Transactions on Neural Networks» було зазначено, що ідею застосування прихованого шару, з'єднаного з входами випадковими не тренованими вагами, вже було запропоновано в первинній праці з мереж РБФ кінця 1980-х років, і приблизно в ті ж терміни з'явилися експерименти з багатошаровими перцептронами з подібною випадковістю; Гуан-Бін Хуан відповів зазначенням тонких відмінностей.^[6] У праці 2015 року Хуан відповів на скарги про винайдення ним назви МЕН для вже наявних методів, поскаржившись на «дуже негативні й некорисні коментарі стосовно МЕН в ані академічному, ані професійному стилі з різних причин та намірів» та «безвідповідальну анонімну атаку, яка має на меті руйнування гармонійного дослідницького середовища», доводячи, що його праця «забезпечує об'єднавчу платформу навчання» для різних типів нейронних мереж,^[7] включно з ієрархічно структурованими МЕН.^[8] Нещодавнє дослідження замінює випадкові ваги обмеженими випадковими вагами.^[9]

Див. також

Рідкий скінченний автомат

Примітки

↑ Huang, Guang-Bin; Zhu, Qin-Yu; Siew, Chee-Kheong (2006). Extreme learning machine: theory and applications. Neurocomputing. 70 (1): 489—501. CiteSeerX 10.1.1.217.3692. doi:10.1016/j.neucom.2005.12.126. (англ.)
↑ Batch intrinsic plasticity for extreme learning machines. Proc. of International Conference on Artificial Neural Networks. Архів оригіналу за 2 березня 2017. Процитовано 22 квітня 2017. (англ.)
↑ Optimizing extreme learning machines via ridge regression and batch intrinsic plasticity. Neurocomputing: 23—30. Архів оригіналу за 2 березня 2017. Процитовано 22 квітня 2017. (англ.)
↑ Reliable integration of continuous constraints into extreme learning machines. International Journal of Uncertainty, Fuzziness and Knowledge-Based Systems. 21 (supp02): 35—50. 31 жовтня 2013. doi:10.1142/S021848851340014X. ISSN 0218-4885. Архів оригіналу за 26 квітня 2022. Процитовано 22 квітня 2017. (англ.)
↑ Neumann, Klaus (2014). Reliability. University Library Bielefeld. с. 49—74. Архів оригіналу за 2 березня 2017. Процитовано 22 квітня 2017. (англ.)
↑ Wang, Lipo P.; Wan, Chunru R. Comments on "The Extreme Learning Machine". IEEE Trans. Neural Networks. CiteSeerX 10.1.1.217.2330. (англ.)
↑ Huang, Guang-Bin (2015). What are Extreme Learning Machines? Filling the Gap Between Frank Rosenblatt’s Dream and John von Neumann’s Puzzle (PDF). Cognitive Computing. 7. doi:10.1007/s12559-015-9333-0. Архів оригіналу (PDF) за 10 червня 2017. Процитовано 22 квітня 2017. (англ.)
↑ Zhu, W.; Miao, J.; Qing, L.; Huang, G. B. (1 липня 2015). Hierarchical Extreme Learning Machine for unsupervised representation learning. 2015 International Joint Conference on Neural Networks (IJCNN): 1—8. doi:10.1109/IJCNN.2015.7280669. Архів оригіналу за 22 лютого 2017. Процитовано 22 квітня 2017. (англ.)
↑ Zhu, W.; Miao, J.; Qing, L. (1 липня 2014). Constrained Extreme Learning Machine: A novel highly discriminative random feedforward neural network. 2014 International Joint Conference on Neural Networks (IJCNN): 800—807. doi:10.1109/IJCNN.2014.6889761. (англ.)

[1] Huang, Guang-Bin; Zhu, Qin-Yu; Siew, Chee-Kheong (2006). Extreme learning machine: theory and applications. Neurocomputing. 70 (1): 489—501. CiteSeerX 10.1.1.217.3692. doi:10.1016/j.neucom.2005.12.126. (англ.)

[2] Batch intrinsic plasticity for extreme learning machines. Proc. of International Conference on Artificial Neural Networks. Архів оригіналу за 2 березня 2017. Процитовано 22 квітня 2017. (англ.)

[3] Optimizing extreme learning machines via ridge regression and batch intrinsic plasticity. Neurocomputing: 23—30. Архів оригіналу за 2 березня 2017. Процитовано 22 квітня 2017. (англ.)

[4] Reliable integration of continuous constraints into extreme learning machines. International Journal of Uncertainty, Fuzziness and Knowledge-Based Systems. 21 (supp02): 35—50. 31 жовтня 2013. doi:10.1142/S021848851340014X. ISSN 0218-4885. Архів оригіналу за 26 квітня 2022. Процитовано 22 квітня 2017. (англ.)

[5] Neumann, Klaus (2014). Reliability. University Library Bielefeld. с. 49—74. Архів оригіналу за 2 березня 2017. Процитовано 22 квітня 2017. (англ.)

[6] Wang, Lipo P.; Wan, Chunru R. Comments on "The Extreme Learning Machine". IEEE Trans. Neural Networks. CiteSeerX 10.1.1.217.2330. (англ.)

[7] Huang, Guang-Bin (2015). What are Extreme Learning Machines? Filling the Gap Between Frank Rosenblatt’s Dream and John von Neumann’s Puzzle (PDF). Cognitive Computing. 7. doi:10.1007/s12559-015-9333-0. Архів оригіналу (PDF) за 10 червня 2017. Процитовано 22 квітня 2017. (англ.)

[8] Zhu, W.; Miao, J.; Qing, L.; Huang, G. B. (1 липня 2015). Hierarchical Extreme Learning Machine for unsupervised representation learning. 2015 International Joint Conference on Neural Networks (IJCNN): 1—8. doi:10.1109/IJCNN.2015.7280669. Архів оригіналу за 22 лютого 2017. Процитовано 22 квітня 2017. (англ.)

[9] Zhu, W.; Miao, J.; Qing, L. (1 липня 2014). Constrained Extreme Learning Machine: A novel highly discriminative random feedforward neural network. 2014 International Joint Conference on Neural Networks (IJCNN): 800—807. doi:10.1109/IJCNN.2014.6889761. (англ.)

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]