Модулярні нейронні мережі
Модулярна нейронна мережа (англ. Modular neural network) — група нейронних мереж (які в даному випадку називаються модулями), що керуються певним посередником. Кожна нейронна мережа слугує модулем і оперує окремими входами для вирішення певних підзавдань із групи завдань, які повинна виконати модулярна нейронна мережа. [1] Посередник приймає вихідні сигнали кожного модуля нейронної мережі, виконує певну їх обробку і створює вихідний сигнал усієї модулярної мережі. Посередник не отримує жодних інших сигналів, окрім сигналів з виходів модулів нейронної мережі. Модулі не взаємодіють між собою.
Створення модулярних нейронних мереж надихнули дослідження і відкриття модулярної будови головного мозку. У зоровій корі, наприклад, складні завдання вирішуються розбиттям їх на багато підзавдань. [2] В таламусі знаходиться латеральне колінчасте тіло (ЛКТ), що розділене на шари, які обробляють колір зображення і контрастність: головні компоненти зорової інформації. [3] Після такої незалежної обробки компонентів зображення, ЛКТ передає результат в зону А1 зорової кори, яка в свою чергу передає до інших зон. Зони зорової кори виконують функції компілювання результатів. Нейронні мережі зорової кори до певної міри є ієрархічними і більш-менш ізольованими, особливо на нижчих рівнях обробки інформації. Проте на вищих рівнях обробки (коли завдання стають більш абстрактними), ізоляція і компартменталізація між модулями порушується і вони передають інформацію в різних напрямках. В цьому випадку модулярні нейронні мережі є неточною моделлю, або навіть неадекватною.
Одна з основних переваг модулярних нейронних мереж полягає в здатності розбивати великі нейронні мережі на менші компоненти, якими легше оперувати[1] Деякі завдання є практично нерозв'язними для немодулярних нейронних мереж, не зважаючи на збільшення їх розміру.
Кількість зв'язків в нейронній мережі надзвичайно швидко зростає при додаванні нових нейронів. Оскільки обчислювальний час залежить від кількості нейронів і їх зв'язків, то будь-яке збільшення кількості нейронів призведе до значного збільшення обчислювального часу. Розділення завдання між субмережами у модулярній мережі призводить до того, що кожен модуль працює над частиною усього завдання, а не вся мережа намагається виконати глобальне завдання відразу, що є ефективнішим.
Велика нейронна мережа, що намагається змоделювати багато параметрів може страждати від інтерференції з новими даними, оскільки ці дані можуть сильно впливати на вже існуючі зв'язки, що збиватиме процес навчання мережі з ритму роботи. В модулярній нейронній мережі кожна субмережа прив'язана до певного типу завдання, що не призводить до спантеличення усієї мережі при надходженні нових даних. Крім того, навчальні дані, що використовуються для кожної підмережі, можуть бути унікальними, що призводить до більшої ефективності навчання.
Не залежно від того чи є нейронна мережа штучною чи природною, вона може бути чутливою до інтерференції, або втрати того чи іншого нейрону. Компартменталізуючи завдання, можна легко діагностувати інтерференцію або втрату нейронів і їх ефекти на інші підмережі усуваються, оскільки підмережі працюють незалежно.
- ↑ а б Azam, Farooq. Biologically Inspired Modular Neural Networks. PhD Dissertation, Virginia Tech. 2000 scholar.lib.vt.edu/theses/available/etd-06092000-12150028/unrestricted/etd.pdf
- ↑ Happel, Bart and Murre, Jacob. The Design and Evolution of Modular Neural Network Architectures. Neural Networks, 7: 985—1004; 1994. http://citeseer.comp.nus.edu.sg/cache/papers/cs/3480/ftp:zSzzSzftp.mrc-apu.cam.ac.ukzSzpubzSznnzSzmurrezSznnga1.pdf/the-design-and-evolution.pdf[недоступне посилання з квітня 2019]
- ↑ Hubel, DH and Livingstone, MS. Color and contrast sensitivity in the lateral geniculate body and primary visual cortex of the macaque monkey. Journal of Neuroscience. 10: 2223—2237; 1990 http://www.jneurosci.org/cgi/content/abstract/10/7/2223 [Архівовано 8 вересня 2008 у Wayback Machine.]