Користувач:Григоренко Н./Чернетка

Навчання без вчителя (англ. Unsupervised learning, самоосвіта, спонтанне навчання) — один зі способів машинного навчання, при вирішенні яких випробовувана система спонтанно навчається виконувати поставлене завдання, без втручання з боку експериментатора. З точки зору кібернетики, є одним з видів кібернетичного експерименту. Як правило, це підходить тільки для задач, в яких відомий опис множини об'єктів (навчальна вибірка), і необхідно виявити внутрішні взаємозв'язки, залежності, закономірності, що існують між об'єктами.

Навчання без вчителя часто протиставляється навчанню в учителем, коли для кожного об'єкта, що навчається, примусово задається «правильна відповідь», і потрібно знайти залежність між стимулами та реакціями системи.

Зв'язок з фізіологією

Не дивлячись на багаточисельні прикладні досягнення, навчання з учителем критикувалося за свою біологічну неправдоподібність. Важко уявити навчаючий механізм у мозку, який би порівнював бажані та дійсні значення виходів, виконуючи корекцію з допомогою зворотнього зв'язка. Якщо припустити подібний механізм в мозку, тоді звідки виникають бажані виходи? Навчання без вчителя є набагато більш правдоподібною моделлю навчання у біологічній системі. Розвинена Кохоненом та багатьма іншими, вона не потребує цільового вектора для виходів, отже не потребує порівняння з визначеними ідеальними відповідями.

Поняття «навчання без вчителя» в теорії розпізнавання образів

Для побудови теорії та відхода від кібернетичного експеримента у різноманітних теоріях експеримент з навчанням без вчителя намагаються формалізовати математично. Існує багато різних підвидів постановки та визначення даной формалізації. Одна з яких відображена у теорії розпізнавання образів.

Такий відхід від експеримента та побудова теорії пов'язані з різними поглядами спеціалістів. Відмінності, зокрема, проявляються при відповіді на питання: «Чи можливі єдині принципи адекватного описання образів різноманітної природи, або ж таке описанне кожен раз є задача для спеціалистів конкретних знань?».

В першому випадку постановка повинна бути направлена на виявленне загальних принципів використання апріорної інформації при складанні адекватного опису образів. Важливо, що тут апріорні відомості про образи різноманітної природи різні, а принцип їх обліку один й той самий. У другому випадку проблема отримання опису виноситься за межі загальної постановки, і теорія навчання машин розпізнаванню образів з точки зору статистичної теорії навчання розпізнаванню образів може бути зведена до проблеми мінімізації середнього ризику в спеціальному класі вирішальних правил .

В теорії розпізнавання образів розрізняють в основному три підходи до даної проблеми :

• Евристичні методи;
• Математичні методи;
• Лінгвістичні (синтаксичні) методи.

Типи вхідних даних

• Ознаковий опис об'єктів. Кожен об'єкт описується набором своїх характеристик, що називаються ознаками. Ознаки можуть бути числовими або нечисловими.
• Матриця відстаней між об'єктами. Кожен об'єкт описується відстанями до всих інших об'єктів навчальної вибірки.

Розв'язувані задачі

Экспериментальна схема навчання без вчителя часто використовується у теорії розпізнавання образів, машинному навчанні. При цьому в залежності від підхода формалізується в ту чи іншу математичну концепцію. І тільки у теорії штучних нейронних мереж задача розв'язується експериментально, застосовуючи той чи інший вид нейромереж. При цьому, як правило, отримана модель може не мати інтерпретації, що іноді відносять до недоліків нейронних мереж. Проте, отримані результати нічим не гірше, і за бажанням можуть бути інтерпретовані при застосуванні спеціальних методів.

Задачі кластеризації

Эксперимент навчання без вчителя при розв'язуванні задачі розпізнавання образів можна сформулювати як задачу кластерного аналіза. Вибірка об'єктів розбивається на підмножини, що не перетинаються (вони називаються кластерами), так, щоб кожен кластер складався зі схожих об'єктів, а об'єкти різних кластерів суттєво відрізнялись. Початкова інформація представляється у вигляді матриці відстаней.

Методи розв'язання

• Графові алгоритми кластеризауії
• Статистичні алгоритми кластеризації
• Ієрархічна кластеризація або таксономія
• Нейронна мережа Кохонена
• K-середніх (K-means)
• Автоассоціатор
• Глибока мережа довіри

Кластеризація може грати допоміжну роль при розв'язанні задач класифікації та регресії. Для цього трнба спочатку розбити вибірку на кластери, потім до кожного кластера застосувати який-небудь простий метод, наприклад, наблизити цільову залежність константою.

Методи розв'язання

• Нейронна мережа зустрічного розповсюдження
• Метод радиальних базисних функцій

Задачі узагальнення

Так само як і у випадку экспериментів по розрізненню, що математично може бути сформульованно як кластеризація, при узагальненні понять можна дослідити спонтанне узагальнення, при якому критерії подібності не вводяться ззовні або не нав'язуються експериментатором.

При цьому в експерименті по «чистому узагальненню» від моделі мозку або перцептрона потребується перейти від виборчої реакції на один стимул (припустимо, квадрат, що знаходиться в лівій частині сітківки) до подібного йому стимулу, який не активує жодного з тих самих сенсорних закінчень (квадрат в правій частині сітківки). До узагальнення більш слабкого виду відноситься, наприклад, вимога, щоб реакції системи поширювалися на елементи класу подібних стимулів, які не обов'язково відокремлені від вже показаного раніше (або почутого, або сприйнятого на дотик) стимула.

Задачі пошуку правил асоціації

Початкова інформація представляється у вигляді ознакових описів. Завдання полягає в тому, щоб знайти такі набори ознак, і такі значення цих ознак, які особливо часто (невипадково часто) зустрічаються в ознакових описах об'єктів.

Задачі скорочення розмірності

Початкова інформація представляється у вигляді ознакових описів, причому число ознак може бути достатньо великим. Завдання полягає в тому, щоб представити ці дані в просторі меншої розмірності, по можливості, мінімізувавши втрати інформації.

Методи розв'язання

• Метод головних компонент
• Метод незалежних компонент
• Багатовимірне шкалювання

Задачі візуалізації даних

Деякі методи кластеризації та зниження розмірності будують вибірки в просторі розмірності два. Це дозволяє відображати багатовимірні дані у вигляді пласких графіків і аналізувати їх візуально, що сприяє кращому розумінню даних і самої суті розв'язуваної задачі.

Методи розв'язання

• Ієрархічна кластеризація
• Самоорганізаційна Карта Кохонена
• Generative topographic map
• Карта подібності

Деякі застосування

• Соціологічні дослідження: формування представницьких підвибірок при організації соціологічних опитувань.
• Маркетингові дослідження: розбиття множини всіх клієнтів на кластери для виявлення типових переваг.
• Аналіз ринкових корзин: виявлення поєднань товарів, що часто зустрічаються разом в покупках клієнтів.

Див. також

• ЕМ-алгоритм
• Узагальнення
• Квазібіологічна парадигма

Література

• Айвазян С. А., Енюков И. С., Мешалкин Л. Д. Прикладная статистика: основы моделирования и первичная обработка данных. — М.: Финансы и статистика, 1983.
• Айвазян С. А., Енюков И. С., Мешалкин Л. Д. Прикладная статистика: исследование зависимостей. — М.: Финансы и статистика, 1985.
• Айвазян С. А., Бухштабер В. М., Енюков И. С., Мешалкин Л. Д. Прикладная статистика: классификация и снижение размерности. — М.: Финансы и статистика, 1989.
• Журавлев Ю. И., Рязанов В. В., Сенько О. В. «Распознавание». Математические методы. Программная система. Практические применения. — М.: Фазис, 2006. ISBN 5-7036-0108-8.
• Загоруйко Н. Г. Прикладные методы анализа данных и знаний. — Новосибирск: ИМ СО РАН, 1999. ISBN 5-86134-060-9.
• Мандель И. Д. Кластерный анализ. — М.: Финансы и статистика, 1988. ISBN 5-279-00050-7.
• Шлезингер М., Главач В. Десять лекций по статистическому и структурному распознаванию. — Киев: Наукова думка, 2004. ISBN 966-00-0341-2.
• Розенблатт, Ф. Принципы нейродинамики: Перцептроны и теория механизмов мозга = Principles of Neurodynamic: Perceptrons and the Theory of Brain Mechanisms. — М. : Мир, 1965. — 480 с.
• Уоссермен, Ф. Нейрокомпьютерная техника: Теория и практика = Neural Computing. Theory and Practice. — М. : Мир, 1992. — 240 с. — ISBN 5-03-002115-9.
• Л. Б. Емельянов-Ярославский, Интеллектуальная квазибиологическая система, М., «НАУКА», 1990 — книга про один підхід самоосвіти у відповідності з {{не перекладено|Квазібіологічна парадигма|квазібіологічною парадигмою|ru|квазибиологическая парадигма|квазибиологической парадигмой]]

Посилання

• Профессиональный вики-ресурс, посвященный машинному обучению и интеллектуальному анализу данных

[[Категорія:Машинне навчання]]