Розрізнювальна модель

Розрі́знювальні моде́лі (англ. discriminative models), що також називають умо́вними моде́лями (англ. conditional models), є класом моделей, які застосовуються в машинному навчанні для моделювання залежності неспостережуваної змінної $y$ від спостережуваної змінної $x$ . В рамках імовірнісної схеми це здійснюється моделюванням умовного розподілу ймовірності $P(y|x)$ , який може застосовуватися для передбачення $y$ з $x$ .

Розрізнювальні моделі, на противагу до породжувальних, не дозволяють породжувати приклади зі спільного розподілу $x$ та $y$ . Проте для таких задач як класифікація та регресія, що не потребують спільного розподілу, розрізнювальні моделі можуть демонструвати чудову продуктивність.^[1]^[2]^[3] З іншого боку, породжувальні моделі є зазвичай гнучкішими за розрізнювальні у вираженні залежностей в складних задачах навчання. До того ж більшість розрізнювальних моделей за своєю природою є керованими, і їх неможливо легко розширити для некерованого навчання. Зрештою вибір між розрізнювальною та породжувальною моделлю диктують особливості конкретного застосування.

Визначення

На відміну від породжувального моделювання, яке вчить спільний розподіл $P(x,y)$ , розрізнювальне моделювання навчається $P(y|x)$ або прямому відображенню заданої не спостережуваної (цільової) змінної $x$ в клас міток $y$ в залежності від спостережуваних змінних (тренувальних прикладів). При практичному розпізнаванні об'єктів, $x$ , зазвичай, є вектором (наприклад, рядком пікселів або ознаками, отриманими з зображення тощо). З ймовірнісної точки зору, це досягається моделювання умовної ймовірності $P(y|x)$ , що використовується для прогнозування $y$ по $x$ . Зауважимо, що є різниця між умовною моделлю та дискримінаційною моделлю, хоча найчастіше вони класифікуються як дискримінаційна модель.

Чиста розрізнювальна модель порівнянно з умовною моделлю

Умовна модель моделює умовний ймовірнісний розподіл, а розрізнювальна модель прагне оптимізувати відображення вхідних даних навколо найбільш подібних тренувальних даних^[4].

Приклади

Приклади розрізнювальних моделей, що використовуються в машинному навчанні, включать: логістичну регресію, один із типів узагальненої лінійної регресії^[en], що застосовується для передбачення двійкових або категорійних виходів (відомий також як максимально-ентропійні класифікатори^[en]); метод опорних векторів, підсилювання (метаалгоритм), умовні випадкові поля, лінійну регресію, нейронні мережі тощо.

Див. також

Породжувальна модель

Примітки

↑ P. Singla and P. Domingos. Discriminative training of Markov logic networks. In AAAI, 2005. (англ.)
↑ J. Lafferty, A. McCallum, and F. Pereira. Conditional Random Fields: Probabilistic Models for Segmenting and Labeling Sequence Data. In ICML, 2001. (англ.)
↑ A. Ng and M. I. Jordan. On Discriminative vs. Generative Classiﬁers: A Comparison of Logistic Regression and Naive Bayes. In NIPS, 2001 (англ.)
↑ Ballesteros, Miguel. Discriminative Models (PDF). Процитовано 28 жовтня 2018.^{[недоступне посилання з вересня 2019]}