Нейронний машинний переклад Google
Нейронний машинний переклад Google (GNMT) — це система нейронного машинного перекладу (NMT), розроблена компанією Google і представлена в листопаді 2016 року, яка використовує штучну нейронну мережу для підвищення швидкості і якості перекладу в Google Перекладачі[1][2][3].
GNMT підвищує якість перекладу, застосовуючи метод машинного перекладу що базується на прикладах (EBMT), у якому система «навчається на мільйонах прикладів». Архітектура системного навчання GNMT була вперше випробувана на більш ніж ста мовах, що підтримуються Google Перекладачем. Завдяки потужній внутрішній структурі система з часом вчиться створювати якісніші й природніші переклади. GNMT здатна перекладати речення в цілому, а не частинами. GNMT здатна виконувати інтерлінгвальний машинний переклад, кодуючи семантику речення замість того, щоб запам'ятовувати переклади окремих фраз[4].
Проєкт Google Brain був створений у 2011 році в «секретній дослідницькій лабораторії Google X» Джеффом Діном, співробітником Google, Грегом Коррадо, дослідником із Google, та Ендрю Ином, професором комп'ютерних наук Стенфордського університету[5][6][7]. Робота Ина лягла в основу одного з найбільших технологічних проривів у Google і Стенфорді[8].
У вересні 2016 року дослідницька група Google оголосила про розробку системи перекладу GNMT, і до листопада Google Перекладач почав використовувати нейронний машинний переклад (NMT) замість колишніх статистичних методів (SMT)[9][10][11], які використовувалися з жовтня 2007 року всередині власної закритої SMT-системи[12][13].
Система NMT всередині Google Перекладача використовує велику штучну нейронну мережу, придатну для глибокого навчання[1][2][3]. Вивчаючи мільйони прикладів, GNMT покращує якість перекладу, використовуючи ширший контекст для виведення найякіснішого перекладу. Потім результат перебудовується й пристосовується для відповідності граматиці людської мови.
GNMT не створила свою внутрішню універсальну мову, а скоріше прагнула знайти спільне між багатьма мовами, що має бути цікаво більше для психологів і лінгвістів, ніж для фахівців у галузі інформатики[14]. Новий механізм перекладу був включений в обидві сторони для дев'яти мов: англійської, іспанської, китайської, корейської, німецької, португальської, турецької, французької та японської у 2016 році[1]. У березні 2017 року були додані ще три мови: в'єтнамська, російська та хінді[15]. У тому ж місяці за допомогою спільноти Google Перекладача була додана підтримка арабської мови та івриту[16]. Далі наприкінці квітня 2017 року було додано підтримку дев'яти індійських мов, а саме: бенгалі, гуджараті, каннада, малаялам, маратхі, пенджабі, тамільської, телугу та гінді[17].
Нижче наведено список мовних пар, у яких для перекладу використовується модель нейронного машинного перекладу Google (NMT). Станом на липень 2017 року для всіх мов підтримується тільки переклад на англійську мову і назад[18]:
Мовна пара | Коди мов | |
---|---|---|
1 | Африкаанс ↔ Англійська | af ↔ en
|
2 | Арабська ↔ Англійська | ar ↔ en
|
3 | Болгарська ↔ Англійська | bg ↔ en
|
4 | Китайська (спрощена) ↔ Англійська | zh-CN ↔ en
|
5 | Китайська (традиційна) ↔ Англійська | zh-TW ↔ en
|
6 | Хорватська ↔ Англійська | hr ↔ en
|
7 | Чеська ↔ Англійська | cs ↔ en
|
8 | Данська ↔ Англійська | da ↔ en
|
9 | Голландська ↔ Англійська | nl ↔ en
|
10 | Французька ↔ Англійська | fr ↔ en
|
11 | Німецька ↔ Англійська | de ↔ en
|
12 | Грецька ↔ Англійська | el ↔ en
|
13 | Іврит ↔ Англійська | iw ↔ en
|
14 | Хінді ↔ Англійська | hi ↔ en
|
15 | Ісландська ↔ Англійська | is ↔ en
|
16 | Індонезійська ↔ Англійська | id ↔ en
|
17 | Італійська ↔ Англійська | it ↔ en
|
18 | Японська ↔ Англійська | ja ↔ en
|
19 | Корейська ↔ Англійська | ko ↔ en
|
20 | Норвезька ↔ Англійська | no ↔ en
|
21 | Польська ↔ Англійська | pl ↔ en
|
22 | Португальська ↔ Англійська | pt ↔ en
|
23 | Румунська ↔ Англійська | ro ↔ en
|
24 | Російська ↔ Англійська | ru ↔ en
|
25 | Словацька ↔ Англійська | sk ↔ en
|
26 | Іспанська ↔ Англійська | es ↔ en
|
27 | Шведська ↔ Англійська | sv ↔ en
|
28 | Тайська ↔ Англійська | th ↔ en
|
29 | Турецька ↔ Англійська | tr ↔ en
|
30 | В'єтнамська ↔ Англійська | vi ↔ en
|
Стверджується, що система GNMT краще попереднього варіанту Google Перекладача тим, що вона може виконувати «прямий переклад», тобто перекладати з однієї мови на іншу безпосередньо (наприклад, з японської на корейську). Раніше Google Перекладач спочатку перекладав з початкової мови на англійську, а потім з англійської на кінцеву мову замість прямого перекладу з однієї мови на іншу[4].
- Машинний переклад на основі прикладів
- Машинний переклад на основі правил[en]
- Порівняння застосунків для машинного перекладу[en]
- Статистичний машинний переклад
- Штучний інтелект
- Кешувальна модель мови[en]
- Обчислювальна лінгвістика
- Автоматизований переклад
- Історія машинного перекладу
- Список перспективних технологій
- Список науково-дослідних лабораторій машинного перекладу[en]
- Нейронний машинний переклад
- Машинний переклад
- Універсальний перекладач[en]
- ↑ а б в Barak Turovsky (15 листопада 2016), Found in translation: More accurate, fluent sentences in Google Translate, Google Blog, процитовано 11 січня 2017
- ↑ а б Mike Schuster, Melvin Johnson, and Nikhil Thorat (22 листопада 2016), Zero-Shot Translation with Google’s Multilingual Neural Machine Translation System, Google Research Blog, процитовано 11 січня 2017
- ↑ а б Gil Fewster (5 січня 2017), The mind-blowing AI announcement from Google that you probably missed, freeCodeCamp, архів оригіналу за 31 травня 2017, процитовано 11 січня 2017
- ↑ а б Boitet, Christian; Blanchon, Hervé; Seligman, Mark; Bellynck, Valérie (2010). MT on and for the Web (PDF). Архів оригіналу (PDF) за 29 березня 2017. Процитовано 1 грудня 2016.
- ↑ Jeff Dean and Andrew Ng (26 червня 2012). Using large-scale brain simulations for machine learning and A.I. Official Google Blog. Процитовано 26 січня 2015.
- ↑ Google's Large Scale Deep Neural Networks Project. Процитовано 25 жовтня 2015.
- ↑ Markoff, John (25 червня 2012). How Many Computers to Identify a Cat? 16,000. New York Times. Процитовано 11 лютого 2014.
- ↑ Robert D. Hof (14 серпня 2014). A Chinese Internet Giant Starts to Dream: Baidu is a fixture of online life in China, but it wants to become a global power. Can one of the world’s leading artificial intelligence researchers help it challenge Silicon Valley’s biggest companies?. Technology Review. Процитовано 11 січня 2017.
- ↑ Katyanna Quach (17 листопада 2016), Google's neural network learns to translate languages it hasn't been trained on: First time machine translation has used true transfer learning, процитовано 11 січня 2017
- ↑ Lewis-Kraus, Gideon (14 грудня 2016). The Great A.I. Awakening. The New York Times. Процитовано 11 січня 2017.
- ↑ Le, Quoc; Schuster, Mike (27 вересня 2016). A Neural Network for Machine Translation, at Production Scale. Google Research Blog. Google. Процитовано 1 грудня 2016.
- ↑ Google Switches to its Own Translation System, October 22, 2007
- ↑ Barry Schwartz (23 жовтня 2007). Google Translate Drops SYSTRAN for Home-Brewed Translation. Search Engine Land.
- ↑ Chris McDonald (7 січня 2017), Commenting on Gil Fewster's January 5th article in the Atlantic, процитовано 11 січня 2017
- ↑ Turovsky, Barak. Higher quality neural translations for a bunch more languages. The Keyword Google Blog. Google. Процитовано 6 березня 2017.
- ↑ Novet, Jordan (30 березня 2017). Google now provides AI-powered translations for Arabic and Hebrew. VentureBeat.
- ↑ Turovsky, Barak (25 квітня 2017). Making the internet more inclusive in India. The Keyword.
- ↑ Translation API Language Support. Google Cloud Platform. 4 травня 2017.
- Переваги та недоліки машинного перекладу
- Статистичний машинний переклад
- Міжнародна асоціація машинного перекладу (IAMT)
- Архів машинного перекладу від Джона Хатчинса. Електронне сховище (і бібліографія) статей, книг і статей в області машинного перекладу і технології комп'ютерного перекладу
- Машинний переклад (автоматичний переклад) — публікації Джона Хатчинса (включають в себе PDF кількох книг про машинний переклад)