Перейти до вмісту

Виявляння вмісту, створеного штучним інтелектом

Матеріал з Вікіпедії — вільної енциклопедії.
Частина з циклу про
Штучний інтелект
Головні цілі
Підходи
Застосування
Філософія
Історія
Словник

Програмне забезпечення для виявлення штучного інтелекту має на меті визначити, чи був певний контент (текст, зображення, відео чи аудіо) створений за допомогою штучного інтелекту (ШІ).

Однак надійність такого програмного забезпечення є предметом дискусій[1], і існують занепокоєння щодо можливого неправильного застосування освітянами програмного забезпечення для виявлення ШІ.

Проблеми з точністю

[ред. | ред. код]

Численні інструменти виявлення ШІ продемонстрували власну ненадійність у питанні точного та всебічного виявлення тексту, згенерованого ШІ. У дослідженні, проведеному Вебером-Вульфом та ін. і опублікованому в 2023 році, дослідники оцінили 14 інструментів виявлення, включаючи Turnitin і GPT Zero, і виявили, що «всі вони показали точність нижче 80 % і лише 5 — понад 70 %»[2].

Виявлення тексту

[ред. | ред. код]

Для тексту це зазвичай робиться, для запобігання ймовірному плагіату, часто шляхом виявлення повторів слів як ознак того, що текст створено штучним інтелектом (включаючи галюцинації штучного інтелекту). Вони часто використовуються вчителями, які виставляють оцінки своїм учням. Після випуску ChatGPT та подібного програмного забезпечення для створення тексту за допомогою ШІ багато навчальних закладів випустили політику щодо використання ШІ студентами[3]. Програмне забезпечення для визначення тексту створеного ШІ також використовується тими, хто оцінює кандидатів на роботу, а також онлайн пошуковими системами[4].

Поточні детектори часом можуть бути ненадійними і неправильно позначати роботу, створену людиною, як створену ШІ[5][6][7], а в інших випадках не виявляти роботу, створену штучним інтелектом[8]. У MIT Technology Review повідомили, що технологія «мала труднощі з виявленням тексту, згенерованого ChatGPT, щоб був дещо змінений людьми та заплутаний інструментом перефразування»[9]. Програмне забезпечення для виявлення тексту штучним інтелектом також проявило дискримінацію стосовно людей, для яких англійська мова не є рідною[4].

Двоє студентів Каліфорнійського університету в Девісі були направлені до Управління студентської успішності і судових справ університету (OSSJA) після того, як їхні професори відсканували їхні есе з позитивними результатами; перший із детектором штучного інтелекту під назвою GPTZero, а другий — із інтеграцією детектора штучного інтелекту в Turnitin. Однак після висвітлення в ЗМІ[10] та ретельного розслідування зі студентів було знято будь-які звинувачення[11][12].

У квітні 2023 року Кембриджський університет та інші члени Расельської групи університетів у Сполученому Королівстві відмовилися від інструменту виявлення тексту Turnitin AI, висловивши занепокоєння щодо його ненадійності[13]. Через шість місяців Техаський університет в Остіні відмовився від цієї системи[14].

У травні 2023 року професор Східно-Техаського університету A&M щоб виявити чи написаний контент його студентів за допомогою штучного інтелекту, що ChatGPT назвав правдою. У зв'язку з цим він погрожував завалити клас, незважаючи на те, що ChatGPT не здатен виявляти тексти, написані ШІ[15]. Це не завадило жодному з студентів отримати диплом, і всі студенти, окрім одного (який зізнався у використанні програми), були позбавлені звинувачень у використанні ChatGPT у своєму контенті[16].

У статті Томаса Жермена, опублікованій на Gizmodo в червні 2024 року, повідомлялося про втрату роботи серед авторів-фрілансерів і журналістів через те, що програмне забезпечення для виявлення створеного ШІ тексту помилково класифікувало їхню роботу як створену ШІ[17].

Для підвищення надійності розпізнавання тексту штучним інтелектом дослідники вивчають методи цифрового нанесення водяних знаків. У статті 2023 року під назвою «Водяний знак для великих мовних моделей»[18] представлено метод вбудовування непомітних водяних знаків у текст, згенерований великими мовними моделями (LLM). Цей підхід до нанесення водяних знаків дозволяє з високим рівнем точності позначати контент як згенерований ШІ, навіть якщо текст дещо перефразований або змінений. Метод розроблений таким чином, щоб бути малопомітним і складним для виявлення випадковими читачами, тим самим зберігаючи читабельність, але водночас забезпечуючи помітний сигнал для тих, хто використовує спеціалізовані інструменти. Однак, незважаючи на свою багатообіцяючу перспективу, водяні знаки стикаються з проблемами, пов'язаними з тим, щоб залишатися стійкими в умовах конкурентних перетворень і забезпечувати сумісність між різними LLM.

Протидія виявлянню текстів

[ред. | ред. код]

Існує програмне забезпечення, призначене для обходу виявлення ШІ-тексту[19].

У дослідженні, опублікованому в серпні 2023 року, проаналізовано 20 тез із статей, опублікованих у журналі Eye, які пізніше були перефразовані за допомогою GPT-4.0. Тези, перефразовані штучним інтелектом, перевірялися на наявність плагіату за допомогою QueText і вмісту, створеного штучним інтелектом, за допомогою Originality. AI. Потім тексти повторно обробили за допомогою змагального програмного забезпечення під назвою Undetectable.ai, для зниження показників виявлення ШІ. Дослідження показало, що інструмент виявлення AI Originality. ідентифікував текст, згенерований GPT-4 із середньою точністю 91,3 %. Однак після повторної обробки Undetectable.ai середня точність виявлення Originality.ai впала до 27,8 %[20][21].

Деякі експерти також вважають, що такі методи, як цифрові водяні знаки, неефективні, оскільки їх можна видалити або додати, аби викликати помилкові спрацьовування[22]. Стаття «Водяний знак для великих мовних моделей» за авторством Кірхенбауера та ін.[23] також розглядає потенційну вразливість методів водяних знаків. Автори описують низку тактик зловмисників, включаючи атаки вставленням, видаленням та підміною тексту, які можуть бути використані для обходу виявлення водяних знаків. Ці атаки різняться за складністю: від простого перефразування до більш витончених підходів, що включають токенізацію та зміну гомогліфів. Дослідження висвітлює проблему збереження стійкості водяних знаків до зловмисників, які можуть використовувати автоматизовані інструменти перефразування або навіть специфічні заміни мовних моделей, для повторного змінювання фрагментів тексту, зберігаючи при цьому семантичну схожість. Експериментальні результати показують, що хоча такі атаки можуть знизити стійкість водяних знаків, вони також призводять до погіршення якості тексту та збільшення обчислювальних ресурсів.

Виявлення багатомовного тексту

[ред. | ред. код]

Одним із недоліків більшості програм для виявлення штучного інтелекту є їх нездатність ідентифікувати згенерований ШІ текст будь-якою мовою. Великі мовні моделі (LLM), такі як ChatGPT, Claude і Gemini, здатні писати різними мовами, але традиційні інструменти виявлення тексту штучного інтелекту переважно навчені англійській та деяким іншим широко поширеним мовам, таким як французька та іспанська. Менше рішень для виявлення штучного інтелекту можуть виявляти текст, згенерований штучним інтелектом, такими мовами, як фарсі, арабська чи гінді[джерело?].

Виявлення зображеннь, відео та аудіо

[ред. | ред. код]

Існують кілька програм для виявлення зображень, згенерованих ШІ (наприклад зображення згенеровані Midjourney або DALL-E). Вони не зовсім надійні[24][25].

Інші стверджують, що здатні ідентифікувати відео та аудіо дипфейки, але й ця технологія ще не є повністю надійною[26].

Попри дебати щодо ефективності водяних знаків, Google DeepMind активно розробляє програмне забезпечення виявлення під назвою SynthID, що працює шляхом додавання невидимого для людського ока цифрового водяного знаку в пікселі зображення[27][28].

Див. також

[ред. | ред. код]

Примітки

[ред. | ред. код]
  1. ↑ 'Don't use AI detectors for anything important,' says the author of the definitive 'AI Weirdness' blog. Her own book failed the test. Fortune (англ.). Процитовано 21 жовтня 2023.
  2. ↑ Weber-Wulff, Debora; Anohina-Naumeca, Alla; Bjelobaba, Sonja; Foltýnek, Tomáš; Guerrero-Dib, Jean; Popoola, Olumide; Šigut, Petr; Waddington, Lorna (25 грудня 2023). Testing of detection tools for AI-generated text. International Journal for Educational Integrity (англ.). 19 (1): 26. arXiv:2306.15666. doi:10.1007/s40979-023-00146-z. ISSN 1833-2595.
  3. ↑ Hern, Alex (31 December 2022). AI-assisted plagiarism? ChatGPT bot says it has an answer for that. The Guardian. Процитовано 11 July 2023.
  4. ↑ а б Sample, Ian (10 July 2023). Programs to detect AI discriminate against non-native English speakers, shows study. The Guardian. Процитовано 10 July 2023.
  5. ↑ Fowler, Geoffrey A. (2 June 2023). Detecting AI may be impossible. That's a big problem for teachers. The Washington Post. Процитовано 10 July 2023.
  6. ↑ Tangermann, Victor (9 January 2023). There's a Problem With That App That Detects GPT-Written Text: It's Not Very Accurate. Futurism. Процитовано 10 July 2023.
  7. ↑ We tested a new ChatGPT-detector for teachers. It flagged an innocent student. The Washington Post. 1 April 2023. Процитовано 10 July 2023.
  8. ↑ Taylor, Josh (1 February 2023). ChatGPT maker OpenAI releases 'not fully reliable' tool to detect AI generated content. The Guardian. Процитовано 11 July 2023.
  9. ↑ Williams, Rhiannon (7 July 2023). AI-text detection tools are really easy to fool. MIT Technology Review. Процитовано 10 July 2023.
  10. ↑ AI Detection Apps Keep Falsely Accusing Students of Cheating. Futurism. 6 June 2023. Процитовано 21 жовтня 2023.
  11. ↑ Jimenez, Kayla. Professors are using ChatGPT detector tools to accuse students of cheating. But what if the software is wrong?. USA TODAY (амер.). Процитовано 21 жовтня 2023.
  12. ↑ Klee, Miles (6 червня 2023). She Was Falsely Accused of Cheating With AI -- And She Won't Be the Last. Rolling Stone (амер.). Процитовано 21 жовтня 2023.
  13. ↑ Staton, Bethan (3 April 2023). Universities express doubt over tool to detect AI-powered plagiarism. Financial Times. Процитовано 10 July 2023.
  14. ↑ Carter, Tom. Some universities are ditching AI detection software amid fears students could be falsely accused of cheating by using ChatGPT. Business Insider (амер.). Процитовано 21 жовтня 2023.
  15. ↑ Verma, Prashnu (18 May 2023). A professor accused his class of using ChatGPT, putting diplomas in jeopardy. The Washington Post. Процитовано 10 July 2023.
  16. ↑ College instructor put on blast for accusing students of using ChatGPT. NBC News. 18 May 2023. Процитовано 10 July 2023.
  17. ↑ Germain, Thomas (12 червня 2024). AI Detectors Get It Wrong. Writers Are Being Fired Anyway. Gizmodo (англ.). Процитовано 18 червня 2024.
  18. ↑ Kirchenbauer, Johannes; Geiping, Jonas (24 червня 2023). A Watermark for Large Language Model (англ.). arXiv:2301.10226 [cs.LG].
  19. ↑ Beam, Christopher. The AI Detection Arms Race Is On—and College Students Are Building the Weapons. Wired (амер.). ISSN 1059-1028. Процитовано 2 грудня 2023.
  20. ↑ Taloni, Andrea; Scorcia, Vincenzo; Giannaccare, Giuseppe (2 серпня 2023). Modern threats in academia: evaluating plagiarism and artificial intelligence detection scores of ChatGPT. Eye (англ.). 38 (2): 397—400. doi:10.1038/s41433-023-02678-7. ISSN 1476-5454. PMC 10810838. PMID 37532832.
  21. ↑ Thompson, David (30 листопада 2023). Researchers Say Undetectable AI May Be a 'Modern Threat to Academia'. The Science Times.
  22. ↑ Knibbs, Kate. Researchers Tested AI Watermarks—and Broke All of Them. Wired (амер.). ISSN 1059-1028. Процитовано 21 жовтня 2023.
  23. ↑ Kirchenbauer, Johannes; Geiping, Jonas (24 червня 2023). A Watermark for Large Language Model (англ.). arXiv:2301.10226 [cs.LG].
  24. ↑ Thompson, Stuart A.; Hsu, Tiffany (28 June 2023). How Easy Is It to Fool A.I.-Detection Tools?. The New York Times. Процитовано 10 July 2023.
  25. ↑ Rizwan, Choudhury (15 жовтня 2023). Expert debunks AI tool's claim that Israel's photo is fake. Interesting Engineering. Процитовано 22 жовтня 2023.
  26. ↑ Hsu, Tiffany; Myers, Steven Lee (18 May 2023). Another Side of the A.I. Boom: Detecting What A.I. Makes. The New York Times. Процитовано 10 July 2023.
  27. ↑ Pierce, David (29 серпня 2023). Google made a watermark for AI images that you can't edit out. The Verge. Процитовано 21 жовтня 2023.
  28. ↑ Wiggers, Kyle (29 серпня 2023). DeepMind partners with Google Cloud to watermark AI-generated images. TechCrunch. Процитовано 21 жовтня 2023.
Отримано з https://uk.wikipedia.org/w/index.php?title=Виявляння_вмісту,_створеного_штучним_інтелектом&oldid=44324956