ІНТЕЛЕКТУАЛЬНА ТЕХНОЛОГІЯ ВИЯВЛЕННЯ ТЕКСТОВИХ ДІПФЕЙКІВ З ВИКОРИСТАННЯМ ВЕЛИКИХ МОВНИХ МОДЕЛЕЙ

Автор(и)

  • В. Б. Мокін Вінницький національний технічний університет
  • Б. Ю. Варер Вінницький національний технічний університет
  • С. М. Левіцький Вінницький національний технічний університет

DOI:

https://doi.org/10.31649/1997-9266-2024-172-1-110-120

Ключові слова:

текстові діпфейки, дезінформація, штучний інтелект, великі мовні моделі, Kaggle, ідентифікація синтезованих текстів, інтелектуальна технологія, чат-боти

Анотація

Стрімкий розвиток великих мовних моделей в останні роки породжує важливу проблему — зростання обсягу синтезованих текстів в інформаційному середовищі, що викликає загрозу поширення дезінформації. Відповідно удосконалення технологій виявлення таких текстів стає актуальним завданням.

В статті запропоновано інтелектуальну технологію автоматичної ідентифікації текстів, згенерованих за допомогою штучного інтелекту, зокрема великими мовними моделями. Дослідження базується на аналізі розв’язків конкурсу «LLM — Detect AI Generated Text» на платформі Kaggle. Для цього побудовано датасет, що містить приклади текстів двох класів: ті, що написані людиною, та ті, що згенеровані великими мовними моделями. Датасет зібрано з даних, що знаходяться в публічному доступі. Також проведено розвідувальний аналіз даних та продемонстровано основні особливості підготовленого датасету.

Проаналізовано популярні методи розв’язання задачі ідентифікації згенерованих великими мовними моделями текстів в межах конкурсу на платформі Kaggle. Формалізовано загальну структуру рішення та обґрунтовано основні фактори впливу на точність ідентифікації текстів, згенерованих штучним інтелектом. Розроблено алгоритм для підвищення точності рішення завдяки операціям перед- та післяоброблення, покращення тренувального датасету, оптимізації вибору моделей та методу їхнього ансамблювання тощо. Проведено експерименти, які продемонстрували ефективність запропонованої інтелектуальної технології.

Це дослідження робить внесок у розвиток технологій боротьби з дезінформацією та підкреслює важливість пошуку нових методів виявлення штучно створених текстів у сучасному інформаційному середовищі.

Біографії авторів

В. Б. Мокін, Вінницький національний технічний університет

д-р техн. наук, професор, завідувач кафедри системного аналізу та інформаційних технологій

Б. Ю. Варер, Вінницький національний технічний університет

аспірант кафедри системного аналізу та інформаційних технологій

С. М. Левіцький, Вінницький національний технічний університет

аспірант кафедри системного аналізу та інформаційних технологій

Посилання

R. R. Soto et al., “Few-Shot Detection of Machine-Generated Text using Style Representations,” arXiv preprint, arXiv:2401.06712, 2024.

B. P. Kumar, M. S. Ahmed, and M. Sadanandam, “DistilBERT: A Novel Approach to Detect Text Generated by Large Language Models (LLM),” Feb. 2024, https://doi.org/10.21203/rs.3.rs-3909387/v1 .

Z. Wu, and H. Xiang, “MFD: Multi-Feature Detection of LLM-Generated Text”, Aug. 2023, https://doi.org/10.21203/rs.3.rs-3226684/v1 .

OpenAI, “New AI classifier for indicating AI-written text,” 2023. [Online]. Available: https://openai.com/blog/new-ai-classifier-for-indicating-ai-written-text. Accessed: Feb 15, 2024.

В. Б. Мокін, і М. В. Дратований, «Інтелектуальний метод з підкріпленням синтезу оптимального конвеєру операцій попереднього оброблення даних у задачах машинного навчання,» Наукові праці ВНТУ, вип. 4, Груд 2022. https://doi.org/10.31649/2307-5376-2022-4-15-25 .

J. King, P. Baffour, S. Crossley, R. Holbrook, and M. Demkin, “LLM – Detect AI Generated Text,” 2023 [Online]. Available: https://www.kaggle.com/competitions/llm-detect-ai-generated-text. Accessed: Feb 15, 2024.

N. Broad “R100_Ensemble,” 2023 [Online]. Available: https://www.kaggle.com/code/nbroad/r100-ensemble/input. Accessed: Feb 15, 2024.

D. Kłeczek, “DAIGT V2 Train Dataset,” 2023 [Online]. Available: https://www.kaggle.com/datasets/thedrcat/daigt-v2-train-dataset. Accessed: Feb 15, 2024

R. Osmulski, “LLM Generated Essays for the Detect AI Comp!” 2023 [Online]. Available: https://www.kaggle.com/datasets/radek1/llm-generated-essays. Accessed: Feb 15, 2024.

D. Kłeczek, “DAIGT Proper Train Dataset,” 2023 [Online]. Available: https://www.kaggle.com/datasets/thedrcat/daigt-proper-train-dataset. Accessed: Feb 2, 2024.

C. McBride Ellis, “LLM: 7 prompt training dataset,” 2023 [Online]. Available: https://www.kaggle.com/datasets /carlmcbrideellis/llm- 7-prompt-training-dataset . Accessed: Feb 15, 2024.

A. Paullier, “DAIGT | External Dataset,” 2023 [Online]. Available: https://www.kaggle.com/datasets/alejopaullier/daigt-external-dataset. Accessed: Feb 15, 2024.

N. Broad, “Persuade corpus 2.0,” 2023 [Online]. Available: https://www.kaggle.com/datasets/nbroad/persaude-corpus-2/. Accessed: Feb 2, 2024.

D. Kłeczek, “Daigt-v3-train-dataset,” 2023 [Online]. Available: https://www.kaggle.com/datasets/thedrcat/daigt-v3-train-dataset. Accessed: Feb 15, 2024.

N. Broad, “Daigt data – llama 70b and falcon180b,” 2023 [Online]. Available: https://www.kaggle.com/datasets /nbroad/daigt-data-llama-70b-and-falcon180b . Accessed: Feb 15, 2024

C. McBride Ellis, “LLM: Mistral-7B Instruct texts,” 2023 [Online]. Available: https://www.kaggle.com/datasets /carlmcbrideellis /llm-mistral-7b-instruct-texts . Accessed: Feb 15, 2024.

D. Kłeczek, “DAIGT-V4-TRAIN-DATASET,” 2023 [Online]. Available: https://www.kaggle.com/datasets/thedrcat /daigt-v4-train-dataset. Accessed: Feb 15, 2024.

D. Kłeczek, “DAIGT External Train Dataset,” 2023 [Online]. Available: https://www.kaggle.com/datasets /thedrcat/daigt-external-train-dataset. Accessed: Feb 15, 2024.

Y. Liu et al., “ArguGPT: evaluating, understanding and identifying argumentative essays generated by GPT models,” arXiv preprint, arXiv:2304.07666, 2023.

K. Hayawi, S. Shahriar, and S. Mathew, “The Imitation Game: Detecting Human and AI-Generated Texts in the Era of Large Language Models,” arXiv preprint, arXiv:2307.12166, 2023.

M. Rizqi, “LLM-generated essay using PaLM from Google Gen-AI,” 2023 [Online]. Available: https://www.kaggle.com/datasets/kingki19/llm-generated-essay-using-palm-from-google-gen-ai. Accessed: Feb 15, 2024.

D. Hanley, “Hello, Claude! 1000 essays from Anthropic…,” 2023 [Online]. Available: https://www.kaggle.com/datasets/darraghdog/hello-claude-1000-essays-from-anthropic. Accessed: Feb 15, 2024.

P. Srikanth, “[DAIGT] 3500 Essays from Intel Neural Chat 7b,” 2023 [Online]. Available: https://www.kaggle.com/datasets/phanisrikanth/daigt-essays-from-intel-neural-chat-7b. Accessed: Feb 15, 2024.

N. Matatov, “GPT4 Rephrased LLM DAIGT Dataset,” 2023 [Online]. Available: https://www.kaggle.com/datasets /snassimr/gpt4-rephrased-llm-daigt-dataset. Accessed: Feb 15, 2024.

R. Biswas, et al., “mock_test,” 2023 [Online]. Available: https://www.kaggle.com/datasets/conjuring92/mock-test. Accessed: Feb 15, 2024.

N. Broad, “Clean llama 70b data,” 2023 [Online]. Available: https://www.kaggle.com/code/nbroad/clean-llama-70b-data/notebook . Accessed: Feb 15, 2024

S. Crossley, et al., “A large-scale corpus for assessing written argumentation: PERSUADE 2.0,” Zenodo, Aug. 2023, https://doi.org/10.1016/j.asw.2023.100667 .

“Scikit-learn: Machine Learning in Python,” Sklearn.ensemble Module [Online]. Available: https://scikit-learn.org/stable/modules/classes.html#module-sklearn.ensemble . Accessed: Feb 15, 2024.

N. Broad, “Comprehensive 1st Place Write-Up,” 2023 [Online]. Available: https://www.kaggle.com/competitions/llm-detect-ai-generated-text/discussion/473295 . Accessed: Feb 15, 2024.

Y. Maslov, “3rd place solution,” 2023 [Online]. Available: https://www.kaggle.com/competitions/llm-detect-ai-generated-text/discussion/470333. Accessed: Feb 15, 2024

E. Demir, “[4th Place Solution] A Summary of Combined Arms Approach,” 2023 [Online]. Available: https://www.kaggle.com/competitions/llm-detect-ai-generated-text/discussion/470179 . Accessed: Feb 15, 2024.

J. Day, “5th place solution: 1.7 million training examples + domain adaptation,” 2023 [Online]. Available: https://www.kaggle.com/competitions/llm-detect-ai-generated-text/discussion/470093 . Accessed: Feb 15, 2024.

D. Cozzolino, “6nd place solution with code,” 2023 [Online]. Available: https://www.kaggle.com/competitions/llm-detect-ai-generated-text/discussion/471831 . Accessed: Feb 15, 2024.

H. Mei, “[7th Place Solution] Generate Data with Non-Instruction-Tuned Models,” 2023 [Online]. Available: https://www.kaggle.com/competitions/llm-detect-ai-generated-text/discussion/470643 . Accessed: Feb 15, 2024.

A. Meda, “[8th LB Solution] Linguistic Features: PPL & GLTR,” 2023 [Online]. Available: https://www.kaggle.com/competitions/llm-detect-ai-generated-text/discussion/470224 . Accessed: Feb 15, 2024.

D. Hanley, “[1st Public/9th Private] LLMLab - Solution Summary,” 2023 [Online]. Available: https://www.kaggle.com/competitions/llm-detect-ai-generated-text/discussion/470255. Accessed: Feb 15, 2024.

U. Erii, “12th place solution: DeBERTa + TF-IDF,” 2023 [Online]. Available: https://www.kaggle.com/competitions/llm-detect-ai-generated-text/discussion/470396 . Accessed: Feb 15, 2024/

R. Banthia, “13th place solution - Transformers only,” 2023 [Online]. Available:

https://www.kaggle.com/competitions/llm-detect-ai-generated-text/discussion/470593 . Accessed: Feb 15, 2024.

Verma, Vivek, et al. “Ghostbuster: Detecting Text Ghostwritten by Large Language Models,” arXiv preprint, arXiv:2305.15047, 2023.

##submission.downloads##

Переглядів анотації: 38

Опубліковано

2024-02-27

Як цитувати

[1]
В. Б. Мокін, Б. Ю. Варер, і С. М. Левіцький, «ІНТЕЛЕКТУАЛЬНА ТЕХНОЛОГІЯ ВИЯВЛЕННЯ ТЕКСТОВИХ ДІПФЕЙКІВ З ВИКОРИСТАННЯМ ВЕЛИКИХ МОВНИХ МОДЕЛЕЙ», Вісник ВПІ, вип. 1, с. 110–120, Лют. 2024.

Номер

Розділ

Інформаційні технології та комп'ютерна техніка

Метрики

Завантаження

Дані завантаження ще не доступні.

Статті цього автора (авторів), які найбільше читають

1 2 3 4 5 6 7 > >>