САМОВАЛІДОВАНИЙ U-GAN ДЛЯ ТРАНСФОРМАЦІЇ ЦІЛЬОВОГО КЛАСУ В ЗАДАЧАХ СЕГМЕНТАЦІЇ
DOI:
https://doi.org/10.31649/1997-9266-2024-174-3-102-111Ключові слова:
аугментація, генерування даних, генеративна змагальна мережа, ГЗМ, сегментація, глибоке навчання, U-GAN, U-генераторАнотація
Розглянуто проблему браку даних для навчання автоматизованих інтелектуальних систем у різних специфічних сферах, таких як медицина, аналіз супутникових знімків, аграрна галузь, екологія, мова. Описано сучасні методи розв’язання цієї проблеми, зокрема аугментація, генеративні змагальні мережі, дифузійні моделі, інпейнтинг. Основну увагу приділено задачі сегментації, де, окрім зображення, необхідно створювати маски для нових об’єктів. Також зазначено проблему суб’єктивного і ручного процесу вибору найкращої епохи під час навчання моделі, і окреслено альтернативи, які можуть допомогти вирішити цю проблему, такі як inception score та frechet inception distance.
Запропоновано покращену модель часткової трансформації цільового класу сегментації, яка включає нові компоненти самовалідації, такі як додаткова функція втрат, що контролює схожість вихідного зображення на вхідне, претреновану модель сегментації і метрику для оцінки якості згенерованих масок з масками сегментації згенерованих зображень. Ці вдосконалення дозволяють системі ефективніше перетворювати фоновий або нульовий клас у цільовий, створювати точніші сегментаційні маски та автоматично вибирати найкращі епохи під час навчання.
Експерименти на наборі даних панорамних знімків зубів показали, що використання цієї технології дозволило збільшити точність сегментації пломб на 0,9 %, підвищивши значення коефіцієнта Жаккара з 90,5 % до 91,4 %. Модель генеративної змагальної мережі тренувалася впродовж 150 епох з автоматичним вибором кращої епохи, якою була 135-та епоха. Якість згенерованих зображень цієї епохи була підтверджено експертною оцінкою. На супутникових знімках кораблів використання моделі показало підвищення точності сегментації з 63,4 % до 65,2 %. Незважаючи на складність даних, модель змогла адекватно трансформувати вхідні дані порожнього моря в об’єкти кораблів. Найкращі результати досягнуто на 82-й епосі, що також збіглося з вибором найкращої епохи експертом, демонструючи важливість автоматичного вибору оптимальної епохи під час навчання для вилучення з цього процесу додаткових суб’єктивних факторів та прискорення підготовки моделей.
Посилання
H. Abdi, S. Kasaei, and M. Mehdizadeh, “Automatic segmentation of mandible in panoramic x-ray,” Journal Med. Imaging (Bellingham), vol. 2, no. 4, 044003, 2015. [Electronic resource]. Available:
https://www.academia.edu/36038975/PreProcessing_of_Dental_X-Ray_Images_Using_Adaptive_Histogram_Equalization_Method . Accessed on: May 30, 2024.
A. Samat, et al., “Mapping Blue and Red Color-Coated Steel Sheet Roof Buildings over China Using Sentinel-2A/B MSIL2A Images,” Remote Sens., no. 14, 230 p., 2022. https://doi.org/doi.org/10.3390/rs14010230 .
C. Zhang, A. Marzougui, and S. Sankaran, “High-resolution satellite imagery applications in crop phenotyping: An overview,” Computers and Electronics in Agriculture, vol. 175, pp. 105584, 2020. ISSN 0168-1699, https://doi.org/10.1016/j.compag.2020.105584 .
В. Мокін, К. Бондалєтов, Є. Крижановський, і В. Караваєв, «Метод аугментації текстів про стан масивів вод на основі інтелектуальної прив’язки до багатозв’язних геоінформаційних систем іменованих сутностей,» Вісник Вінницького політехнічного інституту, № 3, с. 55-65, 2023. https://doi.org/10.31649/1997-9266-2023-168-3-55-65 .
O. Bisikalo, O. Kovtun, and V. Kovtun, “Neural Network Concept of Ukrainian-Language Text Embedding,” 2023 13th International Conference on Advanced Computer Information Technologies (ACIT), Wrocław, Poland, 2023, pp. 566-569, https://doi.org/10.1109/ACIT58437.2023.10275511 .
C. Shorten, and T. Khoshgoftaar, “A survey on Image Data Augmentation for Deep Learning,” J Big Data, no. 6, pp.60, 2019. https://doi.org/10.1186/s40537-019-0197-0 .
Я. Ісаєнков, і О. Мокін, «Аналіз генеративних моделей глибокого навчання та особливостей їх реалізації на прикладі WGAN,» Вісник Вінницького політехнічного інституту, № 1, с. 82-94, 2022. https://doi.org/10.31649/1997-9266-2022-160-1-82-94.
M. Chen, S. Mei, J. Fan, and M. Wang, “An overview of diffusion models: Applications, guided generation, statistical rates and optimization,” arXiv preprint, arXiv: 2404.07771, April 2024. [Electronic resource]. Available: https://arxiv.org/abs/2404.07771. Accessed on: May 30, 2024.
L. Zhao, and R. Zhao, “Image Inpainting Research Based on Deep Learning,” International Journal of Advanced Network, Monitoring and Controls. no. 5. pp. 23-30, 2020. https://doi.org/10.21307/ijanmc-2020-013 .
Я. Ісаєнков, і О. Мокін, «Трансформація цільового класу для задачі сегментації з використанням U-GAN,» Вісник Вінницького політехнічного інституту, № 1, с. 81-87, 2024. https://doi.org/10.31649/1997-9266-2024-172-1-81-87 .
K. Falahkheirkhah, et al.,“Deepfake Histologic Images for Enhancing Digital Pathology,” Laboratory Investigation, vol. 103, Issue 1, pp. 100006, 2023. ISSN 0023-6837. https://doi.org/10.1016/j.labinv.2022.100006 .
R. Gulakala, B. Markert, and M. Stoffel, “Generative adversarial network based data augmentation for CNN based detection of Covid-19,” Sci Rep, vol. 12, Article no. 19186, 2022. https://doi.org/10.1038/s41598-022-23692-x .
О. В. Коменчук, і О. Б. Мокін, «Аналіз методів передоброблення панорамних стоматологічних рентгенівських знімків для задач сегментації зображень,» Вісник Вінницького політехнічного інституту, № 5, с. 41-49, 2023. https://doi.org/10.31649/1997-9266-2023-170-5-41-49 .
W. Reade, and J. Faudi, “Airbus Ship Detection Challenge,” Kaggle: Your Machine Learning and Data Science Community. [Electronic resource]. Available: https://www.kaggle.com/competitions/airbus-ship-detection . Accesed: May 30, 2024.
M. Shugaev, “Unet34 submission TTA (0.699 new public LB),” Kaggle: Your Machine Learning and Data Science Community. [Electronic resource]. Available: https://www.kaggle.com/code/iafoss/unet34-submission-tta-0-699-new-public-lb . Accesed: May 30, 2024.
##submission.downloads##
-
PDF
Завантажень: 47
Опубліковано
Як цитувати
Номер
Розділ
Ліцензія
Ця робота ліцензується відповідно до Creative Commons Attribution 4.0 International License.
Автори, які публікуються у цьому журналі, згодні з такими умовами:
- Автори зберігають авторське право і надають журналу право першої публікації.
- Автори можуть укладати окремі, додаткові договірні угоди з неексклюзивного поширення опублікованої журналом версії статті (наприклад, розмістити її в інститутському репозиторії або опублікувати її в книзі), з визнанням її первісної публікації в цьому журналі.
- Авторам дозволяється і рекомендується розміщувати їхню роботу в Інтернеті (наприклад, в інституційних сховищах або на їхньому сайті) до і під час процесу подачі, оскільки це сприяє продуктивним обмінам, а також швидшому і ширшому цитуванню опублікованих робіт (див. вплив відкритого доступу).
