Інформаційні технології та комп'ютерна техніка

ТРАНСФОРМАЦІЯ ЦІЛЬОВОГО КЛАСУ ДЛЯ ЗАДАЧІ СЕГМЕНТАЦІЇ З ВИКОРИСТАННЯМ U-GAN

Автор(и)

Я. О. Ісаєнков
Вінницький національний технічний університет ROR
О. Б. Мокін
Вінницький національний технічний університет ROR
DOI https://doi.org/10.31649/1997-9266-2024-172-1-81-87

Ключові слова

аугментація генерування даних генеративна змагальна мережа сегментація глибоке навчання ГЗМ U-GAN U-генератор

Анотація

Наведено огляд сучасних генеративних змагальних моделей (ГЗМ) для аугментації даних з фокусом на дослідження створення зображень та відповідних до них сегментаційних масок. Це особливо корисно у випадках, коли даних недостатньо, вони важкодоступні, мають конфіденційний характер, або розмітка вимагає значних ресурсів. Робота спрямована на підвищення ефективності процесу аугментації міноритарного класу за рахунок перетворення зображення з іншого класу та створення сегментаційної маски. Запропоновано новий підхід до одночасної генерації зображення та сегментаційної маски з використанням генеративної змагальної мережі, де генератором виступає U-Net. Цей генератор приймає на вхід зображення одного класу та шум, який подається як додатковий канал зображення. Генератор намагається створити зображення іншого класу, мінімізуючи зміни в початковому зображенні та додаючи ознаки іншого, разом з сегментаційною маскою, нового класу. Дискримінатор же визначає, чи є пара картинка–маска реальною чи згенерованою. У моделі для збереження оригінального вигляду вхідного зображення з мінімальними змінами використовується алгоритм, який застосовує тільки ті зміни згенерованого зображення, що вказані створеною сегментаційною маскою. Це дозволяє отримати зображення з ознаками нового класу з мінімальними змінами. Апробацію запропонованого підходу виконано на наборі даних панорамних знімків зубів, на основі якого створено набір зображень окремих зубів, частина з яких з пломбами, а частина — без них. Експериментальний набір даних включав 128 зубів без пломб і 128 з пломбами. Для створення ГЗМ взято всі зображення з пломбами та без пломб і навчено генератор перетворювати зображення без пломб в аналогічні з пломбами. Для перевірки ефективності аугментації проведено два експерименти по 50 симуляцій з різним випадковим станом для тренування сегментаційної моделі U-Net на основі ResNet-34. Перший експеримент використовував тільки реальні дані для тренування, а другий включав 64 додаткові зображення та відповідні маски, створені генератором на основі наявних зображень нульового класу. Середні значення коефіцієнта Жаккара серед всіх симуляцій для першого та другого експериментів відповідно склали 94,2 та 96,1. Це свідчить про те, що дані, згенеровані за допомогою запропонованої аугментації, дійсно сприяють підвищенню якості сегментаційної моделі та цей підхід можна комбінувати разом з іншими типами аугментацій.

794 136

Як цитувати

[1]
«ТРАНСФОРМАЦІЯ ЦІЛЬОВОГО КЛАСУ ДЛЯ ЗАДАЧІ СЕГМЕНТАЦІЇ З ВИКОРИСТАННЯМ U-GAN», Вісник ВПІ, вип. 1, с. 81–87, Лют 2024, doi: 10.31649/1997-9266-2024-172-1-81-87.

Біографії авторів

автор Я. О. Ісаєнков, афіліація Вінницький національний технічний університет

аспірант кафедри системного аналізу та інформаційних технологій

автор О. Б. Мокін, афіліація Вінницький національний технічний університет

д-р техн. наук, професор, професор кафедри системного аналізу та інформаційних технологій

Посилання

P. Dhariwal and A. Q. Nichol, “Diffusion Models Beat GANs on Image Synthesis,” in Advances in Neural Information Processing Systems, 2021. [Online]. Available: https://openreview.net/forum?id=AAWuCvzaVt. Accessed on: January 30, 2024.
V. Sandfort, K. Yan, P. J. Pickhardt, et al., “Data augmentation using generative adversarial networks (CycleGAN) to improve generalizability in CT segmentation tasks,” Sci Rep, vol. 9, Article no. 16884, 2019. https://doi.org/10.1038/s41598-019-52737-x .
H. Mansourifar, L. Chen and W. Shi, “Virtual Big Data for GAN Based Data Augmentation,” 2019 IEEE International Conference on Big Data (Big Data), Los Angeles, CA, USA, 2019, pp. 1478-1487, https://doi.org/10.1109/BigData47090.2019.9006268 .
A. Sauer, K. Schwarz, and A. Geiger, “StyleGAN-XL: Scaling StyleGAN to Large Diverse Datasets,” in ACM SIGGRAPH 2022 Conference Proceedings (SIGGRAPH ‘22), Association for Computing Machinery, New York, NY, USA, 2022, Article 49, pp. 1–10. https://doi.org/10.1145/3528233.3530738 .
O. Ronneberger, P. Fischer, and T. Brox, “U-Net: Convolutional Networks for Biomedical Image Segmentation,” Computer Science Department and BIOSS Centre for Biological Signalling Studies, University of Freiburg, Germany, 2015. [Online]. Available: https://arxiv.org/pdf/1505.04597.pdf . Accessed on: January 30, 2024.
R. Gulakala, B. Markert, and M. Stoffel, “Generative adversarial network based data augmentation for CNN based detection of Covid-19,” Sci Rep, vol. 12, Article no. 19186, 2022. https://doi.org/10.1038/s41598-022-23692-x .
X. Chen, et al., “Generative Adversarial U-Net for Domain-free Medical Image Augmentation,” in arXiv e-prints, 2021. [Online]. Available: https://arxiv.org/pdf/2101.04793.pdf . Accessed on: January 30, 2024.
E. Yıldız, et al., “Generative Adversarial Network Based Automatic Segmentation of Corneal Subbasal Nerves on In Vivo Confocal Microscopy Images,” Trans. Vis. Sci. Tech., vol. 10, no. 6, Article 33, 2021. https://doi.org/10.1167/tvst.10.6.33 .
T. Neff, C. Payer, D. Štern, and M. Urschler, “Generative Adversarial Network based Synthesis for Supervised Medical Image Segmentation,” OAGM & ARW Joint Workshop, 2017. https://doi.org/10.3217/978-3-85125-524-9-30 .
C. Bowles, et al., “GAN Augmentation: Augmenting Training Data using Generative Adversarial Networks,” in arXiv e-prints, 2018. [Online]. Available: https://arxiv.org/abs/1810.10863 . Accessed on: January 30, 2024.
V. Sushko, D. Zhang, J. Gall, and A. Khoreva, “One-Shot Synthesis of Images and Segmentation Masks,” in arXiv e-prints, 2022. [Online]. Available: https://arxiv.org/abs/2209.07547 . Accessed on: January 30, 2024.
T. Malygina, E. Ericheva, and I. Drokin, “Data Augmentation with GAN: Improving Chest X-Ray Pathologies Prediction on Class-Imbalanced Cases,” in W. van der Aalst et al. (Eds.), Analysis of Images, Social Networks and Texts, AIST 2019, Lecture Notes in Computer Science, vol. 11832, Springer, Cham, 2019. https://doi.org/10.1007/978-3-030-37334-429 .
H. Abdi, S. Kasaei, and M. Mehdizadeh, “Automatic segmentation of mandible in panoramic x-ray,” J. Med. Imaging (Bellingham), vol. 2, no. 4, 044003, 2015. [Online]. Available:
https://www.academia.edu/36038975/PreProcessing_of_Dental_X-Ray_Images_Using_Adaptive_Histogram_Equalization_Method. Accessed on: January 30, 2024.
Я. О. Ісаєнков, і О. Б. Мокін, «Аналіз генеративних моделей глибокого навчання та особливостей їх реалізації на прикладі WGAN,» Вісник Вінницького політехнічного інституту, № 1, с. 82-94, Березень 2022. https://doi.org/10.31649/1997-9266-2022-160-1-82-94 .
О. В. Коменчук, і О. Б. Мокін, «Аналіз методів передоброблення панорамних стоматологічних рентгенівських знімків для задач сегментації зображень,» Вісник Вінницького політехнічного інституту, № 5, с. 41-49. Листопад 2023. https://doi.org/10.31649/1997-9266-2023-170-5-41-49 .

Статті цього автора (цих авторів), які найбільше читають

1 2 3 4 5 6 7 8 9 > >>