КОНСОЛІДОВАНЕ РАНЖУВАННЯ СУЧАСНИХ ХМАРНИХ ОНЛАЙН-СЕРВІСІВ РОЗПІЗНАВАННЯ ОБ’ЄКТІВ НА ЗОБРАЖЕННЯХ
DOI:
https://doi.org/10.31649/1997-9266-2023-171-6-39-45Ключові слова:
розпізнавання об’єктів, хмарні сервіси, метрика, ранжування, зображенняАнотація
Автоматизація розпізнавання об’єктів на зображеннях є доволі поширеною задачею з очевидним практичним застосування у промисловому виробництві, медицині, транспорті, безпеці та інших галузях. Сьогодні існує кілька хмарних сервісів, які пропонують онлайн-інструменти для вирішення різних завдань, пов’язаних з розпізнаванням зображень. Вони мають низку переваг над традиційними інструментами. Наразі відсутні методи, які б дозволили користувачу виявити, якій саме хмарний сервіс найкраще підходить під його задачі. При цьому оцінювання має бути стислим і базуватися на використанні обмеженого набору профільних зображень. Відповідно типовий метод грубої сили, який потребує завантаження та аналізу великої кількості зображень є неприйнятним. Метод має ґрунтуватися на деталізованому аналізі результатів розпізнавання за малим набором тестових зображень з урахуванням особливостей хмарних сервісів. В роботі запропоновано метод ранжування хмарних сервісів за малих тестових датасетів. При цьому користувач формує тестові датасети з урахуванням профілю власних задач розпізнавання об’єктів. Запропонований метод базується на трьох частинних метриках, кожна з яких враховує ту чи іншу особливість хмарних сервісів. Перша метрика — це різниця між добутком рівнів впевненості правильно розпізнаних об’єктів та добутком рівнів впевненості хибно розпізнаних об’єктів. Друга метрика — це медіанне значення довжини списку виявлених об'єктів до першої помилки. Список об’єктів має бути відсортовано за спаданням впевненості. Перші дві частинні метрики є традиційними, а третя — новою. Фінальне рішення ухвалюється за консолідованим рейтингом, який агрегує три частинні метрики. Застосування методу ілюструється на задачі ранжування хмарних сервісів Microsoft Azure AI Vision Studio, Amazon Rekognition, Google Cloud Vision та Imagga.
Посилання
Z. Zou, K. Chen, Z. Shi, Y. Guo, and J. Ye, “Object Detection in 20 Years: A Survey,” Proceedings of the IEEE, no. 111 (3), pp. 257-276,2023). https://doi.org/10.1109/JPROC.2023.3238524 .
N. Pinto, D. D. Cox, and J. J. DiCarlo, “Why is real-world visual object recognition hard?” PLoS Computational Biology, no. 4 (1), pp. 0151-0156, 2008. https://doi.org/10.1371/journal.pcbi.0040027 .
A. Berg, and M. Nelimarkka, “Do you see what I see? Measuring the semantic differences in image-recognition services’ outputs,” Journal of the Association for Information Science and Technology, no. 74(11), pp. 1307-1324, 2023. https://doi.org/10.1002/asi.24827 .
T. Araujo, I. Lock, and B. van de Velde, “Automated Visual Content Analysis (AVCA) in Communication Research: a Protocol for Large Scale Image Classification with Pre-Trained Computer Vision Models,” Communication Methods and Measures, no. 14(4), pp. 239-265, 2020. https://doi.org/10.1080/19312458.2020.1810648 .
Ethan Shafer, Jesse Wood, Sheyla Street, Enoch Crow, Calvin Lu, “Social Bias and Image Tagging: Evaluation of Progress in State-of-the-Art Models,” in book Advances in Visual Computing https://doi.org/10.1007/978-3-031-47966-3_26 .
How To Calculate the Confidence Interval. [Electronic resource]. Available: https://www.indeed.com/career-advice/career-development/how-to-calculate-confidence-interval .
R. Padilla, W. L. Passos, T. L. B. Dias, S. L. Netto, and E. A. B. Da Silva, “A comparative analysis of object detection metrics with a companion open-source toolkit,” Electronics (Switzerland), no. 10 (3), pp. 1-28, 2021. https://doi.org/10.3390/electronics10030279 .
##submission.downloads##
-
PDF
Завантажень: 71
Опубліковано
Як цитувати
Номер
Розділ
Ліцензія
Ця робота ліцензується відповідно до Creative Commons Attribution 4.0 International License.
Автори, які публікуються у цьому журналі, згодні з такими умовами:
- Автори зберігають авторське право і надають журналу право першої публікації.
- Автори можуть укладати окремі, додаткові договірні угоди з неексклюзивного поширення опублікованої журналом версії статті (наприклад, розмістити її в інститутському репозиторії або опублікувати її в книзі), з визнанням її первісної публікації в цьому журналі.
- Авторам дозволяється і рекомендується розміщувати їхню роботу в Інтернеті (наприклад, в інституційних сховищах або на їхньому сайті) до і під час процесу подачі, оскільки це сприяє продуктивним обмінам, а також швидшому і ширшому цитуванню опублікованих робіт (див. вплив відкритого доступу).
