ВИКОРИСТАННЯ НЕЙРОМЕРЕЖІ НА БАЗІ TENSORFLOW ДЛЯ РОЗПІЗНАВАННЯ ЖЕСТІВ ТА КЕРУВАННЯ БІОНІЧНИМ ПРОТЕЗОМ
DOI:
https://doi.org/10.31649/1997-9266-2024-174-3-71-77Ключові слова:
нейромережа, TensorFlow, розпізнавання жестів, біонічний протез, електроміографія, точність розпізнаванняАнотація
У дослідженні детально проаналізовано точність розпізнавання різних жестів за допомогою нейромережі, побудованої на основі TensorFlow для керування біонічним протезом. Проведено серії експериментів із застосуванням наборів даних та параметрів моделі, в яких досліджено наскільки ефективно нейромережа розпізнає різні жести в контексті управління протезом. Результати експериментів дозволяють зрозуміти потенційні обмеження та можливості цієї технології для практичного застосування в реальних умовах. Описано модель та архітектуру нейромережі, функції активації та параметри, які використано для навчання. Також розглянуто параметри навчання, які впливають на ефективність навчання моделі. Для оцінки ефективності моделі використано метрики оцінки моделі, графіки продуктивності моделі, матриця плутанини, — які дозволяють оцінити рівень достовірності та продуктивності навченої нейромережі. Запропоновано методику збору даних електроміографії (ЕМГ), що полягає у використанні електричних сигналів, які виникають у м’язах у разі їхнього скорочення. Цей процес передбачає розміщення електродів на поверхні шкіри над м’язами, що аналізуються, для реєстрації електричних сигналів, які виникають у момент м’язової активності. Такий підхід дозволяє збирати об’єктивні дані про активність м’язів та їхні рухи, які потім можуть бути використані для навчання нейромережі та подальшого використання у керуванні біонічним протезом. Проведено серію експериментів для оцінки точності розпізнавання різних рухів за використання навченої моделі. Аналізуючи результати експериментів, можна зрозуміти, наскільки ефективно та надійно працює навчена модель у реальних умовах та яка її придатність для практичного застосування в системах управління біонічними протезами.
Посилання
A. M. Elbreki, S. Ramdan, F. Mohamed, K. Alshari, Z. Rajab, and B. Elhub, “Practical Design of an Upper Prosthetic Limb Using Three Dimensional Printer with an Artificial Intelligence Based Controller,” in Proceedings of the 2022 International Conference on Engineering & MIS (ICEMIS), Istanbul, Turkey, Jul. 4-6, 2022, pp. 1-6.
O. Kerdjidj, K. Amara, F. Harizi, and H. Boumridja, “Implementing Hand Gesture Recognition using EMG on the Zynq Circuit,” IEEE Sensors Journal, vol. 9, pp. 10054-10061, 2023. https://doi.org/10.1109/JSEN.2023.3259150 .
N. M. Hye, U. Hany, S. Chakravarty, L. Akter, and I. Ahmed, “Artificial Intelligence for sEMG-based Muscular Movement Recognition for Hand Prosthesis," IEEE Access, vol. 11, pp. 38850-38863, 2023. https://doi.org/ 10.1109/ACCESS.2023.3267674 .
L. C. Zayia, and P. Tadi, “Neuroanatomy, motor neuron,” StatPearls, StatPearls Publishing, Tampa, FL, USA, 2021.
L. Mc Manus, G. De Vito, and M.M. Lowery, “Analysis and biophysics of surface EMG for physiotherapists and kinesiologists: Toward a common language with rehabilitation engineers,” Frontiers in Neurology, vol. 11, p. 576729, 2020. https://doi.org/10.3389/fneur.2020.576729 .
D. Mahmood, H. N. Riaz, and H. Nisar, “Advances in Non-Invasive Biomedical Signal Sensing and Processing with Machine Learning: Introduction to Non-Invasive Biomedical Signals for Healthcare,” Springer International Publishing, Cham, Switzerland, 2023.
V. Asanza, E. Peláez, F. Loayza, L. L. Lorente-Leyva, and D. H. Peluffo-Ordóñez, “Identification of Lower-Limb Motor Tasks via Brain–Computer Interfaces: A Topical Overview,” Sensors, vol. 22, p. 2028, 2022. https://doi.org/ 10.3390/s22052028 .
I. Daimiel Naranjo et al., “Radiomics and Machine Learning with Multiparametric Breast MRI for Improved Diagnostic Accuracy in Breast Cancer Diagnosis,” Diagnostics, vol. 11, p. 919, 2021. https://doi.org/ 10.3390/diagnostics11060919 .
M. A. Gulum, C. M. Trombley, and M. Kantardzic, “A Review of Explainable Deep Learning Cancer Detection Models in Medical Imaging,” Applied Sciences, vol. 11, p. 4573, 2021. https://doi.org/10.3390/app11104573 .
M. Zivkovic, et al. “A Hybrid CNN and XGBoost Model Tuned by Modified Arithmetic Optimization Algorithm for COVID-19 Early Diagnostics from X-ray Images,” Electronics, vol. 11, p. 3798, 2022. https://doi.org/ 10.3390/electronics11223798
A. Toro-Ossaba, J. Jaramillo-Tigreros, J. C. Tejada, A. Peña, A. López-González, and R.A. Castanho, “LSTM Recurrent Neural Network for Hand Gesture Recognition Using EMG Signals,” Applied Sciences, vol. 12, p. 9700, 2022. https://doi.org/10.3390/app12199700 .
Á. L. Valdivieso Caraguay, J. P. Vásconez, L. I. Barona López, and M. E. Benalcázar, “Recognition of Hand Gestures Based on EMG Signals with Deep and Double-Deep Q-Networks,” Sensors, vol. 23, p. 3905, 2023. https://doi.org/10.3390/s23083905 .
Y. Xu, P. C. Barbosa, J. S. da Cunha Neto, L. Zhang, V. H. C. de Albuquerque, V. Shanmuganathan, and S. Pasupathi, “Development of intelligent and integrated technology for pattern recognition in EMG signals for robotic prosthesis command,” Expert Systems, vol. 40, p. e13109, 2023. https://doi.org/10.1111/exsy.13109 .
K. Dokic, M. Martinovic, and D. Mandusic, “Inference speed and quantisation of neural networks with TensorFlow Lite for Microcontrollers framework,” in Proceedings of the 2020 5th South-East Europe Design Automation, Computer Engineering, Computer Networks and Social Media Conference (SEEDA-CECNSM), Corfu, Greece, Sep. 25-27, 2020, pp. 1-5.
Y. Fang, J. Yang, D. Zhou, and Z. Ju, “Modelling EMG driven wrist movements using a bio-inspired neural network,” Neurocomputing, vol. 470, pp. 89-98, 2022. https://doi.org/10.1016/j.neucom.2021.10.104 .
A. K. Mukhopadhyay, S. Samui, “An experimental study on upper limb position invariant EMG signal classification based on deep neural network,” Biomed. Signal Process. Control. 2020;55:101669. https://doi.org/10.1016/j.bspc.2019.101669 .
D. Buongiorno, et al., “Deep learning for processing electromyographic signals: A taxonomy-based survey,” Neurocomputing, vol. 452, pp. 549-565, 2021. https://doi.org/10.1016/j.neucom.2020.06.139 .
V. Asanza, et al., “SSVEP-EEG Signal Classification based on Emotiv EPOC BCI and Raspberry Pi,” IFAC-PapersOnLine, vol. 54, pp. 388-393, 2021. https://doi.org/10.1016/j.ifacol.2021.10.287 .
A. Constantine, V. Asanza, F. L. Loayza, E. Peláez, and D. Peluffo-Ordóñez, “BCI System using a Novel Processing Technique Based on Electrodes Selection for Hand Prosthesis Control,” IFAC-PapersOnLine, vol. 54, pp. 364-369, 2021. https://doi.org/10.1016/j.ifacol.2021.10.283.
D. Tinoco-Varela, J. A. Ferrer-Varela, R. D. Cruz-Morales, and E. A. Padilla-García, “Design and Implementation of a Prosthesis System Controlled by Electromyographic Signals Means, Characterized with Artificial Neural Networks,” Micromachines, vol. 13, p. 1681, 2022. https://doi.org/10.3390/mi13101681 .
O. K. Kolesnytskyj, I. V. Bokotsey, and S. S. Yaremchuk, “Optoelectronic implementation of pulsed neurons and neural networks using bispin-devices,” Opt. Mem. Neural Networks, no. 19, pp. 154-165, 2010. https://doi.org/10.3103/S1060992X10020062 .
##submission.downloads##
-
PDF
Завантажень: 60
Опубліковано
Як цитувати
Номер
Розділ
Ліцензія
Ця робота ліцензується відповідно до Creative Commons Attribution 4.0 International License.
Автори, які публікуються у цьому журналі, згодні з такими умовами:
- Автори зберігають авторське право і надають журналу право першої публікації.
- Автори можуть укладати окремі, додаткові договірні угоди з неексклюзивного поширення опублікованої журналом версії статті (наприклад, розмістити її в інститутському репозиторії або опублікувати її в книзі), з визнанням її первісної публікації в цьому журналі.
- Авторам дозволяється і рекомендується розміщувати їхню роботу в Інтернеті (наприклад, в інституційних сховищах або на їхньому сайті) до і під час процесу подачі, оскільки це сприяє продуктивним обмінам, а також швидшому і ширшому цитуванню опублікованих робіт (див. вплив відкритого доступу).
