ВИКОРИСТАННЯ НЕЙРОМЕРЕЖІ НА БАЗІ TENSORFLOW ДЛЯ РОЗПІЗНАВАННЯ ЖЕСТІВ ТА КЕРУВАННЯ БІОНІЧНИМ ПРОТЕЗОМ

Р. І. Білий

doi:10.31649/1997-9266-2024-174-3-71-77

Автор(и)

Р. І. Білий Вінницький національний технічний університет

DOI:

https://doi.org/10.31649/1997-9266-2024-174-3-71-77

Ключові слова:

нейромережа, TensorFlow, розпізнавання жестів, біонічний протез, електроміографія, точність розпізнавання

Анотація

У дослідженні детально проаналізовано точність розпізнавання різних жестів за допомогою нейромережі, побудованої на основі TensorFlow для керування біонічним протезом. Проведено серії експериментів із застосуванням наборів даних та параметрів моделі, в яких досліджено наскільки ефективно нейромережа розпізнає різні жести в контексті управління протезом. Результати експериментів дозволяють зрозуміти потенційні обмеження та можливості цієї технології для практичного застосування в реальних умовах. Описано модель та архітектуру нейромережі, функції активації та параметри, які використано для навчання. Також розглянуто параметри навчання, які впливають на ефективність навчання моделі. Для оцінки ефективності моделі використано метрики оцінки моделі, графіки продуктивності моделі, матриця плутанини, — які дозволяють оцінити рівень достовірності та продуктивності навченої нейромережі. Запропоновано методику збору даних електроміографії (ЕМГ), що полягає у використанні електричних сигналів, які виникають у м’язах у разі їхнього скорочення. Цей процес передбачає розміщення електродів на поверхні шкіри над м’язами, що аналізуються, для реєстрації електричних сигналів, які виникають у момент м’язової активності. Такий підхід дозволяє збирати об’єктивні дані про активність м’язів та їхні рухи, які потім можуть бути використані для навчання нейромережі та подальшого використання у керуванні біонічним протезом. Проведено серію експериментів для оцінки точності розпізнавання різних рухів за використання навченої моделі. Аналізуючи результати експериментів, можна зрозуміти, наскільки ефективно та надійно працює навчена модель у реальних умовах та яка її придатність для практичного застосування в системах управління біонічними протезами.

Біографія автора

Р. І. Білий, Вінницький національний технічний університет

аспірант кафедри біомедичної інженерії та опто-електронних систем

Посилання

A. M. Elbreki, S. Ramdan, F. Mohamed, K. Alshari, Z. Rajab, and B. Elhub, “Practical Design of an Upper Prosthetic Limb Using Three Dimensional Printer with an Artificial Intelligence Based Controller,” in Proceedings of the 2022 International Conference on Engineering & MIS (ICEMIS), Istanbul, Turkey, Jul. 4-6, 2022, pp. 1-6.

O. Kerdjidj, K. Amara, F. Harizi, and H. Boumridja, “Implementing Hand Gesture Recognition using EMG on the Zynq Circuit,” IEEE Sensors Journal, vol. 9, pp. 10054-10061, 2023. https://doi.org/10.1109/JSEN.2023.3259150 .

N. M. Hye, U. Hany, S. Chakravarty, L. Akter, and I. Ahmed, “Artificial Intelligence for sEMG-based Muscular Movement Recognition for Hand Prosthesis," IEEE Access, vol. 11, pp. 38850-38863, 2023. https://doi.org/ 10.1109/ACCESS.2023.3267674 .

L. C. Zayia, and P. Tadi, “Neuroanatomy, motor neuron,” StatPearls, StatPearls Publishing, Tampa, FL, USA, 2021.

L. Mc Manus, G. De Vito, and M.M. Lowery, “Analysis and biophysics of surface EMG for physiotherapists and kinesiologists: Toward a common language with rehabilitation engineers,” Frontiers in Neurology, vol. 11, p. 576729, 2020. https://doi.org/10.3389/fneur.2020.576729 .

D. Mahmood, H. N. Riaz, and H. Nisar, “Advances in Non-Invasive Biomedical Signal Sensing and Processing with Machine Learning: Introduction to Non-Invasive Biomedical Signals for Healthcare,” Springer International Publishing, Cham, Switzerland, 2023.

V. Asanza, E. Peláez, F. Loayza, L. L. Lorente-Leyva, and D. H. Peluffo-Ordóñez, “Identification of Lower-Limb Motor Tasks via Brain–Computer Interfaces: A Topical Overview,” Sensors, vol. 22, p. 2028, 2022. https://doi.org/ 10.3390/s22052028 .

I. Daimiel Naranjo et al., “Radiomics and Machine Learning with Multiparametric Breast MRI for Improved Diagnostic Accuracy in Breast Cancer Diagnosis,” Diagnostics, vol. 11, p. 919, 2021. https://doi.org/ 10.3390/diagnostics11060919 .

M. A. Gulum, C. M. Trombley, and M. Kantardzic, “A Review of Explainable Deep Learning Cancer Detection Models in Medical Imaging,” Applied Sciences, vol. 11, p. 4573, 2021. https://doi.org/10.3390/app11104573 .

M. Zivkovic, et al. “A Hybrid CNN and XGBoost Model Tuned by Modified Arithmetic Optimization Algorithm for COVID-19 Early Diagnostics from X-ray Images,” Electronics, vol. 11, p. 3798, 2022. https://doi.org/ 10.3390/electronics11223798

A. Toro-Ossaba, J. Jaramillo-Tigreros, J. C. Tejada, A. Peña, A. López-González, and R.A. Castanho, “LSTM Recurrent Neural Network for Hand Gesture Recognition Using EMG Signals,” Applied Sciences, vol. 12, p. 9700, 2022. https://doi.org/10.3390/app12199700 .

Á. L. Valdivieso Caraguay, J. P. Vásconez, L. I. Barona López, and M. E. Benalcázar, “Recognition of Hand Gestures Based on EMG Signals with Deep and Double-Deep Q-Networks,” Sensors, vol. 23, p. 3905, 2023. https://doi.org/10.3390/s23083905 .

Y. Xu, P. C. Barbosa, J. S. da Cunha Neto, L. Zhang, V. H. C. de Albuquerque, V. Shanmuganathan, and S. Pasupathi, “Development of intelligent and integrated technology for pattern recognition in EMG signals for robotic prosthesis command,” Expert Systems, vol. 40, p. e13109, 2023. https://doi.org/10.1111/exsy.13109 .

K. Dokic, M. Martinovic, and D. Mandusic, “Inference speed and quantisation of neural networks with TensorFlow Lite for Microcontrollers framework,” in Proceedings of the 2020 5th South-East Europe Design Automation, Computer Engineering, Computer Networks and Social Media Conference (SEEDA-CECNSM), Corfu, Greece, Sep. 25-27, 2020, pp. 1-5.

Y. Fang, J. Yang, D. Zhou, and Z. Ju, “Modelling EMG driven wrist movements using a bio-inspired neural network,” Neurocomputing, vol. 470, pp. 89-98, 2022. https://doi.org/10.1016/j.neucom.2021.10.104 .

A. K. Mukhopadhyay, S. Samui, “An experimental study on upper limb position invariant EMG signal classification based on deep neural network,” Biomed. Signal Process. Control. 2020;55:101669. https://doi.org/10.1016/j.bspc.2019.101669 .

D. Buongiorno, et al., “Deep learning for processing electromyographic signals: A taxonomy-based survey,” Neurocomputing, vol. 452, pp. 549-565, 2021. https://doi.org/10.1016/j.neucom.2020.06.139 .

V. Asanza, et al., “SSVEP-EEG Signal Classification based on Emotiv EPOC BCI and Raspberry Pi,” IFAC-PapersOnLine, vol. 54, pp. 388-393, 2021. https://doi.org/10.1016/j.ifacol.2021.10.287 .

A. Constantine, V. Asanza, F. L. Loayza, E. Peláez, and D. Peluffo-Ordóñez, “BCI System using a Novel Processing Technique Based on Electrodes Selection for Hand Prosthesis Control,” IFAC-PapersOnLine, vol. 54, pp. 364-369, 2021. https://doi.org/10.1016/j.ifacol.2021.10.283.

D. Tinoco-Varela, J. A. Ferrer-Varela, R. D. Cruz-Morales, and E. A. Padilla-García, “Design and Implementation of a Prosthesis System Controlled by Electromyographic Signals Means, Characterized with Artificial Neural Networks,” Micromachines, vol. 13, p. 1681, 2022. https://doi.org/10.3390/mi13101681 .

O. K. Kolesnytskyj, I. V. Bokotsey, and S. S. Yaremchuk, “Optoelectronic implementation of pulsed neurons and neural networks using bispin-devices,” Opt. Mem. Neural Networks, no. 19, pp. 154-165, 2010. https://doi.org/10.3103/S1060992X10020062 .