МОДЕЛЬ ПОДАННЯ МУЛЬТИМОДАЛЬНИХ ДАНИХ ДЛЯ КОМПЛЕКСНОГО ОПИСУ ОБ’ЄКТІВ СПОСТЕРЕЖЕННЯ

Анотація

Розглянуто проблему комплексного подання мультимодальних даних про об’єкт спостереження, характеристики якого вимірюються та досліджуються з урахуванням часу та взаємозв’язку між даними різних модальностей. Ця проблема є актуальною для багатьох інженерних задач. Зокрема, комплексне подання даних про фізичний об’єкт є важливим у технології цифрових двійників, яка останнім часом набуває ширшого застосування. Виходячи з того, що цифровий двійник визначається поведінковою моделлю та візуальною моделлю, у статті запропоновано модель даних, що ґрунтується на понятті мукселю, який є мінімальним елементом мультимодальних даних. Ця модель дозволяє комплексне та несуперечливе подання даних про об’єкт спостереження.

Математична модель комплексного подання мультимодальних даних ґрунтується на поняттях агрегату та мультиобразу, визначених у алгебраїчній системі агрегатів. Проаналізовано зв’язок між комплексним поданням та обробленням мультимодальних даних, визначених у часі, за допомогою апарату алгебраїчної системи агрегатів та розглядом наборів агрегованих даних як функцій багатьох змінних. Таким чином, оброблення даних муксельної моделі може виконуватись, як із застосуванням логічних операцій, операцій впорядкування та відношень, визначених у алгебраїчній системі агрегатів, так й операцій і підходів, визначених у інших математичних концепціях.

Оскільки муксельна модель представляє дані великого обсягу, доцільно оптимізувати спосіб подання даних. Цього можна досягти ущільненням даних, модифікацією структури даних або комбінацією першого та другого підходу. У першому підході доцільно застосувати ущільнення даних муксельної моделі на основі методу RLE. У другому підході пропонується застосовувати структури даних, аналогічні розрідженому воксельному октодереву, що застосовується для зменшення обсягів даних моделей у воксельній графіці. Практична реалізація оброблення мультимодальних даних, представлених за допомогою муксельної моделі, може бути виконана за допомогою мови програмування ASAMPL.