ЗНАННЯ-ОРІЄНТОВАНА ІЄРАРХІЧНА МУЛЬТИАГЕНТНА ІНТЕЛЕКТУАЛЬНА СИСТЕМА СЦЕНАРНОГО ПРОГНОЗУВАННЯ ЧАСОВИХ РЯДІВ НА ОСНОВІ LLM
Ключові слова
Анотація
Підвищення точності, надійності та узгодженості сценарного прогнозування часових рядів з високою невизначеністю є однією з ключових проблем сучасних систем підтримки прийняття рішень. Особливу складність такі задачі становлять за наявності пропусків даних, лагових ефектів, змінної сезонності, структурних зламів і необхідності врахування зовнішніх контекстних знань, які часто представлені у текстовій формі. Традиційні методи прогнозування, орієнтовані на оптимізацію окремих моделей, зазвичай не забезпечують узгодженості прогнозів і коректного оцінювання невизначеності в сценарному аналізі.
У роботі запропоновано знання-орієнтовану ієрархічну мультиагентну інтелектуальну систему (ІМАІС) сценарного прогнозування часових рядів, у якій великі мовні моделі (LLM) використовуються як спеціалізовані інтелектуальні агенти з чітко розподіленими ролями, які не перетинаються. На основі структурно-функціональної декомпозиції та системного підходу виділено три основні класи (рівні ієрархії) інтелектуальних агентів: агенти підготовки даних та формування ознак, агенти побудови та налаштування прогнозних моделей і агенти кооперації та оцінювання невизначеності прогнозів моделей. Запропоновано формалізацію архітектур ІМАІС та інтегральний багатокритеріальний показник якості, що враховує ефективність підготовки даних, адекватність прогнозування динаміки та каліброваність зон невизначеності.
Сформульовано гіпотези щодо переваг рольової декомпозиції агентів і доведено теорему про Парето-оптимальність ієрархічної ІМАІС зі спеціалізованими класами агентів за середньозваженим інтегральним критерієм якості з додатними вагами. На основі цієї формалізації розроблено відповідний сценарно-орієнтований агент-бенчмарк IMAS-SCOPE (Intelligent Multi-Agent Systems — Scenario Consistency & Optimal Prediction Evaluation), призначений для порівняння альтернативних архітектур мультиагентних систем прогнозування.
Наведено приклад експериментальної реалізації ІМАІС у середовищі Kaggle для сценаріїв на основі реальних даних першої хвилі захворюваності на COVID-19 в Україні. Показано, що для прогнозу різкого спаду після стрімкого зростання приросту кількості нових хворих повноцінна сценарна архітектура A3 забезпечує кращу у 2—3 рази точність прогнозування за метрикою WAPE, усередненою за 2 тижні, кращу на 31 % узгодженість оцінювання і каліброваність невизначеності та краще на 36 % значення інтегрального критерію корисності порівняно з базовою архітектурою A1 за сценарієм прогнозування різкого спаду одразу після стрімкого зростання. Отже, на прикладі доведено підвищення точності (зменшення WAPE), надійності (більша каліброваність зон невизначеності) та узгодженості прогнозів (за даними різних часових інтервалів), що в цілому забезпечує вибір системи з вищою якістю прогнозування і може бути також інтерпретовано і як вибір системи з вищою достовірністю прогнозів.
Отримані результати підтверджують доцільність використання LLM-керованих мультиагентних архітектур і спеціалізованих бенчмарків для задач сценарного прогнозування в умовах високої невизначеності.
