ПІДВИЩЕННЯ ЕФЕКТИВНОСТІ ТРАНСФЕРНОГО НАВЧАННЯ ЗА ДОПОМОГОЮ ДИНАМІЧНОГО ВИЗНАЧЕННЯ КІЛЬКОСТІ ШАРІВ ДЛЯ ЗАМОРОЗКИ НА ОСНОВІ ПОДІБНОСТІ КЛАСІВ

Анотація

Запропоновано метод, який автоматично визначає кількість шарів нейронної мережі для заморожування під час трансферного навчання. Цей підхід ґрунтується на використанні косинусної відстані між векторними представленнями класів вихідного та цільового наборів даних, що дозволяє оцінити їхню семантичну близькість і відповідно регулювати глибину заморозки шарів для подальшого перенавчання. На відміну від фіксованих стратегій, динамічний підхід забезпечує гнучкіше використання попередніх знань і зменшує потребу у надмірних обчисленнях. У роботі використано архітектуру ResNet-50 та підмножини класів набору CIFAR-10, для яких формувалися середні векторні значення та обчислювалася косинусна відстань. На основі отриманих значень динамічно визначалося, яку кількість шарів моделі доцільно заморозити та залишити незмінною, а які шари потребують перенавчання. Ефективність методу оцінювалася шляхом порівняння класичного навчання з нуля та навчання із застосуванням цього підходу трансферного навчання. Отримані результати показали, що запропонований підхід сприяє підвищенню якості узагальнення та скороченню часу тренування, демонструючи переваги використання динамічного визначення кількості шарів для заморозки. Метод може застосовуватися у задачах, де важливими є швидка адаптація, обмежені дані та економне використання ресурсів. Запропонована методика є перспективною, оскільки дозволяє ефективно поєднувати точність моделі з меншими обчислювальними витратами, забезпечуючи можливість масштабування, повторного використання певної кількості шарів та швидкої інтеграції у різні прикладні області, завдяки чому вона є цінним інструментом для подальших досліджень і практичних застосувань сьогодення.