ІНФОРМАЦІЙНА ТЕХНОЛОГІЯ ПЕРЕВІРКИ ВІДПОВІДЕЙ В ІНТЕЛЕКТУАЛЬНІЙ АВТОМАТИЗОВАНІЙ СИСТЕМІ КОНТРОЛЮ ЗНАНЬ

Анотація

Досліджено процес перевірки відповідей в системах тестування на запитання «відкритого» типу (коротка текстова відповідь, есе). Проведено аналіз автоматизованих систем, в яких реалізовано цей процес. Визначено обмеження їх застосування для контролю рівня знань з технічних дисциплін. Аргументовано актуальність досліджень щодо застосування методів «нечіткого» порівняння рядків в задачах перевірки відповідей, поданих у довільній текстовій формі. Запропоновано інформаційну технологію перевірки таких відповідей інтелектуальної автоматизованої системи контролю рівня знань у вигляді структурної поетапної схеми процесу обробки вхідної відповіді. Наведено обчислювальні алгоритми кожного етапу обробки, виконано їх реалізацію мовою C#. На першому етапі виконується «нормалізація» слів відповіді та еталону (правильної відповіді на запитання, яка зберігається в базі даних). Результатом першого етапу є рядкові масиви: перший — набір слів відповіді, другий — слова еталону (не враховуються слова довжиною меншою за чотири символи). Другий етап передбачає циклічний виклик функції знаходження довжини найбільшої загальної підпослідовності слів (LCS) масивів відповідей та еталону. Подано блок-схему процедури обчислення LCS, яка базується на рекурсивному алгоритмі, запропонованому Хіршбергом. Порівняння кожного слова вхідної відповіді з усіма словами еталону, включаючи синоніми, дозволяє знайти довжину LCS навіть у разі незбігу порядку слів у відповіді та еталоні, що є перевагою запропонованого підходу. На третьому етапі відбувається обчислення загального показника подібності відповіді та еталону шляхом знаходження суми LCS окремих слів. Останній етап — формування результату перевірки відповіді на основі значення показника подібності (встановлюється в залежності від вимог: високий рівень збігу — 50 %, достатній — 30 %, низький — 10 %). Проведено випробування запропонованої інформаційної технології обробки відповідей, поданих у довільній текстовій формі. Виконано порівняння отриманих результатів з відстанню Левенштейна та латентно-семантичним аналізом. Запропонована ІТ дає кращий результат під час перевірки відповідей, в яких вживаються слова синоніми.

Кількість неправильних спрацювань для 50 варіантів відповідей різної довжини (від 10 до 200 символів) склала 4 %. В результаті випробування встановлено рекомендовану довжину відповіді та еталону (не більше 200 символів), за якої досягається найбільша точність. Сформовано напрямки майбутніх досліджень: підвищення ефективності алгоритму шляхом введення додаткового етапу обробки, визначення «загальної» міри подібності відповіді та еталону на основі коефіцієнта Жаккара; реалізація автоматизованої інтелектуальної системи контролю рівня знань на базі технології клієнт-сервер; приведення результату перевірки у відносну шкалу оцінювання рівня знань.