Інформаційні технології та комп'ютерна техніка

ІНФОРМАЦІЙНА ТЕХНОЛОГІЯ ПЕРЕВІРКИ ВІДПОВІДЕЙ В ІНТЕЛЕКТУАЛЬНІЙ АВТОМАТИЗОВАНІЙ СИСТЕМІ КОНТРОЛЮ ЗНАНЬ

Автор(и)

К. Т. Кузьма
Миколаївський національний університет імені В.О. Сухомлинського ROR
DOI https://doi.org/10.31649/1997-9266-2020-151-4-58-66

Ключові слова

інтелектуальна система тестовий контроль знань відповіді у довільній текстовій формі «нечітке» порівняння рядків довжина найбільшої загальної підпослідовності алгоритм Хіршберга

Анотація

Досліджено процес перевірки відповідей в системах тестування на запитання «відкритого» типу (коротка текстова відповідь, есе). Проведено аналіз автоматизованих систем, в яких реалізовано цей процес. Визначено обмеження їх застосування для контролю рівня знань з технічних дисциплін. Аргументовано актуальність досліджень щодо застосування методів «нечіткого» порівняння рядків в задачах перевірки відповідей, поданих у довільній текстовій формі. Запропоновано інформаційну технологію перевірки таких відповідей інтелектуальної автоматизованої системи контролю рівня знань у вигляді структурної поетапної схеми процесу обробки вхідної відповіді. Наведено обчислювальні алгоритми кожного етапу обробки, виконано їх реалізацію мовою C#. На першому етапі виконується «нормалізація» слів відповіді та еталону (правильної відповіді на запитання, яка зберігається в базі даних). Результатом першого етапу є рядкові масиви: перший — набір слів відповіді, другий — слова еталону (не враховуються слова довжиною меншою за чотири символи). Другий етап передбачає циклічний виклик функції знаходження довжини найбільшої загальної підпослідовності слів (LCS) масивів відповідей та еталону. Подано блок-схему процедури обчислення LCS, яка базується на рекурсивному алгоритмі, запропонованому Хіршбергом. Порівняння кожного слова вхідної відповіді з усіма словами еталону, включаючи синоніми, дозволяє знайти довжину LCS навіть у разі незбігу порядку слів у відповіді та еталоні, що є перевагою запропонованого підходу. На третьому етапі відбувається обчислення загального показника подібності відповіді та еталону шляхом знаходження суми LCS окремих слів. Останній етап — формування результату перевірки відповіді на основі значення показника подібності (встановлюється в залежності від вимог: високий рівень збігу — 50 %, достатній — 30 %, низький — 10 %). Проведено випробування запропонованої інформаційної технології обробки відповідей, поданих у довільній текстовій формі. Виконано порівняння отриманих результатів з відстанню Левенштейна та латентно-семантичним аналізом. Запропонована ІТ дає кращий результат під час перевірки відповідей, в яких вживаються слова синоніми.

Кількість неправильних спрацювань для 50 варіантів відповідей різної довжини (від 10 до 200 символів) склала 4 %. В результаті випробування встановлено рекомендовану довжину відповіді та еталону (не більше 200 символів), за якої досягається найбільша точність. Сформовано напрямки майбутніх досліджень: підвищення ефективності алгоритму шляхом введення додаткового етапу обробки, визначення «загальної» міри подібності відповіді та еталону на основі коефіцієнта Жаккара; реалізація автоматизованої інтелектуальної системи контролю рівня знань на базі технології клієнт-сервер; приведення результату перевірки у відносну шкалу оцінювання рівня знань.

430 273

Як цитувати

[1]
«ІНФОРМАЦІЙНА ТЕХНОЛОГІЯ ПЕРЕВІРКИ ВІДПОВІДЕЙ В ІНТЕЛЕКТУАЛЬНІЙ АВТОМАТИЗОВАНІЙ СИСТЕМІ КОНТРОЛЮ ЗНАНЬ», Вісник ВПІ, вип. 4, с. 58–66, Вер 2020, doi: 10.31649/1997-9266-2020-151-4-58-66.

Біографія автора

автор К. Т. Кузьма, афіліація Миколаївський національний університет імені В.О. Сухомлинського

канд. техн. наук, доцент кафедри інформаційних технологій

Посилання

Modular Object Oriented Dynamic Learning Environment [Online]. Available: https://moodle.org.
SunRav TestOfficePro. Программа для создания тестов [Электронный ресурс]. Режим доступа: http://sunrav.ru/testofficepro.html .
WriteToLearn is a web-based tool for building writing skills and reading comprehension in grades 4-12. [Online]. Available: https://www.pearsonassessments.com/professional-assessments/products/programs/write-to-learn.html .
Versant. Automated language tests for recruitment, training and student placement [Online]. Available: https://www.pearson.com/english/versant.html .
О. І. Комарницька, «Метод семантичного порівняння нечіткої текстової інформації,» Збірник наукових праць Військового інституту Київського національного університету імені Тараса Шевченка, вип. 47, с. 127-132, 2014. [Електронний ресурс]. Режим доступу: http://nbuv.gov.ua/UJRN/Znpviknu_2014_47_22. Дата звернення: Квіт. 21, 2020.
Ю. Ю. Черепанова, «Контроль знаний с ответами на естественном языке,» Восточно-европейский журнал передовых технологий. Информационные технологии, № 4/2(40)2009, с. 32-36, 2009. [Электронный ресурс]. Режим доступа: http://journals.uran.ua/eejet/article/view/20825/18401. Дата обращения: Апрель 21, 2020.
Ю. П. Кондратенко, и С. О. Волкова, «Програмний комплекс для автоматизованого тестування знань студентів,» Технічні вісті, № 1(22), 2(23), с. 32-36, 2006.
И. Д. Рудинский, Основы формально-структурного моделирования систем обучения и автоматизации тестирования знаний (монография). Москва, РФ: Горячая линия-Телеком, 2004, 204 с.
A. Barlybayev, and A Sharipbay, “An intelligent system for learning, controlling and assessment knowledge”, Information. vol. 18, nо 5(A), pp.1817-1827, 2015.
Heinz Dreher, “Interactive On-line Formative Evaluation of Student Assignments,” Issues in Informing Science and Information Technology, vol. 3, pp. 189-197, 2006. https://doi.org/10.28945/882.
R. Williams, and H. Dreher, “Formative assessment visual feedback in computer graded essays,” Issues in Informing Science and Information Technology, vol. 2, pp. 23-32, 2005. https://doi.org/10.28945/808.
Olga C. Santosa, Jesus G. Boticario, and Diana Pérez-Marín, “Extending web-based educational systems with personalised support through User Centred Designed recommendations along the e-learning life cycle,” Science of Computer Programming, vol. 88, pp. 92-109, 2014. https://doi.org/10.1016/j.scico.2013.12.004.
К. Т. Кузьма, «Аналіз методів перевірки відповіді в системах тестування, поданої в текстовій формі,» Вчені записки ТНУ імені В.І. Вернадського. Серія: Технічні науки», т. 29 (68) № 1, ч. 1, с. 163-167, 2019. [Електронний ресурс]. Режим доступу: http://www.tech.vernadskyjournals.in.ua/journals/2018/1_2018/part_1/30.pdf. Дата звернення: Квіт. 21, 2020.
К. Т. Кузьма, і О. В. Мельник, «Обчислювальна технологія перевірки відповідей у системах тестування,» Вчені записки ТНУ імені В.І. Вернадського. Серія: Технічні науки», т. 31 (70) № 1, ч. 1, с. 85-88. 2020, https://doi.org/10.32838/2663-5941/2020.1-1/15.
Б. Смит, Методы и алгоритмы вычислений на строках: пер. с англ. Москва, Россия, РФ: ООО «И.Д. Вильямс», 2006, 496 с.
D. S. Hirschberg, “A linear space algorithm for computing maximal common subsequences,” Communications of the ACM, vol. 18, no. 6, pp. 341-343, June, 1975. https://doi.org/10.1145/360825.360861.
Orgad Keller, Tsvi Kopelowitz, and Moshe Lewenstein, “On the longest common parameterized subsequence,” Theoretical Computer Science, vol. 410, Issue 51, pp.5347-5353, November, 2009, https://doi.org/10.1016/j.tcs.2009.09.011.