Разработка сервиса для сбора и анализа отзывов на элективные дисциплины

Подробнее В данной статье приведен обзор публикаций в области анализа удовлетворенности обучающихся образовательным процессом на основе методов обработки естественного языка. Собрано 197 отзывов студентов на 129 элективных дисциплин Тюменского государственного университета. Проведен сравнительный анализ методов извлечения ключевых слов: статистических TF-IDF, RAKE и YAKE; контекстуального KeyBERT; основанного на графах TextRank. На собранных отзывах, сгруппированных по элективным дисциплинам, наибольшую F1-меру BERTScore с результатом 79 % показал метод RAKE. Путем сбора данных из открытых источников сформирован датасет с 2210 русскоязычными отзывами на курсы различных образовательных платформ. Описано обу-
чение моделей машинного обучения для анализа тональности: метода опорных векторов, логистической регрессии и основанных на архитектуре Transformers, полученных с ресурса Hugging Face, сравнение на вручную размеченной части собранных отзывов. После дообучения модели rubert-base-cased macro-усредненная F1-мера показала 71,6 %. Классификация осуществляется по трем классам (негативный, нейтральный, положительный) не для всего текста отзыва, а в отдельности для каждого предложения из этого текста. Представлена реализация базы данных и информационной системы сбора и обработки отзывов студентов на изученные элективные дисциплины. Модель для анализа тональности отзыва вынесена в отдельный микросервис, связь с которым
осуществляется через интерфейс свободно распространяемого Python-фреймворка FastAPI. Запущенная информационная система призвана помочь студентам выбирать элективы, опираясь на большее количество качественных данных, а преподавателям и администрации вуза – делать выводы для дальнейшей трансформации образовательного пространства, учитывая мнение обучающихся.