смирнова мнш 2013_3
Download as ppt, pdf0 likes627 views
Документ описывает разработку методов автоматического решения задач и обучаемой модели в образовательных средах. Основное внимание уделяется мотивационно-волевым компонентам, параметрической идентификации и алгоритмам автоматизированной проверки решений студентов. В результате экспериментов были получены данные для анализа, подтверждающие эффективность предложенных методов и алгоритмов.
![Параметрическая идентификация МВК-2
Соотнесение оценок эксперта вида X1X2X3 с действиями студента может быть
реализовано несколькими способами.
2 алгоритма адаптивного разбиения 5-минутного фрагмента на 3 однородных интервалаРазличные алгоритмы формирования
точек для обучения (f1-scores)
[100,100,100] 0.62 0.22 0.23
Адапт 1 0.65 0.22 0.29
Адапт 2 0.64 0.16 0.23
«Огрубление» 0.72 0.44 0.26
Avg test f1-score («Усилия»): [0.64, 0.59]
Этап анализа ошибок:
• стратифицированный k-fold,
• другие наборы признаков,
• изменение данных (undersampling, oversampling, исключение шума в оценках
экспертов)](https://image.slidesharecdn.com/20133-130523130356-phpapp02/85/2013_3-4-320.jpg)
![Автоматизированная проверка решений-2. Пример работы алгоритма решения
ПР-проблемы
6
Шаг студента:
Стоп. Совпало с
Ответ:
Все время сравниваем то,
что получается, с
( , ) ( , )p a b c c=
( , )p a b
( , )c c
( , )],[( , )][| | c c c cc =
| |c
( , )p a b ( , )p a b
( , ), ( , ) | |],[( , ),| |][| | c c p a b c c c cc ==
( , ), ( , ) | |][| | c c p a b cc ==](https://image.slidesharecdn.com/20133-130523130356-phpapp02/85/2013_3-6-320.jpg)
смирнова мнш 2013_3
- 1. 1 Разработка методов автоматического решения задач и моделей обучаемого в обучающих средах Смирнова Н.В.
- 2. 2 Анализатор действий обучаемого Автор курса -подсказка -показ примера -… Авторский инструментарий Коммуникационная модель Интерфейс Решение обучаемого (шаг решения) Прочие действия обучаемого (запрос подсказок и т.д.) Модель обучаемого • Самостоятельность • Усилия • Фрустрац. поведение … Модуль управления процессом обучения … Обучаемый Режим офф-лайн Решение, синтезированное программами ИОС (шаг решения) Модель предметной области •Базовые понятия •правила Решатели задач Педагогическая модель • Стратегии • Учебный план … Направленность исследований Методы принятия решений
- 3. Параметрическая идентификация МВК-1 Мотивационно-волевой компонент модели обучаемого (МВК) : •«Самостоятельность», •«Усилия», •«Фрустрационное поведение», Применение МВК: •управление учебным процессом, •диагностика плохо проработанных мест курса, •оценивание студентов перед экзаменом/зачетом Цель эксперимента: апробация отличного (и, возможно, более рационального) протокола сбора и обработки данных Собраны данные для параметрической идентификации •23 студента решали 1 или 2 задачи в системе, •2 эксперта (преподаватели факультета) оценивали каждый 5-минутный фрагмент деятельности студентов, •790 оценок для каждого из 2 показателей, •проблема смещенных классов, •высокая вероятность шума в экспертных оценках Распределение экспертных оценок (показатель «Усилия»)
- 4. Параметрическая идентификация МВК-2 Соотнесение оценок эксперта вида X1X2X3 с действиями студента может быть реализовано несколькими способами. 2 алгоритма адаптивного разбиения 5-минутного фрагмента на 3 однородных интервалаРазличные алгоритмы формирования точек для обучения (f1-scores) [100,100,100] 0.62 0.22 0.23 Адапт 1 0.65 0.22 0.29 Адапт 2 0.64 0.16 0.23 «Огрубление» 0.72 0.44 0.26 Avg test f1-score («Усилия»): [0.64, 0.59] Этап анализа ошибок: • стратифицированный k-fold, • другие наборы признаков, • изменение данных (undersampling, oversampling, исключение шума в оценках экспертов)
- 5. Автоматизированная проверка решений-1 Шаг студента – фрагмент решения минимальной длины, который может быть проверен системой на правильность Верификация шага Расчет прогресса в решении Обновление инф. в БД (для подсказок, оценки за решение) Сообщение студенту результата проверки шагаУточняющий вопрос ?
- 6. Автоматизированная проверка решений-2. Пример работы алгоритма решения ПР-проблемы 6 Шаг студента: Стоп. Совпало с Ответ: Все время сравниваем то, что получается, с ( , ) ( , )p a b c c= ( , )p a b ( , )c c ( , )],[( , )][| | c c c cc = | |c ( , )p a b ( , )p a b ( , ), ( , ) | |],[( , ),| |][| | c c p a b c c c cc == ( , ), ( , ) | |][| | c c p a b cc ==
- 7. Автоматизированная проверка решений-3. Борьба с имитацией правильно введенных шагов Пусть студент узнал, что (c,c)=8 и (c,c) некоторым образом зависит от c1,c2 и ввел формулу f: (c,c)= c1 + c2 + 12 Это имитация правильно введенного шага! Проверка на имитацию правильно введенного шага 1. С помощью отношений вычислимости получаем выражение e: c1 2 + c2 2 2. Заменяем в e все переменные, кроме встречающихся в правой части f на числовые значения, получаем: c1 2 + c2 2 3. simplify(c1 + c2 + 12 - (c1 2 + c2 2 )) != 0 Обнаружена имитация
- 8. Результаты • Получены некоторые результаты по параметрической идентификации МВК модели обучаемого, • Предложен алгоритм определения прогресса в решении студента, на примерах показаны его преимущества по сравнению с известным алгоритмом (Andes Physics Tutor): поддерживается проверка формул, содержащих векторы и матрицы, большая простота в реализации. Показано: оба алгоритма уязвимы к имитации правильно введенных шагов. Исследованы различные случаи форм шагов студента, для каждого случая предложены допольнительные эвристики. Публикации ВАК: • Смирнова Н.В., Шварц А.Ю. Мотивационно-волевой компонент модели обучаемого в следящих интеллектуальных системах. Часть 1/Часть 2. Искусственный интеллект и принятие решений, 2012, № 1, № 2. • Васильев С.Н., Смирнова Г.С., Сабитов Ш.Р., Сиразетдинов Б.Р., Смирнова Н.В. Архитектура и функции следящей интеллектуальной обучающей системы «Волга». Вестник КГТУ им. А.Н. Туполева Докладов в сборниках конференций: 7 Конференции: • «Современные информационные технологии и ИТ-образование», • «Современные технологии, материалы, оборудование и ускоренное восстановление квалифицированного кадрового потенциала – ключевые звенья в возрождении отечественного и ракетостроения», • «Информационно-технологическое обеспечение образовательного процесса государств-участников СНГ»