�ݺ�ߣ

Автоматизированный анализ
психического состояния студентов
на основе истории их деятельности
в обучающей системе
Н.В. Смирнова
ИПУ РАН, 2012

Следящие интеллектуальные обучающие системы

Мотивационно-волевой компонент модели обучаемого
(МВК)
МВК отражает:
• психическое состояние студента во время решения задач
• степень рациональности организации его познавательной
деятельности
Применение МВК:
• интеллектуальное управление учебным процессом
• выявление плохо проработанных мест учебного курса
• анализ состава студентов (например, перед экзаменом или
зачетом)

Построение МВК. Обучение по прецедентам. Часть 1
Построить МВК == решить задачи обучения по прецедентам *
*Воронцов К.В. Математические методы обучения по прецедентам (теория
обучения машин). Курс лекций ВМК МГУ и МФТИ, 2011
прецедент 1 0 1 -1 2
…
прецедент n 2 2 3 4
 Требуется по частным данным выявить общие зависимости, присущие
всем прецедентам (и тем, которые еще не наблюдались)
 Обучение без учителя (пример: задача кластеризации)
 Обучение с учителем (для каждого прецедента задается «метка», найти
зависимость между значениями признаков и «метками»)
обучающая выборка
значения признаков

Построение МВК. Обучение по прецедентам. Часть 2
Построить МВК == решить задачи обучения по прецедентам – задачи
классификации
Этапы решения задачи обучения по прецедентам*:
• фиксируется модель восстанавливаемой зависимости
• вводится функционал качества модели
• алгоритм обучения ищет такой набор параметров модели, при котором
функционал качества принимает оптимальное значение
прецедент 1, L 0 1 -1 2
прецедент 2 , H 5 3 -4 1
…
прецедент n , M 2 2 3 4
---------------------------------------------------
прецедент n+1, 3 1 1 -2 -> H,L или M?
взято с www.machinelearning.ru

Обзор литературы по теме исследования. Часть 1
Обучающие среды:
• следящие (2 работы),
• обучающие
программированию (1),
• ивриту (1),
• концепциям мобильной
робототехники (1), и т.д.
Больше всего признаков связано с этими действиями:
взаимодействие с подсказками/подсистемой автоматической проверки
фрагментов решения
Методы измерения варьируются от
линейно изменяющихся величин с эмпирически заданными
коэффициентами до байесовских сетей
Превалирующие показатели:
• «Самостоятельность»,
• «Усилия»,
• «Детектирование
нерационального поведения»

Автору не известны модели психического состояния студента,
оценки которых были бы достаточно точны на данных,
собранных в разные дни с участием разных студентов
Проблема:
Ежеминутно происходит много событий, которые могут
свидетельствовать об изменении того или иного показателя МВК
Как и когда эксперт должен выставлять оценки? Как соотносить
их с действиями студента?

Пример протокола сбора и обработки экспертных оценок*:
Эксперт оценивает поведение студента в те моменты, когда оно
существенно изменяется
Для сопоставления действий студентов с оценками экспертов
использовались «временные окна»
2-мин «временное окно»:
для генерации точки обучения используются действия,
произошедшие в интервале [t-120с, t+120с],
t – время фиксации экспертной оценки
*Baker R.S.J.d (et al) Developing a Generalizable Detector of When Students Game the System //
Springer-Verlag Berlin Heidelberg, 2008. User Modeling and User-Adapted Interaction. Vol. 18.
№ 3. pp. 287-314

Еще один пример протокола сбора и обработки экспертных
оценок*:
Эксперты оценивают отдельные фрагменты истории действий
студентов в системе
Вероятность выбора фрагмента зависит от того, сколько действий
студента в нем зафиксировано
*Baker R.S.J.d (et al) Labeling Student Behavior Faster and More Precisely with Text Replays //
Educational Data Mining, 2008. pp. 38-47
Актуальна проблема усовершенствования протокола сбора и
обработки экспертных оценок. Цель статьи – апробация
альтернативного протокола (оценки каждые n секунд)

МВК: психолого-педагогический базис. Часть 1
 Оценка психологического состояния студента с помощью показателей*:
*разработано при участии н.с. факультета психологии МГУ А.Ю. Шварц

МВК: психолого-педагогический базис. Часть 2*
*разработано при участии н.с. факультета психологии МГУ А.Ю. Шварц
Показатель увеличивается уменьшается
«Самостоятельность» … …
«Усилия» … …
«Фрустрационное
поведение»
появление «хаотической
деятельности»: студент во
время редактирования шага
много раз и быстро
переисправляет введенную
информацию,
несколько раз проверяет
введенный шаг, а система его
не засчитывает,
нецеленаправленно
обращается то к одному, то к
другому элементу
интерфейса, переключается
между окнами,
и т.п.
1)если система
засчитывает студенту шаг
как правильный,
2)с течением времени,
если отсутствуют
проявления хаотичной
деятельности.

Измерение МВК. Часть 1
 Одномоментные события (проверка фрагмента решения)
 Длительные события (чтение теоретического материала)
Признаки на основе одномоментных событий:
• количество появлений,
• средний интервал между появлениями,
• …
Признаки на основе длительных событий:
• cредняя длительность,
• количество появлений длительностью менее 7 сек,
• …
В истории действий студента в системе могут быть:
Другие признаки:
(например, оценка на
предыдущем интервале)

13
Измерение МВК. Часть 2
Текущее значение каждого показателя оценивается с помощью вектора вида
вероятность того, что текущее
значение низкое
вероятность того, что текущее
значение высокое
Логистическая функция
ze
zf 

1
1)(
0 1 1 2 2 ... .k kz x x x       
признак
регрессионный
коэффициент
(0.1, 0.6, 0.3) – средний уровень
(0.8, 0.1, 0.1) – высокий уровень
))(
'''
),(
''
),(
'
( XfXfXf


Задача 2. Коэффициенты (принадлежность к классу M)
14
Подбор коэффициентов логистических функций. Часть 1
Обучающая выборка – совокупность пар вида
}1,1{,,,...,1),,(  iiii yRxliyx n
Техника «один-против-всех». Пусть {H,M,L} – множество всех меток классов.
Задача 1. Коэффициенты (принадлежность к классу H)
Задача 3. Коэффициенты (принадлежность к классу L)

Текущее значение каждого показателя оценивается с помощью вектора вида
15
Обучающая выборка – совокупность пар вида
Искомые коэффициенты минимизируют
функцию потерь
Функция потерь
ze
zf 

1
1)(
0 1 1 2 2 ... .k kz x x x       
признакрегрессионный
коэффициент
}1,1{,,,...,1),,(  iiii yRxliyx n
)1log()(
1
 


l
i
ixTiy
eCf 
L1 L2


T
2
1
min||min
1


n
i i


))(
'''
),(
''
),(
'
( XfXfXf


16
Минимизация осуществляется с помощью trust region newton method
Для нахождения на каждой итерации необходимо переходить в точку
с меньшим значением функции
Основная идея методов доверительных областей*:
Аппроксимировать f посредством более простой функции q, которая достаточно
правдоподобно отображает поведение f в окрестности N точки x
• Рассчитывается пробный шаг s:
• Если , текущая точка переходит в состояние x+s, иначе область N
претерпевает некое сокращение и расчет пробного шага повторяется
argmin ( )f x
x
{min ( ), }q s s Ns 
( ) ( )f x s f x 
*А.Г. Трифонов. Алгоритмы большой размерности
http://matlab.exponenta.ru/optimiz/book_1/17.php

Сбор экспертных оценок (предлагаемый протокол)
«Если в течение 5-минутного
фрагмента
• показатель существенно не
изменялся, укажите его
преимущественное значение.
Например: Н (т.е. значение
показателя преимущественно
было низким).
• существенно изменялся
один раз, укажите его
преимущественное значение
ближе к началу, середине и концу
5-минутного фрагмента. Например:
НСН (в начале значение показателя
было низким, ближе к середине –
средним, к концу – опять низким).
• существенно изменялся более
одного раза, напишите МН.

Обработка экспертных оценок (предлагаемый протокол).
Часть 1
to
to+300
HLM (оценка эксперта)
to
to+300
H L M
Варианты формирования точек обучающей выборки:
1 точка («огрубление»):
300, HLM->L, HHM->H, MMH->M и т.д.
3 точки:
• [100, 100, 100]
• адаптивное разбиение (выбор из [100,100,100], [60,120,120],
[120,60,120], [120,120,60], [60,180,60])

Обработка экспертных оценок (предлагаемый протокол).
Часть 2
Выбирается разбиение,
которому соответствует
максимальное значение
величины
Алгоритм 1
«максимальная средняя
длительность событий
бездействие дольше 7 с»
Алгоритм 2.
«длина наименее заполненного
интервала»
Заполненность интервала:
0.5 0.5D D
j jn l
Выбирается разбиение с наиболее однородными по активности студента интервалами

Эксперимент
• 23 студента психфака МГУ,
• студенты поделены на группы F,A,I,
• вид инструкции зависел от группы студента и от того, каким по порядку он
подошел,
• показатель «Самостоятельность» был исключен из списка показателей для подбора
коэффициентов,
• 2 эксперта,
• проблема смещенных классов

Подбор коэффициентов: предварительные сведения.
Часть 1. Стандартизация данных
 Стандартизация данных – необходимый шаг предобработки данных перед
обучением
Один из методов стандартизации:
Пример стандартизации:
[0, 1, 10, 20] -> [0, 0.05, 0.5, 1]
[0, 0, 2, 0] -> [0, 0, 1, 0]

Часть 2. F-мера*
 Используется для оценки обобщающей способности алгоритма
Идеальный алгоритм обеспечивает 100% полноту и точность
Для удобства полноту и точность сводят к одной
оценке – F-мере:
…1
…1
…
… 1
… 0
… 0
99
TP + TN
pr(“1”)=0.98,
rc(“1”)=1
pr(“0”)=0,
rc(“0”)=0

Часть 3. Стратифицированный k-кратный скользящий
контроль
 Фиксируется некоторое множество разбиений выборки на 2 части: обучающую и
контрольную
обучающая
контрольная
обучающая
контрольная
…
Разбиение 1
Разбиение n
F-меры разбиения 1
F-меры разбиения n
Оценка k-кратного контроля:
Среднее(F-меры разбиения 1,
F-меры разбиения n)
9/10
1/10
9/10
1/10

Часть 4. Стратифицированное разбиение
Стратифицированное разбиение Нестратифицированное разбиение
… L
… L
… H
… H
… H
… H
… M
… M
… L
… L
… H
… H
… H
… H
… M
… M
обучение
контроль
обучение
контроль
… L
… H
… H
… M
… L
… H
… H
… M
… L
… L
… H
… M
… M
… H
… H
… H
 Стратифицированное разбиение:
кол-во элементов каждого класса в каждой контрольной выборке
пропорционально кол-ву элементов класса в исходной выборке

Подбор коэффициентов. Важные свойства класса
sklearn.linear_model.LogisticRegression
)1log()(
1
 


l
i
ixTiy
eCf 
Функция потерь
ze
zf 

1
1)(
0 1 1 2 2 ... .k kz x x x       

Подбор коэффициентов. Показатель «Усилия». Часть 1
Обобщающие способности различных алгоритмов формирования точек для
обучения
Анализ ошибок
 беседа с экспертами, визуальный анализ графиков -> сформирован второй набор
признаков
 апробировано несколько правил «огрубления». Наилучшие результаты у правил:

Подбор коэффициентов. Показатель «Усилия». Часть 2
Анализ ошибок
 …
 Выбран способ «огрубление» и правило огрубления
 несколько раз запускался алгоритм с penalty=‘l2’, отбрасывались незначимые
признаки
 поиск комбинации параметров класса sklearn.linear_model.LogisticRegression,
обеспечивающей наиболее высокую обобщающую способность.
Наилучший результат:
fit_intercept=false, penalty=‘l1’, C=100, class_weight={0:0.2, 1:0.8}
F-меры на обучающей и контрольной выборках: [0.75, 0.66], [0.75, 0.65]

Подбор коэффициентов. Показатель «Фрустрационное
поведение»
 беседа с экспертами (мало «хаотической» деятельности в системе, «хорошие» и
«плохие» периоды бездействия)
 сформирован другой набор признаков
 выбран способ «огрубление» и правило огрубления
 отбрасывание незначимых признаков не привело к увеличению обобщающей
способности алгоритма
 поиск комбинации параметров класса sklearn.linear_model.LogisticRegression,
обеспечивающей наиболее высокую обобщающую способность.
Наилучший результат:
fit_intercept=false, penalty=‘l1’, C=200, class_weight={}
F-меры на обучающей и контрольной выборках: [0.79, 0.69], [0.72, 0.61]

Подбор коэффициентов. Значимые признаки для
показателей МВК. Часть 1
выделим несколько групп возможных действий студента в системе:
• поисковые (просмотр полученных
подсказок, обозначений, введенного
решения, поиск нужного параграфа в
оглавлении и т.д., обозначается буквой
«s»),
• диалоговые (проверка введенного
фрагмента решения, запрос подсказки и
т.д., обозначается буквой «d»),
• редактирование фрагментов решения
(обозначается буквой «e»),
• чтение теоретического материала
(обозначается буквой «t»),
• бездействие (т.е. отсутствие действий из
вышеупомянутых групп, обозначается
знаком «-»).
Пример вектора
превалирующих
групп действий (m=10):
eestttt---

Подбор коэффициентов. Значимые признаки для
показателей МВК. Часть 2
Признаки, описывающие вектор превалирующих групп действий студента pav:
• кол-во обозначений «s»,
• кол-во обозначений «d»,
• кол-во «t» и «e» на позициях 0-2, 3-6, 7-9
• кол-во «-» на позициях 0-2, 3-6, 7-9
• Рваность (непоследовательность) действий студента:
(для вектора eeeeeeeeee этот признак равен 0, для вектора etetetetet – 1)
Кол-во «хороших» и «плохих» периодов бездействия длительностью [7,25), [25,50), >50
сек
Пример вектора
превалирующих
групп действий (m=10):
eestttt---

Выводы
• Изложен опыт решения задач классификации, возникающих при настройке
показателей МВК,
• апробирован отличный от ранее предложенных протокол сбора и обработки
экспертных оценок,
• наиболее эффективным способом формирования точек для обучения является
способ «Огрубление»,
• предложены признаки, которые могут быть полезными для любых
автоматизированных обучающих сред,
• предложенный протокол может быть использован для построения МВК, позволяет
классифицировать 2 градации уровня показателей,
• рекомендуется включать в выборку студентов больше студентов с более высоким
значением показателя «% незасчитанных шагов»,
• наилучшие результаты даст «гибридный» анализ поведения студентов (камера
включается на короткие промежутки времени).

�ݺ�ߣ

автоматизированный анализ психического состояния студентов

Recommended

More Related Content

Similar to автоматизированный анализ психического состояния студентов (20)

More from Natalia Smirnova (6)

автоматизированный анализ психического состояния студентов