Лекция 2
Download as ppt, pdf1 like603 views
Документ описывает принципы работы однослойных нейронных сетей (НС), включая структуру нейрона, активационные функции, такие как сигмоида и гиперболический тангенс, а также алгоритмы обучения, основанные на коррекции весов синаптических связей. Рассматриваются проблемы, возникающие на этапе обучения, такие как выбор алгоритма и начальная инициализация весов, а также задача классификации с помощью однослойного персептрона. Документ также затрагивает методы минимизации ошибки и критерии окончания обучения, включая переобучение.
Лекция 2
- 1. Лекция 2 . Однослойные НС.
- 2. Структура искусственного нейрона f(u) - активационная функция; f(u) - обычно нелинейная.
- 3. Бинарный нейрон - пороговая активационная функция.
- 4. Функции активации. Сигмоида Сигмоидальная ( S- образная) функция: параметр выбирается пользователем.
- 5. Функции активации. Сигмоида Влияние параметра на форму кривой. сигмоидальная функция превращается в пороговую. При
- 6. Функции активации. Гиперболический тангенс Функция гиперболический тангенс:
- 7. Режимы работы НС. Обучение Цель обучение - вычисление весов синаптических связей сети. Обучение проводится на примерах. Обучающая выборка: S={(x i ,d i )|i=1,2,…,N} . x i – входной вектор ; d i - вектор, определяющий класс входного вектора . Процесс обучения заключается в последовательном применении НС к векторам из обучающей выборки с одновременной коррекцией весов синаптических связей. Процесс обучения состоит из набора итераций, в рамках каждой из них сеть обучается на всех примерах из обучающей выборки.
- 8. Режимы работы НС. Обучение Пусть g i - выход НС для входного вектора x i . Смыслом алгоритма обучения является сравнение желаемого ( d i ) и реального ( g i ) выходов и корректировка всех весов в сети таким образом, чтобы новый выходной вектор для этого же входного вектора был «ближе» к желаемому, чем предыдущий. Критерий окончания процесса обучения - суммарная ошибка на всех примерах обучающей выборки должна быть меньше заданного порога. Проблемы, возникающие на этапе обучения: 1. Выбор алгоритма обучения. 2. Построение обучающей выборки. 3. Начальная инициализация весов. 4. Определение момента окончания процесса обучения.
- 9. Режимы работы НС. Функционирование НС Вход НС: вектор неизвестного класса. Проведение вычислений в нейронах внутренних слоев. Выход НС: вектор g , характеризующий класс входного вектора.
- 10. Задача классификации Рассмотрим множества точек на плоскости: Можно ли построить НС, классифицирующую точки из S 1 и S 2 ?
- 11. Однослойный персептрон. Линейная разделимость Однослойная НС позволяет решать задачи классификации, в которых образы линейно разделимы. Персептрон - модель МакКаллока-Питса с соответствующей стратегией обучения. 1 слой, где проводятся вычисления. Знак выражения определяет класс, к которому будет отнесена точка ( x 1 ,x 2 ) - разделяющая прямая.
- 12. Однослойный персептрон. Обучение. Бинарный нейрон: Обучающая выборка: ( x i ,d i ) Правило персептрона (обучение с учителем): 1. Если y совпадает с ожидаемым значением d , то веса не изменяются. 2. Если y =0, d =1, то 3. Если y =1, d =0, то Правило Видроу-Хоффа:
- 13. Обучение однослойной НС, состоящей из сигмоидальных нейронов Функция активации: Принцип обучения - минимизация целевой функции: d - желаемый выход y - реальный выход Метод обучения - градиентный спуск. - коэффициент обучения, выбирается из интервала (0,1).
- 14. Обучение однослойной НС, состоящей из сигмоидальных нейронов Обучающая выборка: S={(X i ,d i )|i=1,2,…,N} .
- 15. Обучение однослойной НС, состоящей из сигмоидальных нейронов Особенности сигмоидальной функции и функции гиперболического тангенса: сигмоида: гиперболический тангенс: Проблема градиентного метода - достижение локального минимума. Модификация градиентного метода обучения:
- 16. Обучение однослойной НС. Алгоритм ADALINE Однослойный персептрон. d - желаемый выход. y - реальный выход. - функция ошибки для градиентного спуска. Функция активации: Функция ошибки ADALINE: Значения весов являются точками минимума квадратичной функции.
- 17. Критерии окончания обучения. Переобучение «Привыкание» к примерам из обучающей выборки Использование подтверждающей выборки Критерии окончания: по количеству проведенных итераций по ошибкам на обучающей и подтверждающей выборках