Лекция 6
Download as ppt, pdf1 like991 views
Документ охватывает различные типы рекуррентных нейронных сетей, включая сети Хопфилда, Хемминга и RMLP, а также их алгоритмы обучения и применения. Описываются методы и принципы работы ассоциативной памяти, функции ошибки и обучение методом Хебба. Сравниваются достоинства и недостатки сетей, включая эффективность и ограничения в контексте распознавания образов и кластеризации.
![Сеть Эльмана : алгоритм обучения Метод наискорейшего спуска, online режим Функция ошибки: Случайная инициализация весов, равномерное из [-1,1] Для момента времени t сформировать входной вектор x(t) Вычислить вектор градиента Изменить веса Перейти на шаг 2.](https://image.slidesharecdn.com/lec6-111222191300-phpapp01/85/6-5-320.jpg)
![RTRN – алгоритм обучения Метод наискорейшего спуска, online режим Случайная инициализация весов, равномерное из [-1,1] Для момента времени t сформировать входной вектор x(t) Вычислить вектор градиента Изменить веса Перейти на шаг 2.](https://image.slidesharecdn.com/lec6-111222191300-phpapp01/85/6-7-320.jpg)
Лекция 6
- 1. Лекция 6 Рекуррентные сети на базе персептрона Сеть Хопфилда. Сеть Хемминга.
- 2. Персептронная сеть RMLP RMLP – Recurrent MultiLayer Perceptron Случай одного входного и выходного нейронов y(k)=f(x(k),x(k-1),…,x(k-(N-1)),y(k-1),…,y(k-P)) N-1 – количество задержек входного сигнала P – количество задержек выходного сигнала
- 3. RMLP: алгоритм обучения Метод наискорейшего спуска, online режим Функция ошибки (один выход): Случайная инициализация весов Для момента времени t и входного вектора x(t) вычислить состояния всех нейронов сети Вычислить значения производных Изменить веса Перейти на шаг 2.
- 5. Сеть Эльмана : алгоритм обучения Метод наискорейшего спуска, online режим Функция ошибки: Случайная инициализация весов, равномерное из [-1,1] Для момента времени t сформировать входной вектор x(t) Вычислить вектор градиента Изменить веса Перейти на шаг 2.
- 6. Сеть RTRN RTRN – Real Time Recurrent Network RTRN – частный случай сети Эльмана
- 7. RTRN – алгоритм обучения Метод наискорейшего спуска, online режим Случайная инициализация весов, равномерное из [-1,1] Для момента времени t сформировать входной вектор x(t) Вычислить вектор градиента Изменить веса Перейти на шаг 2.
- 8. Сеть с обратными связями
- 9. Ассоциативная память Ассоциативная память: сеть Хопфилда. Гетероассоциативная память: сеть Хемминга, BAM (двунаправленная ассоциативная память).
- 10. Структура сети Хопфилда Условие окончания:
- 11. Бинарные системы
- 12. Устойчивость сети Достаточное условие устойчивости: - функция Ляпунова.
- 13. Обучение Хебба Емкость сети при обучении по методу Хебба около 0.15 K ( при ошибке 1%) . Условие окончания: Один обучающий пример: P обучающих примеров:
- 14. Обучение методом проекций W - матрица весов K*K ; X - матрица K*P , составленная из обучающих векторов. x (i) - обучающий вектор; W (0) =0; Емкость сети Хопфилда: K-1
- 15. Обучение методом -проекций Градиентная форма алгоритма минимизации целевой функции - константа обучения; Многократное предъявление обучающих выборок. Условие окончания: изменение весов меньше заданного значения.
- 16. Достоинства и недостатки сети Хопфилда Достоинства. 1. Скорость при аппаратной реализации. 2. Слабая зависимость сходимости от размерности сети. Недостатки. 1. Локальные минимумы. 2. Формирование функции энергии. 3. Небольшая емкость.
- 17. Области применения 1. Ассоциативная память. 2. Распознавание образов. 3. Задачи оптимизации.
- 18. Расстояние Хемминга Расстояние Хемминга между векторами y и d . Двоичные вектора: Биполярные вектора:
- 19. Сеть Хемминга
- 20. Функционирование сети Хемминга Обрабатываемые данные: биполярные вектора. Этапы функционирования: 1. Вычисление расстояния Хемминга между входным вектором и образцами, закодированными в весах первого слоя. 2. Выбор образца с наименьшим расстоянием (сеть MAXNET). 3 . Формирование выходного вектора, соответствующего входному вектору.
- 21. Обучение сети Хемминга Обучающая выборка: {( x (j) ,y (j) )} j=1,2,…,p . Слой MAXNET : Слой 1: Выходной слой:
- 22. Схема работы Входной вектор: x Выходной слой: формирование вектора результата. Слой 1: Слой MAXNET :
- 23. Сравнение сетей Хопфилда и Хемминга Задача кластеризации. Вход: 100. Количество кластеров: 10. Количество связей: Хопфилд: 100*100=10000; Хемминг: 1000+100=1100. Экспериментально показано, что сеть Хемминга демонстрирует лучшие результаты, чем сеть Хопфилда.
- 24. Особенности сети Хемминга Емкость сети: P (количество нейронов первого слоя). Достоинства: 1. Простой алгоритм работы. 2. Простой алгоритм обучения. 3. Емкость не зависит от размерности входного сигнала. Недостатки: 1. Неопределенность результата, при одинаковом расстоянии до двух и более векторов. 2. Способность распознавать только слабозашумленные образы. 3. Бинарные (биполярные) входные вектора.