Hейронные сети на практике — R&D, Azoft
Download as pptx, pdf2 likes2,706 views
В стенах Azoft прошла лекция по практическому применению нейронных сетей. На лекции рассказывалось о типах нейронных сетей, способах и особенностях их обучения и практическом применении. В конце доклада ребята дали советы для тех, кто только хочет начать развиваться в этой сфере: какие задачи решать, с чем экспериментировать, на какие смежные области обратить особенное внимание. Видеозапись лекции вы можете посмотреть на YouTube: https://youtu.be/gwf18CGJM5c
More Related Content
Viewers also liked (13)
Similar to Hейронные сети на практике — R&D, Azoft (20)
Hейронные сети на практике — R&D, Azoft
- 1. Нейронные сети на практике R&D, Azoft rnd.azoft.com
- 2. План лекции 1. Однослойные нейронные сети 2. Многослойные нейронные сети 3. Свёрточные нейронные сети 4. Обучение свёрточной нейронной сети с Caffe 5. Современные нейронные сети и их применение 6. Современные библиотеки по deep learning 7. Трюки в обучении 8. Как развиваться в этой области
- 3. Однослойные нейронные сети Понятие биологического и искусственного нейрона Однослойная нейронная сеть
- 6. Сеть с одним скрытым слоем
- 7. Многослойные нейронные сети Применение и количество слоёв Подготовка данных для обучения Стохастический градиентный спуск Параметры обучения Выбор архитектуры Борьба с переобучением
- 8. Сеть с двумя скрытыми слоями
- 9. Сеть с тремя скрытыми слоями
- 10. Применение
- 11. Подготовка данных Разный диапазон данных Категориальные данные Пропуски в данных
- 14. Важность параметра learning rate
- 15. Понятие momentum
- 16. Выбор метода оптимизации Nesterov momentum – популярный Adam – новый
- 17. Выбор количества нейронов Мало нейронов – глупая сеть Золотая середина Много нейронов - переобучение
- 18. Борьба с переобучением Хорошая и большая выборка
- 19. Без drop out
- 20. C drop out
- 21. Борьба с переобучением Weight decay. Добавляет пенальти на веса нейронной сети Добавление шума и искажений при недостаточной выборке Контроль за обучением. Остановка сети до начала переобучения
- 22. Свёрточные нейронные сети Зрительная кора головного мозга человека в сравнении со свёрточной нейронной сетью Что происходит в разных слоях свёрточной нейронной сети Предобработка изображений Аугментация данных
- 23. Простые клетки зрительной коры головного мозга
- 24. Сложные клетки зрительной коры головного мозга
- 25. Визуализация первого слоя свёрточной нейронной сети
- 26. Первый и второй слой. Градиенты, углы и другие перепады в яркости/цветах.
- 28. Четвертый и пятый слой. Фичи, специфичные классу.
- 29. Предобработка изображений Ускорить обучение Улучшить плохую выборку Помочь сети в сложных задачах
- 31. Автоуровни
- 32. PCA whitening
- 33. ZCA whitening
- 36. Способы аугментации данных Соль и перец Резкость и размытие Повороты и перспективные искажения Масштабирование Сдвиги Эрозия и дилатация Зеркальные отражения Изменения яркости и контрастности
- 37. Полностью искусственный датасет Не допускать пересечений в обучающей, валидационной и тестовой выборках
- 38. Обучение CNN при помощи Caffe Выбор параметров обучения Выбор архитектуры
- 40. Выбор архитектуры. Выбор входного слоя.
- 41. Conv + ReLU
- 43. Слой пулинга
- 44. Слой ошибки
- 45. Современные нейронные сети и их применение Рекуррентные нейронные сети и lstm. Применяются в natural language processing и speech recognition. Сиамские нейронные сети. Две нейронные сети связывает один слой ошибки. Одно из применений для распознавания классов, которые не были в обучающей выборке. Свёрточные нейронные сети в генной инженирии. Свёрточные нейронные сети в natural language processing Свёрточные нейронные сети в детекции объектов и для попиксельная сегментация Свёрточные нейронные сети в одномерных сигналах.
- 46. Современные библиотеки по deep learning Caffe theano lasagne torch TensorFlow от Google (новое)
- 47. Трюки в обучении Хирургия нейронных сетей Ансамбли Fractional max pooling Recurrent convolutional layers «Широкие» нейронные сети
- 48. Хирургия в CNN
- 49. Хорошие и плохие feature maps
- 50. Ансамбли Первый уровень. Несколько нейронных сетей. Второй уровень. Например Random Forest
- 53. Как лучше развиваться в данной области Вдоволь наэкспериментируйте с датасетами cifar- 10, mnist и другими. Не торопитесь, выжимайте максимум из каждого шага, начиная от датасета, заканчивая полным контролем сети во время обучения Делайте бредовые вещи. Постоянно пробуйте новые технологии Для распознавания изображений изучите поподробнее computer vision в общем Изучите машинной обучение в общем
- 54. Спасибо за внимание! R&D, Azoft rnd.azoft.com