Deep learning 20170311
?Download as PPTX, PDF?
0 likes?567 views
2017/03/11 This slide is the seminar of the DNN technology at WakU2.
Deep learning 20170311
- 2. 自己绍介
- 5. 深層学習 = DeepLearning = Deep Neural Network (DNN) 深いニューラルネットです
- 10. 尤もらしくとは？
- 11. で表される誤差関数 を最小化するように 各項の係数 ~ を調整することで、 最も元データとの誤差が小さくなる曲線を得ることができる 0 7.5 15 22.5 30 37.5 1 月 2 月 3 月 4 月 5 月 6 月 7 月 8 月 9 月 10 月 11 月 12 月 0 7.5 15 22.5 30 37.5 1 月 2 月 3 月 4 月 5 月 6 月 7 月 8 月 9 月 10 月 11 月 12 月 元データの値を とすると
- 12. 1. データのモデル化 2. モデルに適した誤差関数の設計 3. 误差関数の最小化
- 13. ニューラルネット(狈狈)について
- 19. 1. データのモデル化
- 23. モデルが決まりました ※
- 25. どれが尤もらしい直線 ？
- 29. が最小になる时の直线最も误差関数
- 31. 深层学习について
- 32. ベースはニューラルネットです ※
- 34. 1. データのモデル化
- 35. 深层学习もモデル构筑は必要
- 47. しかし、课题もある
- 49. 课题は学习时だけではない
- 51. ご静聴ありがとうございました
Editor's Notes
- DeepLearningとJetsonでリアルタイム物体認識デバイスを開発したり センサデータとWeb開発技術でIoT(Factory Automation)的なものを作ったり ARやVSLAMとDeepLearningのインテグレーションなどもやってます
- さて、本日のテーマは深層学習です。 深層学習というのはDeepLearningとも言われてますが、正確にはDeep Neural Network（DNN）というアルゴリズムです。 その名の通り、深いニューラルネットで、ニューラルネットがベースとなってます。
- そのため、深层学习についてお話しする前に、機械学習の考え方とニューラルネットについて始めにお話ししようと思います。
- 最初に機械学習の考え方について、例題を交えてお話ししたいと思います。 去年の月平均気温データから今年の年の月平均気温を予測してください。 という問題があったとします。
- ここで、4次の多項式近似を行うことを考えます。 このように値を関数化してデータを仕組み化することを、データのモデル化といいます。
- 次にモデル化した関数蹿(虫)の各项の係数を调整することで、尤もらしく近似された曲线を得ることを考えます。
- しかし、尤もらしくとはどういうことでしょうか。
- 元データyとf(x)との差分の二乗の和を誤差関数として、これを最小化することを、最小二乗法といいます。 この誤差関数が最小になるようにw0~w4を調整することで、尤もらしく近似された曲線を得ることができます。
- を通じて関数のパラメータを求めるのが机械学习の考え方
- 次にニューラルネットについて説明します
- 右上にいくほど辫辞蝉颈迟颈惫别が、左下にいくほど苍别驳补迟颈惫别になる倾向がありそうなので、测=奥虫+产の线形回帰でそこそこの精度の分类ができそうです
- これを数式で表すと、 y-Wx-bが0よりも大きいときにpositive y-Wx-bが0よりも小さいときはnegative と表すことができます
- 先ほどお话ししたニューラルネットの活性化関数のシグモイド関数の定义と照らし合わせると、ニューラルネットの出力はシグモイド関数の入力に测-奥虫-产を代入したこちらの式で表すことができます
- ここまででニューラルネットのモデルがこのようになりました。 次にどういうWとbのときに誤差が少ないのかを定義します。
- 尤もらしい直线の奥と产は、误差関数を最も最小化するときの奥と产でした。
- ここでは最小二乗誤差ではなく、交差エントロピー誤差という関数を用います。 なぜこれが誤差関数として適しているかの説明は、今日は時間の都合上いたしませんので、各自学習するようにしてください。
- 勾配降下法という最適解探索法によって、Wとbの値を変化させ 最も誤差関数が小さくなるときのWとbを求めます
- こちらが実际に计算して求めた、最终的に最も误差関数が最小になった直线です。
- ここまでで、奥と产が定まりましたので、未知データの虫と测を入力するだけで、辫辞蝉颈迟颈惫别か苍别驳补迟颈惫别かを判别することができるようになりました。
- ここまででニューラルネットについての説明は终わります
- 深层学习はニューラルネットがベースとなっています
- 深层学习というのはニューラルネットに隠れ层を追加し、多层化したネットワークのことをさします。
- 深层学习も机械学习の一つですので、データのモデル化を行う必要があります
- 误差関数には交差エントロピー误差関数を用います
- 深層学習は複雑なモデルですが、やることはニューラルネットと同じです。 勾配降下法によって一番坂を下った点を探します。
- 最適なWとbのパラメータセットを見つけて、未知のデータに対して予測をかけることができるようになります。 別に深層学習だからといって、何も特別なことはないです。
- ということが近年明らかになり始めてきました。 ここが他の機械学習アルゴリズムでは超えられなかったブレークスルーです。
- なぜこうした人间の能力を超えるほどの性能を手にしたか考えると、多数のニューロンを并べることで、多数のパラメータを保持することができ、表现力が豊かになったことに起因すると考えられます。
- さらに、入力層と出力層についてはニューラルネットと変わらないですが、隠れ層では用いる活性化関数を変えるなどして、ネットワークの構成を問題に応じて最適化させることも可能です。 こうした、大規模化と自在性によって、人間一人の脳という限定的なハードウェアの限界を超えたためと、個人的には考えてます。
- ネットワークが多層になればなるほど、複雑になればなるほど、学習に時間がかかる、最適解に収束しなくなるなどのリスクが高まります。 これらも起因して、深層学習の学習にはGPU環境が必須と言ってよいです。
- 闯别迟蝉辞苍のような小型デバイスだと顿别别辫尝别补谤苍颈苍驳実行时のメモリ量など、ハードウェアリソースの不足に直面することがあります。そのため、小型化のためにはネットワークの缩小などの工夫や、精度を犠牲にすることなども必要になってきます。