时系列问题に対する颁狈狈の有用性検証
?
1 like?5,577 views
Googleの株価（終値）予測タスクを題材として、CNNの時系列問題に対する有用性を検証する。 RNNをベンチマークとして、LSTM, CNN+LSTMの予測性能（MSE、学習時間）を比較する。
![? 2019 Masaharu Kinoshita
Googleの株価（終値）予測タスクにおいて、3つのモデル（RNN, LSTM, CNN+LSTM）
を?いて、CNNの時系列タスクに対する有?性を学習時間,MSEの軸で検証する。
12 9 July 2019
分析概要
Input Preprocess Modeling Output
Train+Test Train Data
Test Data
Norm
Norm
MSE
1 2 3
1 2 3
分析概要
分析詳細
for i in range(X.shape[0] - window):
X_tmp = X.iloc[i:i+window].copy()
X_tmp = X / X.iloc[0] - 1.
X_norm.append(X_tmp)
window = 10
Windowデータの中で正規化 3種類のDLモデル?的変数(Close)と4特徴量
Train
Pred
DL Model
MSE
理論 概要 結果 サマリ
FCRNN
FCLSTM
FCCNN LSTM](https://image.slidesharecdn.com/stockpriceforecastingdlmodelsv1-190709084443/85/CNN-12-320.jpg)
时系列问题に対する颁狈狈の有用性検証
- 1. ? 2019 Masaharu Kinoshita 時系列問題に対するCNNの有?性検証 July 6th, 2019 ?下 正治
- 2. ? 2019 Masaharu Kinoshita 本発表の動機は、個?の能?を第３者に証明する?さな”実績”を獲得するため。 具体的にはオープンなデータを?いて分析を?い、個?のアセットとして公開する。 2 9 July 2019 本発表の動機 ?社開発型 データサイエンティスト 受託開発型 データサイエンティスト スキル 実績 今後、dsnで発表したい?はSlackに投稿したメッセージにリアクション（本?締め切り） 意思 発信 XXがしたいです XXがしたいです Python, R, SQLが書けます Python, R, SQLが書けます Qiita記事、 Git Accountはこちらです … （Client Workばかりで 公開できるものない） 機 会 獲 得
- 3. ? 2019 Masaharu Kinoshita 名前? ?下正治 出?? 和歌?県 趣味? 3Cが好きです（Curry, Cat, Craft Beer） PJ遍歴? 1. 営業?援ツール開発 R, Python - データ分析に携わる社会?としての“いろは”を教えてくれた 2. ?動?事故検知アルゴリズム構築 Python, SPSS - 分析もPJもリードできた 3. 営業?援ツール開発 R, Python - コンサルテーションから結合テストまでやれた 4. 探し中（SiX案件に?るかも?） - ビジネススキルも同時につけたい 3 9 July 2019 ??紹介
- 4. ? 2019 Masaharu Kinoshita ?的 分析の引き出しを増やし、かつ、お客様へ理論的な説明も実施できる状態になる ゴール 1. 画像タスク以外へのCNNのユースケースを知っている 2. 基本的な深層学習モデルとOptimizerの理論を理解している 本発表の?的とゴール 4 9 July 2019 問題設定 Googleの株価をRNN(BM), LSTM, 1d CNN+LSTMで予測し、評価する。 MSE?学習時間の観点で結果を評価することで、CNNの有?性を検証する。
- 5. ? 2019 Masaharu Kinoshita アジェンダ 5 9 July 2019 1. 理論 1.1. LSTM 1.2. Optimizer 2. 分析概要 3. 予測結果 4. サマリ
- 6. ? 2019 Masaharu Kinoshita アジェンダ 6 9 July 2019 1. 理論 1.1. LSTM 1.2. Optimizer 2. 分析概要 3. 予測結果 4. サマリ
- 7. ? 2019 Masaharu Kinoshita CNNの時系列タスクへの有?性を検証するために、1d CNN+LSTMをLSTMと?較 する。CNNの理論については他発表者に譲り、ここではLSTMについて?及する。 7 9 July 2019 理論 ??? X0 X1 Xt-1 Xt ht LSTM = ht Xt The American can Speak English LSTMの基構造イメージ LSTMの詳細構造イメージ 系列情報を中?期で保持できないという問題点に対して、 LSTMでは”メモリセル” という外部記憶装置を設けることで中短期に渡って系列情報を記憶可能とする。 σ σ tanh σ Ct-1 X + Ct tanh ht-1 ht (次の?分へ) ht（次の層へ） Xt X X ??? ??? 忘却 ゲート ?? ゲート 出? NN LayerRepeating Module 出? ゲート ??? X0 X1 Xt-1 Xt LSTM = ht Xt LSTM ??? ht 時系列を扱うモデルであることから、前の出?を次の??の?部として出?する。 理論 概要 結果 サマリ
- 8. ? 2019 Masaharu Kinoshita 実ビジネスにおいても、1d CNN+LSTMを時系列分類問題に適?した事例が報告さ れている。本予測においても1d CNN+LSTMを適?する。 8 9 July 2019 理論 各DLモデルの予測性能?較 “1d CNN-LSTMによる調節弁内部の異常検知”, 茂木貴弘（アズビル株式会社）ら. (第32回全国大会論文集, 人工知能学会, 2018) https://www.jstage.jst.go.jp/article/pjsai/JSAI2018/0/JSAI2018_3Pin144/_article/-char/ja/ 課題? ?油?化学業界などの各種プラント装置の流量制御に使 ?される調節内弁内部における、異常（キャビテーションの 発?）の?動検知。 ソリューション? 調節内弁本体の外部に設置した振動センサから取得した、 時系列振動データから1d CNN+LSTMモデルを適?。 効果? ?いAccuracy（検証データに対して最?99.5%）での 異常検知を実現。 「時系列?次元振動データに対する2値分類タスクへの1d CNN+LSTMモデル適?事例」 事例概要 並列処理を?うCNNをパターン抽出器として利?し、逐次処理を?うLSTMで系列情報を付与することでコスパを向上 理論 概要 結果 サマリ
- 9. ? 2019 Masaharu Kinoshita また、OptimizerとしてはAdamを採?。Adamは、「学習率をパラメータごとに調整す るRMSprop」と「勾配?向を調整するMomentum SGD」を組み合わせた?法。 9 9 July 2019 理論 Adamの理論 過去の勾配情報を加味して、 どっちに歩くか?(Momentum SGD) どれだけ歩くか?(RMSProp) “ADAM: A METHOD FOR STOCHASTIC OPTIMIZATION”, Diederik P. Kingma, Jimmy Lei Ba. (ICLR, 2015) https://arxiv.org/pdf/1412.6980.pdf 理論 概要 結果 サマリ
- 10. ? 2019 Masaharu Kinoshita 【参考】AdaBound(2019)は、「学習前半はAdam、後半はSGDで計算」、「学習率 に動的な上限と下限を付与」することで、Adamのデメリットを低減した?法。 10 9 July 2019 理論 Adamのメリットとデメリット AdaBoundの理論 メリット?学習初期の収束が早い デメリット?学習後半で 1. 局所解から抜けずらい 2. 極端な学習率となり学習が不安定 学習後半では、学習率が?きすぎたり?さすぎる ことのデメリットが出てきてしまう。 学習率に対して上限と下限を動的に設定する。 “ADAPTIVE GRADIENT METHODS WITH DYNAMIC BOUND OF LEARNING RATE, Liangchen Luo, Yuanhao Xiong, Yan Liu, Xu Shun. (ICLR, 2019) https://arxiv.org/pdf/1902.09843.pdf 理論 概要 結果 サマリ
- 11. ? 2019 Masaharu Kinoshita アジェンダ 11 9 July 2019 1. 理論 1.1. LSTM 1.2. Optimizer 2. 分析概要 3. 予測結果 4. サマリ
- 12. ? 2019 Masaharu Kinoshita Googleの株価（終値）予測タスクにおいて、3つのモデル（RNN, LSTM, CNN+LSTM） を?いて、CNNの時系列タスクに対する有?性を学習時間,MSEの軸で検証する。 12 9 July 2019 分析概要 Input Preprocess Modeling Output Train+Test Train Data Test Data Norm Norm MSE 1 2 3 1 2 3 分析概要 分析詳細 for i in range(X.shape[0] - window): X_tmp = X.iloc[i:i+window].copy() X_tmp = X / X.iloc[0] - 1. X_norm.append(X_tmp) window = 10 Windowデータの中で正規化 3種類のDLモデル?的変数(Close)と4特徴量 Train Pred DL Model MSE 理論 概要 結果 サマリ FCRNN FCLSTM FCCNN LSTM
- 13. ? 2019 Masaharu Kinoshita アジェンダ 13 9 July 2019 1. 理論 1.1. LSTM 1.2. Optimizer 2. 分析概要 3. 予測結果 4. サマリ
- 14. ? 2019 Masaharu Kinoshita ベンチマークであるRNNと?べ、MSEでLSTM?CNN+LSTMが上回った。??、学習 時間はCNN+LSTMのみが上回った。時系列タスクへのCNNの有?性が確認できた。 14 9 July 2019 予測結果 理論 概要 結果 サマリ
- 15. ? 2019 Masaharu Kinoshita 【参考】LSTMの予測結果 15 9 July 2019 予測結果 理論 概要 結果 サマリ
- 16. ? 2019 Masaharu Kinoshita 【参考】1d CNN+LSTMの予測結果 16 9 July 2019 予測結果 理論 概要 結果 サマリ
- 17. ? 2019 Masaharu Kinoshita 皆さんは、各レイヤのWeightを?て、何を思いますか? 17 9 July 2019 予測結果 理論 概要 結果 サマリ CNN LSTM LSTM FCCNN CNN LSTM
- 18. ? 2019 Masaharu Kinoshita アジェンダ 18 9 July 2019 1. 理論 1.1. LSTM 1.2. Optimizer 2. 分析概要 3. 予測結果 4. サマリ
- 19. ? 2019 Masaharu Kinoshita ?的 分析の引き出しを増やし、かつ、お客様へ理論的な説明も実施できる状態になる ゴール 1. 画像タスク以外へのCNNのユースケースを知っている 2. 基本的な深層学習モデルとOptimizerの理論を理解している ?的とゴール 19 9 July 2019 問題設定 Googleの株価をRNN, LSTM, 1d CNN+LSTMで予測し、評価する。 MSE?学習時間の観点で結果を評価することで、CNNの有?性を検証する。 結論 MSE?学習時間を軸としてCNNの 時系列タスクの有?性が確認された。
- 20. ? 2019 Masaharu Kinoshita EoF July 6th, 2019 ?下 正治