![[DL輪読会]近年のオフライン強化学習のまとめ —Offline Reinforcement Learning: Tutorial, Review, an...](https://cdn.slidesharecdn.com/ss_thumbnails/20200626journalclubpub-200630064755-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]`強化学習のための状態表現学習 －より良い「世界モデル」の獲得に向けて－](https://cdn.slidesharecdn.com/ss_thumbnails/20181026staterepresenration-181127055206-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]Estimating Predictive Uncertainty via Prior Networks](https://cdn.slidesharecdn.com/ss_thumbnails/estimatingpredictiveuncertaintyviapriornetworks-190628002736-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]Relational inductive biases, deep learning, and graph networks](https://cdn.slidesharecdn.com/ss_thumbnails/180629dlseminarrelationalinductivebias-180706003755-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]Learning Transferable Visual Models From Natural Language Supervision](https://cdn.slidesharecdn.com/ss_thumbnails/dlkobayashi0115-210115012308-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]When Does Label Smoothing Help?](https://cdn.slidesharecdn.com/ss_thumbnails/yokota20191227dl-191227001522-thumbnail.jpg?width=560&fit=bounds)
More Related Content
What's hot (20)
Similar to 未来を予测せよ ?あるエンジニアが挑んだ碍补驳驳濒别コンペの轨跡? (17)
![[db tech showcase Tokyo 2015] B36:Hitachi Advanced Data Binder 実践SQLチューニング方法 ...](https://cdn.slidesharecdn.com/ss_thumbnails/dbts-tokyo-2015b36hadbhitachi-150619110029-lva1-app6892-thumbnail.jpg?width=560&fit=bounds)
![[db tech showcase Tokyo 2014] B33: 超高速データベースエンジンでのビッグデータ分析活用事例 by 株式会社日立製作所 ...](https://cdn.slidesharecdn.com/ss_thumbnails/dbtstokyo2014b33-141127184852-conversion-gate01-thumbnail.jpg?width=560&fit=bounds)
未来を予测せよ ?あるエンジニアが挑んだ碍补驳驳濒别コンペの轨跡?
- 1. Copyright (c) 2020 The Japan Research Institute, Limited 1 /32 未来を予測せよ ?あるエンジニアが挑んだKaggleコンペの軌跡? 株式会社 日本総合研究所 先端技術ラボ 森 正和 2020/9/24
- 2. Copyright (c) 2020 The Japan Research Institute, Limited 2 /32 目次 1. はじめに 1. 自己紹介 2. 先端技術ラボの紹介 2. Kaggle M5 Forecasting 1. コンペの概要 2. コンペに参加した目的 3. データ 4. 評価指標 5. スコアの推移と作業の流れ 6. 解法 7. 結果 8. 後日譚 3. まとめ
- 3. Copyright (c) 2020 The Japan Research Institute, Limited 3 /32 1. はじめに
- 4. Copyright (c) 2020 The Japan Research Institute, Limited 4 /32 1-1. 自己紹介 (1/2) 名前 森 正和 所属?肩書 株式会社日本総合研究所 先端技術ラボ エキスパート 経歴 1975年 出生 1997年 日本総研入社 クレジットカードや銀行業務のシステム開発に従事 2018年 先端技術ラボ配属 AI?データ分析を担当 SNS Twitter @marisakamozz GitHub https://github.com/marisakamozz Qiita https://qiita.com/marisakamozz Blog https://marisakamozz.wordpress.com/ Kaggle https://kaggle.com/marisakamozz 興味?関心 テーブルデータに対してディープラーニングを適用する手法
- 5. Copyright (c) 2020 The Japan Research Institute, Limited 5 /32 1-1. 自己紹介 (2/2) 2020/9/4時点
- 6. Copyright (c) 2020 The Japan Research Institute, Limited 6 /32 1-2. 先端技術ラボの紹介 (1/3) 活動方針 SMFGの技術の目利き役として、先端技術を活用した金融サービスの早期実現の為に、 「リサーチ?技術戦略立案」、「技術検証?評価」および「データサイエンス」の機能を提供 ＩＴベンダー 日本総研 先端技術ラボ ミッション リサーチ ?技術 戦略立案 技術検証 ?評価 データ サイエンス 専門人材育成 リサーチャー 技術専門 人材 先端技術ラボの取組み 大学等 ??? 三井住友 銀行 SMBC 日興証券 三井住友 カード 株式会社日本総合研究所 組織概要図 第一開発部門 第二開発部門 国際部門 調査部 創発戦略センター ??????????????部門 国際戦略研究所 監査部 DX?開発技術推進部 セキュリティ統括部 品質管理部 先端技術ラボ HRマネジメント部 基盤開発部門 経営管理部 財務管理部 業務管理部 人事部 法務部 広報部
- 7. Copyright (c) 2020 The Japan Research Institute, Limited 7 /32 1-2. 先端技術ラボの紹介 (2/3) 技術獲得（リサーチ）と検証?評価（業務貢献）の両立 技術リサーチ 先行研究調査 技術獲得 業務適用評価 Open Data 論文等 再現 確認 実務検証 業務 データ 活用 可否 ビジネスニーズ ? 日進月歩で進展するＡＩ?Blockchain技術の専門性と目利き力を持続的に獲得?向上していくため、先行研究の技術リサーチ、及び導入 済技術?製品では未充足の業務ニーズへの技術検証で貢献 ? 専門機関?ＩＴベンダー?大学等とも連携し、数年後の実用化が見込まれる先行研究や先端手法の業務活用に取り組む
- 8. Copyright (c) 2020 The Japan Research Institute, Limited 8 /32 1-2. 先端技術ラボの紹介 (3/3) 金融機関のテキストデータを活用した景気センチメントの計測 （2019年度人工知能学会全国大会(第33回)で発表） 東日本大震災 リーマンショック 景 気 セ ン チ メ ン ト （ 四 半 期 ） 日 銀 短 観 （ 現 状 ? 全 業 種 ? 全 規 模 ）
- 9. Copyright (c) 2020 The Japan Research Institute, Limited 9 /32 2. Kaggle M5 Forecasting
- 10. Copyright (c) 2020 The Japan Research Institute, Limited 10 /32 2-1. コンペ概要 Kaggle M5 Forecastingは過去の売上データから将来の売上を予測することを目標として Kaggleプラットフォーム上で開催されたコンペ。 売上を予測する「Accuracy」と売上分布を予測する「Uncertainty」の２部門がある。与えられ るデータは両部門で同一であり、提出物と評価方法が異なる。 項目 内容 テーマ 米国3州（カリフォルニア州、テキサス州、ウィスコンシン州）に 存在するウォルマート10店舗における3049種類の商品の将 来28日間における売上（販売数量）を予測する。 主催者 ニコシア大学 協賛 Google, Uber, Walmart, IIF (International Institute of Forecasters) 開催期間 2020年3月3日～2020年6月30日 賞金総額 $100,000 ルール ? 外部データ利用可能（予測時点で利用可能なものの み） ? コンピューターリソースの制限なし 概要 （参考）M Competitionとは ニコシア大学のSpyros Makridakis教授が創設した「the Makridakis Open Forecasting Center (MOFC)」が主催するコンペ。1982年から過去4回のコ ンペが開催されており、今回は5回目。 （ニコシア：地中海の島国であるキプロス共和国の首都） 画像はKaggleより転載。 （https://www.kaggle.com/c/m5-forecasting-uncertainty）
- 11. Copyright (c) 2020 The Japan Research Institute, Limited 11 /32 2-2. コンペに参加した目的 ? 時系列分析手法、及び、不確実性に関する技術の調査 ? プレゼンスの向上（個人、及び、組織） 時系列分析技術の金融ビジネスへの応用例（外貨調達コスト削減） 銀行は個人や法人の預金を預かり、それを企業に融資することで利ざやを稼ぐ。 銀行は融資先にいつでも資金供給が行えるよう、ある程度のお金（特に外貨）を常時確保しておく必要がある。 将来の預金残高を予測できれば、外部から外貨を調達する必要がなくなり、コスト削減につながる。 個人?法人 他の金融機関 銀行 融資先企業 預金 融資
- 12. Copyright (c) 2020 The Japan Research Institute, Limited 12 /32 2-2. コンペに参加した目的 時系列データの予測においては、ディープラーニングなどの機械学習手法よりも従来 の統計的手法の方が有効だと言われている。 出典：「Statistical and Machine Learning forecasting methods: Concerns and ways forward」 Spyros Makridakis, Evangelos Spiliotis, Vassilios Assimakopoulos https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0194889
- 13. Copyright (c) 2020 The Japan Research Institute, Limited 13 /32 2-3. データ 与えられるデータは①売上、②カレンダー、③価格の３つのCSVファイル。Training期間の①売 上と②カレンダー?③価格の情報を元に、Validation期間とEvaluation期間の売上を予測。 データ 内容 期間 Training 2011/1/29～2016/4/24 Validation ～2016/5/22 Evaluation ～2016/6/19 ①売上（sales） 店舗ごと?商品ごとの日付単位の販売数量の時系列データ （ある店舗である商品がある日にどれだけの数売れたか） あり 予測対象 (2020/6/1公開) 予測対象 （非公開） ②カレンダー （calendar） 宗教行事やスポーツ等のイベント開催日と SNAP（補充的栄養支援プログラム、低所得者向けクーポ ン）が利用できる日 あり あり あり ③価格（prices） 店舗ごと?商品ごとの週単位の販売価格 あり （販売されている期間のみ） あり あり ＜注意点＞ 店舗や商品の属性情報は与えられない。 商品はその時点でまだ販売されていない場合があり、それまでは「①売上」はすべて「0」となっている。「③価格」でその時点で販売されていたかどうかの判定が可能。
- 14. Copyright (c) 2020 The Japan Research Institute, Limited 14 /32 ＜店舗数＞ ＜商品数＞ 2-3. データ 予測対象の店舗数は10店舗、商品数は3049種類となっている。 売上（販売数量）は多くの日付で0となっており、商品によって平均的な販売数量が異なる。 画像はAKuni氏によるKaggle Notebook「【日本語】Back to (predict) the future - M5 EDA」より転載。 （https://www.kaggle.com/marutama/back-to-predict-the- future-m5-eda） 州 店舗数 カリフォルニア州（CA） 4 テキサス州（TX） 3 ウィスコンシン州（WI） 3 合計 10 カテゴリ 分類 商品数 食料品（FOODS） 3 ? 娯楽（HOBBIES） 2 ? 家庭用品 （HOUSEHOLD） 2 ? 合計 7 3049 ＜売上データのサンプル＞
- 15. Copyright (c) 2020 The Japan Research Institute, Limited 15 /32 2-4. 評価指標 評価は集計する単位によって12種類、合計42840個の時系列データ（28日間）に対して行 われる。Accuracy部門は評価指標としてWRMSSEが用いられる。 Level 集計単位 数 店舗 商品 1 全店舗 全商品 1 2 州 全商品 3 3 個別店舗 全商品 10 4 全店舗 カテゴリー 3 5 全店舗 分類 7 6 州 カテゴリー 9 7 州 分類 21 8 個別店舗 カテゴリー 30 9 個別店舗 分類 70 10 全店舗 個別商品 3,049 11 州 個別商品 9,147 12 個別店舗 個別商品 30,490 合計 42,840 下記の単位で集計した時系列データ（28日間）で評価される。 ?は訓練データ数、?は予測期間のデータ数、 ?? は売上実測値、 ??は売上予測 値。 ?????? = ?=1 42,840 ?? ? ????? , ????? = 1 ? ?=?+1 ?+? ?? ? ?? 2 1 ? ? 1 ?=2 ? ?? ? ???1 2 , 数式はMOFCの「THE M5 COMPETITION Competitors’ Guide」から引用。 （https://mofc.unic.ac.cy/wp-content/uploads/2020/03/M5-Competitors- Guide-Final-10-March-2020.docx） ウェイト??は合計が1になるように、下記のルールで決める。 ① 12種類の時系列データで等配分（それぞれ12分の1） ② 訓練データの直近28日間の売上金額合計に応じて配分 →個別商品の予測誤差は全体の評価にあまり影響しない。 Accuracyの評価指標であるRMSSE(Root Mean Squared Scaled Error)は、通常の RMSE(Root Mean Squared Error)を、訓練データにおける前日の売上実測値をそのまま 翌日の売上予測値とした場合のRMSEで割ることでスケールをそろえたもの。 （１）集計単位 （２）Accuracy部門の評価指標
- 16. Copyright (c) 2020 The Japan Research Institute, Limited 16 /32 2-4. 評価指標 Uncertainty部門は予測分布の9つの分位点で評価される。 （３）Uncertainty部門の提出物（9分位点） 12種類、42840個の時系列データについて、予測期間28日それぞれの売上分布の9分位点を提出する。 分位点は0.5%、2.5%、16.5%、25%、50%（中央値）、75%、83.5%、97.5%、99.5%。 下記は全店舗?全商品の時系列データの訓練期間（2011/1/29～2016/4/24）の売上分布と9分位点。 元となる時系列データはトレンドや周期性があるものの、大まかに言って（対数）正規分布のように見える。（中心極限定理？） 0.5% 2.5% 16.5% 25% 50% 中央値 75% 83.5% 97.5% 99.5% 12/25は営業していないためか、売上がほぼ0となっている。
- 17. Copyright (c) 2020 The Japan Research Institute, Limited 17 /32 2-4. 評価指標 Uncertainty部門の評価指標はWSPL (Weighted Scaled Pinball Loss) 。 （４）Uncertainty部門の評価指標 ?は訓練データ数、?は予測期間のデータ数、 ?? は売上実測値、 ?? ? は時点?における予測分布の分位点?の分位数。 ウェイト??はAccuracy部門と同じ。 ?はかっこの中身が真であれば1、そうでなければ0となる関数。 ???? = ?=1 42,840 ?? ? 1 9 ?=1 9 ???(??) , ???(?) = 1 ? ?=?+1 ?+? ?? ? ??(? )?? ?? ? ≤ ?? + ??(? ? ??)(1 ? ?)?{?? ? > ??} 1 ? ? 1 ?=2 ? ?? ? ???1 , 数式はMOFCの「THE M5 COMPETITION Competitors’ Guide」から引用。 （https://mofc.unic.ac.cy/wp-content/uploads/2020/03/M5-Competitors-Guide-Final-10-March-2020.docx） 実測値が分位点の右側であれば、 実測値と分位点の差に分位点uをかける。 実測値が分位点の左側であれば、 実測値と分位点の差に 1-分位点u をかける。
- 18. Copyright (c) 2020 The Japan Research Institute, Limited 18 /32 2-5. スコアの推移と作業の流れ Accuracyの理解 Uncertaintyの理解 モデルの作成 モデルの改善 0.5690 0.5904 0.5899 0.7364 0.6782 0.6590 0.6590 0.6590 0.6590 0.6400 0.5811 0.5768 0.1696 0.1591 0.1596 1.2279 0.3455 0.3176 0.1695 0.1657 0.1630 0 0.2 0.4 0.6 0.8 1 1.2 1.4 5月1日 5月8日 5月15日 5月22日 5月29日 6月5日 6月12日 6月19日 6月26日 スコアの推移 Accuracy(WRMSSE) Private Accuracy(WRMSSE) Public Uncertainty(WSPL) Private Uncertainty(WSPL) Public
- 19. Copyright (c) 2020 The Japan Research Institute, Limited 19 /32 2-6. 解法 (1)EDA 多くの商品は散発的に売れており、売上が０となっている日が最も多い。 そのため、個別商品のモデルには負の二項分布を採用。 ＜例＞全店舗?個別商品(FOODS_2_262)の時系列データとヒストグラム ほとんど商品が売れていない期間がある 時系列データ ヒストグラム Zero-inflated
- 20. Copyright (c) 2020 The Japan Research Institute, Limited 20 /32 2-6. 解法 (1)EDA 商品をカテゴリー単位や分類単位で集計すると様相が異なり、正規分布に近くなる。 そのため、商品を集計したものでは正規分布またはT分布を採用。 ＜例＞個別店舗（CA_1）?商品分類（HOUSEHOLD_2）単位で集計した時系列データとヒストグラム 時系列データ ヒストグラム
- 21. Copyright (c) 2020 The Japan Research Institute, Limited 21 /32 2-6. 解法 (1)EDA まとめると、時系列データごとに下記のモデルを作成する方針を採用。 Each Model Agg Model 負の二項分布 正規分布、または、T分布 個別商品の時系列データを予測する 全商品?カテゴリー単位?商品分類単位で集計 した時系列データを予測する
- 22. Copyright (c) 2020 The Japan Research Institute, Limited 22 /32 2-6. 解法 (2)モデル構造 「Each Model」「Agg Model」ともに同じ構造。 ただし、「Agg Model」は入力特徴量として価格の情報を用いない点が異なる。 入力データ エンベディング層 （カテゴリー特徴量をエンコーディングする） LSTM層1 LSTM層2 FC (月) FC (火) FC (日) FC (土) ??? 出力データ 28日間それぞれの 売上分布のパラメータ 曜日ごとにFC層を分割 予測対象28日間の カレンダー?価格 モデル ??? 直近28日間の 売上?カレンダー?価格 ??? 当初出力層は曜日ごとのFC層ではなくLSTM層にしていたが、うまく周期性を表現できなかったため、FC層に変更。 Batch Norm?Layer NormはLSTMと相性が悪いようなので見送った。
- 23. Copyright (c) 2020 The Japan Research Institute, Limited 23 /32 2-6. 解法 (3)特徴量エンジニアリング ? 特徴量エンジニアリング ? 前述のモデル構造としたことから当初検討していたラグ特徴量や直近N日間のターゲットエンコ ーディングは不採用。 ? 外部データ ? AccuracyのDiscussionに上がっていた”Federal Holidays USA 1966-2020”を使用。 (https://www.kaggle.com/gsnehaa21/federal-holidays-usa-19662020). ? 売上のスケーリング ? 「Agg Model」の売上データを標準正規分布に近づけるために、PowerTransformerで売 上をスケーリング。 ? 「Each Model」は整数のままとしたかったため、特にスケール変換せず。
- 24. Copyright (c) 2020 The Japan Research Institute, Limited 24 /32 2-6. 解法 (4)Cross Validation 当初のクロスバリデーション方針は下図の通り。 しかし、Foldごとにスコアが大きく変動したため、土壇場で4週間単位を8週間単位に変更したが、 スコアが変動する問題は解消せず。
- 25. Copyright (c) 2020 The Japan Research Institute, Limited 25 /32 2-6. 解法 (5)Seed問題 これは「Agg Model」での実験結果の一例。Seed以外の条件はすべて同じであるにも関わらず、 スコアが大きく変動していることが見て取れる。 FOLD 1 FOLD 2 FOLD 3 FOLD 4 seed 1 2 3 4 1 2 3 4 1 2 3 4 1 2 3 4 test_wloss score 0.408 0.412 0.435 0.412 0.643 0.589 0.747 0.631 0.780 0.713 0.577 0.699 0.791 0.505 0.643 0.818 過学習を抑えるための様々な対策を行ったが、最後までこの問題は解決せず。 仕方ないので、すでに公開されていたValidation Phaseの売上データは学習には使用せず、テス トのみに使用し、Public Leaderboardのスコアが一番高いseedを採用することにした。
- 26. Copyright (c) 2020 The Japan Research Institute, Limited 26 /32 2-6. 解法 (6)その他の工夫 ? ターゲットエンコーディング ? 時系列＋曜日のターゲットエンコーディングを採用。 ? 曜日ごとに分かれている最終FC層に入力。 ? オーバーサンプリング ? 直近のデータを重視するため、2015年のデータは２倍に、2016年のデータは4倍にオーバーサ ンプリング。 ? 重み付きロス ? 評価指標は売上によって重みづけされるため、重み付きのロスを使って学習。 ? 「Each Model」では効果があったが、「Agg Model」では効果がなかった。
- 27. Copyright (c) 2020 The Japan Research Institute, Limited 27 /32 2-7. 結果 実装はGitHubで公開中。ぜひスターを！https://github.com/marisakamozz/m5 Validation Phase Evaluation Phase 全店舗?全商品で集計した時系列データの実際の売上と予測（９分位点）。 赤線が実際の売上で、それ以外の線が予測した各分位点。Evaluation Phaseの赤線は最後の１週間の平均。
- 28. Copyright (c) 2020 The Japan Research Institute, Limited 28 /32 2-8. 後日譚 (1/3) ? 締め切り時刻：日本時間 7/1 朝9:00（UTC 7/1 0:00） ＜Accuracy＞ Public Leaderboardの順位：3155位/約5000チーム ＜Uncertainty＞ Public Leaderboardの順位：596位/約900チーム
- 29. Copyright (c) 2020 The Japan Research Institute, Limited 29 /32 2-8. 後日譚 (2/3) ? 再現できねぇ！ ? 学習前にはseedを固定していた。そのため、何度実行しても同じ結果になる。 ? しかし、予測ファイルを作成する前にseedを固定していなかった。そのため、保存したモデルから 同じ予測ファイルを再現できない！ ? 別のマシンで最初から実行しても同じ結果にならない。 ? torch.cuda.set_rng_state()で何とか解決。（7月9日の出来事） ? モデルの説明資料とプレゼン資料 ? 上記の再現モデルとあわせて7月15日の期限までに提出が必要。 ? 全部英語。
- 30. Copyright (c) 2020 The Japan Research Institute, Limited 30 /32 2-8. 後日譚 (3/3) ? 個人的に考える今回の勝因 ① 運がよかった ? そもそも時系列データの予測は不確実性が高い。 ? 実際、今回のコンペでは（私も含めて）初めて参加した人が上位に入っている一方、歴戦の猛者があまり 上位に入っていない。 ? Accuracy部門では主催者が用意したベースラインモデルが銅メダルを獲得している。 ② 独自のモデル ? 多くの参加者が売上を予測した後で信頼区間を付与する２段階のアプローチをとっていた中で、確率分布 そのものをモデル化 ? 曜日の周期性を表現可能な構造 ③ データを訓練に使用するかどうかの判断 ? 基本的には直近のデータを重視してモデルを作成 ? あえて最後の4週間のデータを訓練に使用せず、モデルの評価に使用した
- 31. Copyright (c) 2020 The Japan Research Institute, Limited 31 /32 3. まとめ
- 32. Copyright (c) 2020 The Japan Research Institute, Limited 32 /32 3. まとめ 将来何が起こるかは誰にもわからない