狠狠撸

狠狠撸Share a Scribd company logo

【初学者向け】础滨?机械学习?深层学习の概観と深层学习による暗号通货価格予测トライアル

?
?
Masaharu Kinoshita
Masaharu Kinoshita

【初学者向け】础滨?机械学习?深层学习の概観と深层学习による暗号通货価格予测トライアル

1 of 36
Download to read offline
? 2019 Masaharu Kinoshita Masaharu Kinoshita AI/機械学習/Deep Learningの概観 ディープラーニングによる暗号通貨価格予測
? 2019 Masaharu Kinoshita2 29 April 2019 ??紹介 # Name Masaharu Kinoshita # Looks My AI says, ” You look like a 26% Black Russian Terrier.” # Role Data Scientist & Analytics Consultant # Hobby Reading, Learning, Art, Music, Gourmet etc. 「成功者の告?」 # Comment 社内勉強会?イベントへの協?については 適宜お気軽にご連絡ください。 # Contact Search “Masaharu Kinoshita” at SNS LinkedIn https://www.linkedin.com/in/masaharu-kinoshita/ # PJTs 1. The Development of Web-App with Text Analytics 2. Building Car Accident Models with Deep Learning 3. Planning Business Strategy for my Practice, as a Strategy Consultant *Internal PJT 4. Development of Marketing Automation Tool with Advanced Analytics # Accomplish - ments 1. the First Prize at Internal Data Science Competitions 2. the First Prizes of Individual and Group Departments at Internal Data Science Competition
? 2019 Masaharu Kinoshita3 29 April 2019 ??紹介 Deep Learning Visualization
? 2019 Masaharu Kinoshita4 29 April 2019 Purpose 「AIってなに?」に対する仮説を持っていること。 AI/機械学習/ディープラーニングの差を知っていること。 株価?暗号通貨の価格予測においてDLでどの程度 できるかを知っていること。 Goals AI技術に対する地に?のついた 理解の第?歩を獲得する。 ? 2019 Masaharu Kinoshita
? 2019 Masaharu Kinoshita5 29 April 2019 AIの現状??の回りのAI? AI/機械学習の背景と歴史 機械学習/DLの整理とその仕組み Deep Learningによる価格予測 Purpose 「AIってなに?」に対する仮説を持っていること。 AI/機械学習/ディープラーニングの差を知っていること。 株価?暗号通貨の価格予測においてDLでどの程度 できるかを知っていること。 Goals Agenda 機械学習の概観AI技術に対する地に?のついた 理解の第?歩を獲得する。 ? 2019 Masaharu Kinoshita 暗号通貨価格予測の問題設定と分析概要 LSTMによる予測結果
? 2019 Masaharu Kinoshita6 29 April 2019 AIの現状??の回りのAI? AI/機械学習の背景と歴史 機械学習/DLの整理とその仕組み Deep Learningによる価格予測 Purpose 「AIってなに?」に対する仮説を持っていること。 AI/機械学習/ディープラーニングの差を知っていること。 株価?暗号通貨の価格予測においてDLでどの程度 できるかを知っていること。 Goals Agenda 機械学習の概観AI技術に対する地に?のついた 理解の第?歩を獲得する。 ? 2019 Masaharu Kinoshita 暗号通貨価格予測の問題設定と分析概要 LSTMによる予測結果
? 2019 Masaharu Kinoshita 我々は?常的にその存在を意識しないが、実は?々”AI”技術に触れている。??ではさばけな い?量データに溢れるDigital社会では、必要不可?な存在の1つだと?える。 7 1.1. AIの現状??の回りのAI? ?の回りのAI 29 April 2019 ?動運転 レコメンドシステム ?字識別 顔識別/検知 広告技術/BI ??知能技術
? 2019 Masaharu Kinoshita 2019年現在、AI領域は世界的に有望な投資先である。これまでの過度な期待が落ち着き、本 来あるべき場所に世界的な?とお?が流れ込み、健全に成?していく領域だと考えている。 8 1.1. AIの現状??の回りのAI? AI領域への?銭的??材的投資 29 April 2019 https://www.bloomberg.co.jp/news/articles/2019-02-12/PMSHP16S972801 https://www.nikkei.com/article/DGXMZO33848840W8A800C1EA2000/ https://www.kantei.go.jp/jp/singi/kyouikusaisei/jikkoukaigi_wg/kakusin_wg4/siryou1.pdf?fbclid=IwAR1aRaJxyZd_B1jvr4Wmn124CL d0EIKs0OGn90M-mOqpIW0zuahhUa4psTM 政策レベルで重要なAI領域。?材の観点では?本の課題であり、国レベルで議論され、スキル要件の変化も起きている。
? 2019 Masaharu Kinoshita AIの技術レベルは、構造??構造化データともに社会実装可能な段階にあり、「倫理」や「安全 性」に関する議論が求められている。 9 1.1. AIの現状??の回りのAI? AI技術の先端事例から?る倫理と安全性への要請 29 April 2019 https://thispersondoesnotexist.com/ https://blog.openai.com/better-language-models/#sample2 ThisPersonDoesNotExist.com OpenAI https://twitter.com/OpenAI/status/1096092704709070851 技術が進歩し、倫理や安全性に関する議論が求められる段階にきている。例えば、「?統領が他国を批判している実在しな い動画の作成」や「?度な迷惑メールの作成」も技術的には可能な時代。 画像?成 テキスト → テキスト?成 テキスト → 画像?成 画像 → 画像?成
? 2019 Masaharu Kinoshita ??実ビジネスでは、「企業がデータとAIをどう活?するか」が短期的論点である。その1つの枠組 みとして、”THE DIGITAL FEEDBACK LOOP”がある。この中?にあるのが「データとAI」。 10 1.1. AIの現状??の回りのAI? 29 April 2019 モノに対するユーザ?理を顧客 データを介して徹底的に知っている。 情報に対するユーザ?理を顧客 データを介して徹底的に知っている。 成功企業におけるDataとAIの?ち位置 「顧客?プロダクト?オペレーション?社員」のLoopの中?に位置するのがデータとAI技術。データ活?においてこのLoopを?める ことが企業の成功には重要だと?われている。ある企業はこのLoopを回してさらに成?し、ある企業はどんどん引き離される。 年間リクエスト数 数兆-20兆回 Prime会員数>教会に?く? https://www.svenmahn.de/was-gibt-es-neues-vom-microsoft-business-application-summit/digital-feedback-loop/
? 2019 Masaharu Kinoshita このAI領域には、どのような変遷があったのか?秒進分歩のAI技術は、パッと出の技術に感じられ るが、歴史的な積み重ねがある領域。これまで春と冬の時代を繰り返し、今三度?の春にある。 11 1.2. AI/機械学習の背景と歴史 AIの歴史 29 April 2019 第?次AIブーム 推論?探索の時代 1950-1960年代 第?次AIブーム 知識表現の時代 1980-1990年代半ば 第三次AIブーム 機械学習?特徴表現の時代 2000年代-現在 乗り換えアプリ チャットボット 1945 1956 1980 19901969 2000 2012 現代の応?例 フレーム問題 チェスなどToy Problemは解けても 実世界の問題に適?困難。 シンボルグラウンディング問題 知識を?れれば、それらしく振る舞うが、基本的に 与えた知識以上のことはできない。根本原因は?字 列理解でしかなく、記号と意味が結びついていないため。 現在 ??知能研究領域としては、春と冬の時代を繰り返してきた。 概念の誕? A.M.Turingに よる「概念」提唱。 AIという?葉の誕? ダートマス会議でJ. McCarthy が「Artificial Intelligence」を提唱。 エキスパートシステム 専?家の知識を与え、 専?家のように振る舞う。 機械学習 Webデータの 誕?により着?。 ディープラーニングの勃興 コンピュータ?らが特徴 表現を作り出す。 昔のAI技術は、廃れたわけではなく現在も使われている。 第?次AIブーム 第?次AIブーム
? 2019 Masaharu Kinoshita 【参考】各プロダクトや事例のコア技術のルートを整理したAIの系譜。 12 1.2. AI/機械学習の背景と歴史 29 April 2019 “??知能は?間を超えるのか ディープラーニングの先にあるもの”, 松尾豊(?川Epub選書）
? 2019 Masaharu Kinoshita 先述の通り、”AI”が指す領域は多様である。ゆえに、その定義や解釈は?脈や個?によって 様々。ただ、現代のAIを牽引している中?的技術は、“機械学習”だと?えよう。 13 1.2. AI/機械学習の背景と歴史 AIの提議 29 April 2019 “Hands-On machine learning with Scikit-learn and TensorFlow”, O?reilly Japan, Inc. 機械学習の定義 ??知能とは、??的にコンピュータ上などで?間と同様の知能を実現させようという試み、 あるいはそのための?連の基礎技術を指す。 究極には?間と区別がつかない??的な知能のこと。 ??知能に作られた?間のような知能、ないしはそれを作る技術。 ??知能とは、?間の脳が?なっている知的な作業をコンピュータで模倣したソフトウェアやシステム。 具体的には、?間の使う?然?語を理解したり、論理的な推論を?なったり、経験から楽?したり するコンピュータプログラムなどのことをいう。 ? 機械学習は、明?的にプログラミングせずにコンピュータに学習能?を与えるための学問分野である。 アーサー?サミュエル, 1959 通常の Programming 機械学習 Input Data Programming Input Data Output Data Programming Output Data その定義すら明確には定まっていないのがAI。 ?般的解釈 IT?語辞典 松尾豊（東京?学） 松原仁（公?はこだて未来?学） 狭義には、機械学習の機能を実装したSWないしはHW。 広義には、?間が?て知的に感じる振る舞いを?すSWないしはHW。 ?下個?的解釈 ? コンピュータプログラムは、経験EによってタスクTに対する測定指標Pで測定した性能が上がる時、TについてEから学習したと?われる。 トム?ミッチェル, 1997
? 2019 Masaharu Kinoshita そもそも、機械学習は従来のデータ分析?法と何が異なるのだろうか?「機械学習」と「ルール ベース」との?較では、”誰がパターン（ルール）を決めるのか?“という点において両者は異なる。 14 29 April 2019 1.2. AI/機械学習の背景と歴史 ルールベース 機械学習ベース パターンの ?つけ? メリット ? ?間が頑張って考える ? データから?動で導き出す デメリット ? ?較的?明なパターンの 実装はシンプルに実現可 ? データが変わったときに 同時にルールも変える必要有 ? ?間の認識できる範囲以上の ルールを考案するのが困難 ? 与えられたデータに対して 数学的根拠に基づきパターン認識 ? データが変わってもパターン認識可 ? ?定以上のデータ量と質が必要 ※ アルゴリズム、システム全体としてルールベースと機械学習ベースを組み合わせることが多い。
? 2019 Masaharu Kinoshita ??で、統計と機械学習の違いは曖昧である。ただ、“説明に重きをおく”のか“予測に重きをおく のか”で濃淡をつけることができる。次に、今のAIブームを起こした機械学習について?及する。 15 29 April 2019 1.2. AI/機械学習の背景と歴史 https://tjo.hatenablog.com/entry/2014/03/31/191907
? 2019 Masaharu Kinoshita AIの主要技術である機械学習は、「教師あり学習」、「教師なし学習」、「強化学習」に?別され る。「何を解くか」で使い分けたり、組み合わせたりする。 16 1.3. 機械学習/DLの整理とその仕組み 機械学習の領域 29 April 2019 機械学習 教師あり学習 Supervised Learning 教師なし学習 Unsupervised Learning 強化学習 Reinforcement Learning Xからyを予測したい時の y=f(X)のfを?つけ出す。 https://hackernoon.com/dl03-gradient-descent-719aff91c7d6 データXの中にある隠れた 構造を?つけ出す。 https://www.naftaliharris.com/blog/visualizing-k-means-clustering/ 環境とのやりとりに基づき、報酬の期待値を 最?化する?動をAgentに学習させる。 https://www.youtube.com/watch?v=V1eYniJ0Rnk&list=PLmUKhqMdez2p3a5stFofgcWu1Whrqn6D0 価格予測?需要予測 離反顧客予測?画像分類 etc. 顧客セグメンテーション ターゲットマーケティング etc. ?動運転?囲碁などのゲームAI etc. データ 出?（予測） 正解（教師信号） 更新 データ 出? 更新 Agent 環境 ?動 報酬 状態
? 2019 Masaharu Kinoshita 機械学習におけるディープラーニングの?ち位置は、「1つのアルゴリズム/理論」となる。つまり、 「Deep Learning(以降DL)は機械学習に含まれる」関係となる。 17 1.3. 機械学習/DLの整理とその仕組み 機械学習におけるディープラーニングの?ち位置 29 April 2019 機械学習 教師あり学習 Supervised Learning 教師なし学習 Unsupervised Learning 強化学習 Reinforcement Learning ?Deep Learning系 Deep Learning系 ?Deep Learning系 Deep Learning系 ?Deep Learning系 Deep Learning系 SVM, Random Forest, XG Boost Logistic Regression, k-NN MLP, RNN, CNN, LSTM, GRU k-means, DBSCAN PCA, ICA Auto Encoder, RBM Q学習, actor-Critic DQN, A3C 代表的なアルゴリズム
? 2019 Masaharu Kinoshita 改めて、AI/機械学習/DLの関係を整理する。包含関係としては、「AI?機械学習?DL」となる。 次に、注?されるDLの基礎的な仕組みから?る3つの特徴を簡単に知る。 18 1.3. 機械学習/DLの整理とその仕組み 機械学習におけるディープラーニングの?ち位置 29 April 2019 https://blogs.nvidia.com/blog/2016/07/29/whats-difference-artificial-intelligence-machine-learning-deep-learning-ai/
? 2019 Masaharu Kinoshita DLの基本的な仕組みは、問題を解く上で「最適な関係性の学習」と「重要な特徴量の?動設 計」を?うネットワークだと解釈可能。特に後者は、DLのWowな特徴である。 19 1.3. 機械学習/DLの整理とその仕組み 29 April 2019 部下x1 部下x2 部下x3 部下x4 リーダーh1 リーダーh2 POy1 DLの特徴① DLの特徴② 東京都 北海道 神奈川県 沖縄県 ??? ??? ??? 東京都の天気は? 北海道の天気は? 神奈川県の天気は? 沖縄県の天気は? ??? 問題を解く上で最適な関係性の学習 上司と部下の関係で考える。?間も問題を解く上 で、?事なことを?う?間との関係を強めたりする。 問題を解く上で重要な特徴量の?動設計 2?で47都道府県の天気を当てるゲームを考える。 1?は、47都道府県全ての天気を?ていいが、相?に 伝えられるのは、10個の天気。もう1?は、その10個の 情報を受けて、なるべく47都道府県全ての天気を当てたい。 この時、いい天気情報の伝え?は何か? 47都道府県のデータから関東や関?など問題を解く上で 重要な上位概念を特徴量として?動で獲得。 優秀な部下/リーダーとの関係を強めて、 なるべく正しい判断を?えるように学習。 ??層 中間層 出?層 ??層 中間層 出?層 “??知能は?間を超えるのか ディープラーニングの先にあるもの”, 松尾豊(?川Epub選書）
? 2019 Masaharu Kinoshita DLの特徴である「関係性の学習」と「特徴量の?動設計」に加えて、「層をディープにすることによ る?い表現?」がDLの3つ?の特徴である。 20 29 April 2019 1.3. 機械学習/DLの整理とその仕組み https://lp-tech.net/articles/j4xoo DLの特徴③ DLのパフォーマンス?較イメージ （学習に使える）データ パフォーマンス 従来の機械学習 Small NN Med NN Large NN 層をディープにする（重ねる）ことによって得られる?い表現? Dataの増? Computation能?の進化 DLの 進化と実績 DLが着?された背景 「データ」「アルゴリズム」「計算能?」の進化が後押しし、先述したDLの特徴がその実績およびブレイクスルーとして現れた。 Algorithmの進化
? 2019 Masaharu Kinoshita 【参考】画像領域において注?されるCNN(Convolutional Neural Network)について述べ る。CNNの特徴は、 「学習パターンの移動不変性」 と「局所パターンの学習」にある。 21 29 April 2019 1.3. 機械学習/DLの整理とその仕組み ? 局所パターンの空間階層の学習? 1つ?の畳み込み層ではエッジと呼ばれる?さな局所的パターンを学習し、次の畳み込み層では1つめの畳み込み層の 特徴量からなるより?きなパターンの学習が可能。畳み込み層を重ねることで、より?次のパターンを表現することが可能。 ? 学習パターンの移動不変性? 学習したパターンは空間的に移動不変である。例えば、画像の右下で特定のパターンを学習した後は、画像のどの部 分でもそのパターンを認識できる。全結合NNでは、再学習が必要である。 「深層学習」, 岡?貴之著 「Deep Learning with Python」, Francois Chollet著
? 2019 Masaharu Kinoshita 下記の構造が繰り返される鎖状構造。 しかし、?期の依存関係を保持することが困難。*1 系列情報を得意とするLSTMの基本構造は、RNNと?して、より短中期的なデータの依存関係 を学習することが可能なNetworkである。暗号通貨の価格予測では、LSTMを?いる。 22 29 April 2019 1.3. 機械学習/DLの整理とその仕組み NN LayerRepeating Module LSTM (Long Short-Term Memory) 左記の問題を解消する中?コンセプトが”キャリートラック” 。前の 情報を次のセルへ伝達し、?期の依存関係を表現することが可能。 simple RNN (Recurrent Neural Network) σ σ tanh σ Ct-1 X + Ct tanh ht-1 ht ht Xt X X??? ??? どの情報を 忘れるか どの情報を 新たに??するか 出? tanh ht Xt ht-1 ht ?????? *1. http://people.idsia.ch/%7Ejuergen/SeppHochreiter1991ThesisAdvisorSchmidhuber.pdf 参照. http://colah.github.io/posts/2015-08-Understanding-LSTMs/ ??? X0 X1 Xt-1 Xt ht RNN|LSTM = ht Xt どの情報を 取り出すか
? 2019 Masaharu Kinoshita QA and Break
? 2019 Masaharu Kinoshita24 29 April 2019 AIの現状??の回りのAI? AI/機械学習の背景と歴史 機械学習/DLの整理とその仕組み Deep Learningによる価格予測 暗号通貨価格予測の問題設定と分析概要 LSTMによる予測結果 Purpose 「AIってなに?」に対する仮説を持っていること。 AI/機械学習/ディープラーニングの差を知っていること。 株価?暗号通貨の価格予測においてDLでどの程度 できるかを知っていること。 Goals Agenda 機械学習の概観AI技術に対する地に?のついた 理解の第?歩を獲得する。
? 2019 Masaharu Kinoshita LSTMを?いてBTC/ETHの2019年-現在の終値を予測（教師ありの問題）する。具体的に は、10?前までのデータを使い、10?先までの各終値を予測する。 25 29 April 2019 2.1. 暗号通貨価格予測の問題設定と分析概要 分析の流れ Input Preprocessing Training Predict
? 2019 Masaharu Kinoshita まず、データの取得。Web(商?利?でも無料利?可能)からデータを取得。2018年までのデータはモ デル構築に使う学習?、2019/1/1-2019/2/24のデータをテスト?データとして使?する。 26 29 April 2019 2.2. LSTMによる予測結果 分析の流れ BTC、ETHについて下記のデータをWebから取得。 ? ?付 ? 始値 ? 最?値 ? 最安値 ? 終値 ? 取引量 ? マーケットキャップ 学習 テスト Input Preprocessing Training Predict https://dashee87.github.io/deep%20learning/python/predicting-cryptocurrency-prices-with-deep-learning/
? 2019 Masaharu Kinoshita ? ?付 ? 始値 ? 最?値 ? 最安値 ? 終値 ? 取引量 ? マーケットキャップ ? ボラティリティ ? Close_off_high 取得データをもとに、終値に効きそうな特徴量を新たに定義する。今回は、値動きの激しさや、今 後上がりそう/下がりそうの傾向を表す「ボラティリティ」と「Close off high」を定義した。 27 29 April 2019 2.2. LSTMによる予測結果 分析の流れ BTC、ETHについて新しい特徴量を2つ定義。 Volatility = High - Low Open Close_off_high = High - Close High - Low どれだけ値動きが激しいか、今後上がるか下がるかの 傾向をデータとして表現する。 Input Preprocessing Training Predict
? 2019 Masaharu Kinoshita 学習の過程 学習データに対する予測結果 データ準備ができたので、実際にモデルを構築する。2018年までのデータでモデルを学習させる。 学習を繰り返すごとにMAEが減少していき、学習データに対する?い予測性能が確認できる。 28 29 April 2019 2.2. LSTMによる予測結果 分析の流れ 「10?前のデータをInputとして、10?先までの終値を予測する」モデルを学習。 モデルが学習するときは、MAE(平均絶対誤差)が最?となるようにネットワークを構築していく。 MAE = |(本当の終値) - (予測した終値)|の10?間平均 https://mathwords.net/rmsemae Input Preprocessing Training PredictMAE
? 2019 Masaharu Kinoshita 本モデルを?いて、実際に未知のテストデータ（2019/1/1-2019/2/24）のBTCの終値を予測す る。 29 29 April 2019 2.2. LSTMによる予測結果 分析の流れ Input Preprocessing Training Predict
? 2019 Masaharu Kinoshita 本モデルを?いて、実際に未知のテストデータ（ 2019/1/1-2019/2/24 ）のETHの終値を予測 する。 30 29 April 2019 2.2. LSTMによる予測結果 分析の流れ Input Preprocessing Training Predict
? 2019 Masaharu Kinoshita 次に、今週の終値から来週7?間の終値を予測するモデルを構築?予測を?った。今回は、より 短期的な予測となる。結果は、MAE平均値の??から短期予測の?が性能が?い。 31 29 April 2019 2.2. LSTMによる予測結果 予測性能?較 Input Preprocessing Training Predict
? 2019 Masaharu Kinoshita 本結果から?えることとして、より短期的な予測になればなるほど、TradingにおいてAIによる?動 化が適していると考えられる。?間は中?期的な投資判断を?うことで、共存が図れると考える。 32 29 April 2019 2.2. LSTMによる予測結果 Input Preprocessing Training Predict アルゴリズム取引 ?間による取引 Time-Span Frequency 超短期 超多 中?期 中-少 ?間/アルゴリズム取引の棲み分け ビジネスパーソン向け推薦図書 “?間ってなんだ?超AI??” NHK “??知能は?間を超えるのか”, 松尾豊著 “いちばんやさしい機械学習プロ ジェクトの教本”, 韮原祐介著
? 2019 Masaharu Kinoshita Question?
? 2019 Masaharu Kinoshita Masaharu Kinoshita AI/機械学習/Deep Learningの概観 ディープラーニングによる暗号通貨価格予測
? 2019 Masaharu Kinoshita35 29 April 2019 Panel Discussion ?若?データサイエンティストの経験から考えるデータ分析PJTの進め?とは??
? 2019 Masaharu Kinoshita まず機械学習プロジェクトは、4つのフェーズで構成される。特に、構想策定フェーズで具体化した テーマに対して「PoC（Proof of Concept;概念検証）」を?うことが特徴的。 36 29 April 2019 パネルディスカッション 参考資料 構想策定 PoC 実装フェーズ 運?フェーズ ゴール 概要 投資判断の合意形成 実現可能性の検証 モデルとシステムを本番運?化 構築したシステムの運?と保守 1. テーマ選定と具体化 2. 実?計画の?案 1. 機械学習のモックアップ作成 2. 実?に耐える性能かを検証 1. 本番運?に求められる性能と 実?速度に改善 2. 構想した業務やサービスを システムに組み上げる 1. モデルのモニタリングとチューニング 2. システムの監視や機能改善 解くべき問題か? 機械学習で 解決できるか? ROIが成?するか? 理想と現実のギャップ である問題は何か? 機械学習プロジェクトのフェーズとゴール 機械学習プロジェクトのテーマ選定における論点 Y Y Y Y 機械学習プロジェクト として成?するテーマ 「いちばんやさしい機械学習プロジェクトの教本 ?気講師が教える仕事にAIを導?する?法」韮原祐介

More Related Content

【初学者向け】础滨?机械学习?深层学习の概観と深层学习による暗号通货価格予测トライアル

  • 1. ? 2019 Masaharu Kinoshita Masaharu Kinoshita AI/機械学習/Deep Learningの概観 ディープラーニングによる暗号通貨価格予測
  • 2. ? 2019 Masaharu Kinoshita2 29 April 2019 ??紹介 # Name Masaharu Kinoshita # Looks My AI says, ” You look like a 26% Black Russian Terrier.” # Role Data Scientist & Analytics Consultant # Hobby Reading, Learning, Art, Music, Gourmet etc. 「成功者の告?」 # Comment 社内勉強会?イベントへの協?については 適宜お気軽にご連絡ください。 # Contact Search “Masaharu Kinoshita” at SNS LinkedIn https://www.linkedin.com/in/masaharu-kinoshita/ # PJTs 1. The Development of Web-App with Text Analytics 2. Building Car Accident Models with Deep Learning 3. Planning Business Strategy for my Practice, as a Strategy Consultant *Internal PJT 4. Development of Marketing Automation Tool with Advanced Analytics # Accomplish - ments 1. the First Prize at Internal Data Science Competitions 2. the First Prizes of Individual and Group Departments at Internal Data Science Competition
  • 3. ? 2019 Masaharu Kinoshita3 29 April 2019 ??紹介 Deep Learning Visualization
  • 4. ? 2019 Masaharu Kinoshita4 29 April 2019 Purpose 「AIってなに?」に対する仮説を持っていること。 AI/機械学習/ディープラーニングの差を知っていること。 株価?暗号通貨の価格予測においてDLでどの程度 できるかを知っていること。 Goals AI技術に対する地に?のついた 理解の第?歩を獲得する。 ? 2019 Masaharu Kinoshita
  • 5. ? 2019 Masaharu Kinoshita5 29 April 2019 AIの現状??の回りのAI? AI/機械学習の背景と歴史 機械学習/DLの整理とその仕組み Deep Learningによる価格予測 Purpose 「AIってなに?」に対する仮説を持っていること。 AI/機械学習/ディープラーニングの差を知っていること。 株価?暗号通貨の価格予測においてDLでどの程度 できるかを知っていること。 Goals Agenda 機械学習の概観AI技術に対する地に?のついた 理解の第?歩を獲得する。 ? 2019 Masaharu Kinoshita 暗号通貨価格予測の問題設定と分析概要 LSTMによる予測結果
  • 6. ? 2019 Masaharu Kinoshita6 29 April 2019 AIの現状??の回りのAI? AI/機械学習の背景と歴史 機械学習/DLの整理とその仕組み Deep Learningによる価格予測 Purpose 「AIってなに?」に対する仮説を持っていること。 AI/機械学習/ディープラーニングの差を知っていること。 株価?暗号通貨の価格予測においてDLでどの程度 できるかを知っていること。 Goals Agenda 機械学習の概観AI技術に対する地に?のついた 理解の第?歩を獲得する。 ? 2019 Masaharu Kinoshita 暗号通貨価格予測の問題設定と分析概要 LSTMによる予測結果
  • 7. ? 2019 Masaharu Kinoshita 我々は?常的にその存在を意識しないが、実は?々”AI”技術に触れている。??ではさばけな い?量データに溢れるDigital社会では、必要不可?な存在の1つだと?える。 7 1.1. AIの現状??の回りのAI? ?の回りのAI 29 April 2019 ?動運転 レコメンドシステム ?字識別 顔識別/検知 広告技術/BI ??知能技術
  • 8. ? 2019 Masaharu Kinoshita 2019年現在、AI領域は世界的に有望な投資先である。これまでの過度な期待が落ち着き、本 来あるべき場所に世界的な?とお?が流れ込み、健全に成?していく領域だと考えている。 8 1.1. AIの現状??の回りのAI? AI領域への?銭的??材的投資 29 April 2019 https://www.bloomberg.co.jp/news/articles/2019-02-12/PMSHP16S972801 https://www.nikkei.com/article/DGXMZO33848840W8A800C1EA2000/ https://www.kantei.go.jp/jp/singi/kyouikusaisei/jikkoukaigi_wg/kakusin_wg4/siryou1.pdf?fbclid=IwAR1aRaJxyZd_B1jvr4Wmn124CL d0EIKs0OGn90M-mOqpIW0zuahhUa4psTM 政策レベルで重要なAI領域。?材の観点では?本の課題であり、国レベルで議論され、スキル要件の変化も起きている。
  • 9. ? 2019 Masaharu Kinoshita AIの技術レベルは、構造??構造化データともに社会実装可能な段階にあり、「倫理」や「安全 性」に関する議論が求められている。 9 1.1. AIの現状??の回りのAI? AI技術の先端事例から?る倫理と安全性への要請 29 April 2019 https://thispersondoesnotexist.com/ https://blog.openai.com/better-language-models/#sample2 ThisPersonDoesNotExist.com OpenAI https://twitter.com/OpenAI/status/1096092704709070851 技術が進歩し、倫理や安全性に関する議論が求められる段階にきている。例えば、「?統領が他国を批判している実在しな い動画の作成」や「?度な迷惑メールの作成」も技術的には可能な時代。 画像?成 テキスト → テキスト?成 テキスト → 画像?成 画像 → 画像?成
  • 10. ? 2019 Masaharu Kinoshita ??実ビジネスでは、「企業がデータとAIをどう活?するか」が短期的論点である。その1つの枠組 みとして、”THE DIGITAL FEEDBACK LOOP”がある。この中?にあるのが「データとAI」。 10 1.1. AIの現状??の回りのAI? 29 April 2019 モノに対するユーザ?理を顧客 データを介して徹底的に知っている。 情報に対するユーザ?理を顧客 データを介して徹底的に知っている。 成功企業におけるDataとAIの?ち位置 「顧客?プロダクト?オペレーション?社員」のLoopの中?に位置するのがデータとAI技術。データ活?においてこのLoopを?める ことが企業の成功には重要だと?われている。ある企業はこのLoopを回してさらに成?し、ある企業はどんどん引き離される。 年間リクエスト数 数兆-20兆回 Prime会員数>教会に?く? https://www.svenmahn.de/was-gibt-es-neues-vom-microsoft-business-application-summit/digital-feedback-loop/
  • 11. ? 2019 Masaharu Kinoshita このAI領域には、どのような変遷があったのか?秒進分歩のAI技術は、パッと出の技術に感じられ るが、歴史的な積み重ねがある領域。これまで春と冬の時代を繰り返し、今三度?の春にある。 11 1.2. AI/機械学習の背景と歴史 AIの歴史 29 April 2019 第?次AIブーム 推論?探索の時代 1950-1960年代 第?次AIブーム 知識表現の時代 1980-1990年代半ば 第三次AIブーム 機械学習?特徴表現の時代 2000年代-現在 乗り換えアプリ チャットボット 1945 1956 1980 19901969 2000 2012 現代の応?例 フレーム問題 チェスなどToy Problemは解けても 実世界の問題に適?困難。 シンボルグラウンディング問題 知識を?れれば、それらしく振る舞うが、基本的に 与えた知識以上のことはできない。根本原因は?字 列理解でしかなく、記号と意味が結びついていないため。 現在 ??知能研究領域としては、春と冬の時代を繰り返してきた。 概念の誕? A.M.Turingに よる「概念」提唱。 AIという?葉の誕? ダートマス会議でJ. McCarthy が「Artificial Intelligence」を提唱。 エキスパートシステム 専?家の知識を与え、 専?家のように振る舞う。 機械学習 Webデータの 誕?により着?。 ディープラーニングの勃興 コンピュータ?らが特徴 表現を作り出す。 昔のAI技術は、廃れたわけではなく現在も使われている。 第?次AIブーム 第?次AIブーム
  • 12. ? 2019 Masaharu Kinoshita 【参考】各プロダクトや事例のコア技術のルートを整理したAIの系譜。 12 1.2. AI/機械学習の背景と歴史 29 April 2019 “??知能は?間を超えるのか ディープラーニングの先にあるもの”, 松尾豊(?川Epub選書）
  • 13. ? 2019 Masaharu Kinoshita 先述の通り、”AI”が指す領域は多様である。ゆえに、その定義や解釈は?脈や個?によって 様々。ただ、現代のAIを牽引している中?的技術は、“機械学習”だと?えよう。 13 1.2. AI/機械学習の背景と歴史 AIの提議 29 April 2019 “Hands-On machine learning with Scikit-learn and TensorFlow”, O?reilly Japan, Inc. 機械学習の定義 ??知能とは、??的にコンピュータ上などで?間と同様の知能を実現させようという試み、 あるいはそのための?連の基礎技術を指す。 究極には?間と区別がつかない??的な知能のこと。 ??知能に作られた?間のような知能、ないしはそれを作る技術。 ??知能とは、?間の脳が?なっている知的な作業をコンピュータで模倣したソフトウェアやシステム。 具体的には、?間の使う?然?語を理解したり、論理的な推論を?なったり、経験から楽?したり するコンピュータプログラムなどのことをいう。 ? 機械学習は、明?的にプログラミングせずにコンピュータに学習能?を与えるための学問分野である。 アーサー?サミュエル, 1959 通常の Programming 機械学習 Input Data Programming Input Data Output Data Programming Output Data その定義すら明確には定まっていないのがAI。 ?般的解釈 IT?語辞典 松尾豊（東京?学） 松原仁（公?はこだて未来?学） 狭義には、機械学習の機能を実装したSWないしはHW。 広義には、?間が?て知的に感じる振る舞いを?すSWないしはHW。 ?下個?的解釈 ? コンピュータプログラムは、経験EによってタスクTに対する測定指標Pで測定した性能が上がる時、TについてEから学習したと?われる。 トム?ミッチェル, 1997
  • 14. ? 2019 Masaharu Kinoshita そもそも、機械学習は従来のデータ分析?法と何が異なるのだろうか?「機械学習」と「ルール ベース」との?較では、”誰がパターン（ルール）を決めるのか?“という点において両者は異なる。 14 29 April 2019 1.2. AI/機械学習の背景と歴史 ルールベース 機械学習ベース パターンの ?つけ? メリット ? ?間が頑張って考える ? データから?動で導き出す デメリット ? ?較的?明なパターンの 実装はシンプルに実現可 ? データが変わったときに 同時にルールも変える必要有 ? ?間の認識できる範囲以上の ルールを考案するのが困難 ? 与えられたデータに対して 数学的根拠に基づきパターン認識 ? データが変わってもパターン認識可 ? ?定以上のデータ量と質が必要 ※ アルゴリズム、システム全体としてルールベースと機械学習ベースを組み合わせることが多い。
  • 15. ? 2019 Masaharu Kinoshita ??で、統計と機械学習の違いは曖昧である。ただ、“説明に重きをおく”のか“予測に重きをおく のか”で濃淡をつけることができる。次に、今のAIブームを起こした機械学習について?及する。 15 29 April 2019 1.2. AI/機械学習の背景と歴史 https://tjo.hatenablog.com/entry/2014/03/31/191907
  • 16. ? 2019 Masaharu Kinoshita AIの主要技術である機械学習は、「教師あり学習」、「教師なし学習」、「強化学習」に?別され る。「何を解くか」で使い分けたり、組み合わせたりする。 16 1.3. 機械学習/DLの整理とその仕組み 機械学習の領域 29 April 2019 機械学習 教師あり学習 Supervised Learning 教師なし学習 Unsupervised Learning 強化学習 Reinforcement Learning Xからyを予測したい時の y=f(X)のfを?つけ出す。 https://hackernoon.com/dl03-gradient-descent-719aff91c7d6 データXの中にある隠れた 構造を?つけ出す。 https://www.naftaliharris.com/blog/visualizing-k-means-clustering/ 環境とのやりとりに基づき、報酬の期待値を 最?化する?動をAgentに学習させる。 https://www.youtube.com/watch?v=V1eYniJ0Rnk&list=PLmUKhqMdez2p3a5stFofgcWu1Whrqn6D0 価格予測?需要予測 離反顧客予測?画像分類 etc. 顧客セグメンテーション ターゲットマーケティング etc. ?動運転?囲碁などのゲームAI etc. データ 出?（予測） 正解（教師信号） 更新 データ 出? 更新 Agent 環境 ?動 報酬 状態
  • 17. ? 2019 Masaharu Kinoshita 機械学習におけるディープラーニングの?ち位置は、「1つのアルゴリズム/理論」となる。つまり、 「Deep Learning(以降DL)は機械学習に含まれる」関係となる。 17 1.3. 機械学習/DLの整理とその仕組み 機械学習におけるディープラーニングの?ち位置 29 April 2019 機械学習 教師あり学習 Supervised Learning 教師なし学習 Unsupervised Learning 強化学習 Reinforcement Learning ?Deep Learning系 Deep Learning系 ?Deep Learning系 Deep Learning系 ?Deep Learning系 Deep Learning系 SVM, Random Forest, XG Boost Logistic Regression, k-NN MLP, RNN, CNN, LSTM, GRU k-means, DBSCAN PCA, ICA Auto Encoder, RBM Q学習, actor-Critic DQN, A3C 代表的なアルゴリズム
  • 18. ? 2019 Masaharu Kinoshita 改めて、AI/機械学習/DLの関係を整理する。包含関係としては、「AI?機械学習?DL」となる。 次に、注?されるDLの基礎的な仕組みから?る3つの特徴を簡単に知る。 18 1.3. 機械学習/DLの整理とその仕組み 機械学習におけるディープラーニングの?ち位置 29 April 2019 https://blogs.nvidia.com/blog/2016/07/29/whats-difference-artificial-intelligence-machine-learning-deep-learning-ai/
  • 19. ? 2019 Masaharu Kinoshita DLの基本的な仕組みは、問題を解く上で「最適な関係性の学習」と「重要な特徴量の?動設 計」を?うネットワークだと解釈可能。特に後者は、DLのWowな特徴である。 19 1.3. 機械学習/DLの整理とその仕組み 29 April 2019 部下x1 部下x2 部下x3 部下x4 リーダーh1 リーダーh2 POy1 DLの特徴① DLの特徴② 東京都 北海道 神奈川県 沖縄県 ??? ??? ??? 東京都の天気は? 北海道の天気は? 神奈川県の天気は? 沖縄県の天気は? ??? 問題を解く上で最適な関係性の学習 上司と部下の関係で考える。?間も問題を解く上 で、?事なことを?う?間との関係を強めたりする。 問題を解く上で重要な特徴量の?動設計 2?で47都道府県の天気を当てるゲームを考える。 1?は、47都道府県全ての天気を?ていいが、相?に 伝えられるのは、10個の天気。もう1?は、その10個の 情報を受けて、なるべく47都道府県全ての天気を当てたい。 この時、いい天気情報の伝え?は何か? 47都道府県のデータから関東や関?など問題を解く上で 重要な上位概念を特徴量として?動で獲得。 優秀な部下/リーダーとの関係を強めて、 なるべく正しい判断を?えるように学習。 ??層 中間層 出?層 ??層 中間層 出?層 “??知能は?間を超えるのか ディープラーニングの先にあるもの”, 松尾豊(?川Epub選書）
  • 20. ? 2019 Masaharu Kinoshita DLの特徴である「関係性の学習」と「特徴量の?動設計」に加えて、「層をディープにすることによ る?い表現?」がDLの3つ?の特徴である。 20 29 April 2019 1.3. 機械学習/DLの整理とその仕組み https://lp-tech.net/articles/j4xoo DLの特徴③ DLのパフォーマンス?較イメージ （学習に使える）データ パフォーマンス 従来の機械学習 Small NN Med NN Large NN 層をディープにする（重ねる）ことによって得られる?い表現? Dataの増? Computation能?の進化 DLの 進化と実績 DLが着?された背景 「データ」「アルゴリズム」「計算能?」の進化が後押しし、先述したDLの特徴がその実績およびブレイクスルーとして現れた。 Algorithmの進化
  • 21. ? 2019 Masaharu Kinoshita 【参考】画像領域において注?されるCNN(Convolutional Neural Network)について述べ る。CNNの特徴は、 「学習パターンの移動不変性」 と「局所パターンの学習」にある。 21 29 April 2019 1.3. 機械学習/DLの整理とその仕組み ? 局所パターンの空間階層の学習? 1つ?の畳み込み層ではエッジと呼ばれる?さな局所的パターンを学習し、次の畳み込み層では1つめの畳み込み層の 特徴量からなるより?きなパターンの学習が可能。畳み込み層を重ねることで、より?次のパターンを表現することが可能。 ? 学習パターンの移動不変性? 学習したパターンは空間的に移動不変である。例えば、画像の右下で特定のパターンを学習した後は、画像のどの部 分でもそのパターンを認識できる。全結合NNでは、再学習が必要である。 「深層学習」, 岡?貴之著 「Deep Learning with Python」, Francois Chollet著
  • 22. ? 2019 Masaharu Kinoshita 下記の構造が繰り返される鎖状構造。 しかし、?期の依存関係を保持することが困難。*1 系列情報を得意とするLSTMの基本構造は、RNNと?して、より短中期的なデータの依存関係 を学習することが可能なNetworkである。暗号通貨の価格予測では、LSTMを?いる。 22 29 April 2019 1.3. 機械学習/DLの整理とその仕組み NN LayerRepeating Module LSTM (Long Short-Term Memory) 左記の問題を解消する中?コンセプトが”キャリートラック” 。前の 情報を次のセルへ伝達し、?期の依存関係を表現することが可能。 simple RNN (Recurrent Neural Network) σ σ tanh σ Ct-1 X + Ct tanh ht-1 ht ht Xt X X??? ??? どの情報を 忘れるか どの情報を 新たに??するか 出? tanh ht Xt ht-1 ht ?????? *1. http://people.idsia.ch/%7Ejuergen/SeppHochreiter1991ThesisAdvisorSchmidhuber.pdf 参照. http://colah.github.io/posts/2015-08-Understanding-LSTMs/ ??? X0 X1 Xt-1 Xt ht RNN|LSTM = ht Xt どの情報を 取り出すか
  • 23. ? 2019 Masaharu Kinoshita QA and Break
  • 24. ? 2019 Masaharu Kinoshita24 29 April 2019 AIの現状??の回りのAI? AI/機械学習の背景と歴史 機械学習/DLの整理とその仕組み Deep Learningによる価格予測 暗号通貨価格予測の問題設定と分析概要 LSTMによる予測結果 Purpose 「AIってなに?」に対する仮説を持っていること。 AI/機械学習/ディープラーニングの差を知っていること。 株価?暗号通貨の価格予測においてDLでどの程度 できるかを知っていること。 Goals Agenda 機械学習の概観AI技術に対する地に?のついた 理解の第?歩を獲得する。
  • 25. ? 2019 Masaharu Kinoshita LSTMを?いてBTC/ETHの2019年-現在の終値を予測（教師ありの問題）する。具体的に は、10?前までのデータを使い、10?先までの各終値を予測する。 25 29 April 2019 2.1. 暗号通貨価格予測の問題設定と分析概要 分析の流れ Input Preprocessing Training Predict
  • 26. ? 2019 Masaharu Kinoshita まず、データの取得。Web(商?利?でも無料利?可能)からデータを取得。2018年までのデータはモ デル構築に使う学習?、2019/1/1-2019/2/24のデータをテスト?データとして使?する。 26 29 April 2019 2.2. LSTMによる予測結果 分析の流れ BTC、ETHについて下記のデータをWebから取得。 ? ?付 ? 始値 ? 最?値 ? 最安値 ? 終値 ? 取引量 ? マーケットキャップ 学習 テスト Input Preprocessing Training Predict https://dashee87.github.io/deep%20learning/python/predicting-cryptocurrency-prices-with-deep-learning/
  • 27. ? 2019 Masaharu Kinoshita ? ?付 ? 始値 ? 最?値 ? 最安値 ? 終値 ? 取引量 ? マーケットキャップ ? ボラティリティ ? Close_off_high 取得データをもとに、終値に効きそうな特徴量を新たに定義する。今回は、値動きの激しさや、今 後上がりそう/下がりそうの傾向を表す「ボラティリティ」と「Close off high」を定義した。 27 29 April 2019 2.2. LSTMによる予測結果 分析の流れ BTC、ETHについて新しい特徴量を2つ定義。 Volatility = High - Low Open Close_off_high = High - Close High - Low どれだけ値動きが激しいか、今後上がるか下がるかの 傾向をデータとして表現する。 Input Preprocessing Training Predict
  • 28. ? 2019 Masaharu Kinoshita 学習の過程 学習データに対する予測結果 データ準備ができたので、実際にモデルを構築する。2018年までのデータでモデルを学習させる。 学習を繰り返すごとにMAEが減少していき、学習データに対する?い予測性能が確認できる。 28 29 April 2019 2.2. LSTMによる予測結果 分析の流れ 「10?前のデータをInputとして、10?先までの終値を予測する」モデルを学習。 モデルが学習するときは、MAE(平均絶対誤差)が最?となるようにネットワークを構築していく。 MAE = |(本当の終値) - (予測した終値)|の10?間平均 https://mathwords.net/rmsemae Input Preprocessing Training PredictMAE
  • 29. ? 2019 Masaharu Kinoshita 本モデルを?いて、実際に未知のテストデータ（2019/1/1-2019/2/24）のBTCの終値を予測す る。 29 29 April 2019 2.2. LSTMによる予測結果 分析の流れ Input Preprocessing Training Predict
  • 30. ? 2019 Masaharu Kinoshita 本モデルを?いて、実際に未知のテストデータ（ 2019/1/1-2019/2/24 ）のETHの終値を予測 する。 30 29 April 2019 2.2. LSTMによる予測結果 分析の流れ Input Preprocessing Training Predict
  • 31. ? 2019 Masaharu Kinoshita 次に、今週の終値から来週7?間の終値を予測するモデルを構築?予測を?った。今回は、より 短期的な予測となる。結果は、MAE平均値の??から短期予測の?が性能が?い。 31 29 April 2019 2.2. LSTMによる予測結果 予測性能?較 Input Preprocessing Training Predict
  • 32. ? 2019 Masaharu Kinoshita 本結果から?えることとして、より短期的な予測になればなるほど、TradingにおいてAIによる?動 化が適していると考えられる。?間は中?期的な投資判断を?うことで、共存が図れると考える。 32 29 April 2019 2.2. LSTMによる予測結果 Input Preprocessing Training Predict アルゴリズム取引 ?間による取引 Time-Span Frequency 超短期 超多 中?期 中-少 ?間/アルゴリズム取引の棲み分け ビジネスパーソン向け推薦図書 “?間ってなんだ?超AI??” NHK “??知能は?間を超えるのか”, 松尾豊著 “いちばんやさしい機械学習プロ ジェクトの教本”, 韮原祐介著
  • 33. ? 2019 Masaharu Kinoshita Question?
  • 34. ? 2019 Masaharu Kinoshita Masaharu Kinoshita AI/機械学習/Deep Learningの概観 ディープラーニングによる暗号通貨価格予測
  • 35. ? 2019 Masaharu Kinoshita35 29 April 2019 Panel Discussion ?若?データサイエンティストの経験から考えるデータ分析PJTの進め?とは??
  • 36. ? 2019 Masaharu Kinoshita まず機械学習プロジェクトは、4つのフェーズで構成される。特に、構想策定フェーズで具体化した テーマに対して「PoC（Proof of Concept;概念検証）」を?うことが特徴的。 36 29 April 2019 パネルディスカッション 参考資料 構想策定 PoC 実装フェーズ 運?フェーズ ゴール 概要 投資判断の合意形成 実現可能性の検証 モデルとシステムを本番運?化 構築したシステムの運?と保守 1. テーマ選定と具体化 2. 実?計画の?案 1. 機械学習のモックアップ作成 2. 実?に耐える性能かを検証 1. 本番運?に求められる性能と 実?速度に改善 2. 構想した業務やサービスを システムに組み上げる 1. モデルのモニタリングとチューニング 2. システムの監視や機能改善 解くべき問題か? 機械学習で 解決できるか? ROIが成?するか? 理想と現実のギャップ である問題は何か? 機械学習プロジェクトのフェーズとゴール 機械学習プロジェクトのテーマ選定における論点 Y Y Y Y 機械学習プロジェクト として成?するテーマ 「いちばんやさしい機械学習プロジェクトの教本 ?気講師が教える仕事にAIを導?する?法」韮原祐介