Amazon Machine Learning
67 likes72,500 views
Amazon Machine Learningの紹介資料です。機械学習とは？というところから入り、Amazon Machine Learningでどんなことができるのは、何に使えるのか、という点について解説しています。
Amazon Machine Learning
- 1. Amazon Machine Learning Yuta Imai Solutions Architect, Amazon Data Services Japan, K.K.
- 2. アジェンダ 1.? 機械学習とは？ 2.? Amazon Machine Learning (Amazon ML) 3.? アーキテクチャへの組み込み
- 4. 3種類のデータ駆動型アプリケーション 遡及的分析とレ ポーティング 即時の判断 リアルタイム処理と ダッシュボード 予測 スマートアプリ ケーションを作 成可能にするAmazon Kinesis Amazon EC2 AWS Lambda Amazon Redshift, Amazon RDS Amazon S3 Amazon EMR Amazon ML
- 5. 機械学習の例 ?? このメールはスパムメールか？ –? 過去のメールアーカイブをもとにYes/Noを予測する ?? この商品は本、日用品、食品のいずれなのか？ –? 多くの商品データをもとにその商品のカテゴリを予測する ?? 明日の売上はどのくらいになるか？ –? 過去の売上データなどをもとに明日の売上を予測する
- 6. 機械学習の例 ?? このメールはスパムメールか？ –? 過去のメールアーカイブをもとにYes/Noを予測する 送信者domain サーバーIP 送信時刻 言語 Spam? A 123.123.123.123 ... JP Y B 111.111.111.111 ... EN N B 111.111.111.111 ... EN N D 123.456.789.012 ... FR Y 送信者domain サーバーIP 送信時刻 言語 Spam? B 123.123.123.123 ... JP A 123.456.789.012 ... FR 教師データ 予測対象データ 別の方法でSpam判定済 みの教師データ（過去の データ）をもとに 予測対象データ（新しい データ）のSpam判定をす る
- 7. 機械学習の例 ?? この商品は本、日用品、食品のいずれなのか？ –? 多くの商品データをもとにその商品のカテゴリを予測する 商品名 価格 大きさ メーカー カテゴリ A 123 ... AA Book B 456 ... BB Book C 100 ... CC Food D 500 ... DD Grosery 商品名 価格 大きさ メーカー カテゴリ E 500 ... EE F 600 ... FF 教師データ 予測対象データ 大量の商品のデータをも とに 未知の商品のカテゴリを 予測する
- 9. その他の例 … 詐欺の検知 不正取引の検知、 不正クリック検知、スパムeメールのフィル タリング、 疑わしいレビューのマーキング … パーソナライゼーション コンテンツのレコメンデーション、予測的なコンテンツロード、 ユーザエクスペリエンスの改善 … ターゲットマーケティング オファーとお客様のマッチング、 マーケティングキャンペーン の選択、クロスセリングやアップセリング … コンテンツ分類 ドキュメントのカテゴリー分類、履歴書と採用マネージャの マッチング … 変動予測 サービスを使うのを止めそうなお客様の検知、 無料ユーザ からアップグレードのオファー … カスタマーサポート お客様からのメールの適切な転送先推測、ソーシャルメディ アリスニング …
- 10. スマートアプリケーション(機械学習を有効活用したアプリ ケーション)が続々と登場しないのはなぜか? 1.? 機械学習の専門家が少ない 2.? 機械学習の仕組みを作り、スケールさせることは 技術的に困難 3.? モデルとアプリケーションのギャップを縮めるには、 長い時間と高い費用が必要になる
- 11. スマートアプリケーションを作るには 専門家 技術 使いやすさ データサイエンティスト の人数は限られる 多くの選択肢があるが 決定的なものが無い 複雑で間違いを起こし やすいワークフロー 外注するのは高くつく 使いこなし、スケールさ せることが困難 特殊なプラットフォーム とAPI カスタムソリューションを 作成するために多くの細 かい作業が毎回必要に なる モデルライフサイクル管 理を無駄に再発明
- 12. もし、より良い方法があったら?
- 14. Part2: Amazon Machine Learning
- 16. Machine Learning as a Service Amazonで鍛えられた百戦錬磨の内部テクノロ ジーがベース –? 利用者は自分でアルゴリズムの実装や詳細なチューニン グを行う必要がない パッケージサービスとしての提供: –? スマートなデータ変換 –? データ入力およびモデルクエリーのアラート –? 業界のベストプラクティスを内蔵 ニーズに合わせて成長 –? 利用者はシステムの拡張やその運用についても考える必 要がない
- 19. Amazon MLでできること 予測予測手法 バッチ予測 S3等にアップロードされた予測 対象データに対してまとめて予 測を実施 リアルタイム予測 データ１件ずつAPIを使って予測 を実施する Model ml = Aws::MachineLearning::Client.new! record = { attr_A: ‘foo’, attr_B: ‘bar’,... }! result = ml.predict(! ml_model_id: MODELID,! record: record,! predict_endpoint: ENDPOIND! )! 予測対象 データ S3バケット 結果データ S3バケット 予測対象 データ 予測対象 データ
- 20. Amazon MLの使い方
- 21. Amazon MLを使うための４つのステップ 1.? 教師用/評価用データを準備 –? S3やRedshiftにデータを準備し、Amazon MLに読み込ませる 2.? 教師データからモデルを作成 –? 用意されたデータをもとに予測モデルを作成 3.? モデルの品質評価 –? 予測モデルの品質の確認や簡単なチューニングなどを行う 4.? 実際の予測の実施 –? バッチ予測 –? リアルタイム予測
- 22. 1.教師用/評価用データを準備 Data Sourceの作成 S3、 Amazon Redshift、 RDS上の MySQLに格納されたデータを指定し、教 師データ/評価用データとして利用する デフォルトの設定を使うと、自動的に７割 を教師データ(T)、３割を評価用データ (E)に分割して管理してくれる s3://SOURCEDATA T E
- 25. 4.実際の予測の実施 バッチ予測 S3等にアップロードされた予測 対象データに対してまとめて予 測を実施 リアルタイム予測 データ１件ずつAPIを使って予測 を実施する Model ml = Aws::MachineLearning::Client.new! record = { attr_A: ‘foo’, attr_B: ‘bar’,... }! result = ml.predict(! ml_model_id: MODELID,! record: record,! predict_endpoint: ENDPOIND! )! 予測対象 データ S3バケット 結果データ S3バケット 予測対象 データ 予測対象 データ
- 26. 料金
- 27. 使った分だけ、安価な支払い データ分析、モデルトレーニング、評価: $0.42/インスタンス時 バッチ予測: $0.10/1000 リアルタイム予測: $0.10/1000 + １时间毎のキャパシティリザベーションチャージ
- 28. より深い情报が知りたければ
- 30. Learning Algorithm The learning algorithm’s task is to learn the weights for the model. A learning algorithm consists of a loss function and an optimization technique. The loss is the penalty that is incurred when the estimate of the target provided by the ML model does not equal the target exactly. A loss function is a function that quantifies this penalty as a single value. An optimization technique seeks to minimize the loss. In Amazon Machine Learning, we have three loss functions, one for each of the three types of prediction problems. The optimization technique used in Amazon Machine Learning is online Stochastic Gradient Descent (SGD). SGD makes sequential passes over the training data, and during each pass, updates feature weights one example at a time with the aim of approaching the optimal weights that minimize the loss. Amazon Machine Learning uses the following learning algorithms: ?? For binary classification, Amazon Machine Learning uses logistic regression (logistic loss function + SGD). ?? For multiclass classification, Amazon Machine Learning uses multinomial logistic regression (multinomial logistic loss + SGD). ?? For regression, Amazon Machine Learning uses linear regression (squared loss function + SGD).
- 31. ユースケースを考えてみる
- 33. 広告の不正クリック検出 ?? アプローチ –? 別の手法で判断したクリックログを教師データにして二項分類のトレーニング。 ?? 教師データ –? 実際のクリックログ。不正かそうでないかを別の手法で判断してフラグがついた もの。 ?? 問題の分類 –? 二項分類 ?? 出力 –? ログ一行ごとに不正クリックかそうでないか
- 34. 予測的オートスケーリング（１） ?? アプローチ –? 日々のオートスケーリングのトレンドから予測曲線を得る ?? 教師データ –? 毎日のEC2の台数の増減の履歴 ?? 問題の分類 –? 回帰分析 ?? 出力 –? ●●曜日の●●時だったらEC2は●●台であるべき
- 35. 予測的オートスケーリング（２） ?? アプローチ –? オートスケーリングが発生するトラフィック?パターンを抽出する ?? 教師データ –? 毎日のEC2の台数の増減の履歴にトラフィックパターンがマッピングされたもの ?? 問題の分類 –? 二項分類 ?? 出力 –? ●●なトラフィックパターンが現れたらオートスケーリングフラグがTrueになる
- 36. デモグラ推定 ?? アプローチ –? ユーザーの行動ログからF1,M1などのカテゴリにマッピングする ?? 教師データ –? デモグラがわかっているユーザーの行動ログ ?? 問題の分類 –? 多クラス分類 ?? 出力 –? ユーザーのカテゴライズされたデモグラ
- 37. デモグラに基づいたレコメンデーション ?? アプローチ –? デモグラごとに好まれる商品カテゴリを抽出してレコメンデーションに利用 ?? 教師データ –? 購入履歴にデモグラ情報がマッピングされたもの ?? 問題の分類 –? 多クラス分類 ?? 出力 –? このユーザーはF1なので商品カテゴリ●●、みたいな出力
- 38. 行動パターンに基づいた広告掲出 ?? アプローチ –? クリックストリームのパターンに対して「広告出すべきタイミングか否か」を判定する –? もちろんパターン以外の要素も判定の対象にはする ?? 教師データ –? 直近x回というウィンドウごとにまとめたクリックストリームログ ?? 問題の分類 –? 二項分類 ?? 出力 –? あるパターンに行動がマッチしたときに「広告出せフラグ」が出る
- 39. 曜日ごとに必要な在庫の予測 ?? アプローチ –? 日ごとの在庫の出荷数の実績から次の特定の曜日の集荷数を予測する ?? 教師データ –? 日毎の出荷数の実績データ ?? 問題の分類 –? 回帰分析 ?? 出力 –? 曜日を入力すると必要な在庫の予測が出力される
- 40. 株価予測 ?? アプローチ –? ある一連のシークエンスのあとに出現する値を予測する ?? 教師データ –? 株価の推移をある特定のウィンドウごとにまとめたものの配列 ?? 問題の分類 –? 回帰分析 ?? 出力 –? 直近のウィンドウのシークエンスを入力すると次の値の予測が出力される
- 41. 問題をどうモデルに落としこむかが非常に大事 ?? 教師データの量 ?? 教師データの形式、入力値 ?? どのモデルを使うのか ?? 何の値を予測/判定するのか
- 44. EMRを使用したバッチ予測 Amazon ML batch APIで予 測をクエリーする EMRで処理 S3にある元デー タ 集計済データをS3に 予測データを S3に アプリケーション
- 45. Amazon Redshiftを使ったバッチ予測 Amazon Redshiftに構造 化データ Amazon Redshiftに 予測データをLOAD -もしくは- S3から直接、 予測データを読み取り S3上の予測データ Amazon ML batch APIで予 測をクエリーする アプリケーション
- 46. インタラクティブアプリケーション用のリアルタイム予測 アプリケーション Amazon ML Real-Time API で予測をクエリーする
- 47. 既存データフローに予測を追加する アプリケーション Amazon DynamoDB + Lambdaでイベントトリガー + Amazon ML Real-Time APIで予測を クエリーする
- 48. さいごに
- 49. Amazon Machine Learningを使うと??? ?? 機械学習の導入を非常に容易にしてくれる。機械学 習やそのためのシステムについての専門家がいな くても可能。 ?? S3やRedshiftにデータがあればすぐにでも使いはじ めることができる。 溜めていたデータの評価や、その先のビジネスへの 活用を簡単に始めることができる。