狠狠撸

狠狠撸Share a Scribd company logo
  Vertex AIを用いた
時系列データの解析
2021/12/18 機械学習の社会実装勉強会 第6回
- UX企画関連のソフトウェア開発に従事
- 統計?MLを用いた解析機能の開発及び運用を担当
自己紹介
岩澤幸太朗
前回やったこと
- ARIMAモデルの概要
- ARIMAモデルを用いたCOVID-19感染者数予測
【第5回】BigQueryML を用いた時系列データの分析( ARIMAモデル)
◆ ARIMAモデル (自己回帰和分移動平均モデル)
ARMAモデル 次数, p, d, q
d個前の値との差分
復習
→ 過去の自分の値から未来の値を予測 (外的要因は考慮しない )
(ARMA + 和分過程 )
ARモデル MAモデル
ARMAモデル
ARIMAモデル
前回の結果 (ARIMAモデルによるCOVID-19感染者数予測)
予測モデルとしては失敗
反省:時系列データ予測の難しさ
一変量時系列解析
- 日付、 感染者数
多変量時系列解析
- 日付、感染者数、
人出、ワクチン接種者数、
人口統計、気温、...
長期的傾向(トレンド)
- 増加 or 減少
周期性
- 週次
- 季節性 (?)
外的要因 (複数の特徴量)
- 大規模イベント
- 衛生意識の変化
- 変異株の出現
- …
過去の自分の値から
将来の値を予測
本日の内容
- Vertex AI の概要
- Vertex AI を用いた時系列データの解析
- 予測結果の可視化
Vertex AI
MLOps with Vertex AI
https://cloud.google.com/vertex-ai?hl=ja#section-7
*各セルのサービス名称,関係変わっているかも
- Google I/O 21にて発表(一般提供)
- 機械学習ワークフローの統合環境
- AutoML含む各種MLツールへのアクセス
- AutoML
- Vertex AI Workbench
- Deep Learning VM Image
- Vertex AI Data Labeling
- Vertex Explainable AI
- Vertex AI Model Monitoring
- …
AutoML
予測
ハイパーパラメータチューニング
データ前処理
モデルデプロイ
…
データセット読
み込み
AutoML
アンサンブル学習
モデル選択
モデル評価
トレーニング データ(2020-04-01 ~ 2021-10-31)
時間列(日付)+ 時系列識別子(国)+ ターゲット列(感染者数)+ 特徴を表す列
- 欠損値を避ける
- 十分なトレーニング データ
- 10 以上の時系列識別子
.
.
.
参
考:https://cloud.google.com/vertex-ai/docs/datasets/bp-tabular
予測データ(2021-11-01 ~ 2021-11-14 + コンテキスト期間)
→予測日数分の行のTarget 列 (new_confirmed)はNULLにする
.
.
.
Demo
….… ( ^ ω ^ )
- 最新の知見を用いた多変量時系列解析がUI上で実行できた
- 人の手はある程度必要
- 一定のデータセット理解
- 説明変数選択
- 前処理
- 評価指標選択
- 説明性
- Auto MLの料金のご確認を、ご利用は計画的に
所感
参考文献?リンク
コードはこちら
https://github.com/kootr/ml-study-session
Vertex AI AutoML ForecastingでDNNの強力な多変量時系列予測を自動モデリングしてしまおう
Vertex AI ではじめる時系列分析入門
How to build forecasting models with Vertex AI
ML 入門: Vertex AI のラーニングパス
Using AutoML for Time Series Forecasting
GCP: AutoML
AutoMLで破産しないように気をつけたいポイント
GCPのAutoMLを使っていたら12万の請求?がきてしまった話
Summary of rules for identifying ARIMA models
Ad

Recommended

惭尝翱辫蝉入门
惭尝翱辫蝉入门
Hiro Mura
?
Vertex AI Pipelinesで BigQuery MLのワークフローを管理 (ETL ~ デプロイまで)
Vertex AI Pipelinesで BigQuery MLのワークフローを管理 (ETL ~ デプロイまで)
幸太朗 岩澤
?
惭尝翱辫蝉の概要と初学者が気をつけたほうが良いこと
惭尝翱辫蝉の概要と初学者が気をつけたほうが良いこと
Sho Tanaka
?
机械学习によるデータ分析まわりのお话
机械学习によるデータ分析まわりのお话
Ryota Kamoshida
?
データサイエンティストのつくり方
データサイエンティストのつくり方
Shohei Hido
?
因果探索: 基本から最近の発展までを概説
因果探索: 基本から最近の発展までを概説
Shiga University, RIKEN
?
トピックモデルの評価指標 Perplexity とは何なのか?
トピックモデルの評価指標 Perplexity とは何なのか?
hoxo_m
?
机械学习モデルの判断根拠の説明
机械学习モデルの判断根拠の説明
Satoshi Hara
?
机械学习を使った时系列売上予测
机械学习を使った时系列売上予测
DataRobotJP
?
础奥厂て?はし?める惭尝翱辫蝉
础奥厂て?はし?める惭尝翱辫蝉
MariOhbuchi
?
Deep Learningで似た画像を見つける技術 | OHS勉強会#5
Deep Learningで似た画像を見つける技術 | OHS勉強会#5
Toshinori Hanya
?
XAI (説明可能なAI) の必要性
XAI (説明可能なAI) の必要性
西岡 賢一郎
?
深層学習の不確実性 - Uncertainty in Deep Neural Networks -
深層学習の不確実性 - Uncertainty in Deep Neural Networks -
tmtm otm
?
【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces
【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces
Deep Learning JP
?
失败から学ぶ机械学习応用
失败から学ぶ机械学习応用
Hiroyuki Masuda
?
CMA-ESサンプラーによるハイパーパラメータ最適化 at Optuna Meetup #1
CMA-ESサンプラーによるハイパーパラメータ最適化 at Optuna Meetup #1
Masashi Shibata
?
アンサンブル木モデル解釈のためのモデル简略化法
アンサンブル木モデル解釈のためのモデル简略化法
Satoshi Hara
?
【DL輪読会】AUTOGT: AUTOMATED GRAPH TRANSFORMER ARCHITECTURE SEARCH
【DL輪読会】AUTOGT: AUTOMATED GRAPH TRANSFORMER ARCHITECTURE SEARCH
Deep Learning JP
?
7. Vertex AI Model Registryで BigQuery MLのモデルを管理する
7. Vertex AI Model Registryで BigQuery MLのモデルを管理する
幸太朗 岩澤
?
潜在ディリクレ配分法
潜在ディリクレ配分法
y-uti
?
摆顿尝轮読会闭相互情报量最大化による表现学习
摆顿尝轮読会闭相互情报量最大化による表现学习
Deep Learning JP
?
【論文調査】XAI技術の効能を ユーザ実験で評価する研究
【論文調査】XAI技術の効能を ユーザ実験で評価する研究
Satoshi Hara
?
Amazon SageMaker で始める機械学習
Amazon SageMaker で始める機械学習
Amazon Web Services Japan
?
1次式とノルムで构成された最适化问题とその双対问题
1次式とノルムで构成された最适化问题とその双対问题
京都大学大学院情报学研究科数理工学専攻
?
21世紀の手法対決 (MIC vs HSIC)
21世紀の手法対決 (MIC vs HSIC)
Toru Imai
?
Semantic segmentation
Semantic segmentation
Takuya Minagawa
?
PyData.Tokyo Meetup #21 講演資料「Optuna ハイパーパラメータ最適化フレームワーク」太田 健
PyData.Tokyo Meetup #21 講演資料「Optuna ハイパーパラメータ最適化フレームワーク」太田 健
Preferred Networks
?
[DL Hacks] code_representation
[DL Hacks] code_representation
Deep Learning JP
?
14. BigQuery ML を用いた多変量時系列テ?ータの解析.pdf
14. BigQuery ML を用いた多変量時系列テ?ータの解析.pdf
幸太朗 岩澤
?
機械学習 - MNIST の次のステップ
機械学習 - MNIST の次のステップ
Daiyu Hatakeyama
?

More Related Content

What's hot (20)

机械学习を使った时系列売上予测
机械学习を使った时系列売上予测
DataRobotJP
?
础奥厂て?はし?める惭尝翱辫蝉
础奥厂て?はし?める惭尝翱辫蝉
MariOhbuchi
?
Deep Learningで似た画像を見つける技術 | OHS勉強会#5
Deep Learningで似た画像を見つける技術 | OHS勉強会#5
Toshinori Hanya
?
XAI (説明可能なAI) の必要性
XAI (説明可能なAI) の必要性
西岡 賢一郎
?
深層学習の不確実性 - Uncertainty in Deep Neural Networks -
深層学習の不確実性 - Uncertainty in Deep Neural Networks -
tmtm otm
?
【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces
【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces
Deep Learning JP
?
失败から学ぶ机械学习応用
失败から学ぶ机械学习応用
Hiroyuki Masuda
?
CMA-ESサンプラーによるハイパーパラメータ最適化 at Optuna Meetup #1
CMA-ESサンプラーによるハイパーパラメータ最適化 at Optuna Meetup #1
Masashi Shibata
?
アンサンブル木モデル解釈のためのモデル简略化法
アンサンブル木モデル解釈のためのモデル简略化法
Satoshi Hara
?
【DL輪読会】AUTOGT: AUTOMATED GRAPH TRANSFORMER ARCHITECTURE SEARCH
【DL輪読会】AUTOGT: AUTOMATED GRAPH TRANSFORMER ARCHITECTURE SEARCH
Deep Learning JP
?
7. Vertex AI Model Registryで BigQuery MLのモデルを管理する
7. Vertex AI Model Registryで BigQuery MLのモデルを管理する
幸太朗 岩澤
?
潜在ディリクレ配分法
潜在ディリクレ配分法
y-uti
?
摆顿尝轮読会闭相互情报量最大化による表现学习
摆顿尝轮読会闭相互情报量最大化による表现学习
Deep Learning JP
?
【論文調査】XAI技術の効能を ユーザ実験で評価する研究
【論文調査】XAI技術の効能を ユーザ実験で評価する研究
Satoshi Hara
?
Amazon SageMaker で始める機械学習
Amazon SageMaker で始める機械学習
Amazon Web Services Japan
?
1次式とノルムで构成された最适化问题とその双対问题
1次式とノルムで构成された最适化问题とその双対问题
京都大学大学院情报学研究科数理工学専攻
?
21世紀の手法対決 (MIC vs HSIC)
21世紀の手法対決 (MIC vs HSIC)
Toru Imai
?
Semantic segmentation
Semantic segmentation
Takuya Minagawa
?
PyData.Tokyo Meetup #21 講演資料「Optuna ハイパーパラメータ最適化フレームワーク」太田 健
PyData.Tokyo Meetup #21 講演資料「Optuna ハイパーパラメータ最適化フレームワーク」太田 健
Preferred Networks
?
[DL Hacks] code_representation
[DL Hacks] code_representation
Deep Learning JP
?
机械学习を使った时系列売上予测
机械学习を使った时系列売上予测
DataRobotJP
?
础奥厂て?はし?める惭尝翱辫蝉
础奥厂て?はし?める惭尝翱辫蝉
MariOhbuchi
?
Deep Learningで似た画像を見つける技術 | OHS勉強会#5
Deep Learningで似た画像を見つける技術 | OHS勉強会#5
Toshinori Hanya
?
XAI (説明可能なAI) の必要性
XAI (説明可能なAI) の必要性
西岡 賢一郎
?
深層学習の不確実性 - Uncertainty in Deep Neural Networks -
深層学習の不確実性 - Uncertainty in Deep Neural Networks -
tmtm otm
?
【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces
【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces
Deep Learning JP
?
失败から学ぶ机械学习応用
失败から学ぶ机械学习応用
Hiroyuki Masuda
?
CMA-ESサンプラーによるハイパーパラメータ最適化 at Optuna Meetup #1
CMA-ESサンプラーによるハイパーパラメータ最適化 at Optuna Meetup #1
Masashi Shibata
?
アンサンブル木モデル解釈のためのモデル简略化法
アンサンブル木モデル解釈のためのモデル简略化法
Satoshi Hara
?
【DL輪読会】AUTOGT: AUTOMATED GRAPH TRANSFORMER ARCHITECTURE SEARCH
【DL輪読会】AUTOGT: AUTOMATED GRAPH TRANSFORMER ARCHITECTURE SEARCH
Deep Learning JP
?
7. Vertex AI Model Registryで BigQuery MLのモデルを管理する
7. Vertex AI Model Registryで BigQuery MLのモデルを管理する
幸太朗 岩澤
?
潜在ディリクレ配分法
潜在ディリクレ配分法
y-uti
?
摆顿尝轮読会闭相互情报量最大化による表现学习
摆顿尝轮読会闭相互情报量最大化による表现学习
Deep Learning JP
?
【論文調査】XAI技術の効能を ユーザ実験で評価する研究
【論文調査】XAI技術の効能を ユーザ実験で評価する研究
Satoshi Hara
?
21世紀の手法対決 (MIC vs HSIC)
21世紀の手法対決 (MIC vs HSIC)
Toru Imai
?
PyData.Tokyo Meetup #21 講演資料「Optuna ハイパーパラメータ最適化フレームワーク」太田 健
PyData.Tokyo Meetup #21 講演資料「Optuna ハイパーパラメータ最適化フレームワーク」太田 健
Preferred Networks
?
[DL Hacks] code_representation
[DL Hacks] code_representation
Deep Learning JP
?

Similar to 3. Vertex AIを用いた時系列テ?ータの解析 (20)

14. BigQuery ML を用いた多変量時系列テ?ータの解析.pdf
14. BigQuery ML を用いた多変量時系列テ?ータの解析.pdf
幸太朗 岩澤
?
機械学習 - MNIST の次のステップ
機械学習 - MNIST の次のステップ
Daiyu Hatakeyama
?
データ解析入门
データ解析入门
Takeo Noda
?
机械学习システムの33のアーキテクチャパターンおよびデザインパターン
机械学习システムの33のアーキテクチャパターンおよびデザインパターン
Hironori Washizaki
?
机械学习アーキテクチャ?デザインパターン
机械学习アーキテクチャ?デザインパターン
Hironori Washizaki
?
骋谤补诲-颁础惭の始まりのお话
骋谤补诲-颁础惭の始まりのお话
Shintaro Yoshida
?
鷲崎弘宜, "高品質なAIシステムの開発?運用のための"フレームワーク", eAIシンポジウム 2025年1月16日
鷲崎弘宜, "高品質なAIシステムの開発?運用のための"フレームワーク", eAIシンポジウム 2025年1月16日
Hironori Washizaki
?
Azure Machine Learning Services 概要 - 2019年3月版
Azure Machine Learning Services 概要 - 2019年3月版
Daiyu Hatakeyama
?
おしゃスタ蔼リクルート
おしゃスタ蔼リクルート
Issei Kurahashi
?
2024年5月17日 先駆的科学计算フォーラム2024 机械学习を用いた新たなゲーム体験の创出の応用
2024年5月17日 先駆的科学计算フォーラム2024 机械学习を用いた新たなゲーム体験の创出の応用
KLab Inc. / Tech
?
バージョンアップした「搁别狈辞尘滨惭骋」の绍介
バージョンアップした「搁别狈辞尘滨惭骋」の绍介
ReNom User Group
?
概念モデリングによるビジネスの见える化とシステム开発のデジタルトランスフォーメーション.辫辫迟虫
概念モデリングによるビジネスの见える化とシステム开発のデジタルトランスフォーメーション.辫辫迟虫
Knowledge & Experience
?
データ仮想化を活用したデータ分析のフローと分析モデル作成の自动化のご绍介
データ仮想化を活用したデータ分析のフローと分析モデル作成の自动化のご绍介
Denodo
?
学习モデルの検証
学习モデルの検証
Ruketa
?
Python / R で使うSAS Viya
Python / R で使うSAS Viya
SAS Institute Japan
?
厂别蝉蝉颈辞苍4:「先进ビッグデータ応用を支える机械学习に求められる新技术」/比戸将平
厂别蝉蝉颈辞苍4:「先进ビッグデータ応用を支える机械学习に求められる新技术」/比戸将平
Preferred Networks
?
機械学習応用システムのアーキテクチャ?デザイパターン(2020-07 ドラフトバージョン))
機械学習応用システムのアーキテクチャ?デザイパターン(2020-07 ドラフトバージョン))
HironoriTAKEUCHI1
?
Azure Machine Learning services 2019年6月版
Azure Machine Learning services 2019年6月版
Daiyu Hatakeyama
?
ヒ?シ?ネス活用事例て?学ふ?テ?ータサイエンス入門 #2
ヒ?シ?ネス活用事例て?学ふ?テ?ータサイエンス入門 #2
you shimajiro
?
Apache tinkerpopとグラフデータベースの世界
Apache tinkerpopとグラフデータベースの世界
Yuki Morishita
?
14. BigQuery ML を用いた多変量時系列テ?ータの解析.pdf
14. BigQuery ML を用いた多変量時系列テ?ータの解析.pdf
幸太朗 岩澤
?
機械学習 - MNIST の次のステップ
機械学習 - MNIST の次のステップ
Daiyu Hatakeyama
?
データ解析入门
データ解析入门
Takeo Noda
?
机械学习システムの33のアーキテクチャパターンおよびデザインパターン
机械学习システムの33のアーキテクチャパターンおよびデザインパターン
Hironori Washizaki
?
机械学习アーキテクチャ?デザインパターン
机械学习アーキテクチャ?デザインパターン
Hironori Washizaki
?
骋谤补诲-颁础惭の始まりのお话
骋谤补诲-颁础惭の始まりのお话
Shintaro Yoshida
?
鷲崎弘宜, "高品質なAIシステムの開発?運用のための"フレームワーク", eAIシンポジウム 2025年1月16日
鷲崎弘宜, "高品質なAIシステムの開発?運用のための"フレームワーク", eAIシンポジウム 2025年1月16日
Hironori Washizaki
?
Azure Machine Learning Services 概要 - 2019年3月版
Azure Machine Learning Services 概要 - 2019年3月版
Daiyu Hatakeyama
?
おしゃスタ蔼リクルート
おしゃスタ蔼リクルート
Issei Kurahashi
?
2024年5月17日 先駆的科学计算フォーラム2024 机械学习を用いた新たなゲーム体験の创出の応用
2024年5月17日 先駆的科学计算フォーラム2024 机械学习を用いた新たなゲーム体験の创出の応用
KLab Inc. / Tech
?
バージョンアップした「搁别狈辞尘滨惭骋」の绍介
バージョンアップした「搁别狈辞尘滨惭骋」の绍介
ReNom User Group
?
概念モデリングによるビジネスの见える化とシステム开発のデジタルトランスフォーメーション.辫辫迟虫
概念モデリングによるビジネスの见える化とシステム开発のデジタルトランスフォーメーション.辫辫迟虫
Knowledge & Experience
?
データ仮想化を活用したデータ分析のフローと分析モデル作成の自动化のご绍介
データ仮想化を活用したデータ分析のフローと分析モデル作成の自动化のご绍介
Denodo
?
学习モデルの検証
学习モデルの検証
Ruketa
?
厂别蝉蝉颈辞苍4:「先进ビッグデータ応用を支える机械学习に求められる新技术」/比戸将平
厂别蝉蝉颈辞苍4:「先进ビッグデータ応用を支える机械学习に求められる新技术」/比戸将平
Preferred Networks
?
機械学習応用システムのアーキテクチャ?デザイパターン(2020-07 ドラフトバージョン))
機械学習応用システムのアーキテクチャ?デザイパターン(2020-07 ドラフトバージョン))
HironoriTAKEUCHI1
?
Azure Machine Learning services 2019年6月版
Azure Machine Learning services 2019年6月版
Daiyu Hatakeyama
?
ヒ?シ?ネス活用事例て?学ふ?テ?ータサイエンス入門 #2
ヒ?シ?ネス活用事例て?学ふ?テ?ータサイエンス入門 #2
you shimajiro
?
Apache tinkerpopとグラフデータベースの世界
Apache tinkerpopとグラフデータベースの世界
Yuki Morishita
?
Ad

More from 幸太朗 岩澤 (11)

15. Transformerを用いた言語処理技術の発展.pdf
15. Transformerを用いた言語処理技術の発展.pdf
幸太朗 岩澤
?
BigQuery ML for unstructured data
BigQuery ML for unstructured data
幸太朗 岩澤
?
12. Diffusion Model の数学的基礎.pdf
12. Diffusion Model の数学的基礎.pdf
幸太朗 岩澤
?
行列分解の数学的基础.辫诲蹿
行列分解の数学的基础.辫诲蹿
幸太朗 岩澤
?
BigQuery MLの行列分解モデルを 用いた推薦システムの基礎
BigQuery MLの行列分解モデルを 用いた推薦システムの基礎
幸太朗 岩澤
?
Vertex AI Pipelinesで BigQuery MLのワークフローを管理
Vertex AI Pipelinesで BigQuery MLのワークフローを管理
幸太朗 岩澤
?
6. Vertex AI Workbench による Notebook 環境.pdf
6. Vertex AI Workbench による Notebook 環境.pdf
幸太朗 岩澤
?
5. Big Query Explainable AIの紹介
5. Big Query Explainable AIの紹介
幸太朗 岩澤
?
4. CycleGANの画像変換と現代美術への応用
4. CycleGANの画像変換と現代美術への応用
幸太朗 岩澤
?
2. BigQuery ML を用いた時系列テ?ータの解析 (ARIMA model)
2. BigQuery ML を用いた時系列テ?ータの解析 (ARIMA model)
幸太朗 岩澤
?
1. BigQueryを中心にした ML datapipelineの概要
1. BigQueryを中心にした ML datapipelineの概要
幸太朗 岩澤
?
15. Transformerを用いた言語処理技術の発展.pdf
15. Transformerを用いた言語処理技術の発展.pdf
幸太朗 岩澤
?
BigQuery ML for unstructured data
BigQuery ML for unstructured data
幸太朗 岩澤
?
12. Diffusion Model の数学的基礎.pdf
12. Diffusion Model の数学的基礎.pdf
幸太朗 岩澤
?
行列分解の数学的基础.辫诲蹿
行列分解の数学的基础.辫诲蹿
幸太朗 岩澤
?
BigQuery MLの行列分解モデルを 用いた推薦システムの基礎
BigQuery MLの行列分解モデルを 用いた推薦システムの基礎
幸太朗 岩澤
?
Vertex AI Pipelinesで BigQuery MLのワークフローを管理
Vertex AI Pipelinesで BigQuery MLのワークフローを管理
幸太朗 岩澤
?
6. Vertex AI Workbench による Notebook 環境.pdf
6. Vertex AI Workbench による Notebook 環境.pdf
幸太朗 岩澤
?
5. Big Query Explainable AIの紹介
5. Big Query Explainable AIの紹介
幸太朗 岩澤
?
4. CycleGANの画像変換と現代美術への応用
4. CycleGANの画像変換と現代美術への応用
幸太朗 岩澤
?
2. BigQuery ML を用いた時系列テ?ータの解析 (ARIMA model)
2. BigQuery ML を用いた時系列テ?ータの解析 (ARIMA model)
幸太朗 岩澤
?
1. BigQueryを中心にした ML datapipelineの概要
1. BigQueryを中心にした ML datapipelineの概要
幸太朗 岩澤
?
Ad

3. Vertex AIを用いた時系列テ?ータの解析