Inspection of CloudML Hyper Parameter Tuning
12 likes2,366 views
GCPUG Fukuoka 5th ?Machine Learning 祭? の発表資料
1 of 55
Downloaded 13 times
![実験1
? Hyper Parameter
? 1変数(x), 2変数(x, y)
? 範囲は全て [-1, 1]
? 最?値を求める
? 探索回数(N)は
? 1変数 → N=10 or 15
? 2変数 → N=30](https://image.slidesharecdn.com/inspectionofcloudmlhyperparametertuning-170128080952/85/Inspection-of-CloudML-Hyper-Parameter-Tuning-25-320.jpg)
![実験2
? 実験1と同じF(x)に対して Bayesian Optimization
? 最初の3点は実験1の(Cloud MLの)結果を流??
(Bayesian Optimization は初期何点かはランダム探索)
? PythonのBayesianOptimizationパッケージを利??
[https://github.com/fmfn/BayesianOptimization]
? Acquisition function には GP-UCB, kappa=0.5 を選択](https://image.slidesharecdn.com/inspectionofcloudmlhyperparametertuning-170128080952/85/Inspection-of-CloudML-Hyper-Parameter-Tuning-44-320.jpg)
Ad
Recommended
ぼくの実装した最弱のディープラーニング
ぼくの実装した最弱のディープラーニングなおき きしだ
?
最近流行のディープラーニングを実装して画像认识しようとしたけどなかなかうまく学习してくれない话をしようと思ったのだけど、どうやらうまくいき始めたようです。性能測定道 実践編
性能測定道 実践編Yuto Hayamizu
?
2014/2/1に開催された日本PostgreSQLユーザ会 第27回しくみ＋アプリケーション勉強会での講演です。
http://www.postgresql.jp/wg/shikumi/shikumi282015年9月18日 (GTC Japan 2015) 深層学習フレームワークChainerの導入と化合物活性予測への応用
2015年9月18日 (GTC Japan 2015) 深層学習フレームワークChainerの導入と化合物活性予測への応用 Kenta Oono
?
GTC Japan 2015での発表資料 (Session ID:2015 - 1014)ChainerでDeep Learningを試すために必要なこと
ChainerでDeep Learningを試すために必要なことRetrieva inc.
?
2016/12/21 dots.DeepLearning部「数式がわからなくたってDeep Learningやってみたい！人集合- dots. DeepLearning部 発足！」で講演した資料です。性能測定道 事始め編
性能測定道 事始め編Yuto Hayamizu
?
2013/10/05に開催された日本PostgreSQLユーザ会 第27回しくみ＋アプリケーション勉強会での講演です。
http://www.postgresql.jp/wg/shikumi/shikumi27
----
コンピュータシステムにおける性能測定とは、技芸です。
性能測定というと、単に測定ツールを実行するだけの作業だと考えられがちです。しかし実際には、何のために測定をするのか、そのために何を測定するべきか、そして何を使って測定するべきかを理解した上で行わなければ全く意味を成さない、深みのある技芸の世界です。
講演者の所属する研究室では長年にわたりデータベースシステムの研究?開発を行ってきました。その過程で培われた性能測定の技芸について、最近の実例も交えつつその考え方をご紹介したいと思います。ディープラーニング最近の発展とビジネス応用への课题
ディープラーニング最近の発展とビジネス応用への课题Kenta Oono
?
2015年5月26日、エヌビディア様主催「ディープラーニングフォーラム2015」でのPreferred Networksの講演資料です
http://www.gdep.jp/page/view/412碍补驳驳濒别のテクニック
碍补驳驳濒别のテクニックYasunori Ozaki
?
碍补驳驳濒别のあるコンテンストの优胜者が作ったモデルをケーススタディとして、办补驳驳濒别テクニックを解説します。特に厂迟补肠办颈苍驳を中心に解説しています。颁狈狈にはあえて触れませんでした。また、迟-厂狈贰や虫驳产辞辞蝉迟の概略にも触れました。Microsoft Malware Classification Challenge 上位手法の紹介 (in Kaggle Study Meetup)
Microsoft Malware Classification Challenge 上位手法の紹介 (in Kaggle Study Meetup)Shotaro Sano
?
2015年に開催された機械学習コンペティション（Microsoft Malware Classification Challenge）における上位手法や優勝モデルについての解説。こちらのミートアップで発表させていただきました： http://connpass.com/event/25007/ Chainer の Trainer 解説と NStepLSTM について
Chainer の Trainer 解説と NStepLSTM についてRetrieva inc.
?
レトリバセミナー 2017/03/15
Movie: https://www.youtube.com/watch?v=ok_bvPKAEaMKaggle参加報告: Champs Predicting Molecular Properties
Kaggle参加報告: Champs Predicting Molecular PropertiesKazuki Fujikawa
?
Kaggleコンペティション「Predicting Molecular Properties」で13位になった時の解法の紹介と、上位ソリューションの紹介です。颁丑补颈苍别谤の使い方と自然言语処理への応用
颁丑补颈苍别谤の使い方と自然言语処理への応用Seiya Tokui
?
第10回 NLP若手の会シンポジウム (YANS) のチュートリアルスライドです。ニューラルネットの（アルゴリズムとしての）おさらいと、Chainer v1.3.0の使い方を紹介しています。第3回机械学习勉强会「色々な狈狈フレームワークを动かしてみよう」-碍别谤补蝉编-
第3回机械学习勉强会「色々な狈狈フレームワークを动かしてみよう」-碍别谤补蝉编-Yasuyuki Sugai
?
2016年6月期AITCオープンラボ
第3回 機械学習勉強会 「色々なニューラル?ネットワークのフレームワークを動かしてみよう！」 Keras編資料2015-11-17 きちんと知りたいApache Spark ～機械学習とさまざまな機能群
2015-11-17 きちんと知りたいApache Spark ～機械学習とさまざまな機能群Yu Ishikawa
?
2015-11-17 きちんと知りたいApache Spark ～機械学習とさまざまな機能群アドテク×厂肠补濒补×パフォーマンスチューニング
アドテク×厂肠补濒补×パフォーマンスチューニングYosuke Mizutani
?
アドテク×Scala meetup 2014-11-20
http://connpass.com/event/8384/2018年01月27日 TensorFlowの計算グラフの理解
2018年01月27日 TensorFlowの計算グラフの理解aitc_jp
?
発表日：2018年01月27日
イベント名： AITCオープンラボ TensorFlow勉強会シリーズ２ 成果報告会
イベントURL：http://aitc.jp/events/20180127-OpenLab/info.html
タイトル：TensorFlowの計算グラフの理解
発表者：吉田 裕之氏
TensorFlowによるニューラルネットワークの実装は、「計算グラフ」を構築
するコードの記述になります。
本発表では、TensorFlow利用の基礎知識として、計算グラフの考え方と仕組
みを解説します。
リアルタイム処理エンジン Gearpumpの紹介
リアルタイム処理エンジン Gearpumpの紹介Sotaro Kimura
?
#ScalaMatsuri のランチLT用リアルタイム処理エンジンGearpumpの紹介スライドです。
PC障害で使わずに紹介してましたが供養のためアップしておきます。[DL輪読会]Parallel WaveNet: Fast High-Fidelity Speech Synthesis
[DL輪読会]Parallel WaveNet: Fast High-Fidelity Speech SynthesisDeep Learning JP
?
2018/1/5
Deep Learning JP:
http://deeplearning.jp/seminar-2/北大調和系 DLゼミ A3C
北大調和系 DLゼミ A3CTomoya Oda
?
エピソードのサンプリング?学習が非同期 + Actor-Criticな手法の提案。更にGPUではなくCPUのみでDQNより学習時間を削ることに成功。また、DQNが苦手な行動空間が連続な場合の可能性も示した。
しかし、現在ではA2C（同期）の方が性能が良いとされている。猫でも分かるVariational AutoEncoder
猫でも分かるVariational AutoEncoderSho Tatsuno
?
生成モデルとかをあまり知らない人にもなるべく分かりやすい説明を心がけたVariational AutoEncoderのスライド
実装と簡単な補足は以下を参照
http://sh-tatsuno.com/blog/index.php/2016/07/30/variationalautoencoder/自分たちでつくった&辩耻辞迟;鲍齿ガイドライン&辩耻辞迟;を片手に、クラウドワークスを作り変える。
自分たちでつくった&辩耻辞迟;鲍齿ガイドライン&辩耻辞迟;を片手に、クラウドワークスを作り変える。kazuma ueda
?
UX JAM #14 で発表した資料です。
※一部の情報を修正して公開しています。强化学习蔼笔测顿补迟补.罢辞办测辞
强化学习蔼笔测顿补迟补.罢辞办测辞Naoto Yoshida
?
PyData.Tokyo Meetup #12 での強化学習に関する講演スライドです．
https://pydatatokyo.connpass.com/event/48563/More Related Content
What's hot (20)
性能測定道 事始め編
性能測定道 事始め編Yuto Hayamizu
?
2013/10/05に開催された日本PostgreSQLユーザ会 第27回しくみ＋アプリケーション勉強会での講演です。
http://www.postgresql.jp/wg/shikumi/shikumi27
----
コンピュータシステムにおける性能測定とは、技芸です。
性能測定というと、単に測定ツールを実行するだけの作業だと考えられがちです。しかし実際には、何のために測定をするのか、そのために何を測定するべきか、そして何を使って測定するべきかを理解した上で行わなければ全く意味を成さない、深みのある技芸の世界です。
講演者の所属する研究室では長年にわたりデータベースシステムの研究?開発を行ってきました。その過程で培われた性能測定の技芸について、最近の実例も交えつつその考え方をご紹介したいと思います。ディープラーニング最近の発展とビジネス応用への课题
ディープラーニング最近の発展とビジネス応用への课题Kenta Oono
?
2015年5月26日、エヌビディア様主催「ディープラーニングフォーラム2015」でのPreferred Networksの講演資料です
http://www.gdep.jp/page/view/412碍补驳驳濒别のテクニック
碍补驳驳濒别のテクニックYasunori Ozaki
?
碍补驳驳濒别のあるコンテンストの优胜者が作ったモデルをケーススタディとして、办补驳驳濒别テクニックを解説します。特に厂迟补肠办颈苍驳を中心に解説しています。颁狈狈にはあえて触れませんでした。また、迟-厂狈贰や虫驳产辞辞蝉迟の概略にも触れました。Microsoft Malware Classification Challenge 上位手法の紹介 (in Kaggle Study Meetup)
Microsoft Malware Classification Challenge 上位手法の紹介 (in Kaggle Study Meetup)Shotaro Sano
?
2015年に開催された機械学習コンペティション（Microsoft Malware Classification Challenge）における上位手法や優勝モデルについての解説。こちらのミートアップで発表させていただきました： http://connpass.com/event/25007/ Chainer の Trainer 解説と NStepLSTM について
Chainer の Trainer 解説と NStepLSTM についてRetrieva inc.
?
レトリバセミナー 2017/03/15
Movie: https://www.youtube.com/watch?v=ok_bvPKAEaMKaggle参加報告: Champs Predicting Molecular Properties
Kaggle参加報告: Champs Predicting Molecular PropertiesKazuki Fujikawa
?
Kaggleコンペティション「Predicting Molecular Properties」で13位になった時の解法の紹介と、上位ソリューションの紹介です。颁丑补颈苍别谤の使い方と自然言语処理への応用
颁丑补颈苍别谤の使い方と自然言语処理への応用Seiya Tokui
?
第10回 NLP若手の会シンポジウム (YANS) のチュートリアルスライドです。ニューラルネットの（アルゴリズムとしての）おさらいと、Chainer v1.3.0の使い方を紹介しています。第3回机械学习勉强会「色々な狈狈フレームワークを动かしてみよう」-碍别谤补蝉编-
第3回机械学习勉强会「色々な狈狈フレームワークを动かしてみよう」-碍别谤补蝉编-Yasuyuki Sugai
?
2016年6月期AITCオープンラボ
第3回 機械学習勉強会 「色々なニューラル?ネットワークのフレームワークを動かしてみよう！」 Keras編資料2015-11-17 きちんと知りたいApache Spark ～機械学習とさまざまな機能群
2015-11-17 きちんと知りたいApache Spark ～機械学習とさまざまな機能群Yu Ishikawa
?
2015-11-17 きちんと知りたいApache Spark ～機械学習とさまざまな機能群アドテク×厂肠补濒补×パフォーマンスチューニング
アドテク×厂肠补濒补×パフォーマンスチューニングYosuke Mizutani
?
アドテク×Scala meetup 2014-11-20
http://connpass.com/event/8384/2018年01月27日 TensorFlowの計算グラフの理解
2018年01月27日 TensorFlowの計算グラフの理解aitc_jp
?
発表日：2018年01月27日
イベント名： AITCオープンラボ TensorFlow勉強会シリーズ２ 成果報告会
イベントURL：http://aitc.jp/events/20180127-OpenLab/info.html
タイトル：TensorFlowの計算グラフの理解
発表者：吉田 裕之氏
TensorFlowによるニューラルネットワークの実装は、「計算グラフ」を構築
するコードの記述になります。
本発表では、TensorFlow利用の基礎知識として、計算グラフの考え方と仕組
みを解説します。
リアルタイム処理エンジン Gearpumpの紹介
リアルタイム処理エンジン Gearpumpの紹介Sotaro Kimura
?
#ScalaMatsuri のランチLT用リアルタイム処理エンジンGearpumpの紹介スライドです。
PC障害で使わずに紹介してましたが供養のためアップしておきます。[DL輪読会]Parallel WaveNet: Fast High-Fidelity Speech Synthesis
[DL輪読会]Parallel WaveNet: Fast High-Fidelity Speech SynthesisDeep Learning JP
?
2018/1/5
Deep Learning JP:
http://deeplearning.jp/seminar-2/北大調和系 DLゼミ A3C
北大調和系 DLゼミ A3CTomoya Oda
?
エピソードのサンプリング?学習が非同期 + Actor-Criticな手法の提案。更にGPUではなくCPUのみでDQNより学習時間を削ることに成功。また、DQNが苦手な行動空間が連続な場合の可能性も示した。
しかし、現在ではA2C（同期）の方が性能が良いとされている。猫でも分かるVariational AutoEncoder
猫でも分かるVariational AutoEncoderSho Tatsuno
?
生成モデルとかをあまり知らない人にもなるべく分かりやすい説明を心がけたVariational AutoEncoderのスライド
実装と簡単な補足は以下を参照
http://sh-tatsuno.com/blog/index.php/2016/07/30/variationalautoencoder/Viewers also liked (20)
自分たちでつくった&辩耻辞迟;鲍齿ガイドライン&辩耻辞迟;を片手に、クラウドワークスを作り変える。
自分たちでつくった&辩耻辞迟;鲍齿ガイドライン&辩耻辞迟;を片手に、クラウドワークスを作り変える。kazuma ueda
?
UX JAM #14 で発表した資料です。
※一部の情報を修正して公開しています。强化学习蔼笔测顿补迟补.罢辞办测辞
强化学习蔼笔测顿补迟补.罢辞办测辞Naoto Yoshida
?
PyData.Tokyo Meetup #12 での強化学習に関する講演スライドです．
https://pydatatokyo.connpass.com/event/48563/aiconf2017okanohara
aiconf2017okanoharaPreferred Networks
?
Aiカンファレンス 2017@ビッグサイトでの講演資料です。自動車、ロボット、バイオヘルスケアでの応用事例、および今後の課題について書いてあります。Distributed Deep Q-Learning
Distributed Deep Q-LearningLyft
?
The document discusses a distributed deep Q-learning algorithm developed to enhance reinforcement learning efficiency by utilizing neural networks for high-dimensional sensory inputs. It outlines serial and distributed algorithms, highlights the importance of experience replay for stability, and presents numerical experiments demonstrating the method's effectiveness. The implementation enables significant scaling through data parallelism, resulting in faster training and improved performance in various gaming environments.データレイクを基盘とした础奥厂上での机械学习サービス构筑
データレイクを基盘とした础奥厂上での机械学习サービス构筑Amazon Web Services Japan
?
2016/12/17開催「今年もやるよ！ビッグデータオールスターズ -日本を代表するビッグデータエンジニア?マーケターが大集結！- 」での発表資料「データレイクを基盘とした础奥厂上での机械学习サービス构筑」ですHype vs. Reality: The AI Explainer
Hype vs. Reality: The AI ExplainerLuminary Labs
?
The document discusses the current state and future potential of artificial intelligence (AI) in business, separating hype from reality. It emphasizes that AI will change job roles rather than eliminate them, and suggests five practical steps businesses can take to integrate AI in a meaningful way. Key points include starting with specific business problems, fostering empathy in the workforce, and ensuring a clear understanding of AI capabilities.A Reintroduction To Ruby M17 N
A Reintroduction To Ruby M17 NYui NARUSE
?
東京RubyKaigi03 成瀬の発表
「A reintroduction to Ruby M17N」
http://nalsh.jp/pub/A%20reintroduction%20to%20Ruby%20M17N.pptxMachine Learning Methods for Parameter Acquisition in a Human ...
Machine Learning Methods for Parameter Acquisition in a Human ...butest
?
The document discusses using machine learning approaches to automate the acquisition of parameters and network structures for computational models of human decision making. It aims to semi-automate the process of building and tuning cognitive models to reduce costs and speed up development. Parameter acquisition and network topology induction are challenging problems that require novel machine learning algorithms to infer the internal representations and decision processes of human operators under cognitive plausibility constraints. Direct elicitation of information from users may be the most promising approach.MALT: Distributed Data-Parallelism for Existing ML Applications (Distributed ...
MALT: Distributed Data-Parallelism for Existing ML Applications (Distributed ...asimkadav
?
The document discusses MALT, a machine learning toolset that enables efficient data-parallel training of existing machine learning applications across distributed systems. It highlights the challenges of model training, such as the large data sizes and the need for real-time model updates, and provides a peer-to-peer communication approach for model updates without a central server. MALT integrates with C++ and Lua applications, demonstrating improved speed and fault tolerance in model training through advanced communication techniques.Spark Summit EU talk by Rolf Jagerman
Spark Summit EU talk by Rolf JagermanSpark Summit
?
This document discusses an asynchronous parameter server called Glint for Spark. It was created to address the problem of machine learning models exceeding the memory of a single machine. Glint distributes models over multiple machines and allows two operations - pulling and pushing model parameters. It was tested on topic modeling of a 27TB dataset using 1,000 topics, significantly outperforming MLLib in terms of quality, runtime, and scalability. Future work may include improved fault tolerance, custom aggregation functions, and implementing additional algorithms like deep learning.tofu - COOKPAD's image system
tofu - COOKPAD's image systemIssei Naruta
?
Tofu is an image processing system developed by COOKPAD that generates thumbnail images on demand from original images stored in S3. Previously, COOKPAD would generate all thumbnail sizes upfront, using significant storage. Tofu addresses this by using a Apache module called mod_tofu that generates thumbnails from original images only when requested. This on-demand approach is faster, more scalable, and saves storage by not pre-generating all sizes. Tofu leverages the scalability of AWS to process large volumes of image resizing with high performance.Japanese Rubyists you have not met yet
Japanese Rubyists you have not met yetmasayoshi takahashi
?
This document introduces two important Japanese Rubyists, Yugui and Itojun. Yugui was the release manager for Ruby 1.9 and wrote a Japanese edition book on learning Ruby. Itojun contributed the IPv6 protocol stack for Ruby and helped with the early development and release of Ruby by providing mailing lists and FTP access to Matz. Unfortunately, Itojun passed away in 2007 but his contributions to Ruby and as a free software evangelist in Japan remain important. The document concludes that while some Rubyists may not be met in person, their work can still be experienced through projects like Ruby and that the open nature of free software allows developers and communities to form around the world.How to Begin to Develop Ruby Core
How to Begin to Develop Ruby CoreHiroshi SHIBATA
?
The document discusses how to contribute code to the Ruby programming language. It provides instructions for obtaining the Ruby source code, running tests on the Ruby codebase, and submitting patches to the Ruby bug tracking system. The tests include language tests, framework tests, and extension tests. The goal is to help developers get started testing and contributing to the Ruby core.How To Select Best Transmission For Your Vehicle
How To Select Best Transmission For Your VehicleDreamcars Auto Repair
?
The document discusses various types of vehicle transmission systems, including conventional automatic, dual-clutch, and continuously variable transmissions (CVT). CVTs are highlighted for their efficiency due to the use of belts for smooth transitions, resulting in up to 10% better fuel economy compared to other transmission types. Overall, the document emphasizes the performance and operational advantages of modern transmission technologies.Ad
Similar to Inspection of CloudML Hyper Parameter Tuning (20)
明治大学講演資料「機械学習と自動ハイパーパラメタ最適化」 佐野正太郎
明治大学講演資料「機械学習と自動ハイパーパラメタ最適化」 佐野正太郎Preferred Networks
?
2019年6月28日の明治大学での講義資料です。
できるだけ数式を使わずに『機械学習のおさらい』『自動ハイパーパラメタ最適化』『Optuna の使い方』『ベイズ最適化の応用事例』について説明しています。
●Optuna : https://github.com/pfnet/optuna20210427 grass roots_ml_design_patterns_hyperparameter_tuning
20210427 grass roots_ml_design_patterns_hyperparameter_tuninghitoshim
?
Machine Learning Design Patterns 読書会 #3
https://grass-roots-ml.connpass.com/event/211119/presentation/
で発表した資料です。Practical recommendations for gradient-based training of deep architectures
Practical recommendations for gradient-based training of deep architecturesKoji Matsuda
?
Yoshua Bengio, Practical recommendations for gradient-based training of deep architectures, arXiv:1206.5533v2, 2012 の解説機械学習プロジェクトにおける Cloud AI Platform の使い方 (2018-11-19)
機械学習プロジェクトにおける Cloud AI Platform の使い方 (2018-11-19)Yaboo Oyabu
?
Google Cloud Platform (GCP) の上で、効率的に機械学習モデルを開発する方法、機械学習プロジェクトを運用する方法について説明します[DL輪読会]EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks
[DL輪読会]EfficientNet: Rethinking Model Scaling for Convolutional Neural NetworksDeep Learning JP
?
2019/06/21
Deep Learning JP:
http://deeplearning.jp/seminar-2/ ディープラーニング入門 ～ 画像処理?自然言語処理について ～
ディープラーニング入門 ～ 画像処理?自然言語処理について ～Kensuke Otsuki
?
これからディープラーニングを学ぶ方のための资料を作りました。応用先としては画像処理?自然言语処理に绞って解説を行っています。ベイズ最适化によるハイパラーパラメータ探索
ベイズ最适化によるハイパラーパラメータ探索西岡 賢一郎
?
ベイズ最適化によるハイパーパラメータ探索についてざっくりと解説しました。
今回紹介する内容の元となった論文
Bergstra, James, et al. "Algorithms for hyper-parameter optimization." 25th annual conference on neural information processing systems (NIPS 2011). Vol. 24. Neural Information Processing Systems Foundation, 2011.
https://hal.inria.fr/hal-00642998/
TensorFlow User Group #1
TensorFlow User Group #1陽平 山口
?
TensorFlow で毎朝体操を賢くした話です。少し前に GCPUG Sapporo vol.2 ML Night で話したことと同じです。少し分かりやすく誤解が少なくなっています。
TensorFlow で学習したモデルをモバイルなどで動かす場合に参考になると思います。Azure Machine Learning Services 概要 - 2019年3月版
Azure Machine Learning Services 概要 - 2019年3月版Daiyu Hatakeyama
?
Azure Machine Learning Services の概要です。
データの準備、学習ジョブ、モデルの展開、Automated Machine Learning、Hyperparameter Explorer、ONNIX、WindowsMLなどが含まれています。[DL Hacks] Deterministic Variational Inference for RobustBayesian Neural Netw...
[DL Hacks] Deterministic Variational Inference for RobustBayesian Neural Netw...Deep Learning JP
?
2019/06/10
Deep Learning JP:
http://deeplearning.jp/hacks/ Journal club dec24 2015 splice site prediction using artificial neural netw...
Journal club dec24 2015 splice site prediction using artificial neural netw...Hiroya Morimoto
?
Brief introduction to artificial neural networks and the application to bioinformatics fields. And show how to utilize neural networks to predict splice sites in genome/gene sequences. GCPUG Sapporo vol.2 ML Night
GCPUG Sapporo vol.2 ML Night陽平 山口
?
来栖川電算における機械学習活用事例です。今回は、毎朝体操の採点エンジンを深層学習に切り替えた話です。TensorFlow も使っています。深層学習をモバイルに組み込む際に参考になるかもしれません。
TensorFlow を基盤とするエコシステムを作ろうとしているので、興味がある方はお声がけください。
論文紹介:Practical bayesian optimization of machine learning algorithms(nips2012)
論文紹介:Practical bayesian optimization of machine learning algorithms(nips2012)Keisuke Uto
?
Practical Bayesian Optimization of Machine Learning Algorithms(NIPS2012)の論文紹介です。
Gaussian Process の直感的なイメージと、その使われ方を解説しました。AI Business Challenge Day 20170316
AI Business Challenge Day 20170316陽平 山口
?
SOFTOPIA JAPAN主催 AI Business Challenge Day「第1回 機械学習実践勉強会」で話す際に使う資料です。
毎朝体操のAIに関する話が中心ですが、最近の取り組みについてのページが増えています。面白い成果がでているので、ぜひ見てください。Ad
More from nagachika t (13)
Make Ruby Differentiable
Make Ruby Differentiablenagachika t
?
The document discusses making Ruby differentiable by introducing automatic differentiation capabilities. It presents a differentiation gem that allows making Ruby methods, procs, numbers and matrices differentiable. This allows defining and computing gradients of functions. It demonstrates this on a multilayer perceptron neural network model solving XOR. The goal is to make Ruby differentiable in order to apply automatic differentiation to Ruby programs.All bugfixes are incompatibilities
All bugfixes are incompatibilitiesnagachika t
?
This document summarizes lessons learned from failures in backporting bug fixes to Ruby stable branches:
- Don't backport performance improvements or fixes for imaginary use cases as they can introduce regressions.
- Be careful backporting fixes related to parsing, constants/method search, and refinements as they are complex and prone to causing new bugs.
- Some long-standing bugs may not need fixing if no real applications are affected. It's better to avoid regressions.
- Consider an application's needs before backporting - don't backport fixes if no one requested or needs them. Be practical.Functional Music Composition
Functional Music Compositionnagachika t
?
This document discusses functional programming and audio programming. It introduces LazyK, a purely functional and stream-based programming language based on SKI combinator calculus. It also introduces RazyK, a LazyK interpreter implemented in Ruby that allows stepping through reduction steps and includes a browser interface and audio stream mode to evaluate LazyK programs that generate music.BigQuery case study in Groovenauts & Dive into the DataflowJavaSDK
BigQuery case study in Groovenauts & Dive into the DataflowJavaSDKnagachika t
?
This document summarizes a presentation about using BigQuery and the Dataflow Java SDK. It discusses how Groovenauts uses BigQuery to analyze data from their MAGELLAN container hosting service, including resource monitoring, developer activity logs, application logs, and end-user access logs. It then provides an overview of the Dataflow Java SDK, including the key concepts of PCollections, coders, PTransforms, composite transforms, ParDo and DoFn, and windowing.Magellan on Google Cloud Platform
Magellan on Google Cloud Platformnagachika t
?
The document outlines the capabilities of Tomoyuki Chikanaga's Groovenauts, Inc. regarding their mobile application platform and various functionalities associated with Google Cloud services. It highlights features like high availability, quick deployment, and interoperability through the use of Google Compute Engine, BigQuery, and other tools. Additionally, it emphasizes the cost performance and scalable querying of BigQuery for resource usage and activity analysis.CRuby Committers Who's Who in 2013
CRuby Committers Who's Who in 2013nagachika t
?
This document summarizes recent trends in CRuby development and introduces some of the key committers to the CRuby project in 2013. It notes that development speed has increased, with over 12 commits per day on average. It profiles several top committers like matz, nobu, ko1, akr, usa, naruse, kosaki, nari, shugo, svn, and nagachika, highlighting their main contributions and an example commit. The document promotes external resources like ruby-trunk-changes for tracking CRuby changes.CRuby_Committers_Whos_Who_in_2014
CRuby_Committers_Whos_Who_in_2014nagachika t
?
The document provides an overview of key contributors to the cruby project in 2014, listing active committers, their roles, and notable speakers at the conference. It highlights the contributions of various individuals, including the creator of Ruby, Yukihiro Matsumoto, and other committers from notable companies. Additionally, it mentions new projects and updates related to the Ruby programming language and its features.怠惰な搁耻产测颈蝉迟への道 fukuoka rubykaigi01
怠惰な搁耻产测颈蝉迟への道 fukuoka rubykaigi01nagachika t
?
福岡Ruby会議01 で発表したスライドを公開用にPDF に変換したものです。アニメーションやデモ動画はスライドに置き換えています。Ruby on azure で game server service
Ruby on azure で game server servicenagachika t
?
10月16日に開催されたWindows Azure セミナーで発表した「Ruby on Azure で GameServer Service」の発表資料。
ダウンロードで PowerPoint ファイルをスライドショー表示するとアニメーションも再生できます。Ruby trunk changes 統計版
Ruby trunk changes 統計版nagachika t
?
The document provides statistics about commits to the CRuby repository over time. It breaks down commit categories by percentage, finding that 22% were for bug fixes, 20% for refactoring, 11% for enhancements, 11% for tests, 10% for documentation, 8% for the build process, 8% for Windows support, 3% introduced new bugs, 3% fixed typos, 10% updated version.h, and 6% were trivial. It concludes by reviewing top commit categories and a degrader ranking.Pd Kai#2 Object Model
Pd Kai#2 Object Modelnagachika t
?
The document describes Pure Data's object-oriented programming model, where all elements like boxes, objects, classes and inlets/outlets are represented as objects, with classes defining common behaviors and properties of objects, and objects being instances of classes that can receive and send messages through inlets and outlets. Key elements include the class struct that defines methods like initialization and message handling, the t_object base class, and fundamental data types like symbols, atoms, and inlet/outlet objects that allow communication between objects.Inspection of CloudML Hyper Parameter Tuning
- 1. Inspection of Cloud Machine Leaning Hyper Parameter Tuning nagachika GCPUG Fukuoka
- 2. Agenda ? Hyper Parameter Tuning とは? ? Hyper Parameter Tuning の性能を実験 ? Hyper Parameter Tuning の探索?法を推測
- 3. About me ? nagachika ? Ruby committer, Stable branch maintainer ? Fukuoka.rb organizer ? GCPUG ? TFUG (TensorFlow User Group) ? TensorFlow contributor ← NEW
- 4. Pull Requests to TensorFlow
- 6. Cloud Machine Leaning ? Training ? TensorFlow が(分散環境、GPU環境含め)? ?意されている実?環境のホスティングサービス ? TensorFlow 専?のPaaS(Heroku) ? Prediction ? TensorFlow Serving のホスティングサービス ? API で Training したモデルを利?できる
- 8. Hyper Parameter Tuning ? Hyper Parameter とは? ? モデル(SVM, Random Forest, MLP, CNN 等々なんであれ)の学習に? 先?って決定しないといけないパラメータ ? モデルの精度に影響する ? より良い Hyper Parameter の探索が望ましい
- 9. Hyper Parameter Tuning ? Machine Learning Model Input Output
- 10. Hyper Parameter Tuning ? Machine Learning Model Dog or Cat
- 11. Hyper Parameter Tuning ? Machine Learning Model Input Output トレーニング可能な パラメータ トレーニング不可な パラメータ 期待する Output が得られるように? トレーニング可能なパラメータを? 変更するのが? (教師あり)機械学習における? 「学習」
- 12. Hyper Parameter Tuning ? Machine Learning Model Input Output トレーニング可能な パラメータ トレーニング不可な パラメータ Expectation Error 期待(Expectation)と実際の Outputの差を定量化したもの (Error)を最?にする。? 勾配を?いた?法が主流
- 13. Hyper Parameter Tuning ? Machine Learning Model Input Output トレーニング可能な パラメータ トレーニング不可な パラメータ Expectation Error
- 14. Hyper Parameter Tuning ? Machine Learning Model Input (Hyper Parameter) Output? (Error) Hyper Parameter を??として? 誤差(Error)を出?とする関数とみなすこともできる? ↓ Output(Error)を最?にする Input(Hyper Parameter)を? 探索する最適化問題
- 15. Hyper Parameter Tuning ? Machine Learning Model Input (Hyper Parameter) Output? (Error) ただし、?般的に ? 勾配はわからない(そもそもInputが距離の概念がある空間と限らない) ? F(x) の評価には時間がかかる
- 16. Hyper Parameter Tuning ? Derivative-free optimization? (勾配によらない最適化?法) ? Simulated Annealing(焼きなまし法) ? Genetic Algorithm(遺伝的アルゴリズム) → ?量の試?が必要で実?コストが?きい
- 17. Hyper Parameter Tuning ? Scikit learn ? Grid Search(グリッドサーチ) ? パラメータ毎に有限の候補の組み合わせ試? ? Random Search(ランダム探索) → シンプルだけどいまいち賢くない
- 18. Hyper Parameter Tuning Cloud Machine Learning の? Hyper Parameter Tuning は? どんな?法で探索を? しているのだろうか?
- 19. Motivation
- 20. Motivation ? 多層ニューラルネットワーク ? 層の数 ? (各層の)ユニット(ニューロン)の数 ? etc… Layer-1 Layer-2
- 21. Motivation ? 層の数 ? (各層の)ユニット(ニューロン)の数 ? 1つのパラメータで表現したいな ? 極度に多峰的な関数になりそう…
- 22. Motivation ? 多峰性関数→最適化が困難な性質 ? Cloud Machine Learning はこんな関数に対して? どのくらい賢く最適化してくれるんだろう? 単峰性関数 多峰性関数
- 23. 実験1
- 24. 実験1 ? Cloud Machine Learning に Hyper Parameter Tuning で 既知の関数の最適化をさせる ? F(x) を明?的に式として与える ? Hyper Parameter を受け取って F(x) を計算し て報告するだけの Python モジュールを作成
- 25. 実験1 ? Hyper Parameter ? 1変数(x), 2変数(x, y) ? 範囲は全て [-1, 1] ? 最?値を求める ? 探索回数(N)は ? 1変数 → N=10 or 15 ? 2変数 → N=30
- 26. 実験1 N=10
- 27. 実験1 N=10
- 28. 実験1 N=10
- 29. 実験1 N=15
- 30. 実験1 N=15
- 31. 実験1
- 32. 実験1 N=30
- 33. 実験1 Ackley 関数
- 35. 実験1 ? あきらかに Grid Search ではない ? 低次元の多項式(?)くらいだとかなり賢い? (少ない試?回数で最適値の近くを当てる) ? 難しい形状の関数もそれなりに? (?域探索している? 局所解に落ちたりはなさそう) ? どうやってるんだろう???
- 38. Bayesian Optimization https://www.youtube.com/watch?v=pQHWew4YYao ベイズ的最適化の??と応? 機械学習による機械学習の実験計画
- 39. Bayesian Optimization おおざっぱな理解では ? 既に得た??の結果を元に推測しつつ ? まだ調べてないあたりも調べるようにしつつ いい感じに探索するために、? 最適化したい関数の形状を(各??に対する)? 確率分布として捉える。
- 41. Bayesian Optimization ? 関数を確率分布として捉える? ? x をある値に固定した時にF(x)が取る値を確率分布 ? 既知の?? x = x1, x2, … を元に計算する
- 42. Bayesian Optimization ? Acquisition function ? 次にテストすべき点を決めるための? 「重要度」みたいなのを決める関数 ? GP-UCB 平均 分散 = 活? = 探索
- 43. 実験2
- 44. 実験2 ? 実験1と同じF(x)に対して Bayesian Optimization ? 最初の3点は実験1の(Cloud MLの)結果を流?? (Bayesian Optimization は初期何点かはランダム探索) ? PythonのBayesianOptimizationパッケージを利?? [https://github.com/fmfn/BayesianOptimization] ? Acquisition function には GP-UCB, kappa=0.5 を選択
- 45. 実験2 N=10 Cloud Machine Learning Hyper Parameter Tuning BayesianOptimization
- 46. 実験2 N=10 Cloud Machine Learning Hyper Parameter Tuning BayesianOptimization
- 47. 実験2 N=10 Cloud Machine Learning Hyper Parameter Tuning BayesianOptimization
- 48. 実験2 N=15 Cloud Machine Learning Hyper Parameter Tuning BayesianOptimization
- 49. 実験2 N=15 Cloud Machine Learning Hyper Parameter Tuning BayesianOptimization
- 50. 実験2
- 51. 実験2 N=30 Cloud Machine Learning Hyper Parameter Tuning BayesianOptimization
- 52. 実験2 Ackley 関数
- 53. 実験2 N=30 Cloud Machine Learning Hyper Parameter Tuning BayesianOptimization
- 54. 実験2 ? Bayesian Optimization > Grid Search ? Cloud Machine Learning の Hyper Parameter Tuning と似ているといえなくもない? ? Bayesian Optimization?体にも? Hyper Parameterがある(acquisition function の選択, そのパラメータ etc..)
- 55. Summary ? Cloud Machine Learning のHyper Parameter Tuning はかしこくて便利 ? Hyper Parameter に対して複雑な関数になる時は? 多めに試?回数を取ろう ? Hyper Parameter Tuning の裏側は? Bayesian Optimization? ? ???? Cloud Machine Learning の構築も夢では ない!?