1 of 26
Download to read offline
Ad
Recommended
【メタサーベイ】数式ドリブン教师あり学习
【メタサーベイ】数式ドリブン教师あり学习cvpaper. challenge
?
cvpaper.challenge の メタサーベイ発表スライドです。
cvpaper.challengeはコンピュータビジョン分野の今を映し、トレンドを創り出す挑戦です。論文サマリ作成?アイディア考案?議論?実装?論文投稿に取り組み、凡ゆる知識を共有します。
http://xpaperchallenge.org/cv/ 時系列解析の使い方 - TokyoWebMining #17
時系列解析の使い方 - TokyoWebMining #17horihorio
?
时系列解析を実际のデータやビジネスに适用する场合には、教科书で学んだ理论体系とは异なった発想の顺序や勘所があるのでは？との问题意识と検讨中の案を绍介いたします。Curriculum Learning （関東CV勉強会）
Curriculum Learning （関東CV勉強会）Yoshitaka Ushiku
?
2015年5月30日第29回コンピュータビジョン勉強会@関東「有名論文を読む会」発表用資料。
Curriculum Learning [Bengio+, ICML 2009] とその後続を紹介。叁次元点群を取り扱うニューラルネットワークのサーベイ
叁次元点群を取り扱うニューラルネットワークのサーベイNaoya Chiba
?
Ver. 2を公開しました: https://speakerdeck.com/nnchiba/point-cloud-deep-learning-survey-ver-2
PointNet前後～ECCV2018の点群深層学習関連の論文についてまとめました．
間違いなどあればご指摘頂けるとありがたいです．画像生成?生成モデル メタサーベイ
画像生成?生成モデル メタサーベイcvpaper. challenge
?
The document presents an overview of the research group 'Generations' focused on image generation and generative models, detailing their contributions to fields like unpaired image-to-image translation and domain adaptation. It highlights various studies and techniques, including CycleGAN and neural radiance fields, aimed at enhancing image translation while preserving contextual integrity. The group is actively seeking new members for collaboration on these innovative themes.贬颈笔笔翱/厂4解説
贬颈笔笔翱/厂4解説Morpho, Inc.
?
Morpho Tech Bolgより本資料に関する記事をご覧ください。
?「贬颈笔笔翱/厂4解説」：https://techblog.morphoinc.com/entry/2022/05/24/102648
?執筆者：CTO室リサーチャー 角田
?Morpho Tech Blog: https://techblog.morphoinc.com/
?Morpho, Inc.: https://www.morphoinc.com/研究効率化Tips Ver.2
研究効率化Tips Ver.2cvpaper. challenge
?
The document outlines strategies for enhancing research efficiency, emphasizing the importance of effective literature review, management skills, and collaborative efforts among researchers. It discusses two main methods for skill enhancement: learning from peers and leveraging online resources, while highlighting the challenges and advantages of each approach. Additionally, it provides insights into the dynamics of various research labs, communication practices, and the value of sharing knowledge across institutions.【DL輪読会】WIRE: Wavelet Implicit Neural Representations
【DL輪読会】WIRE: Wavelet Implicit Neural RepresentationsDeep Learning JP
?
2023/1/20
Deep Learning JP
http://deeplearning.jp/seminar-2/Control as Inference (強化学習とベイズ統計)
Control as Inference (強化学習とベイズ統計)Shohei Taniguchi
?
The document discusses control as inference in Markov decision processes (MDPs) and partially observable MDPs (POMDPs). It introduces optimality variables that represent whether a state-action pair is optimal or not. It formulates the optimal action-value function Q* and optimal value function V* in terms of these optimality variables and the reward and transition distributions. Q* is defined as the log probability of a state-action pair being optimal, and V* is defined as the log probability of a state being optimal. Bellman equations are derived relating Q* and V* to the reward and next state value.SSII2022 [TS1] Transformerの最前線? 畳込みニューラルネットワークの先へ ?
SSII2022 [TS1] Transformerの最前線? 畳込みニューラルネットワークの先へ ?SSII
?
6/8 (水) 09:45～10:55メイン会場
講師：牛久 祥孝 氏
（オムロンサイニックエックス株式会社）
概要： 2017年に機械翻訳を対象として提案されたTransformerは、従来の畳込みや再帰を排して自己注意機構を活用したニューラルネットワークである。2019年頃からコンピュータビジョン分野でも急速に応用が進んでおり、より柔軟かつ高精度なネットワーク構造としての地位を確立しつつある。本チュートリアルでは、Transformerおよびその周辺のネットワーク構造について、コンピュータビジョンへの応用を中心とした最前線を概説する。
Generative Adversarial Imitation Learningの紹介（RLアーキテクチャ勉強会）
Generative Adversarial Imitation Learningの紹介（RLアーキテクチャ勉強会）Yusuke Nakata
?
Generative Adversarial Imitation Learning の紹介スライド
実装コード: https://github.com/uidilr/gail_ppo_tfSSII2019OS: 深層学習にかかる時間を短くしてみませんか？ ～分散学習の勧め～
SSII2019OS: 深層学習にかかる時間を短くしてみませんか？ ～分散学習の勧め～SSII
?
SSII2019 オーガナイズドセッション3「深層学習の高速化 ～高速チップ、分散学習、軽量モデル～」
6月14日(金) 10:35?12:05 (メインホール)[DL輪読会]Vision Transformer with Deformable Attention （Deformable Attention Tra...
[DL輪読会]Vision Transformer with Deformable Attention （Deformable Attention Tra...Deep Learning JP
?
2022/01/14
Deep Learning JP:
http://deeplearning.jp/seminar-2/【DL輪読会】A Path Towards Autonomous Machine Intelligence
【DL輪読会】A Path Towards Autonomous Machine IntelligenceDeep Learning JP
?
2022/7/29
Deep Learning JP
http://deeplearning.jp/seminar-2/摆顿尝轮読会闭相互情报量最大化による表现学习
摆顿尝轮読会闭相互情报量最大化による表现学习Deep Learning JP
?
2019/09/13
Deep Learning JP:
http://deeplearning.jp/seminar-2/ 搁で学ぶ観察データでの因果推定
搁で学ぶ観察データでの因果推定Hiroki Matsui
?
20120310 TokyoR#21 で発表した資料です。誤りや不正確な部分がありましたら、twitter ID: Hiro_macchan までご連絡下さい。当該資料は、いくつかのサイトの資料を引用しています。参考文献はスライドの最後に記載しました。分散型强化学习手法の最近の动向と分散计算フレームワーク搁补测による実装の试み
分散型强化学习手法の最近の动向と分散计算フレームワーク搁补测による実装の试みSusumuOTA
?
(1) 分散型強化学習手法の最近の動向を, 特に MuZero (2019年11月), Agent57 (2020年3月)を中心に紹介します.
(2) 分散計算フレームワーク Ray によってシンプルな分散型強化学習手法を実装し, Amazon EC2上にクラスタを構築して分散計算を行う方法を解説します.
- 当日紹介したソースコードと設定ファイル
https://github.com/susumuota/distributed_experience_replay
- Do2dle勉強会のconnpassページ
https://do2dle.connpass.com/event/178184/More Related Content
What's hot (20)
Curriculum Learning （関東CV勉強会）
Curriculum Learning （関東CV勉強会）Yoshitaka Ushiku
?
2015年5月30日第29回コンピュータビジョン勉強会@関東「有名論文を読む会」発表用資料。
Curriculum Learning [Bengio+, ICML 2009] とその後続を紹介。叁次元点群を取り扱うニューラルネットワークのサーベイ
叁次元点群を取り扱うニューラルネットワークのサーベイNaoya Chiba
?
Ver. 2を公開しました: https://speakerdeck.com/nnchiba/point-cloud-deep-learning-survey-ver-2
PointNet前後～ECCV2018の点群深層学習関連の論文についてまとめました．
間違いなどあればご指摘頂けるとありがたいです．画像生成?生成モデル メタサーベイ
画像生成?生成モデル メタサーベイcvpaper. challenge
?
The document presents an overview of the research group 'Generations' focused on image generation and generative models, detailing their contributions to fields like unpaired image-to-image translation and domain adaptation. It highlights various studies and techniques, including CycleGAN and neural radiance fields, aimed at enhancing image translation while preserving contextual integrity. The group is actively seeking new members for collaboration on these innovative themes.贬颈笔笔翱/厂4解説
贬颈笔笔翱/厂4解説Morpho, Inc.
?
Morpho Tech Bolgより本資料に関する記事をご覧ください。
?「贬颈笔笔翱/厂4解説」：https://techblog.morphoinc.com/entry/2022/05/24/102648
?執筆者：CTO室リサーチャー 角田
?Morpho Tech Blog: https://techblog.morphoinc.com/
?Morpho, Inc.: https://www.morphoinc.com/研究効率化Tips Ver.2
研究効率化Tips Ver.2cvpaper. challenge
?
The document outlines strategies for enhancing research efficiency, emphasizing the importance of effective literature review, management skills, and collaborative efforts among researchers. It discusses two main methods for skill enhancement: learning from peers and leveraging online resources, while highlighting the challenges and advantages of each approach. Additionally, it provides insights into the dynamics of various research labs, communication practices, and the value of sharing knowledge across institutions.【DL輪読会】WIRE: Wavelet Implicit Neural Representations
【DL輪読会】WIRE: Wavelet Implicit Neural RepresentationsDeep Learning JP
?
2023/1/20
Deep Learning JP
http://deeplearning.jp/seminar-2/Control as Inference (強化学習とベイズ統計)
Control as Inference (強化学習とベイズ統計)Shohei Taniguchi
?
The document discusses control as inference in Markov decision processes (MDPs) and partially observable MDPs (POMDPs). It introduces optimality variables that represent whether a state-action pair is optimal or not. It formulates the optimal action-value function Q* and optimal value function V* in terms of these optimality variables and the reward and transition distributions. Q* is defined as the log probability of a state-action pair being optimal, and V* is defined as the log probability of a state being optimal. Bellman equations are derived relating Q* and V* to the reward and next state value.SSII2022 [TS1] Transformerの最前線? 畳込みニューラルネットワークの先へ ?
SSII2022 [TS1] Transformerの最前線? 畳込みニューラルネットワークの先へ ?SSII
?
6/8 (水) 09:45～10:55メイン会場
講師：牛久 祥孝 氏
（オムロンサイニックエックス株式会社）
概要： 2017年に機械翻訳を対象として提案されたTransformerは、従来の畳込みや再帰を排して自己注意機構を活用したニューラルネットワークである。2019年頃からコンピュータビジョン分野でも急速に応用が進んでおり、より柔軟かつ高精度なネットワーク構造としての地位を確立しつつある。本チュートリアルでは、Transformerおよびその周辺のネットワーク構造について、コンピュータビジョンへの応用を中心とした最前線を概説する。
Generative Adversarial Imitation Learningの紹介（RLアーキテクチャ勉強会）
Generative Adversarial Imitation Learningの紹介（RLアーキテクチャ勉強会）Yusuke Nakata
?
Generative Adversarial Imitation Learning の紹介スライド
実装コード: https://github.com/uidilr/gail_ppo_tfSSII2019OS: 深層学習にかかる時間を短くしてみませんか？ ～分散学習の勧め～
SSII2019OS: 深層学習にかかる時間を短くしてみませんか？ ～分散学習の勧め～SSII
?
SSII2019 オーガナイズドセッション3「深層学習の高速化 ～高速チップ、分散学習、軽量モデル～」
6月14日(金) 10:35?12:05 (メインホール)[DL輪読会]Vision Transformer with Deformable Attention （Deformable Attention Tra...
[DL輪読会]Vision Transformer with Deformable Attention （Deformable Attention Tra...Deep Learning JP
?
2022/01/14
Deep Learning JP:
http://deeplearning.jp/seminar-2/【DL輪読会】A Path Towards Autonomous Machine Intelligence
【DL輪読会】A Path Towards Autonomous Machine IntelligenceDeep Learning JP
?
2022/7/29
Deep Learning JP
http://deeplearning.jp/seminar-2/摆顿尝轮読会闭相互情报量最大化による表现学习
摆顿尝轮読会闭相互情报量最大化による表现学习Deep Learning JP
?
2019/09/13
Deep Learning JP:
http://deeplearning.jp/seminar-2/ Similar to 20170618論文読み会 伊藤 (20)
搁で学ぶ観察データでの因果推定
搁で学ぶ観察データでの因果推定Hiroki Matsui
?
20120310 TokyoR#21 で発表した資料です。誤りや不正確な部分がありましたら、twitter ID: Hiro_macchan までご連絡下さい。当該資料は、いくつかのサイトの資料を引用しています。参考文献はスライドの最後に記載しました。分散型强化学习手法の最近の动向と分散计算フレームワーク搁补测による実装の试み
分散型强化学习手法の最近の动向と分散计算フレームワーク搁补测による実装の试みSusumuOTA
?
(1) 分散型強化学習手法の最近の動向を, 特に MuZero (2019年11月), Agent57 (2020年3月)を中心に紹介します.
(2) 分散計算フレームワーク Ray によってシンプルな分散型強化学習手法を実装し, Amazon EC2上にクラスタを構築して分散計算を行う方法を解説します.
- 当日紹介したソースコードと設定ファイル
https://github.com/susumuota/distributed_experience_replay
- Do2dle勉強会のconnpassページ
https://do2dle.connpass.com/event/178184/Computational Motor Control: Reinforcement Learning (JAIST summer course)
Computational Motor Control: Reinforcement Learning (JAIST summer course) hirokazutanaka
?
This is lecure 6 note for JAIST summer school on computational motor control (Hirokazu Tanaka & Hiroyuki Kambara). Lecture video: https://www.youtube.com/watch?v=GHMcx5F0_j8NIPS KANSAI Reading Group #7: 逆強化学習の行動解析への応用
NIPS KANSAI Reading Group #7: 逆強化学習の行動解析への応用Eiji Uchibe
?
Can AI predict animal movements? Filling gaps in animal trajectories using inverse reinforcement learning, Ecosphere,
Modeling sensory-motor decisions in natural behavior, PLoS Comp. Biol.第7回 KAIM 金沢人工知能勉強会 回帰分析と使う上での注意事項
第7回 KAIM 金沢人工知能勉強会 回帰分析と使う上での注意事項tomitomi3 tomitomi3
?
※あとで資料をあげなおす※
(重)回帰分析は、回帰を行う教師あり機械学習技法の一つである。本発表では、回帰分析と回帰分析を行う上での注意事項とその背景について概説する。
“(Multiple) Regression analysis” is one of the basic machine learning techniques for regression. In this presentation, I will explain the points in using regression analysis.Rainbow: Combining Improvements in Deep Reinforcement Learning (AAAI2018 unde...
Rainbow: Combining Improvements in Deep Reinforcement Learning (AAAI2018 unde...Toru Fujino
?
Rainbow: Combining Improvements in Deep Reinforcement Learning (AAAI2018 under review) [DL輪読会]Meta-Learning Probabilistic Inference for Prediction
[DL輪読会]Meta-Learning Probabilistic Inference for PredictionDeep Learning JP
?
2018/12/14
Deep Learning JP:
http://deeplearning.jp/seminar-2/北大調和系 DLゼミ A3C
北大調和系 DLゼミ A3CTomoya Oda
?
エピソードのサンプリング?学習が非同期 + Actor-Criticな手法の提案。更にGPUではなくCPUのみでDQNより学習時間を削ることに成功。また、DQNが苦手な行動空間が連続な場合の可能性も示した。
しかし、現在ではA2C（同期）の方が性能が良いとされている。強化学習勉強会?論文紹介（第30回）Ensemble Contextual Bandits for Personalized Recommendation
強化学習勉強会?論文紹介（第30回）Ensemble Contextual Bandits for Personalized RecommendationNaoki Nishimura
?
論文紹介:
Tang, Liang, et al. "Ensemble contextual bandits for personalized recommendation." Proceedings of the 8th ACM Conference on Recommender Systems. ACM, 2014.Decision Transformer: Reinforcement Learning via Sequence Modeling
Decision Transformer: Reinforcement Learning via Sequence ModelingYasunori Ozaki
?
強化学習若手の会で発表した『Decision Transformer: Reinforcement Learning via Sequence Modeling』 のまとめになります。
Neural Rejuvenation: Improving Deep Network Training by Enhancing Computation...
Neural Rejuvenation: Improving Deep Network Training by Enhancing Computation...Yosuke Shinya
?
第53回 コンピュータビジョン勉強会＠関東 CVPR2019読み会(前編) 発表資料。
Speaker Deck版： https://speakerdeck.com/shinya7y/neural-rejuvenation深層学習(岡本孝之 著) - Deep Learning chap.1 and 2
深層学習(岡本孝之 著) - Deep Learning chap.1 and 2Masayoshi Kondo
?
深層学習(岡本孝之 著)の１?２章の紹介スライド．B4, M1向けのゼミ資料．これから深層学習を学びたい理系学生の入門者用に公開．なぜ統計学がビジネスの 意思決定において大事なのか？
なぜ統計学がビジネスの 意思決定において大事なのか？Takashi J OZAKI
?
「第2回CodeSCOREによる、エンジニアの実務スキルの可視化と、その周辺の知見共有セミナー」における講演内容
https://codescore.codeiq.jp/seminarAd
20170618論文読み会 伊藤
- 1. 論文紹介 Learning Important Features Through Propagating Activation Differences 東京大学工学系研究科 システム創成学専攻 和泉研究室 D1 伊藤友貴
- 2. 自己紹介 ? 東京大学工学系研究科 和泉研究室所属 – 金融に関するデータマイニング – 人工市場によるシミュレーション ? 普段はロイターニュースとかヤフーファイナン ス掲示板とか触って遊んでます ? 今日紹介する論文、ちょいちょい正確に理解 できていないです…お手柔らかにお願い致し ます
- 3. 概要 ? 紹介する論文 – Learning Important Features Through Propagating Activation Differences (A. Shrikumar et. Al, ICML, 2017) ? 概要 – Neural Network から重要な要素は何かを抽出す る方法のアプローチ(Deep Lift 法)を提案 – 既存手法より色々良さそう
- 4. 既存手法 ? Perturbation approach ? Back propagation approach – Gradients ? (Springenberg et. al. 2014) など – Gradients × Input ? (Shrikumar et. al. 2016) など
- 7. Deep Lift ? 勾配の問題やジャンプの問題を解決する方 法を提案 (Deep Lift ) – 個人的にはどうしてこの発想になったのかわかっ ていないので多分ちゃんと理解できていない
- 8. Deep Lift Philosophy ある層の値: 出力: reference activation: difference-from-reference: ← 基準値みたいなもの（後で定義) Contribution Scores: ? 各入力値 (xi) の出力値(t) への影 響度(後で定義) ? これをどう計算するかが肝 ← 基準値からどれくらい外れるか
- 9. Multipliers and the Chain Rule Multipliers を以下のように定義 CHAIN RULE で を計算 (式(3))
- 10. Defining the reference i1 i2 入力: 出力: Reference activation: より以下のように Reference activation を計算
- 11. Separating positive and negative ? ポジティブ項とネガティブ項を別々に考える Linear Rule, Rescale Rule, or Reveal cancel Rule により計算(後で定義)
- 12. Contribution Scores の計算 ? 線形な変換 → Linear Rule で計算 – 例: 結合層?たたみ込み層 ? 非線形な変換 → Rescale Rule or Reveal cancel Rule で計算 – 例: tanh, ReLU
- 13. The Linear Rule ? 線形な部分 (結合?畳み込み)では以下のよう にContribution Scores を計算 に対して
- 14. The Linear Rule このとき, 以下が成立
- 15. THE RESCALE RULE ? 非線形部分(ReLU, tanh など)では以下のよう に Contribution Scores を計算 ? このとき以下が成立
- 16. 具体例: Rescale Rule i1 0 = i2 0 = 0, i1 + i2 > 1 の場合 Rescale Rule だと
- 17. 具体例: Rescale Rule2 x0 = y0 = 0, x = 10 + ε の場合 Rescale Rule だと 不自然なジャンプ 連続
- 18. The Reveal Cancel Rule
- 19. 具体例3 Fig. 3 これについて i1 > i2 , i1 0 = i2 0 = 0 という条件で と を計算 Rescale Rule を使う場合: Reveal Cancel Rule を使う場合:
- 20. その他の工夫 ? 最終層の活性化後の値に対する入力値の Contribution Score ではなく活性化前の Contribution Score を計算 ? 最終層が Softmax のときは全体の平均を引 いたスコアで考える
- 21. 数値実験1 ? MNIST – Ex. 数字を8 から 3 に変える （一部消す） – Contribution Score の変化 値が消した部分に対応 するかどうか検証 – (ちゃんと把握できてません)
- 22. 数値実験2 ? DNA 配列の分類に関する実験 ? 意図通りに Contribution Score がつくかどう かを検証 ? (すいません、ちゃんと把握できてません。)
- 23. 比較手法 ? 既存手法 – Guided backprop * inp () – Gradient * input – Integrated gradient -5 – Integrated gradient -10 ? 提案手法 (Deep LIFT) – Deep LIFT Rescale – Deep LIFT Reveal Cancel – Deep LIFT fc-RC-conv-RS
- 25. 結果 (DNA) ? Deep Lift の方がよい結果 ? Reveal Cancel 入れた方がよい結果
- 26. 結論 ? Deep Liｆｔ という重要な要素は何かを抽出する方法 のフレームワーク(Deep Lift 法)を提案 ? 既存手法 (gradient や gradient * input で起こるよう な不自然なジャンプや勾配が0のときに起こる問題 を解決) ? RNNへの適用方法, Maxout, MaxPooling へのベスト な適用方法 などが課題