論文紹介 Pixel Recurrent Neural Networks
39 likes22,410 views
ICML2016 読み会で Pixel RNN を紹介した際のスライドです。
1 of 21
Downloaded 177 times
![自己回帰モデル
? 対数尤度が直接最大化でき、評価もできるところが良い
? サンプリングが高コストなのが短所
? ナイーブなモデル化では学習も高コスト
→ masking (MADE [Germain+, ICML’15]) によって並列化可能に
画像の生成モデル：３つのアプローチ
長所?短所の比較
変分推論 敵対的生成モデル 自己回帰モデル
訓練方法 変分下界の最大化 min max 交互最適化 対数尤度の最大化
潜在変数の推論 近似分布が得られる あとから学習する必要 N/A
サンプリング 低コスト 低コスト 高コスト
評価方法 変分下界 定量的評価が困難 対数尤度
モデルの設計
生成モデル
推論モデル
生成関数
識別モデル
条件付き分布たくさん
（学習の高速化に要工
夫：本論文の貢献）
5](https://image.slidesharecdn.com/pixel-rnn-160721043619/85/Pixel-Recurrent-Neural-Networks-5-320.jpg){kind=tracking}
![提案モデルの基本：制限された結合
? 同じ spatial size のまま深くしていく (チャンネルは RGB のグ
ループに分割) が、context 外からの結合はなくす (masking)
? 2 層目以降では同じ位置の同じチャンネルの入力は見ても良い
…
R
G
B
R features
G features
B features
R features
G features
B features
1 層目
(mask A)
2 層目以降
(mask B)
出力
(mask B)
R
G
B
cf. MADE [Germain+, ICML’15] 7](https://image.slidesharecdn.com/pixel-rnn-160721043619/85/Pixel-Recurrent-Neural-Networks-7-320.jpg){kind=tracking}
![256-way softmax の出力例
? 大小関係の情報を入れなくてもなめらかな分布が得られる
? 0 や 255 が出やすい、というような多峰性を獲得
? 区間 [0, 255] の外の値を決して出力しないという利点もある
13](https://image.slidesharecdn.com/pixel-rnn-160721043619/85/Pixel-Recurrent-Neural-Networks-13-320.jpg){kind=tracking}
Recommended
【DL輪読会】The Forward-Forward Algorithm: Some Preliminary
【DL輪読会】The Forward-Forward Algorithm: Some PreliminaryDeep Learning JP
?
2023/1/6
Deep Learning JP
http://deeplearning.jp/seminar-2/猫でも分かるVariational AutoEncoder
猫でも分かるVariational AutoEncoderSho Tatsuno
?
生成モデルとかをあまり知らない人にもなるべく分かりやすい説明を心がけたVariational AutoEncoderのスライド
実装と簡単な補足は以下を参照
http://sh-tatsuno.com/blog/index.php/2016/07/30/variationalautoencoder/数学カフェ 確率?統計?機械学習回 「速習 確率?統計」
数学カフェ 確率?統計?機械学習回 「速習 確率?統計」Ken'ichi Matsui
?
The document describes various probability distributions that can arise from combining Bernoulli random variables. It shows how a binomial distribution emerges from summing Bernoulli random variables, and how Poisson, normal, chi-squared, exponential, gamma, and inverse gamma distributions can approximate the binomial as the number of Bernoulli trials increases. Code examples in R are provided to simulate sampling from these distributions and compare the simulated distributions to their theoretical probability density functions.骋础狈（と强化学习との関係）
骋础狈（と强化学习との関係）Masahiro Suzuki
?
This document discusses generative adversarial networks (GANs) and their relationship to reinforcement learning. It begins with an introduction to GANs, explaining how they can generate images without explicitly defining a probability distribution by using an adversarial training process. The second half discusses how GANs are related to actor-critic models and inverse reinforcement learning in reinforcement learning. It explains how GANs can be viewed as training a generator to fool a discriminator, similar to how policies are trained in reinforcement learning.[DL輪読会]MetaFormer is Actually What You Need for Vision
[DL輪読会]MetaFormer is Actually What You Need for VisionDeep Learning JP
?
2022/01/21
Deep Learning JP:
http://deeplearning.jp/seminar-2/叠贰搁罢入门
叠贰搁罢入门Ken'ichi Matsui
?
Two sentences are tokenized and encoded by a BERT model. The first sentence describes two kids playing with a green crocodile float in a swimming pool. The second sentence describes two kids pushing an inflatable crocodile around in a pool. The tokenized sentences are passed through the BERT model, which outputs the encoded representations of the token sequences.[DL輪読会]Wasserstein GAN/Towards Principled Methods for Training Generative Adv...
[DL輪読会]Wasserstein GAN/Towards Principled Methods for Training Generative Adv...Deep Learning JP
?
2017/2/24
Deep Learning JP:
http://deeplearning.jp/seminar-2/
颁辞苍惫狈别迟の歴史と搁别蝉狈别迟亜种、ヘ?ストフ?ラクティス
颁辞苍惫狈别迟の歴史と搁别蝉狈别迟亜种、ヘ?ストフ?ラクティスYusuke Uchida
?
Brief history of convolutional neural networks, variants of residual networks, and their best practices【メタサーベイ】数式ドリブン教师あり学习
【メタサーベイ】数式ドリブン教师あり学习cvpaper. challenge
?
cvpaper.challenge の メタサーベイ発表スライドです。
cvpaper.challengeはコンピュータビジョン分野の今を映し、トレンドを創り出す挑戦です。論文サマリ作成?アイディア考案?議論?実装?論文投稿に取り組み、凡ゆる知識を共有します。
http://xpaperchallenge.org/cv/ 【DL輪読会】ViT + Self Supervised Learningまとめ
【DL輪読会】ViT + Self Supervised LearningまとめDeep Learning JP
?
Several recent papers have explored self-supervised learning methods for vision transformers (ViT). Key approaches include:
1. Masked prediction tasks that predict masked patches of the input image.
2. Contrastive learning using techniques like MoCo to learn representations by contrasting augmented views of the same image.
3. Self-distillation methods like DINO that distill a teacher ViT into a student ViT using different views of the same image.
4. Hybrid approaches that combine masked prediction with self-distillation, such as iBOT.Disentanglement Survey:Can You Explain How Much Are Generative models Disenta...
Disentanglement Survey:Can You Explain How Much Are Generative models Disenta...Hideki Tsunashima
?
tmp[DL輪読会]NVAE: A Deep Hierarchical Variational Autoencoder
[DL輪読会]NVAE: A Deep Hierarchical Variational AutoencoderDeep Learning JP
?
2020/11/13
Deep Learning JP:
http://deeplearning.jp/seminar-2/【DL輪読会】High-Resolution Image Synthesis with Latent Diffusion Models
【DL輪読会】High-Resolution Image Synthesis with Latent Diffusion ModelsDeep Learning JP
?
2022/9/2
Deep Learning JP
http://deeplearning.jp/seminar-2/摆顿尝轮読会闭滨颁尝搁2020の分布外検知速报
摆顿尝轮読会闭滨颁尝搁2020の分布外検知速报Deep Learning JP
?
2019/09/27
Deep Learning JP:
http://deeplearning.jp/seminar-2/ Deep Learningによる超解像の進歩
Deep Learningによる超解像の進歩Hiroto Honda
?
This document summarizes recent advances in single image super-resolution (SISR) using deep learning methods. It discusses early SISR networks like SRCNN, VDSR and ESPCN. SRResNet is presented as a baseline method, incorporating residual blocks and pixel shuffle upsampling. SRGAN and EDSR are also introduced, with EDSR achieving state-of-the-art PSNR results. The relationship between reconstruction loss, perceptual quality and distortion is examined. While PSNR improves yearly, a perception-distortion tradeoff remains. Developments are ongoing to produce outputs that are both accurately restored and naturally perceived.摆顿尝轮読会闭相互情报量最大化による表现学习
摆顿尝轮読会闭相互情报量最大化による表现学习Deep Learning JP
?
2019/09/13
Deep Learning JP:
http://deeplearning.jp/seminar-2/ Probabilistic Graphical Models 輪読会 #1
Probabilistic Graphical Models 輪読会 #1Takuma Yagi
?
グラフィカルモデル輪読会での発表資料です。
http://wbawakate.connpass.com/event/31613/【DL輪読会】SDEdit: Guided Image Synthesis and Editing with Stochastic Differentia...
【DL輪読会】SDEdit: Guided Image Synthesis and Editing with Stochastic Differentia...Deep Learning JP
?
2023/3/17
Deep Learning JP
http://deeplearning.jp/seminar-2/[解説スライド] NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
[解説スライド] NeRF: Representing Scenes as Neural Radiance Fields for View SynthesisKento Doi
?
NeRF: Representing Scenes as Neural Radiance Fields for View Synthesisの解説
paper: https://arxiv.org/abs/2003.08934
project page: http://www.matthewtancik.com/nerf
video presentation: https://www.youtube.com/watch?v=JuH79E8rdKc[DL輪読会]The Neural Process Family?Neural Processes関連の実装を読んで動かしてみる?
[DL輪読会]The Neural Process Family?Neural Processes関連の実装を読んで動かしてみる?Deep Learning JP
?
2019/04/15
Deep Learning JP:
http://deeplearning.jp/seminar-2/ 【論文読み会】Deep Clustering for Unsupervised Learning of Visual Features
【論文読み会】Deep Clustering for Unsupervised Learning of Visual FeaturesARISE analytics
?
論文「Deep Clustering for Unsupervised Learning of
Visual Features」について輪読した際の資料です。[DL輪読会]Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets
[DL輪読会]Grokking: Generalization Beyond Overfitting on Small Algorithmic DatasetsDeep Learning JP
?
2022/03/25
Deep Learning JP:
http://deeplearning.jp/seminar-2/More Related Content
What's hot (20)
[DL輪読会]Wasserstein GAN/Towards Principled Methods for Training Generative Adv...
[DL輪読会]Wasserstein GAN/Towards Principled Methods for Training Generative Adv...Deep Learning JP
?
2017/2/24
Deep Learning JP:
http://deeplearning.jp/seminar-2/
颁辞苍惫狈别迟の歴史と搁别蝉狈别迟亜种、ヘ?ストフ?ラクティス
颁辞苍惫狈别迟の歴史と搁别蝉狈别迟亜种、ヘ?ストフ?ラクティスYusuke Uchida
?
Brief history of convolutional neural networks, variants of residual networks, and their best practices【メタサーベイ】数式ドリブン教师あり学习
【メタサーベイ】数式ドリブン教师あり学习cvpaper. challenge
?
cvpaper.challenge の メタサーベイ発表スライドです。
cvpaper.challengeはコンピュータビジョン分野の今を映し、トレンドを創り出す挑戦です。論文サマリ作成?アイディア考案?議論?実装?論文投稿に取り組み、凡ゆる知識を共有します。
http://xpaperchallenge.org/cv/ 【DL輪読会】ViT + Self Supervised Learningまとめ
【DL輪読会】ViT + Self Supervised LearningまとめDeep Learning JP
?
Several recent papers have explored self-supervised learning methods for vision transformers (ViT). Key approaches include:
1. Masked prediction tasks that predict masked patches of the input image.
2. Contrastive learning using techniques like MoCo to learn representations by contrasting augmented views of the same image.
3. Self-distillation methods like DINO that distill a teacher ViT into a student ViT using different views of the same image.
4. Hybrid approaches that combine masked prediction with self-distillation, such as iBOT.Disentanglement Survey:Can You Explain How Much Are Generative models Disenta...
Disentanglement Survey:Can You Explain How Much Are Generative models Disenta...Hideki Tsunashima
?
tmp[DL輪読会]NVAE: A Deep Hierarchical Variational Autoencoder
[DL輪読会]NVAE: A Deep Hierarchical Variational AutoencoderDeep Learning JP
?
2020/11/13
Deep Learning JP:
http://deeplearning.jp/seminar-2/【DL輪読会】High-Resolution Image Synthesis with Latent Diffusion Models
【DL輪読会】High-Resolution Image Synthesis with Latent Diffusion ModelsDeep Learning JP
?
2022/9/2
Deep Learning JP
http://deeplearning.jp/seminar-2/摆顿尝轮読会闭滨颁尝搁2020の分布外検知速报
摆顿尝轮読会闭滨颁尝搁2020の分布外検知速报Deep Learning JP
?
2019/09/27
Deep Learning JP:
http://deeplearning.jp/seminar-2/ Deep Learningによる超解像の進歩
Deep Learningによる超解像の進歩Hiroto Honda
?
This document summarizes recent advances in single image super-resolution (SISR) using deep learning methods. It discusses early SISR networks like SRCNN, VDSR and ESPCN. SRResNet is presented as a baseline method, incorporating residual blocks and pixel shuffle upsampling. SRGAN and EDSR are also introduced, with EDSR achieving state-of-the-art PSNR results. The relationship between reconstruction loss, perceptual quality and distortion is examined. While PSNR improves yearly, a perception-distortion tradeoff remains. Developments are ongoing to produce outputs that are both accurately restored and naturally perceived.摆顿尝轮読会闭相互情报量最大化による表现学习
摆顿尝轮読会闭相互情报量最大化による表现学习Deep Learning JP
?
2019/09/13
Deep Learning JP:
http://deeplearning.jp/seminar-2/ Probabilistic Graphical Models 輪読会 #1
Probabilistic Graphical Models 輪読会 #1Takuma Yagi
?
グラフィカルモデル輪読会での発表資料です。
http://wbawakate.connpass.com/event/31613/【DL輪読会】SDEdit: Guided Image Synthesis and Editing with Stochastic Differentia...
【DL輪読会】SDEdit: Guided Image Synthesis and Editing with Stochastic Differentia...Deep Learning JP
?
2023/3/17
Deep Learning JP
http://deeplearning.jp/seminar-2/[解説スライド] NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
[解説スライド] NeRF: Representing Scenes as Neural Radiance Fields for View SynthesisKento Doi
?
NeRF: Representing Scenes as Neural Radiance Fields for View Synthesisの解説
paper: https://arxiv.org/abs/2003.08934
project page: http://www.matthewtancik.com/nerf
video presentation: https://www.youtube.com/watch?v=JuH79E8rdKc[DL輪読会]The Neural Process Family?Neural Processes関連の実装を読んで動かしてみる?
[DL輪読会]The Neural Process Family?Neural Processes関連の実装を読んで動かしてみる?Deep Learning JP
?
2019/04/15
Deep Learning JP:
http://deeplearning.jp/seminar-2/ 【論文読み会】Deep Clustering for Unsupervised Learning of Visual Features
【論文読み会】Deep Clustering for Unsupervised Learning of Visual FeaturesARISE analytics
?
論文「Deep Clustering for Unsupervised Learning of
Visual Features」について輪読した際の資料です。[DL輪読会]Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets
[DL輪読会]Grokking: Generalization Beyond Overfitting on Small Algorithmic DatasetsDeep Learning JP
?
2022/03/25
Deep Learning JP:
http://deeplearning.jp/seminar-2/Viewers also liked (20)
Estimating structured vector autoregressive models
Estimating structured vector autoregressive modelsAkira Tanimoto
?
- The document discusses estimating structured vector autoregressive (VAR) models from time series data.
- A VAR model of order d is defined as xt = A1xt-1 + ... + Adxt-d + εt, where xt is a p-dimensional time series, Ak are parameter matrices, and εt is noise.
- The document proposes regularizing the VAR model estimation problem to promote structured sparsity in the parameter matrices Ak. This involves transforming the model into a linear regression form and applying group lasso or fused lasso regularization.Dropout Distillation
Dropout DistillationShotaro Sano
?
ICML2016にて発表された論文『Dropout Distillation』の解説スライドです。こちらのミートアップにて発表させていただきました：http://connpass.com/event/34960/[DL輪読会]Convolutional Sequence to Sequence Learning
[DL輪読会]Convolutional Sequence to Sequence LearningDeep Learning JP
?
2017/5/19
Deep Learning JP:
http://deeplearning.jp/seminar-2/
Pixel Recurrent Neural Networks
Pixel Recurrent Neural Networksneouyghur
?
This document summarizes Pixel Recurrent Neural Networks, proposed models for generative image modeling including PixelRNN and PixelCNN. PixelRNN uses row LSTMs or diagonal bi-LSTMs to capture pixel dependencies while PixelCNN replaces the unbounded dependency with a large bounded receptive field, turning it into a pixel-level classification problem. The models are optimized using techniques like residual connections and masked convolutions. Experiments on MNIST, CIFAR-10, and ImageNet demonstrate state-of-the-art results in log-likelihood and capability of image completion.[DL輪読会] Hybrid computing using a neural network with dynamic external memory
[DL輪読会] Hybrid computing using a neural network with dynamic external memoryYusuke Iwasawa
?
DL輪読会, Deep Mind, Deep Learning, Nature[Dl輪読会]video pixel networks
[Dl輪読会]video pixel networksDeep Learning JP
?
2016/10/28
Deep Learning JP:
http://deeplearning.jp/seminar-2/
Variational AutoEncoder
Variational AutoEncoderKazuki Nitta
?
1. The document discusses probabilistic modeling and variational inference. It introduces concepts like Bayes' rule, marginalization, and conditioning.
2. An equation for the evidence lower bound is derived, which decomposes the log likelihood of data into the Kullback-Leibler divergence between an approximate and true posterior plus an expected log likelihood term.
3. Variational autoencoders are discussed, where the approximate posterior is parameterized by a neural network and optimized to maximize the evidence lower bound. Latent variables are modeled as Gaussian distributions.贬笔颁と础滨をつなぐ骋笔鲍クラウド
贬笔颁と础滨をつなぐ骋笔鲍クラウドHPC Systems Inc.
?
AI?DeepLearningの活用が急速に進む中、弊社が何を思い、やっているのかをお伝えしています。株式会社IDCフロンティア様主催イベント『AI（人工知能）?DeepLearningの最前線 ( https://idcf.doorkeeper.jp/events/61063 )』での発表資料です。Chainer v2 alpha
Chainer v2 alphaSeiya Tokui
?
The document details the development and features of Chainer v2.0.0a1, emphasizing its role as a pioneer in dynamic graph frameworks since its inception in 2015. Key updates include the separation of CuPy into its own project, improvements in configuration handling, and removal of deprecated APIs, along with plans for future releases. Various enhancements are introduced to streamline training modes and optimize parameter management in the framework.NVIDIA GPU 技術最新情報
NVIDIA GPU 技術最新情報IDC Frontier
?
2017年6月13日に開催した「AI（人工知能）?Deep Learningの最前線」にて登壇された、エヌビディア合同会社 佐々木様の発表資料ですFacebookの人工知能アルコ?リス?ム「memory networks」について調へ?てみた
Facebookの人工知能アルコ?リス?ム「memory networks」について調へ?てみた株式会社メタップスホールディングス
?
FaceBook のAIチームが研究の発表論文である "Memory networks"とその拡張である"Towards AI-complete question answering: A set of prerequisite toy tasks."を簡単に紹介します。
[1] Weston, J., Chopra, S., and Bordes, A. Memory networks. In International Conference on Learning Representations (ICLR), 2015a.
[2] Weston, J., Bordes, A., Chopra, S., and Mikolov, T. Towards AI-complete question answering: A set of prerequisite toy tasks. arXiv preprint: 1502.05698, 2015b.GTC 2017 さらに発展する AI 革命
GTC 2017 さらに発展する AI 革命NVIDIA Japan
?
世界中を席巻している AI 革命がさらに加速しています。
GTC は、世界中の GPU 開発者が一堂に会する、年間で最大級かつ最重要のイベントです。AI とディープラーニング分野の最新の技術情報に触れ、ハンズオン トレーニングを体験することができます。
このスライドでは、GTC 2017 注目のトピックをまとめました。 #GTC17 #AISimilar to 論文紹介 Pixel Recurrent Neural Networks (20)
Deep Learningの基礎と応用
Deep Learningの基礎と応用Seiya Tokui
?
第14回情報科学技術フォーラム (FIT2015) のイベント企画「ビッグデータ解析のための機械学習技術」におけるチュートリアル講演資料です。ニューラルネットの基礎（計算グラフとしての定式化、勾配法、誤差逆伝播法）をさらったあと、最近画像や自然言語などで注目されている応用?手法について広く浅く紹介しています。摆顿尝轮読会闭骋蚕狈と関连研究，世界モデルとの関係について
摆顿尝轮読会闭骋蚕狈と関连研究，世界モデルとの関係についてDeep Learning JP
?
2018/08/17
Deep Learning JP:
http://deeplearning.jp/seminar-2/ [DL輪読会]GENESIS: Generative Scene Inference and Sampling with Object-Centric L...
[DL輪読会]GENESIS: Generative Scene Inference and Sampling with Object-Centric L...Deep Learning JP
?
2019/12/06
Deep Learning JP:
http://deeplearning.jp/seminar-2/ CVPR2017 参加報告 速報版 本会議 4日目
CVPR2017 参加報告 速報版 本会議 4日目Atsushi Hashimoto
?
最終日の参加報告．最後のポスターセッションは体調不良のため，余り回れていません．キーノートも．
三日坊主にならなかったのは，私が見栄っ張りだから．Convolutional Neural Networks のトレンド @WBAFLカシ?ュアルトーク#2
Convolutional Neural Networks のトレンド @WBAFLカシ?ュアルトーク#2Daiki Shimada
?
動画： https://www.youtube.com/watch?v=cBog5o9ebcQ 全脳アーキテクチャ若手の会 ( http://wbawakate.jp/ ) カジュアルトーク#2 ( http://wbawakate.jp/posts/events/12th/ ) での発表資料です．Deep residual learning for image recognition
Deep residual learning for image recognition禎晃 山崎
?
fisher vector に関しては，かなり省いているので，最後のページにあるような資料を参考にした方が良いかとDeep Learningによる画像認識革命 ー歴史?最新理論から実践応用までー
Deep Learningによる画像認識革命 ー歴史?最新理論から実践応用までーnlab_utokyo
?
SSII 2015 チュートリアル講演 「Deep Learningによる画像認識革命」 2015年6月10日畳み込みニューラルネットワークの高精度化と高速化
畳み込みニューラルネットワークの高精度化と高速化Yusuke Uchida
?
2012年の画像認識コンペティションILSVRCにおけるAlexNetの登場以降，画像認識においては畳み込みニューラルネットワーク (CNN) を用いることがデファクトスタンダードとなった．CNNは画像分類だけではなく，セグメンテーションや物体検出など様々なタスクを解くためのベースネットワークとしても広く利用されてきている．本講演では，AlexNet以降の代表的なCNNの変遷を振り返るとともに，近年提案されている様々なCNNの改良手法についてサーベイを行い，それらを幾つかのアプローチに分類し，解説する．更に，実用上重要な高速化手法について、畳み込みの分解や枝刈り等の分類を行い，それぞれ解説を行う．
Recent Advances in Convolutional Neural Networks and Accelerating DNNs
第21回ステアラボ人工知能セミナー講演資料
https://stair.connpass.com/event/126556/[DL輪読会]Flow-based Deep Generative Models
[DL輪読会]Flow-based Deep Generative ModelsDeep Learning JP
?
2019/03/08
Deep Learning JP:
http://deeplearning.jp/seminar-2/ LUT-Network Revision2
LUT-Network Revision2ryuz88
?
2019年4月現在の最新状況を踏まえた資料更新です。
確率的LUTモデルの追加とBinaryBrain version3 の公開が主な内容です。
English Version
/ryuz88/lutnetwork-revision2-english-version
BinaryBrain
https://github.com/ryuz/BinaryBrainae-10. 中間まとめ（ディープラーニング）
ae-10. 中間まとめ（ディープラーニング）kunihikokaneko1
?
トピックス：ディープラーニングの種類, ディープラーニングの用途, ディープラーニングの仕組み, 画像理解, 畳み込みニューラルネットワーク, 顔情報処理, 姿勢推定, 自然言語処理, ディープラーニング, 人工知能
ディープラーニング（スライドとプログラム例，Python を使用）（全１５回）
https://www.kkaneko.jp/ai/ae/index.html
金子邦彦研究室ホームページ
https://www.kkaneko.jp/index.htmlRecurrent Neural Networks
Recurrent Neural NetworksSeiya Tokui
?
2014年10月30日のPFIセミナーで話したRecurrent Neural Networksの話です。LSTMの解説と4つの応用の紹介を含みます（機械翻訳、簡単なPythonコードの実行、Neural Turing Machines、Visual Attention）。【CVPR 2020 メタサーベイ】Neural Generative Models
【CVPR 2020 メタサーベイ】Neural Generative Modelscvpaper. challenge
?
「CVPR 2020 網羅的サーベイ」により作成された Neural Generative Models エリアのメタサーベイ資料です。
CVPR 2020 網羅的サーベイ: http://xpaperchallenge.org/cv/survey/cvpr2020_summaries/listall/
cvpaper.challengeはコンピュータビジョン分野の今を映し、トレンドを創り出す挑戦です。論文サマリ作成?アイディア考案?議論?実装?論文投稿に取り組み、凡ゆる知識を共有します。2020の目標は「トップ会議に30+本投稿」することです。
http://xpaperchallenge.org/cv/ SPADE :Semantic Image Synthesis with Spatially-Adaptive Normalization
SPADE :Semantic Image Synthesis with Spatially-Adaptive NormalizationTenki Lee
?
SPADE :Semantic Image Synthesis with Spatially-Adaptive Normalizationの論文解説とCVPR2019に行ってきた感想20190831 3 d_inaba_final
20190831 3 d_inaba_finalDaikiInaba
?
第５回3D勉強会＠関東(2019.08.31)
Neural Rerendering in the Wild (CVPR2019)論文紹介: Exploiting semantic segmentation to boost reinforcement learning in vid...
論文紹介: Exploiting semantic segmentation to boost reinforcement learning in vid...atsushi061452
?
This presentation introduces a paper about offline reinforcement learning.More from Seiya Tokui (20)
Chainer v3
Chainer v3Seiya Tokui
?
The document discusses the Chainer v3.0.0 release and updates on the CuPy v2.0.0, highlighting key features such as double backpropagation support in Chainer and new functionalities introduced in CuPy for sparse matrices and complex numbers. It mentions backward compatibility concerns and the introduction of new-style functions with improved efficiency. Future releases are also briefly outlined, noting an updated release policy and upcoming versions scheduled for release.Chainer v2 and future dev plan
Chainer v2 and future dev planSeiya Tokui
?
Chainer v2.0.0 was released on June 1, 2017, introducing significant changes including breaking backward compatibility and a cleaner API. Key updates include the separation of CuPy into its own repository, a new configuration for training modes, and features for memory optimization and advanced indexing. Future plans include enhancing backpropagation capabilities and improving documentation and testing, with discussions being held publicly on Chainer's Slack channels.Learning stochastic neural networks with Chainer
Learning stochastic neural networks with ChainerSeiya Tokui
?
The document discusses learning stochastic neural networks using the Chainer framework, focusing on the computation of gradients through stochastic units and various learning methods. It highlights the use of the reparameterization trick for Gaussian units and likelihood-ratio methods for Bernoulli units, emphasizing their implementation in Chainer. Additionally, it presents examples of variational autoencoders and sigmoid belief networks, alongside experimentation notes to optimize learning and reduce gradient variance.深層学習フレームワーク Chainer の開発と今後の展開
深層学習フレームワーク Chainer の開発と今後の展開Seiya Tokui
?
MIRU2016 でのチュートリアル講演のスライドです。深層学習フレームワークの一般的な構成から、Chainer の解説、深層学習における OSS 開発の例と学生?研究者がそこにどのように関わっていくかについて書いています。Introduction to Chainer
Introduction to ChainerSeiya Tokui
?
The document introduces Chainer, an open-source framework for neural networks, highlighting its core concepts such as computational graphs, automatic differentiation, and backpropagation. It discusses the features of Chainer version 1.11, including dynamic computational graphs, model abstractions, and built-in datasets and optimizers. Additionally, it provides an example of using Chainer with the MNIST dataset for classification tasks, illustrating the setup of models, training loops, and performance evaluation.Chainer Update v1.8.0 -> v1.10.0+
Chainer Update v1.8.0 -> v1.10.0+Seiya Tokui
?
The document outlines the updates from Chainer versions v1.8.0 to v1.10.0, highlighting new features such as improved caffefunction support, weight initialization capabilities, and enhanced ndarray handling. It discusses the introduction of new functions and links, modifications to existing functionalities, and plans for more frequent minor releases due to a backlog of pull requests. Future updates are planned, including a major version release aimed at enhancing performance and usability through various improvements.Differences of Deep Learning Frameworks
Differences of Deep Learning FrameworksSeiya Tokui
?
This tutorial provides an overview of deep learning frameworks, focusing on the design choices that differentiate them, including how neural networks are defined and how computational graphs are constructed. It highlights several frameworks like TensorFlow, Theano, and PyTorch, discussing their strengths and weaknesses in relation to performance and ease of use. The conclusion emphasizes the importance of selecting a framework that aligns with user preferences and requirements for deep learning tasks.Overview of Chainer and Its Features
Overview of Chainer and Its FeaturesSeiya Tokui
?
Chainer is a flexible deep learning framework designed for researchers, allowing on-the-fly construction of computational graphs during forward computations, which facilitates diverse iteration and easier debugging. It supports device-agnostic coding through numpy and cupy and enables the creation of custom kernels, enhancing usability. Additionally, the framework provides tools like link and chain for building reusable components of neural networks, including functionalities for serialization.生成モデルの Deep Learning
生成モデルの Deep LearningSeiya Tokui
?
PFIセミナー(2016/02/25)で発表したスライドです。伝承サンプリング可能な生成モデルに関するDeep Learningの紹介です（キーワード：Wake-Sleep, 変分 AutoEncoder, Generative Adversarial Nets, Likelihood Ratio）Chainer Development Plan 2015/12
Chainer Development Plan 2015/12Seiya Tokui
?
This document outlines Chainer's development plans, including past releases from versions 1.0 to 1.5, apologies about installation complications, and new policies and release schedules going forward from version 1.6. Key points include making installation easier, adding backwards compatibility, releasing minor versions every 6 weeks and revision versions every 2 weeks, and potential future features like profiling, debugging tools, and isolating CuPy.Towards Chainer v1.5
Towards Chainer v1.5Seiya Tokui
?
1) The document discusses the development history and planned features of Chainer, a deep learning framework.
2) It describes Chainer's transition to a new model structure using Links and Chains to define networks in a more modular and reusable way.
3) The new structure will allow for easier saving, loading, and composition of network definitions compared to the previous FunctionSet/Optimizer approach.颁丑补颈苍别谤の使い方と自然言语処理への応用
颁丑补颈苍别谤の使い方と自然言语処理への応用Seiya Tokui
?
第10回 NLP若手の会シンポジウム (YANS) のチュートリアルスライドです。ニューラルネットの（アルゴリズムとしての）おさらいと、Chainer v1.3.0の使い方を紹介しています。論文紹介 Compressing Neural Networks with the Hashing Trick
論文紹介 Compressing Neural Networks with the Hashing TrickSeiya Tokui
?
ICML2015読み会での論文紹介スライドです。 http://connpass.com/event/17641/ ニューラルネットに特徴ハッシュを適用する話です。論文はこちら http://jmlr.org/proceedings/papers/v37/chenc15.html深层学习フレームワーク颁丑补颈苍别谤の绍介と贵笔骋础への期待
深层学习フレームワーク颁丑补颈苍别谤の绍介と贵笔骋础への期待Seiya Tokui
?
http://connpass.com/event/17063/ でのスライドです。Feed-forward netの簡単な解説（特に実装面）とChainerの紹介。Introduction to Chainer: A Flexible Framework for Deep Learning
Introduction to Chainer: A Flexible Framework for Deep LearningSeiya Tokui
?
Chainer is a powerful and flexible deep learning framework that utilizes a define-by-run paradigm, allowing users to write forward computations as regular Python code and enabling dynamic graph changes. Key features include automatic differentiation, multi-GPU support, and an intuitive handling of neural network layers and optimizers. It is actively developed with plans for biweekly updates, and a repository is available for users to access and contribute to.Deep learning実装の基礎と実践
Deep learning実装の基礎と実践Seiya Tokui
?
2014年8月26日の日本神経回路学会主催セミナー「Deep Learningが拓く世界」における発表スライドです。Deep Learningの主なフレームワークで共通する設計部分と、実験の仕方について説明しています。Deep Learning技術の今
Deep Learning技術の今Seiya Tokui
?
第2回全脳アーキテクチャ勉強会での講演スライドです。Deep Learning の基礎から最近提案されている面白トピックを詰め込んだサーベイになっています。論文紹介 Pixel Recurrent Neural Networks
- 1. Pixel Recurrent Neural Networks ICML2016 読み会 @ ドワンゴ 得居 誠也, Preferred Networks & 東京大学 論文紹介
- 2. 概要 Pixel Recurrent Neural Networks. A?ron van den Oord, Nal Kalchbrenner, Koray Kavukcuoglu (all from Google DeepMind) ICML2016 のベストペーパー３本のうちのひとつ -要約- ピクセル?チャンネル単位の自己回帰型モデル（RNN 言語モデ ルに似た確率分布）であって並列化によって高速に勾配計算が できるものを提案し、MNIST, CIFAR-10, ImageNet (32x32, 64x64) で非常に高い対数尤度を達成した 2
- 3. 画像の生成モデル ? 訓練データ：大量の画像（グレースケールや RGB 画像） ? 各画像は Channel x Height x Width の多次元配列で表される ? タスク：訓練データを生成する分布を推定する ? 確率分布のモデルを考えて、訓練データの生成分布に一番近くなるよ うなパラメータを推定する ? 対数尤度最大化の問題として解くのが一般的 ? 主な目的: (1) 新しいデータの生成 (2) 潜在変数の推定 生成モデル 訓練データ パラメータ 対数尤度 今日はこちら 3
- 4. 画像の生成モデル：３つのアプローチ （昨今流行っているもの、本当はほかにもある） 変分推論（変分 AutoEncoder など） ? 潜在変数 をつかって をモデル化 ? だけから学習するのに が必要だが一般に計算困難 ? そこで別のモデル をつかってこれを近似する 敵対的生成モデル（Generative Adversarial Nets） ? 潜在変数 をつかって とモデル化 ? こうしてできた 全体と真の分布を分別する識別器 を 学習しつつ、識別できなくするように も学習 自己回帰モデル（今日の話） ? 分布を次のように分解： ? 各因子を NN などでモデル化 4
- 5. 自己回帰モデル ? 対数尤度が直接最大化でき、評価もできるところが良い ? サンプリングが高コストなのが短所 ? ナイーブなモデル化では学習も高コスト → masking (MADE [Germain+, ICML’15]) によって並列化可能に 画像の生成モデル：３つのアプローチ 長所?短所の比較 変分推論 敵対的生成モデル 自己回帰モデル 訓練方法 変分下界の最大化 min max 交互最適化 対数尤度の最大化 潜在変数の推論 近似分布が得られる あとから学習する必要 N/A サンプリング 低コスト 低コスト 高コスト 評価方法 変分下界 定量的評価が困難 対数尤度 モデルの設計 生成モデル 推論モデル 生成関数 識別モデル 条件付き分布たくさん （学習の高速化に要工 夫：本論文の貢献） 5
- 6. 画像の自己回帰モデル ピクセルを上から下に、行ごとに左から右に生成 RGB は R → G → B の順に生成 … Context R G B Context 6
- 7. 提案モデルの基本：制限された結合 ? 同じ spatial size のまま深くしていく (チャンネルは RGB のグ ループに分割) が、context 外からの結合はなくす (masking) ? 2 層目以降では同じ位置の同じチャンネルの入力は見ても良い … R G B R features G features B features R features G features B features 1 層目 (mask A) 2 層目以降 (mask B) 出力 (mask B) R G B cf. MADE [Germain+, ICML’15] 7
- 8. 提案モデル１：PixelCNN 各レイヤーは、カーネルの上半分だけ使う 2D convolution 普通の 2D convolution と同じく、位置ごとにパラメータは共通 ? 尤度計算は高速（普通の ConvNet と同じくらい） ? Context をフルに使えない、スケール依存 入力 出力 8
- 9. 提案モデル２：PixelRNN (Row LSTM) 各行ごとに上から下へ 1D Convolution + LSTM 1D Convolution+LSTM なので、位置ごとにパラメータは共通 ? 上方向の Context をフルに使える ? 利用可能な Context をまだすべて使えない 入力 出力 9
- 10. 提案モデル３：PixelRNN (Diagonal BiLSTM) 2D LSTM を 左→右 と 右→左 の両方向に流す 1D convolution を使った高速化テクニックがある (次スライド) ? Context をフルに扱える ? 計算コストは少し高い 入力 出力 10
- 11. Diagonal BiLSTM の実装 入力 … ずらした入力 … 各行を 1 pixel ずつずらす ずらした入力 … カーネルサイズ 2 の 1D convolutional LSTM を 左から右にかけていくのと等価 11
- 12. 出力：ピクセルRGBの 256 値分類 最終層では、実数でピクセル値を予測するのではなく、RGB の 各値を 0 – 255 の 256 値の中から一つ予測する（多クラス分類） よって最終層は Softmax。 2 つの問題を解決： ? 画像の分布をガウシアン等でモデル化する場合の問題点だった 「ボケた画像を生成しやすい」問題の回避 ? ガウシアン等ではモデル化できない多峰性分布を表せる ピクセル値の大小に関する情報は一切いれていない → データが多ければ問題ない 12
- 13. 256-way softmax の出力例 ? 大小関係の情報を入れなくてもなめらかな分布が得られる ? 0 や 255 が出やすい、というような多峰性を獲得 ? 区間 [0, 255] の外の値を決して出力しないという利点もある 13
- 14. Residual Block を使った階層化 ? PixelCNN や PixelRNN を深くするときに Residual Block を使う ? PixelRNN の場合、後ろにだけ projection layer を入れている 14
- 15. 最終的なアーキテクチャ MNIST: 7 レイヤー (Diag. BiLSTM) CIFAR-10: PixelCNN=15 レイヤー, PixelRNN=12 レイヤー ImageNet (32x32): 12 レイヤー (Row LSTM) ImageNet (64x64): 4 レイヤー (Row LSTM, no residual) 15
- 16. 実験 Binarized MNIST ? 手書き文字データセット ? 過去手法との比較のために実施。二値画像。 CIFAR-10 ? 32x32 のカラー画像データセット（訓練データ 50,000 枚） ILSVRC (ImageNet) ? 大規模画像認識コンペのデータセット、約 128 万枚 ? 今回は 32x32, 64x64 に縮小したものを使用 16
- 17. 実験結果：負対数尤度の比較 17
- 20. 実験結果：ImageNet 64x64 (multi-scale) 半分のサイズの画像を生成してから、それで条件付けて大きな 画像を生成する → 対数尤度はあまり変わらないが大域的により 整合性のある画像が生成できるようになった 20
- 21. まとめ ? GAN に対する DCGAN のような感じで、自己回帰モデルにお ける画像生成のモデル化を提案した ? 学習時には各条件付き分布を並列に計算することができる ? MNIST, CIFAR-10 で SOTA な対数尤度を達成 ? 今までやられていなかった ImageNet での尤度評価も実施 ? DCGAN などと competitive な画像生成ができている ? GAN と違い定量的な評価が可能なのが強み ? VAE と違い対数尤度を正確に計算できるのが強み ? これらと違い 1 pixel ずつ生成しないといけない（生成時は計 算が並列化しづらく遅い、はず）のが弱点 21