Vae gan nlp
2 likes1,777 views
This slides are description for paper of Generating Natural language by VAE an GANs
1 of 23
Downloaded 26 times
Ad
Recommended
第３回nips読み会?関西『variational inference foundations and modern methods』
第３回nips読み会?関西『variational inference foundations and modern methods』koji ochiai
?
第３回nips読み会での発表資料です。
オリジナル資料は以下のとおり。
まとめ
https://nips.cc/Conferences/2016/Schedule?showEvent=6199
Video
https://channel9.msdn.com/Events/Neural-Information-Processing-Systems-Conference/Neural-Information-Processing-Systems-Conference-NIPS-2016/Variational-Inference-Foundations-and-Modern-Methods
狠狠撸(PDF)
https://media.nips.cc/Conferences/2016/狠狠撸s/6199-狠狠撸s.pdf
ハ?イナリニューラルネットとハート?ウェアの関係
ハ?イナリニューラルネットとハート?ウェアの関係Kento Tajiri
?
全脳アーキテクチャ若手の会 第26回勉強会
発表 ：筑波大学 田尻 健斗
メンター：大阪大学 西田 圭吾
東京大学 八木 拓真
pdf化の際壊れてしまった図などがありますので後日訂正します
7/9:訂正しました猫でも分かるVariational AutoEncoder
猫でも分かるVariational AutoEncoderSho Tatsuno
?
生成モデルとかをあまり知らない人にもなるべく分かりやすい説明を心がけたVariational AutoEncoderのスライド
実装と簡単な補足は以下を参照
http://sh-tatsuno.com/blog/index.php/2016/07/30/variationalautoencoder/論文紹介：「End-to-end Sequence Labeling via Bi-directional LSTM-CNNs-CRF」
論文紹介：「End-to-end Sequence Labeling via Bi-directional LSTM-CNNs-CRF」Naonori Nagano
?
研究室の輪講の論文紹介で用いた発表スライドです。
論文紹介：「End-to-end Sequence Labeling via Bi-directional LSTM-CNNs-CRF」Deep learning勉強会20121214ochi
Deep learning勉強会20121214ochiOhsawa Goodfellow
?
Deep Learning 勉強会資料です。https://sites.google.com/site/deeplearning2013/Practical recommendations for gradient-based training of deep architectures
Practical recommendations for gradient-based training of deep architecturesKoji Matsuda
?
Yoshua Bengio, Practical recommendations for gradient-based training of deep architectures, arXiv:1206.5533v2, 2012 の解説[DL輪読会]Flow-based Deep Generative Models
[DL輪読会]Flow-based Deep Generative ModelsDeep Learning JP
?
2019/03/08
Deep Learning JP:
http://deeplearning.jp/seminar-2/ [DL輪読会]Convolutional Sequence to Sequence Learning
[DL輪読会]Convolutional Sequence to Sequence LearningDeep Learning JP
?
2017/5/19
Deep Learning JP:
http://deeplearning.jp/seminar-2/
[DL輪読会]A closer look at few shot classification
[DL輪読会]A closer look at few shot classificationDeep Learning JP
?
2019/03/01
Deep Learning JP:
http://deeplearning.jp/seminar-2/ [DL輪読会]QUASI-RECURRENT NEURAL NETWORKS
[DL輪読会]QUASI-RECURRENT NEURAL NETWORKSDeep Learning JP
?
2017/5/12
Deep Learning JP:
http://deeplearning.jp/seminar-2/
础耻迟辞别苍肠辞诲别谤の実装と愉快な仲间との比较
础耻迟辞别苍肠辞诲别谤の実装と愉快な仲间との比较YumaMatsuoka
?
２０１６年２月９日 みんなのPython勉強会#9 LT枠
Autoencoder, SparseAutoencoder, DenoisingAutoencoderをPython(Numpy)を使ってフルスクラッチで実装して性能を比較してみました。
ソースコードはappendixに載せています。摆顿尝轮読会闭骋蚕狈と関连研究，世界モデルとの関係について
摆顿尝轮読会闭骋蚕狈と関连研究，世界モデルとの関係についてDeep Learning JP
?
2018/08/17
Deep Learning JP:
http://deeplearning.jp/seminar-2/ SSD: Single Shot MultiBox Detector (ECCV2016)
SSD: Single Shot MultiBox Detector (ECCV2016)Takanori Ogata
?
SSD: Single Shot MultiBox Detector (ECCV2016)颁丑补颈苍别谤の使い方と自然言语処理への応用
颁丑补颈苍别谤の使い方と自然言语処理への応用Seiya Tokui
?
第10回 NLP若手の会シンポジウム (YANS) のチュートリアルスライドです。ニューラルネットの（アルゴリズムとしての）おさらいと、Chainer v1.3.0の使い方を紹介しています。2015年9月18日 (GTC Japan 2015) 深層学習フレームワークChainerの導入と化合物活性予測への応用
2015年9月18日 (GTC Japan 2015) 深層学習フレームワークChainerの導入と化合物活性予測への応用 Kenta Oono
?
GTC Japan 2015での発表資料 (Session ID:2015 - 1014)[DL輪読会]Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
[DL輪読会]Swin Transformer: Hierarchical Vision Transformer using Shifted WindowsDeep Learning JP
?
2021/05/14
Deep Learning JP:
http://deeplearning.jp/seminar-2/More modern gpu
More modern gpuPreferred Networks
?
GPUがなぜ速いのか，またその上でどのようなデータ構造やアルゴリズム，ライブラリが使えるのかを説明します。特にMapReduceなどの非均質で，離散的なアルゴリズムがいかに高速に実現されるかを紹介します。
実験に使ったコード
https://github.com/hillbig/gpuexperiments
セミナーの動画
https://www.youtube.com/watch?v=WmETPBK3MOI[DL輪読会]NVAE: A Deep Hierarchical Variational Autoencoder
[DL輪読会]NVAE: A Deep Hierarchical Variational AutoencoderDeep Learning JP
?
2020/11/13
Deep Learning JP:
http://deeplearning.jp/seminar-2/More Related Content
What's hot (19)
Deep learning勉強会20121214ochi
Deep learning勉強会20121214ochiOhsawa Goodfellow
?
Deep Learning 勉強会資料です。https://sites.google.com/site/deeplearning2013/Practical recommendations for gradient-based training of deep architectures
Practical recommendations for gradient-based training of deep architecturesKoji Matsuda
?
Yoshua Bengio, Practical recommendations for gradient-based training of deep architectures, arXiv:1206.5533v2, 2012 の解説[DL輪読会]Flow-based Deep Generative Models
[DL輪読会]Flow-based Deep Generative ModelsDeep Learning JP
?
2019/03/08
Deep Learning JP:
http://deeplearning.jp/seminar-2/ [DL輪読会]Convolutional Sequence to Sequence Learning
[DL輪読会]Convolutional Sequence to Sequence LearningDeep Learning JP
?
2017/5/19
Deep Learning JP:
http://deeplearning.jp/seminar-2/
[DL輪読会]A closer look at few shot classification
[DL輪読会]A closer look at few shot classificationDeep Learning JP
?
2019/03/01
Deep Learning JP:
http://deeplearning.jp/seminar-2/ [DL輪読会]QUASI-RECURRENT NEURAL NETWORKS
[DL輪読会]QUASI-RECURRENT NEURAL NETWORKSDeep Learning JP
?
2017/5/12
Deep Learning JP:
http://deeplearning.jp/seminar-2/
础耻迟辞别苍肠辞诲别谤の実装と愉快な仲间との比较
础耻迟辞别苍肠辞诲别谤の実装と愉快な仲间との比较YumaMatsuoka
?
２０１６年２月９日 みんなのPython勉強会#9 LT枠
Autoencoder, SparseAutoencoder, DenoisingAutoencoderをPython(Numpy)を使ってフルスクラッチで実装して性能を比較してみました。
ソースコードはappendixに載せています。摆顿尝轮読会闭骋蚕狈と関连研究，世界モデルとの関係について
摆顿尝轮読会闭骋蚕狈と関连研究，世界モデルとの関係についてDeep Learning JP
?
2018/08/17
Deep Learning JP:
http://deeplearning.jp/seminar-2/ SSD: Single Shot MultiBox Detector (ECCV2016)
SSD: Single Shot MultiBox Detector (ECCV2016)Takanori Ogata
?
SSD: Single Shot MultiBox Detector (ECCV2016)颁丑补颈苍别谤の使い方と自然言语処理への応用
颁丑补颈苍别谤の使い方と自然言语処理への応用Seiya Tokui
?
第10回 NLP若手の会シンポジウム (YANS) のチュートリアルスライドです。ニューラルネットの（アルゴリズムとしての）おさらいと、Chainer v1.3.0の使い方を紹介しています。2015年9月18日 (GTC Japan 2015) 深層学習フレームワークChainerの導入と化合物活性予測への応用
2015年9月18日 (GTC Japan 2015) 深層学習フレームワークChainerの導入と化合物活性予測への応用 Kenta Oono
?
GTC Japan 2015での発表資料 (Session ID:2015 - 1014)[DL輪読会]Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
[DL輪読会]Swin Transformer: Hierarchical Vision Transformer using Shifted WindowsDeep Learning JP
?
2021/05/14
Deep Learning JP:
http://deeplearning.jp/seminar-2/More modern gpu
More modern gpuPreferred Networks
?
GPUがなぜ速いのか，またその上でどのようなデータ構造やアルゴリズム，ライブラリが使えるのかを説明します。特にMapReduceなどの非均質で，離散的なアルゴリズムがいかに高速に実現されるかを紹介します。
実験に使ったコード
https://github.com/hillbig/gpuexperiments
セミナーの動画
https://www.youtube.com/watch?v=WmETPBK3MOI[DL輪読会]NVAE: A Deep Hierarchical Variational Autoencoder
[DL輪読会]NVAE: A Deep Hierarchical Variational AutoencoderDeep Learning JP
?
2020/11/13
Deep Learning JP:
http://deeplearning.jp/seminar-2/Viewers also liked (20)
奥辞谤诲2惫别肠の理论背景
奥辞谤诲2惫别肠の理论背景Masato Nakai
?
This explains about ｔheoretical background of word2vec ｂｙ the paper of PMI embeddings Analysis.Guide for program Implement for PRML
Guide for program Implement for PRML Masato Nakai
?
I described Guidance for Implement for PRML logic By C and posted of implement program with difficulty mark. 滨肠辫による原画像推定
滨肠辫による原画像推定Masato Nakai
?
This slide explain about identification between various points cloud that is generated by Leaser scanning. The identification is made by ICP(Interactive Closed Point) which uses SVD method.Inference Bayesian Network from data
Inference Bayesian Network from dataMasato Nakai
?
Describe 3 methods for inference Bayesian Network from data and compare each other by example of Kaggle problem.Differentiable neural conputers
Differentiable neural conputersnaoto moriyama
?
Neural Turing Machineの進化版に当たるDifferentiable Neural Computersとその元論文であるHybrid computing using a neural network with dynamic external memoryを解説してみました。Decoupled Neural Interfaces輪読資料
Decoupled Neural Interfaces輪読資料Reiji Hatsugai
?
Decoupled Neural Interfaces Using Synthetic Gradientsを輪読した際の発表資料ですOn the benchmark of Chainer
On the benchmark of ChainerKenta Oono
?
This document discusses benchmarking deep learning frameworks like Chainer. It begins by defining benchmarks and their importance for framework developers and users. It then examines examples like convnet-benchmarks, which objectively compares frameworks on metrics like elapsed time. It discusses challenges in accurately measuring elapsed time for neural network functions, particularly those with both Python and GPU components. Finally, it introduces potential solutions like Chainer's Timer class and mentions the DeepMark benchmarks for broader comparisons.深層学習ライブラリの環境問題Chainer Meetup2016 07-02
深層学習ライブラリの環境問題Chainer Meetup2016 07-02Yuta Kashino
?
The document summarizes a meetup discussing deep learning and Docker. It covered Yuta Kashino introducing BakFoo and his background in astrophysics and Python. The meetup discussed recent advances in AI like AlphaGo, generative adversarial networks, and neural style transfer. It provided an overview of Chainer and arXiv papers. The meetup demonstrated Chainer 1.3, NVIDIA drivers, and Docker for deep learning. It showed running a TensorFlow tutorial using nvidia-docker and provided Dockerfile examples and links to resources.Ad
Similar to Vae gan nlp (20)
Controllable Text Generation (ICML 2017 under review)
Controllable Text Generation (ICML 2017 under review)Toru Fujino
?
Controllable Text Generation (ICML 2017 under review)Variational Template Machine for Data-to-Text Generation
Variational Template Machine for Data-to-Text Generationharmonylab
?
公開URL：https://openreview.net/forum?id=HkejNgBtPB
出典：Rong Ye, Wenxian Shi, Hao Zhou, Zhongyu Wei, Lei Li : Variational Template Machine for Data-to-Text Generation, 8th International Conference on Learning Representations(ICLR2020), Addis Ababa, Ethiopia (2020)
概要：Table形式の構造化データから文章を生成するタスク(Data-to-Text)において、Variational Auto Encoder(VAE)ベースの手法Variational Template Machine(VTM)を提案する論文です。Encoder-Decoderモデルを用いた既存のアプローチでは、生成文の多様性に欠けるという課題があります。本論文では多様な文章を生成するためにはテンプレートが重要であるという主張に基づき、テンプレートを学習可能なVAEベースの手法を提案します。提案手法では潜在変数の空間をテンプレート空間とコンテンツ空間に明示的に分離することによって、正確で多様な文生成が可能となります。また、table-textのペアデータだけではなくtableデータのないraw textデータを利用した半教師あり学習を行います。Large scale gan training for high fidelity natural
Large scale gan training for high fidelity naturalKCS Keio Computer Society
?
These slides were presented in Yagami-ai seminar.Nexus network connecting the preceding and the following in dialogue generation
Nexus network connecting the preceding and the following in dialogue generationOgataTomoya
?
小町研 2018
NLP論文紹介
Deep Learning Chap. 12: Applications
Deep Learning Chap. 12: ApplicationsShion Honda
?
Deep Learning Chap. 12: Applications (pp.438-481)
深層学習 第12章 応用
輪読会の資料です。[DL Hacks]Variational Approaches For Auto-Encoding Generative Adversarial Ne...
[DL Hacks]Variational Approaches For Auto-Encoding Generative Adversarial Ne...Deep Learning JP
?
2018/04/16
Deep Learning JP:
http://deeplearning.jp/hacks/ 【参考文献追加】20180115冲东大医学部机能生物学セミナー冲深层学习の最前线とこれから冲冈野原大辅
【参考文献追加】20180115冲东大医学部机能生物学セミナー冲深层学习の最前线とこれから冲冈野原大辅Preferred Networks
?
【再掲】2018年1月15日の东京大学医学部机能生物学セミナーでの冈野原大辅の讲演资料です。（最后の参考文献を追加しました）20180115冲东大医学部机能生物学セミナー冲深层学习の最前线とこれから冲冈野原大辅
20180115冲东大医学部机能生物学セミナー冲深层学习の最前线とこれから冲冈野原大辅Preferred Networks
?
2018年1月15日の東京大学医学部機能生物学セミナーでの岡野原大輔の講演資料です。
最後の参考文献を修正しました。
修正版はこちらです。
/pfi/20180115-87025513
東京大学2020年度深層学習（Deep learning基礎講座） 第9回「深層学習と自然言语処理」(一部文字が欠けてます）
東京大学2020年度深層学習（Deep learning基礎講座） 第9回「深層学習と自然言语処理」(一部文字が欠けてます）Hitomi Yanaka
?
東京大学2020年度深層学習（Deep learning基礎講座） https://deeplearning.jp/lectures/dlb2020/
第9回（2020/06/25）「深層学習と自然言语処理」の講義資料です。
こちらの資料は一部文字が見えないので、下記のURLにアップロードしなおしました。
/HitomiYanaka/2020deep-learning-9-236561673Deep nlp 4.2-4.3_0309
Deep nlp 4.2-4.3_0309cfiken
?
深層学習による自然言语処理 4.2-4.3
誤って古いファイルをあげてしまっていたため、参考文献の下3つに情報が漏れてるのと、そのあとに余分なスライドが載っちゃっています ??♂?骋础狈の基本
骋础狈の基本sohtakannan
?
生成モデルの一つであるGANについて研究室内で発表した際のスライドです
実験のコード
https://github.com/kan-nan-sohta/GAN
環境
Python 3.6.9
Tensorflow 1.8.0
Keras 2.1.6
Deep Learningの基礎と応用
Deep Learningの基礎と応用Seiya Tokui
?
第14回情報科学技術フォーラム (FIT2015) のイベント企画「ビッグデータ解析のための機械学習技術」におけるチュートリアル講演資料です。ニューラルネットの基礎（計算グラフとしての定式化、勾配法、誤差逆伝播法）をさらったあと、最近画像や自然言語などで注目されている応用?手法について広く浅く紹介しています。20160716 ICML paper reading, Learning to Generate with Memory
20160716 ICML paper reading, Learning to Generate with MemoryShinagawa Seitaro
?
NAIST ICML読み会の発表資料です。
https://ahclab.naist.jp/wiki/Jornal/Conference_paper_reading
[論文]: http://jmlr.org/proceedings/papers/v48/lie16.htmlAd
More from Masato Nakai (20)
Padoc_presen4R.pdf
Padoc_presen4R.pdfMasato Nakai
?
This slides are presented for data analytics environment that is aimed at cooperation between user side and data scientists.Factor analysis for ml by padoc 6 r
Factor analysis for ml by padoc 6 rMasato Nakai
?
This slide is explanation for padoc as factor analysis tool报酬が殆ど得られない场合の强化学习
报酬が殆ど得られない场合の强化学习Masato Nakai
?
Reinforcement Learning with few reward is challenge subject. This slide provides same method for reinforce learning with few reward and some latent variable model by VAE.Ai neuro science_pdf
Ai neuro science_pdfMasato Nakai
?
This document is described for explanation of Hassabis@DeepMind survey paper [Neuroscience Inspired Artificial Intelligence].Deep IRL by C language
Deep IRL by C languageMasato Nakai
?
This document discusses maximum entropy deep inverse reinforcement learning. It presents the mathematical formulation of inverse reinforcement learning using maximum entropy. It shows that the objective is to maximize the log likelihood of trajectories by finding the reward parameters θ that best match the expected features under the learned reward function and the demonstrated trajectories. It derives the gradient of the objective with respect to the reward parameters, which involves the difference between expected features under the data distribution and the learned reward distribution. This gradient can then be used with stochastic gradient descent to learn the reward parameters from demonstrations.Semi vae memo (2)
Semi vae memo (2)Masato Nakai
?
This document summarizes a research paper on semi-supervised learning with deep generative models. It presents the key formulas and derivations used in variational autoencoders (VAEs) and their extension to semi-supervised models. The proposed semi-supervised model has two lower bounds - one for labeled data that maximizes the likelihood of inputs given labels, and one for unlabeled data that maximizes the likelihood based on inferred labels. Experimental results show the model achieves better classification accuracy compared to supervised models as the number of labeled samples increases.Open posedoc
Open posedocMasato Nakai
?
OpenPose is a real-time system for multi-person 2D pose estimation using part affinity fields. It uses a bottom-up approach with convolutional neural networks to first detect body keypoints for each person and then assemble the keypoints into full body poses. OpenPose runs in real-time at 20 frames per second and uses part affinity fields to encode pairwise relations between body joints to group joints into full poses for multiple people.Dr.raios papers
Dr.raios papersMasato Nakai
?
Dr. Reio presented several papers at an AI meeting that explored topics including grounding topic models with knowledge bases, a survey of Bayesian deep learning, using recurrent neural networks for visual paragraph generation based on long-range semantic dependencies, and examining natural language understanding unit tests and semantic representations.Deep genenergyprobdoc
Deep genenergyprobdocMasato Nakai
?
1) The document discusses deep directed generative models that use energy-based probability estimation. It describes using an energy function to define a probability distribution over data and training the model using positive and negative phases.
2) The training process involves using samples from the data distribution as positive examples and samples from the model's distribution as negative examples. The model is trained to minimize the difference in energy between positive and negative samples.
3) Applications discussed include deep energy models, variational autoencoders combined with generative adversarial networks, and adversarial neural machine translation using energy functions.Irs gan doc
Irs gan docMasato Nakai
?
This document discusses the connection between generative adversarial networks (GANs) and inverse reinforcement learning (IRL). It shows that the objectives of GAN discriminators and IRL cost functions are equivalent, and GAN generators are equivalent to the IRL sampler objective plus a constant term. The derivative of the IRL cost function with respect to the cost parameters is also equivalent to the derivative of the GAN discriminator objective. Therefore, GANs can be used to perform IRL by training the discriminator to estimate the cost function and the generator to produce sample trajectories.Semi vae memo (1)
Semi vae memo (1)Masato Nakai
?
This document discusses using variational autoencoders for semi-supervised learning. It presents the general variational formula for calculating the log likelihood of data, and derives lower bound formulas for semi-supervised models. Specifically, it shows lower bound formulas for predicting a semi-supervised value z given inputs x and y, and for predicting both z and a supervised value y given only x as input. The key ideas are using an encoder-decoder model with latent variables z and y, and optimizing an objective function that combines supervised and unsupervised loss terms.厂颈蹿迟による特徴点抽出
厂颈蹿迟による特徴点抽出Masato Nakai
?
This slides explain about scanning picture feature points that is made by SIFT(Scale Invariant Feature Transform) which uses Gaussian Filter Difference Logic (DoG).End to end training with deep visiomotor
End to end training with deep visiomotorMasato Nakai
?
This is explanation about robotics with visiomotor policy control which is published in ICML 2016 journal.Vae gan nlp
- 1. VAE+GAN Controllable Text Generation 2017/03/24 mabonki0725
- 2. Contents and Self-introduction ? Contents 1.変分法（Variational Bayes）の説明 2.VAE（Variational Auto-Encoder)論文の説明 3.DCGAN（Deep CNN Generative Advance Network)の説明 4.Conditional GANの説明 5.VAE＋GANを使った Controllable Text Generation論文の説明 ? 自己紹介 – 統計数理研究所 機械学習ゼミ所属 – 都立産業技術大学院 創造技術学科 学生 – 金融機関でAIモデルを構築
- 3. １．変分法（Variational Bayes) from PRML Lower Band PRML MAX ZERO Z:latent value 一般的にはMCMCでθを解く
- 4. 変分法（Variational Bayes) Proof ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?? ? ? ? )()()()|(log)|(log )|(log)()|(log )( )|,( )|,( )|()( log)|(log )( |, log )|,( )|()( log)()|(log |, log )|( |, log)()|(log |, log ),|( log)()|(log )( )|,( log ,| log)()|(log Pr ,||)|(log xFxFzqxpxp xpzqxp zq zxp xzp xpzq zqxp zq zxp xzp xpzq zqxp zq zxp xpzq xzp zqxp zq zxp zq xzp zqxp zq zxp zq zq xzp zqxp oof qLpqKLxp z z z z z z zz ?? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?? ? ? ? ? ? ? ? ? ? ? ? ? ? ?? ?? ? ? ? ? ? ? ?? ? ?? ?? ? ? ? ? ? ? ? ? ? ? ? ? ?? ? ?? ? ??
- 5. ２．VAE(Variational AutoEncoder) VAEはKingmaが提唱 ? データxを生成している隠れ 変数zを確率密度関数 qΦ(z/x)で近似する方法 ? qΦ(z/x)は変分法で近似する ? 変分近似はニューロ?モデ ルを適応する https://arxiv.org/abs/1312.6114
- 6. Auto-Encoding Variational Bayes proof (2) →(3) proof (2) from PRML(10.3) 下限のMLP PRML（10.1)
- 7. loss Function on VAE Encoder Decoder when MAX networkでθφを 改善してErrorを 最小化する ZERO MIN
- 8. VAE by Neuro Model
- 9. VEA Program by Chainer (1)
- 10. VEA Program by Chainer(2)
- 11. Result of VAE by MNIST
- 12. ３．DCGAN Program by Chainer(1) Loss Loss Func Training Generator Discriminator object of GAN softplus=log{1+exp(D)}
- 13. GCGAN Program by Chainer(2) Generator Discriminator
- 14. Result of DCGAN
- 15. ４．Conditional(Controllable) Gan 求めたいパターンの架空の画像を生成する Condition cImage x Encode cEncode x Generator Discriminator Condition Image Conditional GAN
- 16. ５．Controllable Text Generation style Label sentiment(pos/nega) tense VAE unsupervised model GAN semi-supervised model
- 17. Annealing LSTM for learning Annealing LSTM to mitigate peak weight on Discreate model 16 LSTM
- 18. Generator Paramater by Loss Function
- 19. Discriminater Parameter by Loss Function Real Example Loss Function Generated Example Loss Function Integrate Loss Function min entorpy regulator for noize Disciminator
- 20. Training Data and accuracy use data set content size Corpus IMDB movie reviews of max 16 words 1.4M Sentim ent SST-full labeled sentence with annotations 2737 SST-small labeled sentence 250 Lexicon sentiment labeled word 2700 IMDB For train/dev/test 16K Tense TimeBank tense labeled sentences 5250 Training Data Classification accuracy
- 21. Alogorithm for Parameters of VAE Generater Discriminater wake proc sleep proc VAE gen-dis Input unlabeled sentence Input labeled sentence z～ VAE c～p(c) c～Discriminator(X) Xt～LSTM(z,c,Xt-1)
- 22. Expriments Fixed Style Free Style nega pos nega pos nega pos nega pos nega pos
- 23. ６．Summary まとめ ? 現象xから原因zの分布p(z|x)はベイズ統計で求めてい たが、DeepLearningのVAEやGANで可能になった。 ? DeepLearningモデルは対で構造なので実装が簡単 – VAE：Encoder - Decoder – GAN：Generator - Discriminator ? 求めたい（Contrallable)画像や文章生成が可能になった。 – 画像：Conditional GAN – 文書：Controlable Text Generation