![声質変換
声質変換とは？
→話者の声を別の話者の声へと変換すること
通常，音響特徴抽出を行う
8
[6]](https://image.slidesharecdn.com/ai20181017-181113165753/85/2018-10-17-6-320.jpg)
![従来研究(3/3)
14
? フーリエ変換＋位相推定による手法
? GAN[1]を用いる手法などがある
? 時系列データである音声特徴を画像として扱うことで
効率よくデータを利用できる．](https://image.slidesharecdn.com/ai20181017-181113165753/85/2018-10-17-12-320.jpg)
![CycleGAN[2] (1/2)
16
[2]CycleGAN](https://image.slidesharecdn.com/ai20181017-181113165753/85/2018-10-17-14-320.jpg)
![CycleGAN[2] (2/2)
17
[2]CycleGAN](https://image.slidesharecdn.com/ai20181017-181113165753/85/2018-10-17-15-320.jpg)
![Architecture
19[4]CycleGAN-VC](https://image.slidesharecdn.com/ai20181017-181113165753/85/2018-10-17-17-320.jpg)
![参考文献
[1] Ian J. Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, Yoshua
Bengio, “Generative Adversarial Networks”, Jun 2014
[2] Jun-Yan Zhu, Taesung Park, Phillip Isola, Alexei A. Efros, ”Unpaired Image-to-Image Translation using Cycle-Consistent
Adversarial Networks”, ICCV 2017.
[3] S M. Ali Eslami, Danilo Jimenez Rezende, et.al. “Neural scene representation and rendering”, Science 15 Jun 2018
[4] Takuhiro Kaneko, Hirokazu Kameoka ,“PARALLEL-DATA-FREE VOICE CONVERSION USING CYCLE-CONSISTENT
ADVERSARIAL NETWORKS”, NTT Corporation
[5] Lifa Sun, Kun Li, Hao Wang, Shiyin Kang and Helen Meng, “PHONETIC POSTERIORGRAMS FOR MANY-TO-ONE VOICE
CONVERSION WITHOUT PARALLEL DATA TRAINING “
[6] 統計的声質変換を行うための知識と手法
https://nico-opendata.jp/ja/casestudy/2stack_voice_conversion/report.html#[4]
[7] 人工知能に関する断創録
http://aidiary.hatenablog.com/
[8]スペクトログラムとメル周波数スペクトログラムの可視化
http://r9y9.github.io/blog/2013/11/16/mel-spectrogram/
30](https://image.slidesharecdn.com/ai20181017-181113165753/85/2018-10-17-28-320.jpg)
機械学習ゼミ 2018/10/17
- 1. AI semi Keio Univ. Imai Lab. M1 Keisuke Takiguchi AI Seminar 2018/10/17
- 2. 話すこと ? インターンのすすめ ? インターンでやってたこと１ ? インターンでやってたこと２ ? おまけ（研究進捗） 2
- 4. インターンのすすめ なぜインターンに行った方が良い？ ? 技術，スキルを学べる ? 将来どんな分野で働きたいかのイメージを掴む ? （特に情報工学科は）暇なので ? 研究するか，開発するかの判断材料として どんなところに行くべき？ ? 将来行きたい所（雰囲気調査，あわよくば内定） ? 時給が良い所（責任も大きい→より学べる） 行くならどの時期が良い？ ? 夏休み，時間があれば長期インターンを平日に ? B3やM1，時間があるなら他学年でも 4
- 7. 処理の流れ 9
- 10. 従来研究(1/3) 音響特徴量抽出＋音声波形予測 ? パラレルデータを用いて学習 ? Bidirectional RNNベースのモデルなど 12 DBLSTM-RNN based model
- 11. 従来研究(2/3) 13 WaveNet ? パラレルデータを用いて学習 ? 波形を直接扱う ? 生成が非常に遅い
- 12. 従来研究(3/3) 14 ? フーリエ変換＋位相推定による手法 ? GAN[1]を用いる手法などがある ? 時系列データである音声特徴を画像として扱うことで 効率よくデータを利用できる．
- 13. 問題点 WaveNet ? 学習に大量のデータが必要，用意が困難 ? 処理が重く，リアルタイムな変換が不可能 STFT+位相推定 ? 位相推定に時間を要する 普遍的な問題 ? パラレルデータを用意するのが困難 15
- 19. 結果 21 M to F original converted F to M original converted
- 20. GANerated 22
- 21. 23
- 24. GANerated Hands for Real-Time 3D Hand Tracking from Monocular RGB 26 教師画像生成 三次元位置推定 モデルに適用 処理の流れ
- 25. Architecture 27
- 26. Result（論文中） 28
- 27. おまけ 29 ? 階層的な構造を持つ強化学習フレームワークの提案 ? 複数の異なる抽象目的を階層的に持つことで タスクを分解して解釈可能 ? サブサンプションアーキテクチャ的な制御
- 28. 参考文献 [1] Ian J. Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, Yoshua Bengio, “Generative Adversarial Networks”, Jun 2014 [2] Jun-Yan Zhu, Taesung Park, Phillip Isola, Alexei A. Efros, ”Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks”, ICCV 2017. [3] S M. Ali Eslami, Danilo Jimenez Rezende, et.al. “Neural scene representation and rendering”, Science 15 Jun 2018 [4] Takuhiro Kaneko, Hirokazu Kameoka ,“PARALLEL-DATA-FREE VOICE CONVERSION USING CYCLE-CONSISTENT ADVERSARIAL NETWORKS”, NTT Corporation [5] Lifa Sun, Kun Li, Hao Wang, Shiyin Kang and Helen Meng, “PHONETIC POSTERIORGRAMS FOR MANY-TO-ONE VOICE CONVERSION WITHOUT PARALLEL DATA TRAINING “ [6] 統計的声質変換を行うための知識と手法 https://nico-opendata.jp/ja/casestudy/2stack_voice_conversion/report.html#[4] [7] 人工知能に関する断創録 http://aidiary.hatenablog.com/ [8]スペクトログラムとメル周波数スペクトログラムの可視化 http://r9y9.github.io/blog/2013/11/16/mel-spectrogram/ 30