A Method of Speech Waveform Synthesis based on WaveNet considering Speech Generation Process
Download as PPTX, PDF3 likes2,630 views
2017年３月＠冲縄
![深層学習に基づく音声波形合成
? 音声合成分野にも深層学習が進出
例：Feed-Forward [Zen et al., ‘13] , LSTM-RNN [Zen et al., ‘15]
? WaveNet [van den Oord et al., ‘16]
? ニューラルネットワーク自身が音声波形を直接生成
?波形接続方式をも上回る高品質な音声
? 波形合成をサポートする補助特徴量が利用可能
WaveNetのポテンシャルに注目](https://image.slidesharecdn.com/presenieiceokinawa2017final-170301045309/85/A-Method-of-Speech-Waveform-Synthesis-based-on-WaveNet-considering-Speech-Generation-Process-4-320.jpg)
![WaveNet [van den Oord et.al, ’16]
音声の自己回帰型の生成モデル
重要な構成要素
? Causal dilated convolution
?非常に長期に渡る依存関係をモデル化
? ゲート付き活性化関数, residual, skip-connection
?強力な非線形性
? 出力層にsoftmax
?回帰問題（連続値）ではなくクラス分類問題（離散値）
：音声波形データ
畳み込みニューラルネットワークでモデル化
：モデルパラメータ](https://image.slidesharecdn.com/presenieiceokinawa2017final-170301045309/85/A-Method-of-Speech-Waveform-Synthesis-based-on-WaveNet-considering-Speech-Generation-Process-11-320.jpg)
![[招待講演] スピーカアレイを用いた空間フーリエ変換に基づく局所再生](https://cdn.slidesharecdn.com/ss_thumbnails/ea1901-190512104757-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]Wavenet a generative model for raw audio](https://cdn.slidesharecdn.com/ss_thumbnails/wavenetagenerativemodelforrawaudio-160920054055-thumbnail.jpg?width=560&fit=bounds)
![[チュートリアル講演] 音声波形直接生成モデル「ニューラルボコーダ」の比較](https://cdn.slidesharecdn.com/ss_thumbnails/slp102019up-191011050427-thumbnail.jpg?width=560&fit=bounds)
More Related Content
What's hot (20)
Viewers also liked (19)
Similar to A Method of Speech Waveform Synthesis based on WaveNet considering Speech Generation Process (8)
A Method of Speech Waveform Synthesis based on WaveNet considering Speech Generation Process
- 1. 音声生成過程を考慮した WaveNetに基づく音声波形合成法 玉森 聡，林 知樹，戸田 智基，武田 一哉 名古屋大学
- 2. 研究目標 高品質かつ多様な音声波形合成技術の実現 ? 音声による機械との情報伝達 ? 音声は最も基本的なコミュニケーションツールの一つ ? 音声対話?音声翻訳，家電，ゲーム など ? 様々な要望 ? いつでもどこでも聞き取りやすい音声 ? より自然で肉声感のある音声 ? 話速や声質を柔軟に制御したい など
- 4. 深層学習に基づく音声波形合成 ? 音声合成分野にも深層学習が進出 例：Feed-Forward [Zen et al., ‘13] , LSTM-RNN [Zen et al., ‘15] ? WaveNet [van den Oord et al., ‘16] ? ニューラルネットワーク自身が音声波形を直接生成 ?波形接続方式をも上回る高品質な音声 ? 波形合成をサポートする補助特徴量が利用可能 WaveNetのポテンシャルに注目
- 5. 本研究の概要 ? 音響特徴量をWaveNetの補助特徴量として利用 従来の波形接続?分析合成方式の利点を併せ持つ ? 音響特徴量の利用 ? 声質制御の柔軟性を期待 ? 既存の分析合成器を介さない ? 高品質な音声を期待 ? 客観評価実験 メルケプストラムボコーダと比較して歪み改善 WaveNet 合成音声 音響特徴量
- 6. 目次 ? 研究背景 ? 音声の生成過程とソースフィルタモデル ? WaveNet ? 提案法 ? 実験 ? まとめ
- 8. ソースフィルタモデル［Fant, ‘60］ )(nh )(ne )(*)()( nenhnx ? 励起信号 パルス列（有声） 白色雑音（無声） 音声 音源の特徴 （声の高さ?大きさ） 声道の特徴 （口やのどの形） 基本周波数 非周期成分付与 有声?無声情報 窓かけ overlap/shift ケプストラム係数など ＋ 線形時不変システム ? 音声の生成過程を音源生成と声道共振（フィルタ）に分離 ? 窓かけした音声を分析して音響特徴量を抽出 基本周波数（音源），ケプストラム係数（声道）など ? 音声波形合成系はボコーダ（Vocoder）とも呼ばれる
- 9. 音質の限界を与える要因 )(nh )(ne )(*)()( nenhnx ? 励起信号 パルス列（有声） 白色雑音（無声） 音声 音源の特徴 （声の高さ?大きさ） 声道の特徴 （口やのどの形） 基本周波数 非周期成分付与 有声?無声情報 窓かけ overlap/shift ケプストラム係数など ＋ 線形時不変システム ? 励起信号のモデル化 ? 位相情報の損失 ? フィルタのモデル化 ? 数学的仮定の導入（ガウス性など） ? Frame-by-Frameな処理 ? 固定窓長＆窓内の線形性 複数要因が組み合わさり音質が劣化
- 10. 目次 ? 研究背景 ? 音声の生成過程とソースフィルタモデル ? WaveNet ? 提案法 ? 実験 ? まとめ
- 11. WaveNet [van den Oord et.al, ’16] 音声の自己回帰型の生成モデル 重要な構成要素 ? Causal dilated convolution ?非常に長期に渡る依存関係をモデル化 ? ゲート付き活性化関数, residual, skip-connection ?強力な非線形性 ? 出力層にsoftmax ?回帰問題（連続値）ではなくクラス分類問題（離散値） ：音声波形データ 畳み込みニューラルネットワークでモデル化 ：モデルパラメータ
- 12. Causal Dilated Convolution ? Causal : 過去の波形サンプルのみを参照して畳み込み ? 層を重ねるごとにdilation（穴あき）を指数的に増やす ?長期の相関を効率よく取り込む 入力 隠れ層1 dilation=1 隠れ層2 dilation=2 隠れ層3 dilation=4 出力 dilation=8
- 13. アーキテクチャの全体図 sigm Dilated Conv. 1×1 Conv. tanh tanh sigm Dilated Conv. 1×1 Conv. tanh sigm Dilated Conv. 1×1 Conv. Causal Conv. ReLU Skip-connections Residual Residual 1×1 Conv. 1×1 Conv. ReLU Input Output ● ● ● Softmax Residual ブロック Residual ブロック Residual ブロック
- 14. アーキテクチャの全体図 Dilated Conv. 1×1 Conv. tanh sigm Dilated Conv. 1×1 Conv. tanh sigm Dilated Conv. 1×1 Conv. Causal Conv. ReLU Skip-connections Residual Residual 1×1 Conv. 1×1 Conv. ReLU Input Output ● ● ● Softmax Residual ブロック Residual ブロックGated activation Causal Dilated Conv. ゲート付き活性化関数 Residual Skip-connection
- 15. Softmax ? 問題点：振幅値の直接予測はクラス数が過多 例：量子化が16bitならば65,536個の値を取りうる ? 解決策：振幅値の符号化 取りうる値を大幅に削減（16bitから8bit） ? Softmax分布を出力層に設置 ? 符号化された波形サンプル値が予測対象 ? 予測で得られた値は復号化して振幅値に戻す
- 16. WaveNetの学習と合成 ? 学習 ? 入力側と出力側それぞれに符号化済サンプル列を用意 ? クロスエントロピー最小化基準による最適化 ? 合成 ? 入力側は過去にWaveNet自身が生成したサンプル列 ? Softmax分布からのランダムサンプリングを繰り返す ?自己回帰過程からのサンプリング
- 17. 条件付きWaveNet ? 補助特徴量系列 を導入してモデルを条件づける ? 先行研究では言語情報や基本周波数が補助特徴量 ? 言語情報と音声波形の間の対応関係を学習 ? テキスト音声合成タスクに適用
- 18. 目次 ? 研究背景 ? 音声の生成過程とソースフィルタモデル ? WaveNet ? 提案法 ? 実験 ? まとめ
- 19. 条件付きWaveNetと提案法との関係 ? 補助特徴量系列 によるモデルの条件づけは同じ ? 提案法は既存のボコーダの音響特徴量が補助特徴量 補助特徴量系列と音声波形系列で時間解像度が不一致 ?補助特徴量の時間拡張（ → ）により対応 ?各時刻の補助特徴量を予測分布に埋め込む
- 21. 音響特徴量の時間拡張 音響特徴量をフレームシフト幅だけ時間方向に複製 ?音声と時間的解像度を合わせる 第1フレーム 第2フレーム 第3フレーム 第4フレーム 音声サンプル点 系列 オリジナルの 補助特徴量 系列 コピー … … 時間拡張した 補助特徴量 系列 …
- 22. 補助特徴量の埋め込み Residual Blockの追加入力として実現 Residual Block #3 Residual Block #4 Residual Block #2 Residual Block #1 Residual Block #1 補助特徴量 隠れ層1 dilation=1 隠れ層2 dilation=2 隠れ層3 dilation=4 出力 dilation=8
- 23. 提案法の特徴 ボコーダの音響特徴量と音声波形の対応関係を学習 ? 励起信号のモデル化は不要 ?位相情報の損失の軽減，音質劣化を抑える ? 複雑な数学的モデルや仮定は不要 ?対応関係をデータドリブンで自動構築 ? Sample-by-Sampleかつ非線形な対応関係 ?従来はFrame-by-Frameかつ線形な関係 既存のボコーダの代替を期待
- 24. 目次 ? 研究背景 ? 音声の生成過程とソースフィルタモデル ? WaveNet ? 提案法 ? 実験 ? まとめ
- 25. 実験による性能評価 ? 合成音声と元音声の間の歪みによる客観評価 ? 実験条件 CMU-ARCTIC データベース 女性話者 SLT 学習データ 1082 文章 評価データ 50 文章 サンプリング周波数 16 kHz フレーム周期 5 ms フレーム長 25 ms 窓関数 ハミング窓 0 次?24 次メルケプストラム 基本周波数 データベース 音響特徴量
- 26. ネットワークの学習条件 ? 最適化アルゴリズムはAdamを利用; 学習率は手動で調整 ? Dilationは1, 2, .... , 512を 3回繰り返す ?30層 Dilated Conv. 1×1 Conv. tanh sigm Dilated Conv. 1×1 Conv. tanh sigm Dilated Conv. 1×1 Conv. Causal Conv. ReLU Skip-connections Residual Residual 1×1 Conv. 1×1 Conv. ReLU Input Output ● ● ● Softmax Residual ブロック Residual ブロックGated activation 256ch 256ch 30ブロック = Causal dilated convolution 30層 2048ch 2048ch 256ch 2048ch
- 27. 歪み評価の指標 ? フレーム平均SNR（セグメンタルSNR） ?時間領域の歪みを評価 ? フレーム平均SDR ?振幅スペクトルの歪みを評価 : フレーム総数 : フレーム長 : 評価用音声 : 合成音声 : 周波数ビンの総数 : 合成音声の スペクトログラム : 評価用音声の スペクトログラム
- 28. 補助特徴量の違いが歪みに与える影響 補助特徴量のパターン 説明 Nothing 補助特徴量なし Mcep メルケプストラムのみ Mcep + F0 メルケプストラム 基本周波数 ? 補助特徴量を変えてWaveNetを学習 ※メルケプストラムは短時間FFTスペクトルから抽出
- 29. 実験結果（補助特徴量の違い） ? 縦軸の単位はdB; ノッチは有意水準5%の信頼区間を表す SNR SDR McepNothing Mcep+F0Raw （くぼみ）
- 31. メルケプストラムボコーダとの歪み比較 比較手法 メルケプストラムの抽出元 波形合成法 Plain-MLSA 短時間FFTスペクトル MLSA フィルタ STRAIGHT- MLSA STRAIGHT分析※1による スペクトル包絡 MLSA フィルタ ※2 Plain- WaveNet 短時間FFTスペクトル WaveNet STRAIGHT- WaveNet STRAIGHT分析による スペクトル包絡 WaveNet ※1 高品質ボコーダSTRAIGHTで行われる音声分析の通称 ※2 MLSAフィルタ：メルケプストラムボコーダの合成フィルタ
- 36. まとめ 音声の生成過程を考慮したWaveNetに基づく音声波形合成 ? 既存のボコーダの音響特徴量を補助特徴量に利用 ? 客観評価実験 ? メルケプストラムボコーダが対象 ? SNRについて有意な歪み改善，SDRはSTRAIGHTと同程度 今後の課題 ? 主観評価実験 ? 音響特徴量の変化に対する補完?頑健性の調査 ? 既存の各種ボコーダの音響特徴量を適用 ? データの規模を増減させて有効性を検証 時間領域の歪みを改善した高品質な音声波形の生成