狠狠撸

狠狠撸Share a Scribd company logo

キーワード推定を内包したオーディオキャプション法

?
?
Yuma Koizumi
Yuma Koizumi

日本音響学会 2020年秋季研究発表会 の発表資料です。

1 of 21
Download to read offline
2-R2-10 キーワード推定を内包したオーディオキャプション法 ○?泉 悠?，増村 亮，?? 京介，安? 昌弘，?藤 翔?郎 NTTメディアインテリジェンス研究所 ?本?響学会 2020年秋季研究発表会 ?会２?? 18:30-19:10 p ２分で概要が知りたい?? p １０分で詳細が知りたい?? n ５ページまでご覧ください n ２１ページまでご覧ください ポスター?質疑セッションでは、この資料をもとに、 ご説明?質疑応答いたします。別ブラウザなどでご準備いただけますと幸いです。
2 解きたい問題?Audio Captioning A man is speaking and cars are driving in the background. n ???録?した?データ（環境?） n 出?????を説明する?然?語? Hello! vroooooomBEEP BEEP n 環境?の説明?を?成するタスク Moodle ページ内に、Audio Captioning 体験ページを作りました? ぜひ、ご体験ください?
3 Audio Captioning の問題点 A man is speaking and cars are driving in the background. A male is talking in front of many vehicles passing by. どちらの?も正しいが、単語レベルでは全く違う Hello! vroooooomBEEP BEEP n ?つの?響イベント/シーンを説明する単語が多数あり、正解? の候補が組み合わせ爆発を起こす → 学習の不安定化 etc… u ?というイベント?{car, automobile, vehicle, wheels,…} u 交差点という場所?{road, roadway, intersection, street,…} n ?を説明する?章が?意に決まらない
Hello! vroooooomBEEP BEEP 4 どう解決したのか n 候補単語（キーワード）を同時推定し、任意性を低減 A man is speaking and cars are driving in the background. Keywords {man, speak, car, drive, background} Embeddings Transformer- encoder A man is speaking and cars are driving in the background. 正解キャプション 推定 誤差最?化 Transformer- decoder A man is speaking in front of driving cars man, speak, car, drive, background Embeddingsキーワード推定 DNN 推定 誤差最?化 man, car, speak, drive, front ??の領域が 本研究の貢献 Point 1: ルールベースの学習データ の正解キーワード?成 Point 2: 弱ラベル?響イベント検知 を応?したキーワード推定 条件付け
5 結果、どうなったか CIDEr SPICE SPIDEr キーワード推定なし 23.3 9.1 16.2 キーワード推定あり （本研究） 25.8 9.7 17.7 ??のキーワード （オラクル性能） 27.5 10.1 18.8 110.7% 106.6% 109.3% 93.8% 96.0.% 94.1% n 実験データ: Clotho dataset [Drossos+, ICASSP 2020] n 学習データ 2,894?（約１６時間、各?に5種類のキャプション） n 評価データ 1,045? n 評価指標?説明??成タスクで広く使われる指標 n CIDEr [Vedantam+, CVPR 2015] ??の流暢さ n SPICE [Anderson+, ECCV 2016] ?単語選択の的確さ n SPIDEr [Liu+, ICCV 2017] ?総合評価 1. キーワード推定を?うことで?章?成精度向上 2. ??でキーワードを与えた場合と遜?ない性能
6 １０分で詳細説明
7 ?説明??成の必要性 n 異常?検知: ただ「おかしい」から、「どう」「おかしい」へ 異常です 現状 次世代 普段は聞かない、?属がこすれるような? い?がしている。異常かもしれない。 n ヒアラブルデバイス: 「いつ/どこで/何が」の推定と組み合わせ、 とってわかりやすい状況説明＆コンシェルジュ 現状 ?猫、左下 ??、右 ??、右上、接近 次世代 ??性側の?から、?が近づいてきます （＋安全側へエスコートしましょう） ?愛らしい猫が近くにいます （＋話のネタにしてみませんか） n ユーザーが理解しやすい環境認識結果の提?
8 定式化?これ?体はとてもシンプル n ????響特徴量系列 n 出??単語系列 n ?般的な?法?Encoder-Decoder モデル n キーワードを利?して、デコーダを条件付けしたい ?響特徴量を埋め込んで 観測?と n-1番?までの単語を考慮して n番?の単語の確率を推定する n番?の単語の確率を推定する際に キーワードも考慮する どうやってキーワード集合 m を推定しよう?
9 実現に向けた課題 n そもそも正解キーワードをどうやって作るのか n 正解キーワードがあったとしてどうやって推定するのか? n 学習データには、単語系列 しかないと想定 n キーワードの学習データを?成する?法が必要 n ?や?章には順序性や継続時間/重なりがあるが、キーワードには ない n 正解キーワードが「いつ」発?したかを推定したい
10 正解キーワード抽出 n 品詞?語幹推定を?い、出現頻度の?い単語を利? n 名詞、動詞、形容詞、副詞のみを抽出し、原型へ変形 n 全学習データで出現頻度の?い C=50 単語をキーワードとした POS-tagging+Lemmatize Noun,verb,adjective,oradverb? Training captions A muddled noise of broken channel of the TV A person is turning a map over and over An office chair is squeaking as someone bends back and forth in it A flying bee is buzzing loudly around an object and its wing hits it Birds or small animals rustling around in an outdoor area … muddle, noise, break, channel, TV person, be, turn, map, over office, chair, be, squeak, someone, bend, back, forth fly, bee, be, buzz, loud, around, object, wing, hit bird, small, animal, rustle, around, outdoor, area … Four parts of speech Countallcandidates,&most frequentC=50lemmasexcept“be” noise, break person, turn, over office, chair, squeak, someone, bend fly, bee, buzz, loud, object, wing, hit bird, animal, rustle, outdoor … Keyword 名詞、動詞、形容詞、副 詞の原型を抽出 学習データに頻出する単 語をキーワードとする
11 キーワード推定 時間 電? ?ドア 確率 ? n 弱ラベル?響イベント検知を応?したキーワード推定 n 各時刻で発??を推定し、max pooling し、Binary Cross-entropy 最?化で学習 n Pooling 後の確率の上位 K=5 単語をキーワードとして推定 時間 電?が停? ドアが開く ?が降りてくる 周波数 train 確率 people bird cat dog … engine door car street train 確率 people bird cat dog … engine door car street Binary cross-entropy train, people, door Keyword The train has stopped and people are getting out from the door Caption DNNで推定 Max pooling
モデル全体像 12 Feed Forward Audio embedding (VGGish) Dropout Muti-Head Attention Word embedding (fastText) Linear (word dim. reduction) Audio Text Muti-Head Attention Add & Norm Feed Forward Add & Norm Linear Dropout 3x Add & Norm Add & Norm Masked Muti-Head Attention Add & Norm 3x Softmax Linear Sort & Select Concat Linear ReLU Sigmoid MaxKeyword embedding (fastText) Keyword estimation branch (a) (b) m p(zc|?) ? p(wn|?, m, wn 1) p(zc|?) Linear (audio dim. reduction) ? Linear (word dim. reduction) m Encoder output ベースはよくある Transformer この部分が 本研究の貢献 C番?の単語が キーワードである 確率 Keyword Estimation Branch の中?
実験観点 13 1. キーワード推定の効果はどれくらいか?他?法と?較実験 n Baseline : DCASE2020 Challenge task6 の Baseline system n LSTM : LSTM-based の Seq2Seq n Transformer : Transformer-based の Seq2Seq 2. キーワードの推定数が変わるとどうなるのか? n Ours(K=10) : キーワードを１０個推定した場合 3. ??で作成したキーワードを??した場合からの性能劣化は? n Oracle1 : Clotho dataset が提供しているキーワードを?? 4. キーワード推定精度が１００％ならば? n Oracle2 : 提案法で作成した正解キーワードを?? n 性能評価実験 n Ablation study n DNNの挙動解析 5. どんなキーワードが推定されている? 6. キーワードがどのように利?されている?
実験結果 14 1. キーワード推定の効果はどれくらいか?他?法と?較実験 n Baseline : DCASE2020 Challenge task6 の Baseline system n LSTM : LSTM-based の Seq2Seq n Transformer : Transformer-based の Seq2Seq n 性能評価実験 知???のみを??した captioningでは、提案法が?番良い n 明?的にキーワード推定を解いてあげた?が、性能が上がる
実験結果 15 2. キーワードの推定数が変わるとどうなるのか? n Ours(K=10) : キーワードを１０個推定した場合 n Ablation study 知??キーワードの推定数が多すぎると、性能は向上しない n 学習データの95％は、キーワード数が5個以下 n 本来のキーワード数より、多くのキーワードを推定すると、結局 Captioning の不確定性が減らないためか、精度向上は?られない 適切なキーワード数も同時に推定できると良さそう 今後の課題
実験結果 16 3. ??で作成したキーワードを??した場合からの性能劣化は? n Oracle1 : Clotho dataset が提供しているキーワードを?? n Ablation study 知????でキーワードを与えた場合と精度はほぼ同等 n BLEU-1（単語?致の指標） n オラクル 53.4 → 提案法 52.1 （約97.6% の精度） n ROUGE-L（?法?致の指標） n オラクル 35.1 → 提案法34.2 （約97.4% の精度）
実験結果 17 4. キーワード推定精度が１００％ならば? n Oracle2 : 提案法で作成した正解キーワードを?? n Ablation study 知??キーワードの精度が改善すれば、より性能が向上する可能性 n 提案法のキーワード推定精度は 48.1% ※ Percentage of estimated keywords that were included in ground-truth 今回はナイーブな?法でキーワード推定したが、?響イベント検知、 画像キャプション、?書要約などの最先端の?法を応?できれば、ま だ性能が上がりそう 今後の課題
DNNの内部解析（1/3） 18 Key. Audio Memoryind.(T+K) Text position Freq.[kHz] Time [s] Probability Decoder Layer 3Decoder Layer 2Decoder Layer 1 R0: A bunch of birds are chirping and singing R1: Birds are chirping and loudly singing in the forest Pred.: Birds are chirping and singing in the background Est. keywords: ['bird', 'chirp', 'sing', 'distance', 'background'] (a) 20100422.waterfall.birds.wav (i) (ii) (iii) (iv) Bird, sing, chirp がキーワード として推定されてる 正解キャプション （５個のうち２つを表?） 推定キャプション 推定キーワード ??スペクトログラム Pooling 前のキーワード確率 Decoder の attention 各単語を?成する際に、 どの時刻の?、もしくは どのキーワードを利?したか
DNNの内部解析（2/3） 19 Key. Audio Memoryind.(T+K) Text position Freq.[kHz] Time [s] Probability Decoder Layer 3Decoder Layer 2Decoder Layer 1 R0: A machine is running at first then slows down R1: An airplane engine is at a high idle and slows down to a slower Pred.: A machine is running and then stops Est. keywords: ['machine', 'run', 'engine', 'turn', 'move'] (b) WasherSpinCycleWindDown4BeepEndSignal.wav {machine, airplane} の不確定性が キーワードで解決 されている
DNNの内部解析（3/3） 20 Key. Audio Memoryind.(T+K) Text position Freq.[kHz] Time [s] Probability Decoder Layer 3Decoder Layer 2Decoder Layer 1 R0: A person opens a door with a key then he closes the door from R1: A door is being unlatched, creaking open and being fastened again Pred.: A person is opening and closing a door Est. keywords: [‘door', ‘open', ‘close', ‘times', ‘someone'] (c) Door.wav {close, fasten}の不確定性が キーワードで解決されている n ?間の?なんて?っていないのに、「ド アを開ける」は普通?間がやるものだ、 と?う共起が?動で学習/推定されている n これまでの?響イベント検知ではできな かった、クロスモーダルタスクにしたか らこそできた推論
Take-home message 21 n Audio Captioning とは? n どんな課題があった? n どうやって解いた? n どうなった? n 環境?の説明?を?成するタスク n ?つの?響イベント/シーンを説明する単語が多数あり、正解?の 候補が組み合わせ爆発を起こす → 学習の不安定化 etc… n 弱ラベル?響イベント検知を応?し、?章のキーワードを同時推 定。?章?成の際に条件付けすることで任意性の解消を狙った n 従来法よりも性能が向上。また Decoder の挙動も解析しやすくな り、結果の解釈性も向上した

More Related Content

キーワード推定を内包したオーディオキャプション法

  • 1. 2-R2-10 キーワード推定を内包したオーディオキャプション法 ○?泉 悠?，増村 亮，?? 京介，安? 昌弘，?藤 翔?郎 NTTメディアインテリジェンス研究所 ?本?響学会 2020年秋季研究発表会 ?会２?? 18:30-19:10 p ２分で概要が知りたい?? p １０分で詳細が知りたい?? n ５ページまでご覧ください n ２１ページまでご覧ください ポスター?質疑セッションでは、この資料をもとに、 ご説明?質疑応答いたします。別ブラウザなどでご準備いただけますと幸いです。
  • 2. 2 解きたい問題?Audio Captioning A man is speaking and cars are driving in the background. n ???録?した?データ（環境?） n 出?????を説明する?然?語? Hello! vroooooomBEEP BEEP n 環境?の説明?を?成するタスク Moodle ページ内に、Audio Captioning 体験ページを作りました? ぜひ、ご体験ください?
  • 3. 3 Audio Captioning の問題点 A man is speaking and cars are driving in the background. A male is talking in front of many vehicles passing by. どちらの?も正しいが、単語レベルでは全く違う Hello! vroooooomBEEP BEEP n ?つの?響イベント/シーンを説明する単語が多数あり、正解? の候補が組み合わせ爆発を起こす → 学習の不安定化 etc… u ?というイベント?{car, automobile, vehicle, wheels,…} u 交差点という場所?{road, roadway, intersection, street,…} n ?を説明する?章が?意に決まらない
  • 4. Hello! vroooooomBEEP BEEP 4 どう解決したのか n 候補単語（キーワード）を同時推定し、任意性を低減 A man is speaking and cars are driving in the background. Keywords {man, speak, car, drive, background} Embeddings Transformer- encoder A man is speaking and cars are driving in the background. 正解キャプション 推定 誤差最?化 Transformer- decoder A man is speaking in front of driving cars man, speak, car, drive, background Embeddingsキーワード推定 DNN 推定 誤差最?化 man, car, speak, drive, front ??の領域が 本研究の貢献 Point 1: ルールベースの学習データ の正解キーワード?成 Point 2: 弱ラベル?響イベント検知 を応?したキーワード推定 条件付け
  • 5. 5 結果、どうなったか CIDEr SPICE SPIDEr キーワード推定なし 23.3 9.1 16.2 キーワード推定あり （本研究） 25.8 9.7 17.7 ??のキーワード （オラクル性能） 27.5 10.1 18.8 110.7% 106.6% 109.3% 93.8% 96.0.% 94.1% n 実験データ: Clotho dataset [Drossos+, ICASSP 2020] n 学習データ 2,894?（約１６時間、各?に5種類のキャプション） n 評価データ 1,045? n 評価指標?説明??成タスクで広く使われる指標 n CIDEr [Vedantam+, CVPR 2015] ??の流暢さ n SPICE [Anderson+, ECCV 2016] ?単語選択の的確さ n SPIDEr [Liu+, ICCV 2017] ?総合評価 1. キーワード推定を?うことで?章?成精度向上 2. ??でキーワードを与えた場合と遜?ない性能
  • 7. 7 ?説明??成の必要性 n 異常?検知: ただ「おかしい」から、「どう」「おかしい」へ 異常です 現状 次世代 普段は聞かない、?属がこすれるような? い?がしている。異常かもしれない。 n ヒアラブルデバイス: 「いつ/どこで/何が」の推定と組み合わせ、 とってわかりやすい状況説明＆コンシェルジュ 現状 ?猫、左下 ??、右 ??、右上、接近 次世代 ??性側の?から、?が近づいてきます （＋安全側へエスコートしましょう） ?愛らしい猫が近くにいます （＋話のネタにしてみませんか） n ユーザーが理解しやすい環境認識結果の提?
  • 8. 8 定式化?これ?体はとてもシンプル n ????響特徴量系列 n 出??単語系列 n ?般的な?法?Encoder-Decoder モデル n キーワードを利?して、デコーダを条件付けしたい ?響特徴量を埋め込んで 観測?と n-1番?までの単語を考慮して n番?の単語の確率を推定する n番?の単語の確率を推定する際に キーワードも考慮する どうやってキーワード集合 m を推定しよう?
  • 9. 9 実現に向けた課題 n そもそも正解キーワードをどうやって作るのか n 正解キーワードがあったとしてどうやって推定するのか? n 学習データには、単語系列 しかないと想定 n キーワードの学習データを?成する?法が必要 n ?や?章には順序性や継続時間/重なりがあるが、キーワードには ない n 正解キーワードが「いつ」発?したかを推定したい
  • 10. 10 正解キーワード抽出 n 品詞?語幹推定を?い、出現頻度の?い単語を利? n 名詞、動詞、形容詞、副詞のみを抽出し、原型へ変形 n 全学習データで出現頻度の?い C=50 単語をキーワードとした POS-tagging+Lemmatize Noun,verb,adjective,oradverb? Training captions A muddled noise of broken channel of the TV A person is turning a map over and over An office chair is squeaking as someone bends back and forth in it A flying bee is buzzing loudly around an object and its wing hits it Birds or small animals rustling around in an outdoor area … muddle, noise, break, channel, TV person, be, turn, map, over office, chair, be, squeak, someone, bend, back, forth fly, bee, be, buzz, loud, around, object, wing, hit bird, small, animal, rustle, around, outdoor, area … Four parts of speech Countallcandidates,&most frequentC=50lemmasexcept“be” noise, break person, turn, over office, chair, squeak, someone, bend fly, bee, buzz, loud, object, wing, hit bird, animal, rustle, outdoor … Keyword 名詞、動詞、形容詞、副 詞の原型を抽出 学習データに頻出する単 語をキーワードとする
  • 11. 11 キーワード推定 時間 電? ?ドア 確率 ? n 弱ラベル?響イベント検知を応?したキーワード推定 n 各時刻で発??を推定し、max pooling し、Binary Cross-entropy 最?化で学習 n Pooling 後の確率の上位 K=5 単語をキーワードとして推定 時間 電?が停? ドアが開く ?が降りてくる 周波数 train 確率 people bird cat dog … engine door car street train 確率 people bird cat dog … engine door car street Binary cross-entropy train, people, door Keyword The train has stopped and people are getting out from the door Caption DNNで推定 Max pooling
  • 12. モデル全体像 12 Feed Forward Audio embedding (VGGish) Dropout Muti-Head Attention Word embedding (fastText) Linear (word dim. reduction) Audio Text Muti-Head Attention Add & Norm Feed Forward Add & Norm Linear Dropout 3x Add & Norm Add & Norm Masked Muti-Head Attention Add & Norm 3x Softmax Linear Sort & Select Concat Linear ReLU Sigmoid MaxKeyword embedding (fastText) Keyword estimation branch (a) (b) m p(zc|?) ? p(wn|?, m, wn 1) p(zc|?) Linear (audio dim. reduction) ? Linear (word dim. reduction) m Encoder output ベースはよくある Transformer この部分が 本研究の貢献 C番?の単語が キーワードである 確率 Keyword Estimation Branch の中?
  • 13. 実験観点 13 1. キーワード推定の効果はどれくらいか?他?法と?較実験 n Baseline : DCASE2020 Challenge task6 の Baseline system n LSTM : LSTM-based の Seq2Seq n Transformer : Transformer-based の Seq2Seq 2. キーワードの推定数が変わるとどうなるのか? n Ours(K=10) : キーワードを１０個推定した場合 3. ??で作成したキーワードを??した場合からの性能劣化は? n Oracle1 : Clotho dataset が提供しているキーワードを?? 4. キーワード推定精度が１００％ならば? n Oracle2 : 提案法で作成した正解キーワードを?? n 性能評価実験 n Ablation study n DNNの挙動解析 5. どんなキーワードが推定されている? 6. キーワードがどのように利?されている?
  • 14. 実験結果 14 1. キーワード推定の効果はどれくらいか?他?法と?較実験 n Baseline : DCASE2020 Challenge task6 の Baseline system n LSTM : LSTM-based の Seq2Seq n Transformer : Transformer-based の Seq2Seq n 性能評価実験 知???のみを??した captioningでは、提案法が?番良い n 明?的にキーワード推定を解いてあげた?が、性能が上がる
  • 15. 実験結果 15 2. キーワードの推定数が変わるとどうなるのか? n Ours(K=10) : キーワードを１０個推定した場合 n Ablation study 知??キーワードの推定数が多すぎると、性能は向上しない n 学習データの95％は、キーワード数が5個以下 n 本来のキーワード数より、多くのキーワードを推定すると、結局 Captioning の不確定性が減らないためか、精度向上は?られない 適切なキーワード数も同時に推定できると良さそう 今後の課題
  • 16. 実験結果 16 3. ??で作成したキーワードを??した場合からの性能劣化は? n Oracle1 : Clotho dataset が提供しているキーワードを?? n Ablation study 知????でキーワードを与えた場合と精度はほぼ同等 n BLEU-1（単語?致の指標） n オラクル 53.4 → 提案法 52.1 （約97.6% の精度） n ROUGE-L（?法?致の指標） n オラクル 35.1 → 提案法34.2 （約97.4% の精度）
  • 17. 実験結果 17 4. キーワード推定精度が１００％ならば? n Oracle2 : 提案法で作成した正解キーワードを?? n Ablation study 知??キーワードの精度が改善すれば、より性能が向上する可能性 n 提案法のキーワード推定精度は 48.1% ※ Percentage of estimated keywords that were included in ground-truth 今回はナイーブな?法でキーワード推定したが、?響イベント検知、 画像キャプション、?書要約などの最先端の?法を応?できれば、ま だ性能が上がりそう 今後の課題
  • 18. DNNの内部解析（1/3） 18 Key. Audio Memoryind.(T+K) Text position Freq.[kHz] Time [s] Probability Decoder Layer 3Decoder Layer 2Decoder Layer 1 R0: A bunch of birds are chirping and singing R1: Birds are chirping and loudly singing in the forest Pred.: Birds are chirping and singing in the background Est. keywords: ['bird', 'chirp', 'sing', 'distance', 'background'] (a) 20100422.waterfall.birds.wav (i) (ii) (iii) (iv) Bird, sing, chirp がキーワード として推定されてる 正解キャプション （５個のうち２つを表?） 推定キャプション 推定キーワード ??スペクトログラム Pooling 前のキーワード確率 Decoder の attention 各単語を?成する際に、 どの時刻の?、もしくは どのキーワードを利?したか
  • 19. DNNの内部解析（2/3） 19 Key. Audio Memoryind.(T+K) Text position Freq.[kHz] Time [s] Probability Decoder Layer 3Decoder Layer 2Decoder Layer 1 R0: A machine is running at first then slows down R1: An airplane engine is at a high idle and slows down to a slower Pred.: A machine is running and then stops Est. keywords: ['machine', 'run', 'engine', 'turn', 'move'] (b) WasherSpinCycleWindDown4BeepEndSignal.wav {machine, airplane} の不確定性が キーワードで解決 されている
  • 20. DNNの内部解析（3/3） 20 Key. Audio Memoryind.(T+K) Text position Freq.[kHz] Time [s] Probability Decoder Layer 3Decoder Layer 2Decoder Layer 1 R0: A person opens a door with a key then he closes the door from R1: A door is being unlatched, creaking open and being fastened again Pred.: A person is opening and closing a door Est. keywords: [‘door', ‘open', ‘close', ‘times', ‘someone'] (c) Door.wav {close, fasten}の不確定性が キーワードで解決されている n ?間の?なんて?っていないのに、「ド アを開ける」は普通?間がやるものだ、 と?う共起が?動で学習/推定されている n これまでの?響イベント検知ではできな かった、クロスモーダルタスクにしたか らこそできた推論
  • 21. Take-home message 21 n Audio Captioning とは? n どんな課題があった? n どうやって解いた? n どうなった? n 環境?の説明?を?成するタスク n ?つの?響イベント/シーンを説明する単語が多数あり、正解?の 候補が組み合わせ爆発を起こす → 学習の不安定化 etc… n 弱ラベル?響イベント検知を応?し、?章のキーワードを同時推 定。?章?成の際に条件付けすることで任意性の解消を狙った n 従来法よりも性能が向上。また Decoder の挙動も解析しやすくな り、結果の解釈性も向上した