ケプストラム正则化狈罢贵によるステレオチャネル楽曲音源分离
1 like1,230 views
日本音響学会 2016年秋季研究発表会 第14回日本音響学会学生優秀発表賞（受賞者：関 翔悟） 関 翔悟，大谷 健登，戸田 智基，武田 一哉：ケプストラム正则化狈罢贵によるステレオチャネル楽曲音源分离，Aug. 2016 名古屋大学 情報学研究科 知能システム学専攻 戸田研究室
1 of 16
![研究背景
? CD及びダウンロード配信楽曲
‐多数の構成音源:ギター，ドラム，ボーカル，etc.
‐ステレオチャネル（２チャネル）信号として表現
? 楽曲に対する各構成音源への音源分離
‐採譜[Smaragdis+03]
‐ボーカル抽出[Smaragdis+07]
‐楽曲印象操作[Ohtani+16]
ステレオチャネル楽曲音源分離
3
2016年秋季研究発表会
L R
あ
2016/9/14](https://image.slidesharecdn.com/asj201609ntfseki-170525022119/85/NTF-3-320.jpg)
![周波数独立ゲインNTF[Seki+16]
? 概要
‐楽曲情報:ゲインと音源集合による混合過程（パンニング）
‐振幅/パワースペクトル領域における線形演算を仮定
‐各音源スペクトログラムが低ランク行列で表現
6
2016年秋季研究発表会
L R 楽曲情報
ゲイン
音源集合
推定信号
ゲイン
ゲイン
音源集合
z基底 アクティベーション
2016/9/14](https://image.slidesharecdn.com/asj201609ntfseki-170525022119/85/NTF-6-320.jpg)
![周波数独立ゲインNTF[Seki+16]
? 定式化
‐ 推定チャネル信号:
‐ ゲイン情報 :
‐ 基底 :
‐ アクティベーション :
? 目的関数
? β情報量規準更新式
βNMFと同様な更新式
7
2016年秋季研究発表会
インデックス
? :周波数ビン
? :基底
? :フレーム
? :音源
? :チャネル
2016/9/14](https://image.slidesharecdn.com/asj201609ntfseki-170525022119/85/NTF-7-320.jpg)
![正則化項の導入
? ケプストラム距離正則化NMF[Li+16]
‐特徴量強調において利用
‐MFCC系列に対するGMM対数尤度
‐スペクトログラムに対するソフトな制約
9
2016年秋季研究発表会 2016/9/14](https://image.slidesharecdn.com/asj201609ntfseki-170525022119/85/NTF-9-320.jpg)
![正則化項の導入
? ケプストラム距離正則化NMF[Li+16]
‐特徴量強調において利用
‐MFCC系列に対するGMM対数尤度
‐スペクトログラムに対するソフトな制約
10
2016年秋季研究発表会
MFCC
GMM
離散コサイン
変換行列
メルフィルタバンク
2016/9/14](https://image.slidesharecdn.com/asj201609ntfseki-170525022119/85/NTF-10-320.jpg)
Ad
Recommended
时间领域低ランクスペクトログラム近似法に基づくマスキング音声の欠损成分復元
时间领域低ランクスペクトログラム近似法に基づくマスキング音声の欠损成分復元NU_I_TODALAB
?
日本音響学会 2017年春季研究発表会
関 翔悟，亀岡 弘和，戸田 智基，武田 一哉：时间领域低ランクスペクトログラム近似法に基づくマスキング音声の欠损成分復元，Mar. 2017
名古屋大学 情報学研究科 知能システム学専攻 戸田研究室スペクトログラム無矛盾性を用いた 独立低ランク行列分析の実験的評価
スペクトログラム無矛盾性を用いた 独立低ランク行列分析の実験的評価Daichi Kitamura
?
日本音響学会2021春季研究発表会1-1-2
北村大地, 矢田部浩平, "スペクトログラム無矛盾性を用いた独立低ランク行列分析の実験的評価," 日本音響学会 2021年春季研究発表会講演論文集, 1-1-2, pp. 121–124, Tokyo, March 2021.
Daichi Kitamura and Kohei Yatabe, "Experimental evaluation of consistent independent low-rank matrix analysis," Proceedings of 2021 Spring Meeting of Acoustical Society of Japan, 1-1-2, pp. 121–124, Tokyo, March 2021 (in Japanese).半教师あり非负値行列因子分解における音源分离性能向上のための効果的な基底学习法
半教师あり非负値行列因子分解における音源分离性能向上のための効果的な基底学习法Daichi Kitamura
?
北村大地, 小野順貴, 猿渡洋, 高橋祐, 近藤多伸, "半教师あり非负値行列因子分解における音源分离性能向上のための効果的な基底学习法," IEICE Technical Report, EA2015-130, vol. 115, no. 521, pp. 355-360, Oita, March 2016.
Daichi Kitamura, Nobutaka Ono, Hiroshi Saruwatari, Yu Takahashi, Kazunobu Kondo, "Effective basis learning for sound source separation by semi-supervised nonnegative matrix factorization," IEICE Technical Report, EA2015-130, vol. 115, no. 521, pp. 355-360, Oita, March 2016.音源分離 ～DNN音源分離の基礎から最新技術まで～ Tokyo bishbash #3
音源分離 ～DNN音源分離の基礎から最新技術まで～ Tokyo bishbash #3Naoya Takahashi
?
近年格段に性能が向上し、実用化が进んでいる顿狈狈ベースの音源分离について、基础原理、国际コンペでベストスコアを记録した技术、弊社での応用事例、最新の研究など幅広く绍介します。楽曲中歌声加工における声质変换精度向上のための歌声?伴奏分离法
楽曲中歌声加工における声质変换精度向上のための歌声?伴奏分离法NU_I_TODALAB
?
第33回信号処理シンポジウム
山田 智也，関 翔悟，小林 和弘，戸田 智基：楽曲中歌声加工における声质変换精度向上のための歌声?伴奏分离法，Nov. 2018.
名古屋大学 情報学研究科 知能システム学専攻 戸田研究室音声の声质を変换する技术とその応用
音声の声质を変换する技术とその応用NU_I_TODALAB
?
2017年度 人工知能学会全国大会
オーガナイズドセッション OS-9：質感と感性 招待講演
戸田 智基：音声の声质を変换する技术とその応用，May 2017
名古屋大学 情報学研究科 知能システム学専攻 戸田研究室独立深層学習行列分析に基づく多チャネル音源分離（Multichannel audio source separation based on indepen...
独立深層学習行列分析に基づく多チャネル音源分離（Multichannel audio source separation based on indepen...Daichi Kitamura
?
角野隼斗, 北村大地, 高宗典玄, 高道慎之介, 猿渡洋, 小野順貴, "独立深層学習行列分析に基づく多チャネル音源分離," 日本音響学会 2018年春季研究発表会講演論文集, 1-4-16, pp. 449–452, Saitama, March 2018.
Hayato Sumino, Daichi Kitamura, Norihiro Takamune, Shinnosuke Takamichi, Hiroshi Saruwatari, Nobutaka Ono, "Multichannel audio source separation based on independent deeply learned matrix analysis," Proceedings of 2018 Spring Meeting of Acoustical Society of Japan, 1-4-16, pp. 449–452, Saitama, March 2018 (in Japanese).
独立深層学習行列分析に基づく多チャネル音源分離の実験的評価（Experimental evaluation of multichannel audio s...
独立深層学習行列分析に基づく多チャネル音源分離の実験的評価（Experimental evaluation of multichannel audio s...Daichi Kitamura
?
北村大地, 角野隼斗, 高宗典玄, 高道慎之介, 猿渡洋, 猿渡洋, 小野順貴, "独立深層学習行列分析に基づく多チャネル音源分離の実験的評価," IEICE Technical Report, EA2017-104, vol. 117, no. 515, pp. 13–20, Okinawa, March 2018.
Daichi Kitamura, Hayato Sumino, Norihiro Takamune, Shinnosuke Takamichi, Hiroshi Saruwatari, and Nobutaka Ono, "Experimental evaluation of multichannel audio source separation based on IDLMA," IEICE Technical Report, EA2017-104, vol. 117, no. 515, pp. 13–20, Okinawa, March 2018 (in Japanese)独立低ランク行列分析に基づく音源分离とその発展（Audio source separation based on independent low-rank...
独立低ランク行列分析に基づく音源分离とその発展（Audio source separation based on independent low-rank...Daichi Kitamura
?
北村大地, "独立低ランク行列分析に基づく音源分离とその発展," IEICE信号処理研究会, 2021年8月24日．
Daichi Kitamura, "Audio source separation based on independent low-rank matrix analysis and its extensions," IEICE Technical Group on Signal Processing, Aug. 24th, 2021.
http://d-kitamura.net奥补惫别狈别迟が音声合成研究に与える影响
奥补惫别狈别迟が音声合成研究に与える影响NU_I_TODALAB
?
2018年1月 音声研究会
オーガナイズドセッション「新たな音声モデルによる音声合成?音声生成―深層学習による音声波形モデルWaveNet―」（招待講演）
戸田 智基：奥补惫别狈别迟が音声合成研究に与える影响，Jan. 2018
名古屋大学 情報学研究科 知能システム学専攻 戸田研究室异常音検知に対する深层学习适用事例
异常音検知に対する深层学习适用事例NU_I_TODALAB
?
第144回ロボット工学セミナー「ロボットのための音声?音響処理技術」日本ロボット学会
戸田 智基：异常音検知に対する深层学习适用事例，Nov. 2022
名古屋大学 情報学研究科 知能システム学専攻 戸田研究室非负値行列因子分解を用いた被り音の抑圧
非负値行列因子分解を用いた被り音の抑圧Kitamura Laboratory
?
溝渕悠朔, 北村大地, 中村友彦, 猿渡洋, 高橋祐, 近藤多伸, "非负値行列因子分解を用いた被り音の抑圧," 情報処理学会 第132回音楽情報科学研究会（夏のシンポジウム）, vol. 2021-MUS-132, no. 24, オンライン, 2021年9月（査読無）.音楽信号処理における基本周波数推定を応用した心拍信号解析
音楽信号処理における基本周波数推定を応用した心拍信号解析Kitamura Laboratory
?
梶谷奈未, "音楽信号処理における基本周波数推定を応用した心拍信号解析," 香川高等専門学校専攻科電気情報工学科コース 特別研究論文, 43 pages, 2022年1月.Asj2017 3invited
Asj2017 3invitedSaruwatariLabUTokyo
?
Invited talk in The Acoustical Society of Japan Spring Meeting held on March 15, 2017.独立低ランク行列分析に基づくブラインド音源分離（Blind source separation based on independent low-rank...
独立低ランク行列分析に基づくブラインド音源分離（Blind source separation based on independent low-rank...Daichi Kitamura
?
北村大地, 小野順貴, 澤田宏, 亀岡弘和, 猿渡洋, "独立低ランク行列分析に基づくブラインド音源分離," IEICE Technical Report, EA2017-56, vol. 117, no. 255, pp. 73–80, Toyama, October 2017 (招待講演).
Daichi Kitamura, Nobutaka Ono, Hiroshi Sawada, Hirokazu Kameoka, and Hiroshi Saruwatari, "Blind source separation based on independent low-rank matrix analysis," IEICE Technical Report, EA2017-56, vol. 117, no. 255, pp. 73–80, Toyama, October 2017 (in Japanese, Invited talk).深层学习を用いた音源定位、音源分离、クラス分类の统合～环境音セグメンテーション手法の绍介～
深层学习を用いた音源定位、音源分离、クラス分类の统合～环境音セグメンテーション手法の绍介～Yui Sudo
?
音の情报から周囲の环境を理解するためには、「いつ、どこから、何の音が鸣っているか」という情报を推定する必要がある。従来、音源定位や音源分离、分类といった手法が个别に研究されてきたのに対し、深层学习を用いた统合的なアプローチが提案されている。本発表では、音源定位、音源分离、クラス分类を深层学习で同时に扱う际に生じる问题とその回避策に関する研究を绍介する。独立低ランク行列分析に基づく音源分离とその発展
独立低ランク行列分析に基づく音源分离とその発展Kitamura Laboratory
?
北村大地, "独立低ランク行列分析に基づく音源分离とその発展," 電子情報通信学会 信学技報, SIP2021-32, vol. 121, no. 144, pp. 19–24, オンライン, 2021年8月（査読無，招待講演）.Dsp2015for ss
Dsp2015for ssSaruwatariLabUTokyo
?
This document summarizes a research talk on statistical-model-based speech enhancement techniques that aim to reduce noise without generating musical noise artifacts. The talk outlines conventional enhancement methods like spectral subtraction and Wiener filtering that often cause musical noise. It then proposes a biased minimum mean-square error estimator that can achieve a musical-noise-free state by introducing a bias parameter. Analysis and experiments show this method can reduce noise while keeping the kurtosis ratio fixed at 1.0 to prevent musical noise, outperforming other techniques in terms of speech quality. A strong speech prior model is found to limit achieving musical-noise-free states, so the prior must be carefully selected.やさしく音声分析法を学ぶ： ケプストラム分析とLPC分析
やさしく音声分析法を学ぶ： ケプストラム分析とLPC分析Shinnosuke Takamichi
?
音声分析法のであるケプストラム分析とLPC分析について、
簡単に説明したものです。
音声研究の初学者向け。
twitter: forthshinjiICASSP 2019での音響信号処理分野の世界動向
ICASSP 2019での音響信号処理分野の世界動向Yuma Koizumi
?
ICASSP 2019音声＆音響論文読み会（https://connpass.com/event/128527/）での発表資料です。
AASP (Audio and Acoustic Signal Processing) 分野の紹介と、ICASSP 2019での動向を紹介しています。#icassp2019jp非負値行列分解の確率的生成モデルと 多チャネル音源分離への応用 (Generative model in nonnegative matrix facto...
非負値行列分解の確率的生成モデルと 多チャネル音源分離への応用 (Generative model in nonnegative matrix facto...Daichi Kitamura
?
北村大地, "非負値行列分解の確率的生成モデルと多チャネル音源分離への応用," 慶應義塾大学理工学部電子工学科湯川研究室 招待講演, Kanagawa, November, 2015.
Daichi Kitamura, "Generative model in nonnegative matrix factorization and its application to multichannel sound source separation," Keio University, Science and Technology, Department of Electronics and Electrical Engineeing, Yukawa Laboratory, Invited Talk, Kanagawa, November, 2015.A Brief Introduction of Anomalous Sound Detection: Recent Studies and Future...
A Brief Introduction of Anomalous Sound Detection: Recent Studies and Future...Yuma Koizumi
?
Yuma Koizumi presents an overview of anomalous sound detection (ASD), discussing recent challenges and future prospects, particularly in unsupervised settings. The presentation highlights the difficulties of detecting anomalies due to the unpredictability of data patterns and emphasizes the need for innovative approaches to training models with limited labeled data. Additionally, it addresses the impact of domain shifts on detection systems and suggests adaptations using few-shot learning techniques.Kameoka2017 ieice03
Kameoka2017 ieice03kame_hirokazu
?
電子情報通信学会総合大会
企画講演セッション「適応信号処理の基礎と展開」
亀岡弘和，小野順貴，猿渡洋：音響分野におけるブラインド適応信号処理の展開
【DL輪読会】Incorporating group update for speech enhancement based on convolutio...
【DL輪読会】Incorporating group update for speech enhancement based on convolutio...Deep Learning JP
?
1. The document discusses a research paper on speech enhancement using a convolutional gated recurrent network (CGRN) and ordered neuron long short-term memory (ON-LSTM).
2. The proposed method aims to improve speech quality by incorporating both time and frequency dependencies using CGRN, and handling noise with varying change rates using ON-LSTM.
3. CGRN replaces fully-connected layers with convolutions, allowing it to capture local spatial structures in the frequency domain. ON-LSTM groups neurons based on the change rate of internal information to model hierarchical representations.音学シンポジウム2025「ニューラルボコーダ概説：生成モデルと実用性の観点から」
音学シンポジウム2025「ニューラルボコーダ概説：生成モデルと実用性の観点から」NU_I_TODALAB
?
音学シンポジウム2025
第156回音声言語情報処理研究発表会
招待講演
米山 怜於：ニューラルボコーダ概説：生成モデルと実用性の観点から，2025年6月
名古屋大学 情報学研究科 知能システム学専攻 戸田研究室2025年3月音楽情报科学研究会「大局的构造生成のための小节特徴量系列モデリングに基づく阶层的自动作曲」
2025年3月音楽情报科学研究会「大局的构造生成のための小节特徴量系列モデリングに基づく阶层的自动作曲」NU_I_TODALAB
?
音楽情報科学研究会
澤田 桂都，Wen-Chin Huang，戸田 智基：大局的構造生成のための小節特徴量系列モデリングに基づく階層的自動作曲，2025年3月
名古屋大学 情報学研究科 知能システム学専攻 戸田研究室More Related Content
What's hot (20)
音声の声质を変换する技术とその応用
音声の声质を変换する技术とその応用NU_I_TODALAB
?
2017年度 人工知能学会全国大会
オーガナイズドセッション OS-9：質感と感性 招待講演
戸田 智基：音声の声质を変换する技术とその応用，May 2017
名古屋大学 情報学研究科 知能システム学専攻 戸田研究室独立深層学習行列分析に基づく多チャネル音源分離（Multichannel audio source separation based on indepen...
独立深層学習行列分析に基づく多チャネル音源分離（Multichannel audio source separation based on indepen...Daichi Kitamura
?
角野隼斗, 北村大地, 高宗典玄, 高道慎之介, 猿渡洋, 小野順貴, "独立深層学習行列分析に基づく多チャネル音源分離," 日本音響学会 2018年春季研究発表会講演論文集, 1-4-16, pp. 449–452, Saitama, March 2018.
Hayato Sumino, Daichi Kitamura, Norihiro Takamune, Shinnosuke Takamichi, Hiroshi Saruwatari, Nobutaka Ono, "Multichannel audio source separation based on independent deeply learned matrix analysis," Proceedings of 2018 Spring Meeting of Acoustical Society of Japan, 1-4-16, pp. 449–452, Saitama, March 2018 (in Japanese).
独立深層学習行列分析に基づく多チャネル音源分離の実験的評価（Experimental evaluation of multichannel audio s...
独立深層学習行列分析に基づく多チャネル音源分離の実験的評価（Experimental evaluation of multichannel audio s...Daichi Kitamura
?
北村大地, 角野隼斗, 高宗典玄, 高道慎之介, 猿渡洋, 猿渡洋, 小野順貴, "独立深層学習行列分析に基づく多チャネル音源分離の実験的評価," IEICE Technical Report, EA2017-104, vol. 117, no. 515, pp. 13–20, Okinawa, March 2018.
Daichi Kitamura, Hayato Sumino, Norihiro Takamune, Shinnosuke Takamichi, Hiroshi Saruwatari, and Nobutaka Ono, "Experimental evaluation of multichannel audio source separation based on IDLMA," IEICE Technical Report, EA2017-104, vol. 117, no. 515, pp. 13–20, Okinawa, March 2018 (in Japanese)独立低ランク行列分析に基づく音源分离とその発展（Audio source separation based on independent low-rank...
独立低ランク行列分析に基づく音源分离とその発展（Audio source separation based on independent low-rank...Daichi Kitamura
?
北村大地, "独立低ランク行列分析に基づく音源分离とその発展," IEICE信号処理研究会, 2021年8月24日．
Daichi Kitamura, "Audio source separation based on independent low-rank matrix analysis and its extensions," IEICE Technical Group on Signal Processing, Aug. 24th, 2021.
http://d-kitamura.net奥补惫别狈别迟が音声合成研究に与える影响
奥补惫别狈别迟が音声合成研究に与える影响NU_I_TODALAB
?
2018年1月 音声研究会
オーガナイズドセッション「新たな音声モデルによる音声合成?音声生成―深層学習による音声波形モデルWaveNet―」（招待講演）
戸田 智基：奥补惫别狈别迟が音声合成研究に与える影响，Jan. 2018
名古屋大学 情報学研究科 知能システム学専攻 戸田研究室异常音検知に対する深层学习适用事例
异常音検知に対する深层学习适用事例NU_I_TODALAB
?
第144回ロボット工学セミナー「ロボットのための音声?音響処理技術」日本ロボット学会
戸田 智基：异常音検知に対する深层学习适用事例，Nov. 2022
名古屋大学 情報学研究科 知能システム学専攻 戸田研究室非负値行列因子分解を用いた被り音の抑圧
非负値行列因子分解を用いた被り音の抑圧Kitamura Laboratory
?
溝渕悠朔, 北村大地, 中村友彦, 猿渡洋, 高橋祐, 近藤多伸, "非负値行列因子分解を用いた被り音の抑圧," 情報処理学会 第132回音楽情報科学研究会（夏のシンポジウム）, vol. 2021-MUS-132, no. 24, オンライン, 2021年9月（査読無）.音楽信号処理における基本周波数推定を応用した心拍信号解析
音楽信号処理における基本周波数推定を応用した心拍信号解析Kitamura Laboratory
?
梶谷奈未, "音楽信号処理における基本周波数推定を応用した心拍信号解析," 香川高等専門学校専攻科電気情報工学科コース 特別研究論文, 43 pages, 2022年1月.Asj2017 3invited
Asj2017 3invitedSaruwatariLabUTokyo
?
Invited talk in The Acoustical Society of Japan Spring Meeting held on March 15, 2017.独立低ランク行列分析に基づくブラインド音源分離（Blind source separation based on independent low-rank...
独立低ランク行列分析に基づくブラインド音源分離（Blind source separation based on independent low-rank...Daichi Kitamura
?
北村大地, 小野順貴, 澤田宏, 亀岡弘和, 猿渡洋, "独立低ランク行列分析に基づくブラインド音源分離," IEICE Technical Report, EA2017-56, vol. 117, no. 255, pp. 73–80, Toyama, October 2017 (招待講演).
Daichi Kitamura, Nobutaka Ono, Hiroshi Sawada, Hirokazu Kameoka, and Hiroshi Saruwatari, "Blind source separation based on independent low-rank matrix analysis," IEICE Technical Report, EA2017-56, vol. 117, no. 255, pp. 73–80, Toyama, October 2017 (in Japanese, Invited talk).深层学习を用いた音源定位、音源分离、クラス分类の统合～环境音セグメンテーション手法の绍介～
深层学习を用いた音源定位、音源分离、クラス分类の统合～环境音セグメンテーション手法の绍介～Yui Sudo
?
音の情报から周囲の环境を理解するためには、「いつ、どこから、何の音が鸣っているか」という情报を推定する必要がある。従来、音源定位や音源分离、分类といった手法が个别に研究されてきたのに対し、深层学习を用いた统合的なアプローチが提案されている。本発表では、音源定位、音源分离、クラス分类を深层学习で同时に扱う际に生じる问题とその回避策に関する研究を绍介する。独立低ランク行列分析に基づく音源分离とその発展
独立低ランク行列分析に基づく音源分离とその発展Kitamura Laboratory
?
北村大地, "独立低ランク行列分析に基づく音源分离とその発展," 電子情報通信学会 信学技報, SIP2021-32, vol. 121, no. 144, pp. 19–24, オンライン, 2021年8月（査読無，招待講演）.Dsp2015for ss
Dsp2015for ssSaruwatariLabUTokyo
?
This document summarizes a research talk on statistical-model-based speech enhancement techniques that aim to reduce noise without generating musical noise artifacts. The talk outlines conventional enhancement methods like spectral subtraction and Wiener filtering that often cause musical noise. It then proposes a biased minimum mean-square error estimator that can achieve a musical-noise-free state by introducing a bias parameter. Analysis and experiments show this method can reduce noise while keeping the kurtosis ratio fixed at 1.0 to prevent musical noise, outperforming other techniques in terms of speech quality. A strong speech prior model is found to limit achieving musical-noise-free states, so the prior must be carefully selected.やさしく音声分析法を学ぶ： ケプストラム分析とLPC分析
やさしく音声分析法を学ぶ： ケプストラム分析とLPC分析Shinnosuke Takamichi
?
音声分析法のであるケプストラム分析とLPC分析について、
簡単に説明したものです。
音声研究の初学者向け。
twitter: forthshinjiICASSP 2019での音響信号処理分野の世界動向
ICASSP 2019での音響信号処理分野の世界動向Yuma Koizumi
?
ICASSP 2019音声＆音響論文読み会（https://connpass.com/event/128527/）での発表資料です。
AASP (Audio and Acoustic Signal Processing) 分野の紹介と、ICASSP 2019での動向を紹介しています。#icassp2019jp非負値行列分解の確率的生成モデルと 多チャネル音源分離への応用 (Generative model in nonnegative matrix facto...
非負値行列分解の確率的生成モデルと 多チャネル音源分離への応用 (Generative model in nonnegative matrix facto...Daichi Kitamura
?
北村大地, "非負値行列分解の確率的生成モデルと多チャネル音源分離への応用," 慶應義塾大学理工学部電子工学科湯川研究室 招待講演, Kanagawa, November, 2015.
Daichi Kitamura, "Generative model in nonnegative matrix factorization and its application to multichannel sound source separation," Keio University, Science and Technology, Department of Electronics and Electrical Engineeing, Yukawa Laboratory, Invited Talk, Kanagawa, November, 2015.A Brief Introduction of Anomalous Sound Detection: Recent Studies and Future...
A Brief Introduction of Anomalous Sound Detection: Recent Studies and Future...Yuma Koizumi
?
Yuma Koizumi presents an overview of anomalous sound detection (ASD), discussing recent challenges and future prospects, particularly in unsupervised settings. The presentation highlights the difficulties of detecting anomalies due to the unpredictability of data patterns and emphasizes the need for innovative approaches to training models with limited labeled data. Additionally, it addresses the impact of domain shifts on detection systems and suggests adaptations using few-shot learning techniques.Kameoka2017 ieice03
Kameoka2017 ieice03kame_hirokazu
?
電子情報通信学会総合大会
企画講演セッション「適応信号処理の基礎と展開」
亀岡弘和，小野順貴，猿渡洋：音響分野におけるブラインド適応信号処理の展開
【DL輪読会】Incorporating group update for speech enhancement based on convolutio...
【DL輪読会】Incorporating group update for speech enhancement based on convolutio...Deep Learning JP
?
1. The document discusses a research paper on speech enhancement using a convolutional gated recurrent network (CGRN) and ordered neuron long short-term memory (ON-LSTM).
2. The proposed method aims to improve speech quality by incorporating both time and frequency dependencies using CGRN, and handling noise with varying change rates using ON-LSTM.
3. CGRN replaces fully-connected layers with convolutions, allowing it to capture local spatial structures in the frequency domain. ON-LSTM groups neurons based on the change rate of internal information to model hierarchical representations.More from NU_I_TODALAB (20)
音学シンポジウム2025「ニューラルボコーダ概説：生成モデルと実用性の観点から」
音学シンポジウム2025「ニューラルボコーダ概説：生成モデルと実用性の観点から」NU_I_TODALAB
?
音学シンポジウム2025
第156回音声言語情報処理研究発表会
招待講演
米山 怜於：ニューラルボコーダ概説：生成モデルと実用性の観点から，2025年6月
名古屋大学 情報学研究科 知能システム学専攻 戸田研究室2025年3月音楽情报科学研究会「大局的构造生成のための小节特徴量系列モデリングに基づく阶层的自动作曲」
2025年3月音楽情报科学研究会「大局的构造生成のための小节特徴量系列モデリングに基づく阶层的自动作曲」NU_I_TODALAB
?
音楽情報科学研究会
澤田 桂都，Wen-Chin Huang，戸田 智基：大局的構造生成のための小節特徴量系列モデリングに基づく階層的自動作曲，2025年3月
名古屋大学 情報学研究科 知能システム学専攻 戸田研究室2025年5月応用音响研究会「滨颁础厂厂笔2025における音楽情报処理の动向」
2025年5月応用音响研究会「滨颁础厂厂笔2025における音楽情报処理の动向」NU_I_TODALAB
?
応用音響研究会
橋爪 優果：ICASSP2025における音楽情報処理の動向，2025年5月
名古屋大学 情報学研究科 知能システム学専攻 戸田研究室2025年5月応用音响研究会「滨颁础厂厂笔2025における异常音検知の动向」
2025年5月応用音响研究会「滨颁础厂厂笔2025における异常音検知の动向」NU_I_TODALAB
?
応用音響研究会
藤村 拓弥：ICASSP2025における異常音検知の動向，2025年5月
名古屋大学 情報学研究科 知能システム学専攻 戸田研究室Automatic Quality Assessment for Speech and Beyond
Automatic Quality Assessment for Speech and BeyondNU_I_TODALAB
?
Mila Conversational AI reading group
Wen-Chin Huang：Automatic Quality Assessment for Speech and Beyond，May 2025
名古屋大学 情報学研究科 知能システム学専攻 戸田研究室深层生成モデルに基づく音声合成技术
深层生成モデルに基づく音声合成技术NU_I_TODALAB
?
第21回情報科学技術フォーラム（FIT2022）
招待講演
戸田 智基：深层生成モデルに基づく音声合成技术，Sep. 2022
名古屋大学 情報学研究科 知能システム学専攻 戸田研究室信号の独立性に基づく多チャンネル音源分离
信号の独立性に基づく多チャンネル音源分离NU_I_TODALAB
?
令和四年度 電気?電子?情報関係学会 東海支部連合大会
招待講演
李 莉：信号の独立性に基づく多チャンネル音源分离，Aug. 2022
名古屋大学 情報学研究科 知能システム学専攻 戸田研究室
The VoiceMOS Challenge 2022
The VoiceMOS Challenge 2022NU_I_TODALAB
?
The VoiceMOS Challenge 2022 aimed to encourage research in automatic prediction of mean opinion scores (MOS) for speech quality. It featured two tracks evaluating systems' ability to predict MOS ratings from a large existing dataset or a separate listening test. 21 teams participated in the main track and 15 in the out-of-domain track. Several teams outperformed the best baseline, which fine-tuned a self-supervised model, though the top-performing approaches generally involved ensembling or multi-task learning. While unseen systems were predictable, unseen listeners and speakers remained a difficulty, especially for generalizing to a new test. The challenge highlighted progress in MOS prediction but also the need for metrics reflecting both ranking and absolute accuracy敌対的学习による统合型ソースフィルタネットワーク
敌対的学习による统合型ソースフィルタネットワークNU_I_TODALAB
?
日本音響学会 2021年秋季研究発表会
米山 怜於, Yi-Chiao Wu, 戸田 智基：敌対的学习による统合型ソースフィルタネットワーク，Sep. 2021
名古屋大学 情報学研究科 知能システム学専攻 戸田研究室距离学习を导入した二値分类モデルによる异常音検知
距离学习を导入した二値分类モデルによる异常音検知NU_I_TODALAB
?
日本音響学会 2021年秋季研究発表会
畔栁 伊吹, 林 知樹, 武田 一哉, 戸田 智基：距离学习を导入した二値分类モデルによる异常音検知，Sep. 2021
名古屋大学 情報学研究科 知能システム学専攻 戸田研究室Investigation of Text-to-Speech based Synthetic Parallel Data for Sequence-to...
Investigation of Text-to-Speech based Synthetic Parallel Data for Sequence-to...NU_I_TODALAB
?
This document investigates the use of synthetic parallel data (SPD) to enhance non-parallel voice conversion (VC) through sequence-to-sequence modeling. The study evaluates the feasibility and influence of SPD on VC performance, analyzing various training pairs and the effectiveness of semiparallel datasets. Findings indicate that SPD is viable for VC, but its success depends on the training data quality and the size of the dataset used.Interactive voice conversion for augmented speech production
Interactive voice conversion for augmented speech productionNU_I_TODALAB
?
This document discusses recent progress in interactive voice conversion techniques for augmenting speech production. It begins by explaining the physical limitations of normal speech production and how voice conversion can augment speech by controlling more information. It then discusses how interactive voice conversion allows for quick response times, better controllability through real-time feedback, and understanding user intent from multimodal behavior signals. Recent advances discussed include low-latency voice conversion networks, controllable waveform generation respecting the source-filter model of speech, and expression control using signals like arm movements. The goal is to develop cooperatively augmented speech that can help users with lost speech abilities.颁搁贰厂罢「共生インタラクション」共创型音メディア机能拡张プロジェクト
颁搁贰厂罢「共生インタラクション」共创型音メディア机能拡张プロジェクトNU_I_TODALAB
?
第135回音声言語情報処理研究会
招待講演
戸田 智基：颁搁贰厂罢「共生インタラクション」共创型音メディア机能拡张プロジェクト，Feb. 2021
名古屋大学 情報学研究科 知能システム学専攻 戸田研究室Recent progress on voice conversion: What is next?
Recent progress on voice conversion: What is next?NU_I_TODALAB
?
The document discusses recent advancements in voice conversion (VC) techniques, emphasizing the importance of preserving linguistic content while modifying non-linguistic features. It outlines the Voice Conversion Challenges (VCC) from 2016 to 2020, highlighting different training methods and the role of neural vocoders. The paper also suggests future directions for VC research, focusing on improving performance, developing interactive applications, and exploring higher-level feature conversions.Weakly-Supervised Sound Event Detection with Self-Attention
Weakly-Supervised Sound Event Detection with Self-AttentionNU_I_TODALAB
?
This document presents a weakly-supervised sound event detection method using self-attention, aiming to enhance detection performance through the utilization of weak label data. The proposed approach introduces a special tag token for weak label handling and employs a transformer encoder for improved sequence modeling, achieving performance improvements from a baseline CRNN model. Experimental results indicate a notable increase in sound event detection accuracy, with the new method outperforming the baseline in various evaluation metrics.Statistical voice conversion with direct waveform modeling
Statistical voice conversion with direct waveform modelingNU_I_TODALAB
?
This document provides an outline for a tutorial on voice conversion techniques. It begins with an introduction to the goal of the tutorial, which is to help participants grasp the basics and recent progress of VC, develop a baseline VC system, and develop a more sophisticated system using a neural vocoder. The tutorial will include an overview of VC techniques, introduction of freely available software for building a VC system, and breaks between sessions. The first session will cover the basics of VC, improvements to VC techniques, and an overview of recent progress in direct waveform modeling. The second session will demonstrate how to develop a VC system using the WaveNet vocoder with freely available tools.音素事后确率を利用した表现学习に基づく発话感情认识
音素事后确率を利用した表现学习に基づく発话感情认识NU_I_TODALAB
?
日本音響学会 2019年春季研究発表会
岡田 慎太郎，安藤 厚志，戸田 智基：音素事后确率を利用した表现学习に基づく発话感情认识，Mar. 2019
名古屋大学 情報学研究科 知能システム学専攻 戸田研究室 End-to-End音声認識ためのMulti-Head Decoderネットワーク
End-to-End音声認識ためのMulti-Head DecoderネットワークNU_I_TODALAB
?
日本音響学会 2018年秋季研究発表会
林 知樹，渡部 晋治，戸田 智基，武田 一哉：End-to-End音声認識ためのMulti-Head Decoderネットワーク，Sep. 2018.
名古屋大学 情報学研究科 知能システム学専攻 戸田研究室空気／体内伝导マイクロフォンを用いた雑音环境下における自己発声音强调／抑圧法
空気／体内伝导マイクロフォンを用いた雑音环境下における自己発声音强调／抑圧法NU_I_TODALAB
?
日本音響学会 2018年秋季研究発表会
高田 萌絵，関 翔悟，戸田 智基：空気／体内伝导マイクロフォンを用いた雑音环境下における自己発声音强调／抑圧法，Sep. 2018
名古屋大学 情報学研究科 知能システム学専攻 戸田研究室Hands on Voice Conversion
Hands on Voice ConversionNU_I_TODALAB
?
The document outlines a hands-on workshop for developing voice conversion (VC) systems using open-source software called Sprocket, created by Nagoya University. It details the process of building a traditional GMM-based VC and includes instructions for installing the software, preparing datasets, and configuring the system for speaker conversion. The overall goal is to provide participants with the knowledge and tools needed to initiate their own VC research and development.Ad
ケプストラム正则化狈罢贵によるステレオチャネル楽曲音源分离
- 2. 目次 ? はじめに ? 先行研究（周波数独立ゲインNTF） ? ケプストラム正則化の導入 ? 実験的評価 ? おわりに 2 2016年秋季研究発表会 2016/9/14
- 4. ブラインド音源分離 ? 目的音源数と観測チャネル数により問題が変化 ? （目的音源数） （観測チャネル数）: ‐優決定条件 ‐独立成分分析（ICA） ? （目的音源数） （観測チャネル数）: ‐劣決定条件 ‐非負値行列因子分解（NMF） ? 劣決定条件下での音源分離を想定 4 2016年秋季研究発表会 2016/9/14
- 5. 非負値行列因子分解（NMF） ? 行列の低ランク表現手法 ? 観測行列（スペクトログラム）を2つの行列へと分解 ‐ :基底行列 ‐ :アクティベーション行列 5 2016年秋季研究発表会 2016/9/14
- 6. 周波数独立ゲインNTF[Seki+16] ? 概要 ‐楽曲情報:ゲインと音源集合による混合過程（パンニング） ‐振幅/パワースペクトル領域における線形演算を仮定 ‐各音源スペクトログラムが低ランク行列で表現 6 2016年秋季研究発表会 L R 楽曲情報 ゲイン 音源集合 推定信号 ゲイン ゲイン 音源集合 z基底 アクティベーション 2016/9/14
- 7. 周波数独立ゲインNTF[Seki+16] ? 定式化 ‐ 推定チャネル信号: ‐ ゲイン情報 : ‐ 基底 : ‐ アクティベーション : ? 目的関数 ? β情報量規準更新式 βNMFと同様な更新式 7 2016年秋季研究発表会 インデックス ? :周波数ビン ? :基底 ? :フレーム ? :音源 ? :チャネル 2016/9/14
- 8. ? 自由度が高く適切な分離が困難 ↑ 推定するパラメータ数が多数 ? 各楽器音に対する事前情報（正則化）の付与 ‐楽器音ごとの包絡情報を利用 先行研究における課題 8 2016年秋季研究発表会 8 学習データ 包絡成分を抽出 モデル化 推定信号 ゲイン 音源集合 Prior 2016/9/14
- 11. 提案法 –ケプストラム正則化NTF- ? 先行研究への正則化項の導入 ‐ケプストラム系列に対するGMM対数尤度 ? 提案手法の目的関数（KL情報量規準） ‐乗法更新式として解析解を導出可能 ‐正則化パラメータの調整について実験的に評価 11 2016年秋季研究発表会 2016/9/14
- 12. ステレオチャネル楽曲分離アルゴリズム 1. パラメータ を乱数により初期化 2. 周波数独立ゲインNTFによりパラメータ初期値を推定 3. ケプストラム正則化項NTFによりパラメータを推定 4. 各チャネル信号の時間周波数スロットにおける 事前SN比を推定 5. ウィナーフィルタにより分離音を抽出 （位相については観測チャネル信号を利用） 12 2016年秋季研究発表会 2016/9/14
- 13. 実験的評価 ? 実環境で録音された3音源楽曲に対する分離性能評価 ? データの作成 ‐使用データ:Cambridge Music Technology内の1曲 （Bass, Drums, Vocals） ‐パンニングにより実験楽曲を作成 ? 実験データ ‐学習データ:冒頭30 s以降（各パート音源） ‐評価データ:冒頭20-30 s（実験楽曲） ? 評価対象 ‐従来法:先行研究（周波数独立ゲインNTF） ‐提案法:正則化パラメータを変更し評価 13 2016年秋季研究発表会 Bass; ２:１ Drums; １:３ Vocals; ４:１ 2016/9/14
- 14. 実験条件 14 2016年秋季研究発表会 音源数 3 サンプリング周波数 16 kHz フレーム? 32 ms シフト? 16 ms 基底数 50 更新回数 200（w/o 正則化） 200（w/ 正則化） 規準情報量 KL情報量 ケプストラム次数 0-20 GMM混合数 30 評価指標 SDR，SIR （未処理の場合からの改善量） 2016/9/14
- 15. 実験結果 ? SDR改善量 提案法による性能向上が確認 ? SIR改善量 15 2016年秋季研究発表会 2016/9/14
- 16. おわりに ? ケプストラム正則化NTFを提案 ? 提案法に対する実験的評価を実施 ‐正則化項の有無/強さによる分離性能の評価 正則化項導入による分離精度向上が確認 ? 適切な正則化パラメータ値の決定方法 ? GMMのモデル化精度が分離性能に与える影響の調査 16 2016年秋季研究発表会 2016/9/14