![17
自己相関関数
R[ f ]=∫?∞
∞
f t f t?dt
R[ x]=∑
i
xi xi?](https://image.slidesharecdn.com/presen-130702212642-phpapp02/85/-17-320.jpg)
![20
FFT ケプストラムによる F0 抽出
C =F [log∣X ∣
2
]
X =F [ xt]](https://image.slidesharecdn.com/presen-130702212642-phpapp02/85/-20-320.jpg)
音楽の情报処理
- 1. 1 音楽の情报処理
- 2. 2 音楽の科学 ● 音楽を支える科学 ● 音楽の数理 – 音階の起源 ● 楽器の科学 – 楽器の分類 – 楽器から音が出るしく み ● 音楽の文法 ● 音楽の工学 ● 新しい楽器の設計 ● 音楽の情报処理 – 電子楽器のための 音合成 – 自動採譜のための 技術
- 3. 3 音の協和性 (Consonance) ● 2 つの音があったとき，それがどれだけ「響き あって」 ( あるいは「濁って」 ) 聞こえるか？ 藤沢他：「和音認知に関する心理物理モデル」， 情報処理学会研究報告 (2006-MUS-66) ， 99-104 ． ● 音の「非協和度 (dissonance) 」は 1 半音 程度で最大となる ● デモをどうぞ
- 4. 4 調波複合音と協和性 ● パルス的な音のスペクトル ● 1 半音離れた音 ( 短 2 度 ) の混合 ● 7 半音離れた音 ( 完全 5 度 ) の混合
- 5. 5 どのような場合に協和度が高いか ● 2 音のどの倍音も不協和度が高い関係にない ? 2 音の周波数比が単純な整数比になる (2:1, 3:2, 4:3, 5:3, 5:4 など ) ● 2 音の周波数成分が完全に重なるか，あるいは十分 離れていればよい 周波数比 倍音 1 2 3 4 5 6 原音 1000 2000 3000 4000 5000 6000 2 倍 ( 完全 8 度 ) 2000 4000 6000 8000 10000 12000 3/2 倍 ( 完全 5 度 ) 1500 3000 4500 6000 7500 9000 4/3 倍 ( 完全 4 度 ) 1333 2666 4000 5333 6666 8000 5/4 倍 ( 長 3 度 ) 1250 2500 3750 5000 6250 7500 原音の基本周波数が 1000Hz の場合
- 6. 6 純正律と平均律 ● 純正律 ● I の和音 ( ドミソ ) の協和度が高くなる音階 ● それ以外の和音の協和性はいまいち．任意の調への 転調はできない ● 平均律 ● 半音の周波数比を一律 21/12 (100cent) とする ● 転調が可能だが和音の協和性は微妙に下がる 音名 ド レ ミ ファ ソ ラ シ ド 周波数比 1 9/8= 1.125 5/4= 1.250 4/3= 1.333 3/2= 1.5 5/3= 1.666 15/8= 1.875 2 音名 ド レ ミ ファ ソ ラ シ ド 周波数比 1 1.123 1.260 1.335 1.498 1.682 1.888 2
- 7. 7 楽音の処理 ● 音の生成 ● シンセサイザ等での音をどうやって作るか ● 音の認識 ● 複合音の分離 – 複数楽器やボーカルが入った音楽を各パートに分離する – 採譜?和音認識への応用 ● 音楽的構造の自動認識 – メロディーライン ( 採譜 ) – 和音 – 調 – テンポ
- 8. 8 音を作る ● シンセサイザの音をどうやって作るか ● 減算合成 ● 原音をフィルタで整形して音を作る ● 加算合成 ● 複数の正弦波を合成して音を作る ● FM 合成 ● FM 変調音を利用 ● PCM 音源 ● 録音した音をそのまま使う
- 9. 9 減算合成 ● アナログシンセサイザの代表的な合成方式 ● 高周波を含む波形を発振し，その周波数をフィ ルタで削って音を作る ● 音声のフォルマント合成と同じ原理 ● 波形の振幅を変調して「響き」を制御する ● ADRS(Attack, Decay, Release, Sustain) – 楽器の音の時間パターンを模擬 ● LFO (Low Frequency Oscillator) – 周波数を変調（ビブラート） – 振幅を変調（トレモロ） t A D R S
- 11. 11 FM 合成 ● 初期のディジタルシンセサイザの代表的合成方 式 ● 不規則な高周波成分を含む音を合成できる ● 現在は携帯電話の着メロなどの音源として使わ れている y=Asin2 f c tI sin 2 f m t ●キャリア周波数 fc と変調周波数 fm の比によって基本周波 数が決まる ●fc:fm=1:1, 1:2, 2:5, etc.
- 12. 12 PCM 音源 ● 録音してある音を再生（サンプラ） ● 音声合成の「録音合成」と同じ ● 既存の楽器の音を出すためには有効 ● 鍵盤楽器では鍵盤ごとに録音 ● ピッチ，長さの変更が必要 ● PSOLA ，フェーズボコーダ等を利用
- 13. 13 自動採譜のための技術 ● コンピュータによる 「耳コピ」 ● 採譜の対象 ● 単独音 ● 同じ楽器の和音 ● 異なる楽器のアンサン ブル ● ボーカルの存在 ● 自動採譜の技術 ● 基本周波数 (F0) の推 定（ピッチ抽出） ● 混合音の F0 推定 ● 調の推定 ● 和音のコード推定 ● テンポの推定
- 16. 16 波形から攻める 上記の波形を 168 ポイント (3.81ms) ずらし て重ねたもの 基本周波数 = 1/3.81(kHz)= 262.5Hz
- 17. 17 自己相関関数 R[ f ]=∫?∞ ∞ f t f t?dt R[ x]=∑ i xi xi?
- 20. 20 FFT ケプストラムによる F0 抽出 C =F [log∣X ∣ 2 ] X =F [ xt]
- 21. 21 混合音の F0 推定 ● 複数の調波複合音が混合された音から，個々の 音の高さを推定する ● 必ずしも個々の音自体が復元できなくても良い 0 2000 4000 6000 8000 10000 12000 -150 -100 -50 0 0 2000 4000 6000 8000 10000 12000 -150 -100 -50 0 0 2000 4000 6000 8000 10000 12000 -150 -100 -50 0 0 2000 4000 6000 8000 10000 12000 -120 -100 -80 -60 -40 -20 0
- 22. 22 混合音を扱う難しさ ● どの周波数ピークがどの音に由来するのかを特 定することが難しい 0 2000 4000 6000 8000 10000 12000 -120 -100 -80 -60 -40 -20 0
- 23. 23 対数周波数表現 200 2000 -150 -100 -50 0 200 2000 -150 -100 -50 0 200 2000 -150 -100 -50 0 0 2000 4000 6000 8000 10000 12000 -140 -120 -100 -80 -60 -40 -20 0 0 2000 4000 6000 8000 10000 12000 -140 -120 -100 -80 -60 -40 -20 0 0 2000 4000 6000 8000 10000 12000 -140 -120 -100 -80 -60 -40 -20 0 X f ≈∑ n=1 N an f ?n f 0 X ≈∑ n=1 N an ?log f 0?logn log f = X 0 =∑ n=1 N an ?log n X ≈ X 0?log f 0
- 24. 24 0.0 0.5 1.0 1.5 2.0 2.5 3.0 0123 x GMM(x) PreFEst 法 (Predominant Frequency Estimation) ● 調波複合音のパワースペクトルをガウス分布の 混合でモデル化 =∑ n n N ;log n , 2
- 25. 25 PreFEst 法 (Predominant Frequency Estimation) ● 混合音を GMM の混合でモデル化し，それぞれ の大きさを推定→ EM アルゴリズムを利用 p=∑ k ak ?k 0.0 0.5 1.0 1.5 2.0 2.5 3.0 02468 x pnormdist(x-0.5,a,0,0.02)+pnormdist(x-0.8,a,0,0.02)+ pnormdist(x-1.2,a,0,0.02) 0.0 0.5 1.0 1.5 2.0 2.5 3.0 02468 x pnormdist(x-0.5,a,0,0.02)+pnormdist(x-0.8,a,0,0.02)+ pnormdist(x-1.2,a,0,0.02)
- 26. 26 調性?和音の推定 ● 調の推定：曲全体がどんな調か ● C （ハ長調）， Am （イ短調）， etc. ● 和音の推定：同時に鳴っている，あるいは続け て鳴っている音が構成する和音は何か ● 特徴量：クロマベクトル (chroma vector) ● １２の音名に関連する強さを表すベクトル – 音符の記号処理の場合：各音名の出現頻度 – 信号処理の場合：各音名に対応する信号の強さの積分値 C C# D D# E F F# G G# A A# B 8 0 11 0 11 0 0 6 0 2 0 0 5 0 4 0 15 8 0 0 0 8 0 7 → チューリップ → 荒城の月
- 27. 27 音響信号に対する クロマベクトルの計算 ● パワースペクトルΦ (f,t) にバンドパスフィルタ をかけて，時間方向に積分 ● 同じ音名で違うオクターブのフィルタは全部積算 Chn=∑ t ∑ oct ∑ f f ,tBoct n , f
- 28. 28 クロマベクトルの利用 ● クロマベクトル（ 12 音名の離散分布）は調や 和音によって特徴的な値をとる 内山他：音講論 2-5-7, pp. 901-902, 2008-3
- 29. 29 テンポの推定 ● 音楽の長時間 ( 数百ミリ秒 ) の周期性 ● 120bpm = 2Hz 500ms? ● 問題点 ● 明確に定義できない場合もある ( 非西洋音楽等 ) ● ビートの検出が難しい場合もある ( アカペラ等 ) ● 局所的に変動する ● 基本的な処理 ● 特徴量 ( 音の立ち上がり ) 抽出 ● 自己相関関数による周期性の検出
- 30. 30 テンポ推定 ● ビートの特徴となる量を 検出する ● パワースペクトルの変化 量など – パワースペクトルを計算 – 時間方向に微分 – 周波数方向に積分 – 閾値処理 ● 自己相関関数により周期 性を検出 M.Alonso et al., ISMIR 2004.