狠狠撸

音声と音楽による
人間?機械間
メタコミュニケーション
伊藤彰則
東北大学大学院工学研究科
通信工学専攻
1

自己紹介
伊藤彰則（いとうあきのり）
?1963年生まれ
?東北生まれ東北育ち
?人工知能を志して夢破れる
?気を取り直して音声認識の
研究に従事
?音声認識/音声対話/音声?
オーディオ符号化/外国語
教育システム/音楽情報処
理など 2014年万里の長城入口にて
2

今日のおはなし
人間と機械のコミュニケーション
???に付随するさまざまな
「メタコミュニケーション」
について
?対話の話がメイン
?あとで歌声の話が出てきます
3

コミュニケーションと
コミュニケーションとは何か？
?（Shannon的な意味ではなく）
?用がある会話の場合，その「用」の伝達
コミュニケーションの例
?音声による対話
?ボディランゲージ
?イベント共有（カラオケとか）
4

コミュニケーションと
メタコミュニケーションとは
?「コミュニケーションに関する
コミュニケーション」
?コミュニケーション
? 内容を伝える（言語的）
?メタコミュニケーション
? コミュニケーションチャネル，送受信者の
状態など周辺情報を伝える
5

G. Bateson (1956, 1979)
?“Communication that refers to
communication”
ある行動が「本気」な
のか「ごっこ」なのか
をしめすシグナル
6

電気通信における
?無線通信のパイロット信号
? 送受信アンテナ間の利得と位相を計測
?TCP/IP
? コネクション開始時のSYN/ACKなど
? ヘッダ情報（ペイロード以外）
?HTTPヘッダ情報
? コンテンツの種類，サイズなど
通信路の状態，送信?受信側の状態などを交換する
→ 人間のコミュニケーションでも同様？
7

人間の
?音声言語＋α的文脈では
? 言語現象のみ[Levin+77,Sanford+87]
? 非言語現象を「パラコミュニケーション」
と呼ぶ [Beitman+07]
? 音声対話システムでは「聞き返し，確認」
などをメタコミュニケーションと呼ぶよう
だ [Beitman+95,Dybkaer+01]
?ここではコミュニケーションチャネル
に関係する情報交換をすべて「メタコ
ミュニケーション」と呼ぶ
8

メタコミュニケーションの
重要性
ロボットに何か言ってみよう
えーと，こっち来い
9

重要性
?通常の対話制御
? タスク達成のための情報収集
? ユーザについての仮定
? タスクについて知っている
? タスク達成のために努力する
10

重要性
?私の声が聞こえているのか？
?言ったことが理解できたのか？
?そもそもこいつ動けるの？
???
11

重要性
?コミュニケーションチャネルについて
の共有が足りない
12
話を聞こうとしているか
音が聞こえているか
発話内容を正しく聞き取ったか
うまく返答ができるか
話に興味があるか
タスクを実行する能力があるか
話しやすい相手だと思っているか

人間?(人間|機械)間の
?背の高さ
?外見
?話しかけやすさ
?対話の開始
?話を聞いているか
?ターンテイキング
?雑音環境対応
?発話相手の識別
?理解の表出
?聞き返し?確認
?興味の表出
?盛り上がり
?自信?信頼性
13

人間－(人間|機械)間の
?背の高さ
?外見
?話しかけやすさ
?対話の開始
?話を聞いているか
?ターンテイキング
?雑音環境対応
?発話相手の識別
?理解の表出
?聞き返し?確認
?興味の表出
?盛り上がり
?自信?信頼性
14

うるさくてよく聞こえない
んだけど
雑音下の音声認識はいつも困難
?耐雑音性の高い認識手法を利用
人間ならどうする？
?「雑音がひどくて聞き取れない」とい
うことを表出
? 話者に助けてもらう
? 雑音下でも聞き取りやすい発話様式を期待
16

んだけど
?劣悪な環境では，認識しやすい表現で指
示する [Oba+ 08]
? 雑音環境から認識性能を予
測する方法の確立
? システムが持つ文法に合う発
話をユーザに促すための対話
戦略
17

んだけど
?雑音から音声認識率を推定
→辞書と対話戦略を変える
18
環境システム発話ユーザ発話
高認識率ご用件をどう
ぞ
エアコンの温度を下
げて
低認識率質問にだけ答
えてください．ど
の機器を操作し
ますか？
えー，エアコン

んだけど
19
語彙対話戦略語彙対話戦略語彙対話戦略語彙対話戦略
対話戦略選択
認識率
推定（NN)
入力
音声
音声認識
語彙
対話管理
対話戦略語彙音声合成
出力
音声

ちょっと顔見せて
?音声対話システムでは仮想エージェント
やロボットが対話相手になることが多い
20
ゆるキャラ（たけまるくん）
[Cincarek+ 2008]
リアル風CG
[Wik+ 2009]
VR環境＋CG (REA)
[Bickmore+ 2005]
ロボット (SCHEMA)
[Matsuyama+ 2009]

?「話し相手」としてのキャラクタの効
果について調べた研究は案外少ない
? Bickmore&Cassell 2005
画像あり?なしの場合の性質
（disfluencyなど）は人間対
人間の会話に近い
?キャラクタとの関係，キャラクタの外
見やふるまいにも依存しそう
21

?ARエージェントによる「モノ」との対話
22
エージェントがいる場
合といない場合の対話
を比較
? 話しかけやすさが向
上
? 親しい口調のため単
語数が減少
[Miyake+ 2012]

上から目線？下から目線？
対話相手はどういう高さがいいのか
?一般に高い方が「偉く見える」
? 背の高い人の方が年収が高い
[Judge+ 2004]
? ビデオ会議でモニタを高い位置に置くと会
話の支配率が上がる [Huang+ 2002]
?従来は直感で設計
? ASIMOの高さは1200mm
23

上から目線？下から目線？
?高さ変更可能なロボットによる対話実験
[Hiroi+ 2012]
? もっとも話しやすいロボット
の高さは，人間の目の高さ
から30cm下±20cm以内
? 従来のロボットとおおむね
一致
24

もっと近づいてもいい？
ロボットはどこまで近づいてもいい
のか
?四角いロボットを近づけて適切な位置
で止める実験を行った[Hiroi+ 2009]
25
? ロボットが大きいほど適
切な「間合い」は大きい
? およそ1m～1.4m
? ロボットの高さが1.2mを
超えると頭打ち

もしもし，聞こえてる？
音声で指示をして実作業をする
ロボット
?稼働中に人間の言うことに反応しなく
なったらどうする？
26
)))
STOP!

?ロボットが命令を無視する状況での
コマンド音声の特徴を調査
[Totsuka+ 2014]
? 移動ロボットを音声で止める
? 1/5の確率で命令を無視
27

何が起きたか
?発話速度は「遅くなる」
?F0は「ちょっと高くなる」
?パワーは「変わらない」
雑音化音声と似た特徴
?「ディスコミュニケーション」の一般
的特徴？
?相手がロボットだから？
28

ねえ，なぜ黙っているの？
音声対話システムの仮定
?システムがプロンプトを発声
→ユーザはすぐ答える
実際にはそう甘くない（はず）
うまく答えられない場合
?入力内容を考えるのに時間がかかって
いる
?何を入力していいかわからない
?やる気がない
29

答えられない場合の例
30
登録済みの
ユーザIDをどうぞ
ユーザID？
何のこと？
登録済みの
ユーザIDをどうぞ
ああ、
えーっと???
State Aの例 State 叠の例

?従来の対応
? 一定時間後にプロンプト音声を繰り返す
(Incremental prompt) [Yankelovitch96]
? 前記のAの場合（しかも原因が聞き取りの
問題だった場合）しか対応できない
?何がしたいか
? 答えられない原因の推定
→原因に応じた案内をする（といいな）
31

?入力できないユーザの状態推定
[Chiba+ 14]
32
学習データ
特徴抽出
VQ
コード
ブック
テストデータ
特徴抽出
VQ
分類器（SVM）
学習推定Bag-of-Behavior
セッションセッション
特徴系列
…
VQ系列
…
頻度ベクトル
5 9 8 5 7 3
特徴系列
…
VQ系列
…
頻度ベクトル
4 4 6 5 3 8

?音声特徴量
? MFCC+Δ+ΔΔ+ΔF0+ZCC
?画像特徴量
? 顔の特徴点
? 視線特徴量
33

識別結果
?マルチカーネルSVMにより約72%
?音声特徴量25%，視線特徴量75%
?顔の特徴点は効いていない
?時系列での識別も可能
34

早く答えてよ！
人間と人間，人間と機械の英会話
35
How are
you?
Great.
And you? How are
you?
… fine.

音声対話による英会話学習システム
?日本人のための英会話学習
?音声対話システムによる会話練習
?CGキャラクタ利用
36
… fine.

対人間の場合と同じようなタイミン
グで答えてほしい
?人間の場合は微妙な表情などで間合い
を測っている（？）
?CGキャラクタやロボットでそれと同じ
制御をするのは簡単ではない
37

発話促進のための人工的な表現
（タイムプレッシャー表現）の導入
[Suzuki+ 14]
38
だんだん
赤くなる

?タイムプレッシャーの効果
? 交替潜時が減少
? 「練習をしている感じ」
「緊張感」が向上
? 朗読だけの練習より
交替潜時減少が大きい
? 効果が2週間後も持続
39

音楽における
音楽の場合「コミュニケーション」
にあたるものは？
?もちろん統一見解はない
?いわゆる音楽的要素（メロディ，リズ
ム，音色，演奏?歌唱表情など）
?歌詞（？）
?感情，ムード（？）
40

音楽における
それではメタコミュニケーションは
何なのか
?もちろん統一見解はない
?パフォーマーの態度
?場の雰囲気
?聴衆の反応
41

熱唱度
歌唱のうまさではなく「一生懸命
さ」[Daido+ 12]
?歌唱態度の一種
科学的?技術的問題点
?そもそも「熱唱」の知覚に一貫性があ
るのか？
?あったとして、それが自動的に測れる
のか？
42

知覚熱唱度と本人熱唱度
43歌唱者聴取者
もっと
激しく！
これは
熱いぜ！
知覚熱唱度
本人熱唱度

熱唱度は知覚できるか
データセット
?「熱唱」「普通」の指示で素人が歌っ
た歌唱音声
分析
?同一フレーズに対する「自分の評価
値」と「自分以外の評価値平均」との
相関の分布を見る
44

多くの評価者が0.7～0.9に分布する
?評価者間の「熱唱度」の知覚傾向は似てい
る
45

歌唱者の「熱唱」「普通」の違いは知
覚されるのか
46

熱唱度は人による
「熱く歌う人」の普通は「熱く歌えな
い人」の熱唱よりも熱唱
47

熱唱度の自動評価
3つの特徴量を使用
?A特性パワー、ずり下げ、ビブラート
人間による評価値との相関 0.66
48

自動評価値と主観評価値
比較的高い相関
?右図は学習と評
価が異なる楽曲
の場合の結果
?線形回帰
49

本人熱唱度を測る
?知覚熱唱度は人によって大きく異なる
?どんなに頑張っても「熱唱」と知覚
されない歌唱者がいる
?本人熱唱度は測れるのか？
? 「熱唱」「非熱唱」の2値分類
?歌唱パワーの時間的なばらつきを測る
[Ito 14]
? 熱唱と非熱唱ではサビの大きさが異なる
? 単純な方法で72%程度の精度
50

おわりに
声を使ったコミュニケーションに
おけるメタコミュニケーション
?メタコミュニケーションの重要性
?最終的には人間同士のコミュニケー
ションに近いチャネルを実現
????それが本当に欲しかったのか？
51

おわりに
?「人間に対して感情をシミュレートす
るロボットは作るべきでない」という
意見がある[50]
? 産総研のPAROなどへの批判
? もし禁止しなければ，世の中が「にせも
の」だらけになるぞ，という警告
52
[50] Bringsjord&Clark. Red-pill robots only, please. IEEE Trans. Affective Comp.,
3(4):394-397, 2011.

おわりに
?この件についての個人的感想
? 感情（に類するもの）のシミュレーション
なしにはメタコミュニケーションは成立し
えない
? 人間に対するコミュニケーションチャネルと同じ
ものを機械が使うためには不可欠
? もう手遅れ
? ギャルゲーの発展(1991～)
? HMDによるキャラクタ召喚
53

今度こそ終わり
この発表で言及した研究は，多くの
学生?研究者のみなさんとの共同研
究の成果です
54
ありがとうございました

狠狠撸

音声と音楽による人间?机械间メタコミュニケーション

More Related Content

音声と音楽による人间?机械间メタコミュニケーション