狠狠撸

?子供の?言語獲得と
機械の?言語獲得
（株）Preferred Infrastructure
海野?　裕也（@unnonouno）
2016/03/17 PFIセミナー

?自?己紹介
海野 ?裕也
l?? -2008 東?大情報理理?工修?士
l?? ?自然?言語処理理
l?? 2008-2011 ?日本アイ?ビー?エム（株）東京基礎研
l?? テキストマイニング、?自然?言語処理理の研究開発
l?? 2011- （株）プリファードインフラストラクチャー
l?? ?自然?言語処理理、情報検索索、機械学習、テキストマイニングなど
の研究開発
l?? 研究開発系案件、コンサルティング
l?? JubatusやChainerの開発
l?? 最近は対話処理理
NLP若若?手の会共同委員??長（2014-）
「オンライン機械学習」（2015, 講談社）2

知能とは何か？
3
計算記憶推論論
認識識制御予測
理理解創造 ?言語
?一?口に知能といっても様々な側?面があるので、扱
いたい対象についてもっとよく知るべきだろう

?言語処理理とその周辺の知識識処理理
4

記号（?言語）の中で閉じた議論論を
するコトに対する危機感
5

今?日の話
l?? ?人がことばを知るとはどういうことか？
l?? ?自然?言語処理理は主に?大?人の?言語を解析すること
にフォーカスがあたっていた
l?? 今?日の話は?子供が?言語を獲得することに関して、
少し勉強したのでその周辺の話をまとめます
l?? 機械学習の?文脈でどこに対応するのかはさわり
だけ
6

主な参考資料料
最近読んでいた本
l?? ?言葉葉をおぼえるしくみ: ?母語
から外国語まで.
今井むつみ, 針?生悦?子
l?? ことばの発達の謎を解く.
今井むつみ
l?? なるほど！?赤ちゃん学.
?玉川?大学?赤ちゃんラボ
7

ことばの獲得推移
8
年齢
1歳
初語の獲得
?月に10語
くらい
?日に10語
くらい
語彙爆発
18歳で6万語
平均10語/?日

ヘレン?ケラー
9
モノには名前があるということを知った
途端にことばを覚えるようになった

即時マッピング
l?? ?子供は新しいことばを聞いた瞬間に正しく使え
るようになる
l?? 間違いを繰り返すことによって覚えるわけでは
ない
10
即時マッピングと呼ぶ

機械学習的アプローチとの?比較
l?? 今の話
l?? 1回聞いただけで?大まかな意味は捉えられる
l?? ?一度度に1つしか学習しないが、過去に覚えた概念念との
関係を獲得する
l?? 機械学習（例例えばword2vec）
l?? 勾配法で反復復することでゆるゆる収束する
l?? ?一度度にたくさん異異なる情報を?見見せないと偏った学習
をする
11

クワインのガヴァガイ問題
12
ガヴァガイだ！
ウサギのこと？
ふわふわしたこと？
4本?足の動物？
?耳を指してる？

ことばの?非?自明な特性
l?? ことばが何のどこを指すのか？
l?? 他の場?面にどれくらい適?用できるか？
13

ことばを「知る」ことは想像以上に不不可思議
l?? 当たり前と思っていることに気づくのは難しい
l?? 機械学習その他諸々をすると、当たり前だと
思っていることがなかなか学習してくれない
l?? 当たり前だと思っているのでお客さんの印象が
極めて悪い
14

余談：ブーバキキ効果
15
どちらが「ブーバ」で、
どちらが「キキ」でしょう？

なぜ即時マッピングが可能なのか？
仮説：ことばに対する強い思い込みがあり、
その思い込みを使って可能な候補を絞り込
んでいる
16

実験?方法
Q：どうやって確認するのか？
A：実際に?子供に?見見せて反応を?見見る
どうやって？
17

実験?方法
18
図は[今井14]から引用
これがネケだよ
別の個体似ている何か?生き物無関係
完全?一致

実験?方法
19
1
2
3
4
5
数字の順番で、
カテゴリの
範囲が狭い
どれをネケと思うかでカテゴリの粒粒度度がわかる

実験結果
20
l?? ?一貫した反応をする ?à? ?カテゴリと思っている
l?? 基礎レベル（形状がだいたい同じ）までの反応が?一番多
い

?子供は何か普遍的なてかがりを使っているのでは？
l?? ことばの認識識に偏り（バイアス）がある
l?? 実験で様々なバイアスがわかってきた
l?? 事物全体バイアス
l?? 事物カテゴリーバイアス
l?? 形バイアス
l?? 相互排他性バイアス
l?? バイアスがフレーム問題解決の?手がかり？？
21

事物全体バイアス
l?? 「コップ」と?言われた時に、「取っ?手」やコップの
「?色」のことではなくて、コップそのもののことを指し
ていると推定する
l?? 先の実験で、基礎レベル刺刺激まで反応したこととも合致
22
モノの名前は?色や素材ではなく
事物全体の名前と考える

事物カテゴリバイアス
l?? 対象そのものだけではなく、「似ている」対象は同じ語
を使っていいと考える
l?? 先の実験の結果と?一致
l?? どれを「似ている」と考えるかはケースバイケース
23
未知の語を固有名詞ではなく
カテゴリ名だと考える

形バイアス
l?? 先の実験結果と?一致
l?? 形バイアスと、事物カテゴリーバイアスのいずれである
かという論論争が続いている（らしい）
24
カテゴリに対してではなく
似た形に対して同じ語だと思う

相互排他性バイアス
l?? ?犬も猫も「ニャンニャン」と?言っていた?子供に、?犬だけ
「ワンワン」と教えると、猫は「ニャンニャン」?犬は
「ワンワン」と覚える
25
モノの名前は
ただ?一つであると考える

事物全体バイアス
事物カテゴリーバイアス
形バイアス
相互排他性バイアス
26
ことばと他の感覚（視覚）の関係
ことばとことばの関係

今の深層学習で同じことができる？
27
これが同じように「動物」
だと認識識できる？
この辺が類似なのは
分かりそう

word2vecはことばとことばの関係 [Mikolov+13]
l?? 埋め込みベクトルの学習を始め、ことば同?士の関係しか
?見見ていない
28

l?? ことばは、ことばだけで覚えることはない
l?? ?非常に少ない事例例でことばを覚える
l?? これらを扱う機械学習の研究はあるか？
29

Zero-shot learning
l?? テスト事例例に対する学習データがない分類問題
l?? ???というと流流?石に無理理なので、異異なる情報
源を使う
l?? 画像の分類問題だが、ラベル単語間の関係は別
のテキストデータから学習できる
30

NIPS2013読み会の得居さんの資料料参照
31

画像と単語の表現ベクトルの関係を学習 [Socher
+13]
l?? 画像特徴を?非線形変換して、対応する単語ベクトルに近
づくように学習する
l?? 最近の深層学習系のZero-shot learningのはしり（？）
32
既知クラス既知画像単語埋込画像特徴

DeVise [Frome+13]
l?? ?一般物体認識識のモデルと、word2vecのモデルを作る
l?? 両者（?片?方を変換）の類似度度が?高くなるように学習
33

ConSE [Norouzi+14]
l?? 単語埋め込みベクトルの重み付き平均にする
l?? 単純だがDeViseより当たる
34
画像がyに分類される確率率率 yの単語埋め込み
x: ??入?力力画像
y(x, ?t): ?xに対するt番?目の予測ラベル

多様体学習を使う [Changpinyo+16]
l?? 単語空間（左）と画像区間（右）で、phantom（biと
vi）との相対的な位置関係が保たれるように配置する
l?? phantomの位置も同時に最適化する
35

Zero-shot learningが?示すこと
l?? 単語の類似度度と?見見た?目（画像）の類似度度を紐紐付
けることができる
l?? これは、画像の説明?文?生成、画像QAなどがうま
く?行行っているということとも合致する
36

途中で気づいた
l?? Zero-shot learningの問題設定は、未知の画像を
既知の単語に紐紐付ける
37
ネケってこれのこ
とだったのか?～

Zero-shot learningはことばの獲得に当たるか？
l?? 向きが逆だった
l?? 極めて少数の事例例から学習する問題は、One-shot
learning
38
これがネケだよ?～

One-shot learning
l?? たった1つの訓練事例例だけで学習する
l?? 本当に1つだと無理理なので、それ以外のデータは
たくさんある
l?? ものすごく?辛い半教師あり学習（？）
39

NIPS2013読み会の能地さんの資料料参照
40

Hierarchical Bayesian Program Learning [Lake
+13]
l?? ?文字を書く過程を分解して、書き?方の「常識識」を学ぶ
l?? 「?文字」というタスクにかなり特化している
41

Zero vs One
l?? Zero-shot learning
l?? 学習事例例がないので、代わりにラベル間の関係をテ
キストデータから学習知る
l?? ことばは知っているけど?見見たことないモノの名前紐紐
付ける
l?? One-shot learning
l?? 学習事例例が?一つしのラベルをあてられるようにする
l?? 初めてきく単語をモノに紐紐付ける
l?? ベイズ系の?手法が多い
42

少し考えるとバイアスと?矛盾したことがいくらでも
?見見つかる
43
固有名詞
下位の?一般名詞
上位の?一般名詞
?一般名詞
「動物」
「イヌ」
「柴犬」
「ハチ公」
形が似てなくても
同じ語になる
同じ対象に複数の
語が対応している
カテゴリーではな
い語が存在する
物質名はどう
するの？

固有名詞の獲得
l?? 冠詞の有無で?子供の反応が変わる
l?? This is a dux.
l?? This is Dux.
l?? 後者は固有名だと把握したような反応をする
l?? 既知のモノを別のコトバで呼ぶ
l?? ペンギン（知っている）のぬいぐるみを「ネケ」と
呼ぶ
l?? 「ネケ」は固有名だと把握したような反応をする
44

話はそんなに単純ではない
l?? ここまでの話は名詞の話
l?? 動詞、形容詞、その他???はまた異異なる現象
が知られている
l?? 動詞：モノとモノの関係
l?? 形容詞：モノの特性
l?? 更更に知りたい?人は、本を読んでみてください
45

まとめ
l?? ?子供がことばを覚える過程は不不可思議
l?? ある年年齢以降降、急激に語彙を覚え始める
l?? ?一度度?見見ただけで語彙を覚える
l?? ?人間の認識識にはバイアスがある
l?? コトバとは何か、何をカテゴライズするか、どのように使い分
けるかに対する強烈烈な偏りがある
l?? 即時マッピングに関係しそうな機械学習を紹介
l?? Zero-shotは既知の単語を未知のモノに結びつける
l?? One-shotは未知の単語をモノに結びつける
l?? コトバの不不思議はまだまだいっぱい
46

参考?文献 1/3
l?? [今井+14]今井 ?むつみ, 針?生 ?悦?子.
?言葉葉をおぼえるしくみ: ?母語から外国語まで.ちくま学芸
?文庫, 2014.
l?? 今井むつみ.
ことばの発達の謎を解く.ちくまプリマー新書, 2013.
l?? ?玉川?大学?赤ちゃんラボ.
なるほど！?　?赤ちゃん学―ここまでわかった?赤ちゃんの
不不思議―. 新潮?文庫, 2014.
47

参考?文献 2/3
l?? [Mikolov+13] Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg
Corrado, Jeffrey Dean.
Distributed Representations of Words and Phrases and their
Compositionality. NIPS 2013.
l?? [Socher+13] Richard Socher, Milind Ganjoo, Christopher D.
Manning, Andrew Y. Ng.
Zero-Shot Learning Through Cross-Modal Transfer. NIPS 2013.
l?? [Frome+13] Andrea Frome, Greg S. Corrado, Jonathon Shlens,
Samy Bengio, Jeffrey Dean, Marc’Aurelio Ranzato, Tomas
Mikolov.
DeViSE: A Deep Visual-Semantic Embedding Model. NIPS
2013.
48

参考?文献 3/3
l?? [Norouzi+14] Mohammad Norouzi, Tomas Mikolov, Samy
Bengio, Yoram Singer, Jonathon Shlens, Andrea Frome, Greg S.
Corrado, Jeffrey Dean.
Zero-Shot Learning by Convex Combination of Semantic
Embeddings. ICLR 2014.
l?? [Changpinyo+16] Soravit Changpinyo, Wei-Lun Chao, Boqing
Gong, Fei Sha.
Synthesized Classifiers for Zero-Shot Learning. arXiv
1603.00550.
l?? [Lake+13] Brenden M. Lake, Ruslan R. Salakhutdinov, Josh
Tenenbaum.
One-shot learning by inverting a compositional causal
process. NIPS 2013.
49

狠狠撸

子供の言语获得と机械の言语获得

More Related Content

子供の言语获得と机械の言语获得