狠狠撸

狠狠撸Share a Scribd company logo

情报学特论#02

?
?
Kenta Murata
Kenta Murata
1 of 125
Download to read offline
情报学特论#02 2008-04-21 むらた けんた
おしながき ? Shannon 情報量と Boltzmann エントロ ピー ? 情報量の定義 ? Shannon エントロピーと Boltzmann エントロピー ? 可逆计算の物理学 ? 計算で必要なエネルギー 2
Shannon 情報量と Boltzmann エントロピー の続き 3
素朴な 疑?問 4
情報ってな んだろう？ 5
分かる人 ?シ 6
Wikipedia 7
広義の情報（じょうほう、英 Information） は、人の判断?意思を左右?決定させるすべて の事象である。 これは一定の文脈の中で意味を 持つものを広く指す概念であり、言語、貨幣、 法律、環境中の光や音、神経の発火やホルモン などの生体シグナルを始め、あらゆるものを 「情報」とみなすことができる。たとえば、 <私>の意識にのぼるあらゆるものは、<私>に とって意味があるものであり、<私>にとっての 「情報」であると言える。 8
広義の情報（じょうほう、英 Information） は、人の判断?意思を左右?決定させるすべて の事象である。 これは一定の文脈の中で意味を 持つものを広く指す概念であり、言語、貨幣、 法律、環境中の光や音、神経の発火やホルモン などの生体シグナルを始め、あらゆるものを 「情報」とみなすことができる。たとえば、 <私>の意識にのぼるあらゆるものは、<私>に とって意味があるものであり、<私>にとっての 「情報」であると言える。 9
広義の情報（じょうほう、英 Information） は、人の判断?意思を左右?決定させるすべて の事象である。 これは一定の文脈の中で意味を 持つものを広く指す概念であり、言語、貨幣、 法律、環境中の光や音、神経の発火やホルモン などの生体シグナルを始め、あらゆるものを 「情報」とみなすことができる。たとえば、 <私>の意識にのぼるあらゆるものは、<私>に とって意味があるものであり、<私>にとっての 「情報」であると言える。 10
広義の情報（じょうほう、英 Information） は、人の判断?意思を左右?決定させるすべて の事象である。 これは一定の文脈の中で意味を 持つものを広く指す概念であり、言語、貨幣、 法律、環境中の光や音、神経の発火やホルモン などの生体シグナルを始め、あらゆるものを 「情報」とみなすことができる。たとえば、 <私>の意識にのぼるあらゆるものは、<私>に とって意味があるものであり、<私>にとっての 「情報」であると言える。 11
広義の情報（じょうほう、英 Information） は、人の判断?意思を左右?決定させるすべて の事象である。 これは一定の文脈の中で意味を 持つものを広く指す概念であり、言語、貨幣、 法律、環境中の光や音、神経の発火やホルモン などの生体シグナルを始め、あらゆるものを 「情報」とみなすことができる。たとえば、 <私>の意識にのぼるあらゆるものは、<私>に とって意味があるものであり、<私>にとっての 「情報」であると言える。 12
&濒迟;私&驳迟;にとっての「情报」 13
&濒迟;私&驳迟;にとっての「情报」 「情報」は，それを受け取る人 によって性質が異なるもの 13
受信者に依存して情報の 性質が変化する 14
受信者に依存して情報の 性質が変化する ? これは当たり前である 14
受信者に依存して情報の 性質が変化する ? これは当たり前である ? このままでは情報についての客観的な 性質や法則を調べることはできない 14
受信者に依存して情報の 性質が変化する ? これは当たり前である ? このままでは情報についての客観的な 性質や法則を調べることはできない ? 情報の「内容」は無視し，情報の 「量」について調べよう！ 14
情報の「量」が持つ 3つの性質 15
情報量の性質 (1) 16
情報量の性質 (1) ? 予め分かっている事を教えられたり， 起こる可能性が100%である出来事が 発生したとしても，それらに関する情 報を得たことにはならない 16
情報量の性質 (1) ? 予め分かっている事を教えられたり， 起こる可能性が100%である出来事が 発生したとしても，それらに関する情 報を得たことにはならない ? 既知情報が持つ情報量はゼロ 16
情報量の性質 (2) 17
情報量の性質 (2) ? ある知識を一度に知るのか，それとも 少しずつ複数回に分けて知るのかに よって，最終的に得られる情報量は変 化しない 17
どういうことか? ? 52枚のトランプの山から1枚取りまし た．何か当ててみてください． 18
どういうことか? ? 52枚のトランプの山から1枚取りまし た．何か当ててみてください． (1) カードは?7です． 18
どういうことか? ? 52枚のトランプの山から1枚取りまし た．何か当ててみてください． (1) カードは?7です． (2) 少しずつヒントを出していく． 18
どういうことか? ? 52枚のトランプの山から1枚取りまし た．何か当ててみてください． (1) カードは?7です． (2) 少しずつヒントを出していく． i. カードは赤です． 18
どういうことか? ? 52枚のトランプの山から1枚取りまし た．何か当ててみてください． (1) カードは?7です． (2) 少しずつヒントを出していく． i. カードは赤です． ii. カードは奇数です． 18
どういうことか? ? 52枚のトランプの山から1枚取りまし た．何か当ててみてください． (1) カードは?7です． (2) 少しずつヒントを出していく． i. カードは赤です． ii. カードは奇数です． iii. カードは文字ではありません． 18
无知 19
无知 ?7 19
无知 ?7 赤 19
无知 ?7 赤 赤 奇数 19
无知 ?7 赤 奇数 ?文字 赤 赤 奇数 19
无知 ?7 赤 奇数 ?文字 赤 赤 奇数 19
最終的に得られる知識は同じ 无知 ?7 赤 奇数 ?文字 赤 赤 奇数 19
知识を得る顺番にも依存しない 无知 ?7 20
知识を得る顺番にも依存しない 赤 无知 赤 奇数 ?7 赤 奇数 ?文字 20
知识を得る顺番にも依存しない 无知 ?7 21
知识を得る顺番にも依存しない 奇数 赤 无知 奇数 ?7 奇数 赤 ?文字 21
形式的に考える 22
形式的に考える ? 出来事 E が発生したことで得られる情 報の量を I(E) と書くことにする． 22
形式的に考える ? 出来事 E が発生したことで得られる情 報の量を I(E) と書くことにする． ? トランプの例をこの記法で書くと次式 のように表せる 22
形式的に考える ? 出来事 E が発生したことで得られる情 報の量を I(E) と書くことにする． ? トランプの例をこの記法で書くと次式 のように表せる I(?7) = I(赤 奇数 ?文字 …) = I(赤) + I(奇数) + I(?文字) + I(…) 22
情報量の性質 (2) ? ある知識を一度に知るのか，それとも少しず つ複数回に分けて知るのかによって，最終的 に得られる情報量は変化しない 23
情報量の性質 (2) ? ある知識を一度に知るのか，それとも少しず つ複数回に分けて知るのかによって，最終的 に得られる情報量は変化しない ? 出来事が E = E1 ∩ E2 ∩ … のように高々可算個 の出来事に分解できるとき 23
情報量の性質 (2) ? ある知識を一度に知るのか，それとも少しず つ複数回に分けて知るのかによって，最終的 に得られる情報量は変化しない ? 出来事が E = E1 ∩ E2 ∩ … のように高々可算個 の出来事に分解できるとき ∞ I(E) = I(Ek ) k=1 23
情報量の加法性 ? ある知識を一度に知るのか，それとも少しず つ複数回に分けて知るのかによって，最終的 に得られる情報量は変化しない ? 出来事が E = E1 ∩ E2 ∩ … のように高々可算個 の出来事に分解できるとき ∞ I(E) = I(Ek ) k=1 23
情報量の性質 (3) 24
情報量の性質 (3) ? 滅多に起こらない出来事 (予測しにくい 出来事) の発生や，具体的な知識の獲得 などに伴って得られる情報量は大きい 24
情報量の性質 (3) ? 滅多に起こらない出来事 (予測しにくい 出来事) の発生や，具体的な知識の獲得 などに伴って得られる情報量は大きい ? 逆に，よくある出来事 (予測しやすい出 来事) の発生や，不確かな知識?曖昧な 知識の獲得などに伴って得られる情報 量は小さい 24
トランプの逆袭 25
トランプの逆袭 无知 ?7 赤 奇数 ?文字 赤 赤 奇数 25
Venn 図で考える 26
Venn 図で考える トランプ52枚 26
Venn 図で考える 赤 トランプ52枚 26
Venn 図で考える 赤 トランプ52枚 奇数 26
Venn 図で考える 赤 文字以外 トランプ52枚 奇数 26
Venn 図で考える 赤 文字以外 ? トランプ52枚 奇数 26
Venn 図で考える 赤 文字以外 7 ? トランプ52枚 奇数 26
Venn 図で考える 赤 文字以外 7 ? ?7 トランプ52枚 奇数 26
すなわち 27
発生確率が小さい出来 事の情報量は大きい 発生確率が大きい出来 事の情報量は小さい 28
情報量の性質 ? 既知の出来事（発生確率が 100%）の発生に 伴う情報量はゼロ ? 情報量の加法性: 出来事が E = E 1 ∩ E2 ∩ … の ように高々加算個の出来事に分解できるとき ∞ I(E) = I(Ek ) k=1 ? 情報量は出来事の発生確率に反比例 29
この性質を満 たす数学上の 道具が欲しい 30
あるよ！ 31
32
出来事 E が確率 P(E) で発生するとき， E の発生に伴って得られる情報量 I(E) は 32
出来事 E が確率 P(E) で発生するとき， E の発生に伴って得られる情報量 I(E) は 1 I(E) = logb P (E) 32
出来事 E が確率 P(E) で発生するとき， E の発生に伴って得られる情報量 I(E) は 1 I(E) = logb P (E) 対数の底が b = 2 のとき，I(E) に [shannon] もしくは [bit] という単位を付ける．これを Shannon 情報量と呼ぶことがある． 32
例題 箱に赤玉と白玉が1個ずつ入っていま す．中身を見ずに1個だけ玉を取り出し たとき，それが赤玉である確率 P赤 と， そのときに得られる情報量 I赤 を求めな さい． 33
答 箱の中から取り出した玉は赤か白のどち 1 らかなので P赤 = 2 従って，得られる情報量は 1 I赤 = log2 = ? log2 P赤 P赤 1 = ? log2 = log2 2 2 = 1 [shannon] 34
情报源 35
情报源 ? 情報が出てくる源を情报源という 35
情报源 ? 情報が出てくる源を情报源という ? 例: 新聞，TV，PC，人間，… 35
情报源 ? 情報が出てくる源を情报源という ? 例: 新聞，TV，PC，人間，… ? 一般に，ひとつの情报源から出てくる 情報は様々であり，それぞれの情報が 異なる大きさの情報量を持っていても 良いはずである 35
情报源が持つ平均情報量 36
情报源が持つ平均情報量 情报源から出る可能性がある情報につい て，それらの情報量を情报源全体で平均す ると，情报源から得られる情報量の期待値 がわかる 36
情报源が持つ平均情報量 情报源から出る可能性がある情報につい て，それらの情報量を情报源全体で平均す ると，情报源から得られる情報量の期待値 がわかる Shannon エントロピー 36
Shannon エントロピー 37
Shannon エントロピー ? 情报源 S が高々可算個の情報 (出来事) E , E , 1 2 … を持っていて，それぞれの確率が P1, P2, … であるとする． 37
Shannon エントロピー ? 情报源 S が高々可算個の情報 (出来事) E , E , 1 2 … を持っていて，それぞれの確率が P1, P2, … であるとする． ? このとき，情报源 S の Shannon エントロ ピー H(S) は次式で与えられる (単位は情報量 と同じ [shannon] である)． 37
Shannon エントロピー ? 情报源 S が高々可算個の情報 (出来事) E , E , 1 2 … を持っていて，それぞれの確率が P1, P2, … であるとする． ? このとき，情报源 S の Shannon エントロ ピー H(S) は次式で与えられる (単位は情報量 と同じ [shannon] である)． ∞ ∞ 1 H(S) = Pk I(Ek ) = Pk log2 Pk k=1 k=1 37
例題 ? 箱の中に赤玉と白玉が合計 n 個入っていて， そのうち赤玉は m 個である． ? 箱の中を見ずに玉を一個取り出したときに赤 玉が出る確率 P赤 と，白玉が出る確率 P白 を 求め，それぞれの場合の情報量 I赤 と I白 を求 めよ． ? さらに，箱のエントロピー H 箱 を求めよ． 38
答 m P赤 = n m n?m P白 = 1 ? P赤 = 1 ? = n n 1 n I赤 = log2 = log2 = log2 n ? log2 m [shannon] P赤 m 1 n I白 = log2 = log2 = log2 n ? log2 (n ? m) P白 n?m [shannon] 39
答 (つづき) H箱 = P赤 I赤 + P白 I白 m = (log2 n ? log2 m) n n?m + (log2 n ? log2 (n ? m)) n m = log2 n ? log2 (n ? m) ? [log2 m ? log2 (n ? m)] n [shannon] 40
H箱 は P赤 の関数である m H箱 = log2 n ? log2 (n ? m) ? [log2 m ? log2 (n ? m)] n n m m = log2 ? log2 n?m n n?m 1 P赤 = log2 ? P赤 log2 P白 P白 1 P赤 = log2 ? P赤 log2 1 ? P赤 1 ? P赤 41
演習問題 ? 次の関数 H(P) が P = 1/2 で最大値を示 すことを証明しなさい． 1 P H(P ) = log2 ? P log2 1?P 1?P ※ グラフを描いても証明にはならないので 注意すること 42
突然ですが 43
前回の演習問題 を思い出そう 44
1分子理想気体の等温圧缩 V1 V2 1 ここで V2 = V1 2 圧縮前後での気体のエントロピーと自由エ ネルギーの変化は ?S = ?kB log 2 ?F = kB T log 2 45
しかし… 46
しかし… 等温圧縮では気体の内部エネルギーは変化 しないため，1個しか存在ない分子が持つ 運動エネルギーも変化しない… 46
しかし… 等温圧縮では気体の内部エネルギーは変化 しないため，1個しか存在ない分子が持つ 運動エネルギーも変化しない… 分子の運動状態が変化しないのにエントロ ピーと自由エネルギーが変化した理由は， 気体の圧縮によって分子が存在可能な場所 に関する我々の知識が変化したから！ 46
情报量との関係 47
情报量との関係 ? 気体の体積が半分になると，エントロ ピーが kB log 2 だけ減少する ? 気体を情报源として見たとき， 気体の 体積が半分になることは，気体から得 られる情報の可能性が半減したことと 同じである 47
得られる情報が半減したときの Shannon エントロピーの変化 サイコロで考える: (1) ふつうのサイコロ (2) (出た目 – 1) / 2 した整数部分をとる場合 (0, 1, 2 しか出ない) 48
得られる情報が半減したときの Shannon エントロピーの変化 サイコロで考える: (1) ふつうのサイコロ 1 H1 = 6 × log2 6 = 1 + log2 3 [shannon] 6 (2) (出た目 – 1) / 2 した整数部分をとる場合 (0, 1, 2 しか出ない) 48
得られる情報が半減したときの Shannon エントロピーの変化 サイコロで考える: (1) ふつうのサイコロ 1 H1 = 6 × log2 6 = 1 + log2 3 [shannon] 6 (2) (出た目 – 1) / 2 した整数部分をとる場合 (0, 1, 2 しか出ない) 1 H2 = 3 × log2 3 = log2 3 [shannon] 3 48
得られる情報が半減したときの Shannon エントロピーの変化 サイコロで考える: (1) ふつうのサイコロ 1 H1 = 6 × log2 6 = 1 + log2 3 [shannon] 6 (2) (出た目 – 1) / 2 した整数部分をとる場合 (0, 1, 2 しか出ない) 1 H2 = 3 × log2 3 = log2 3 [shannon] 3 ?H = H1 ? H2 = 1 [shannon] 48
Shannon エントロピーと Boltzmann エントロピー 49
Shannon エントロピーと Boltzmann エントロピー 系の可能な状態数が 1/2 になるとき，系の Boltzmann エントロピーは kB log 2 [J/K] だけ減少し，そのとき変化する Shannon エントロピーは 1 [shannon] である． 49
Shannon エントロピーと Boltzmann エントロピー 系の可能な状態数が 1/2 になるとき，系の Boltzmann エントロピーは kB log 2 [J/K] だけ減少し，そのとき変化する Shannon エントロピーは 1 [shannon] である． 1 [shannon] = kB log 2 [J/K] 49
エントロピーが減少？ ? 熱力学第2法則 50
エントロピーが減少？ ? 熱力学第2法則 ? 閉鎖系のエントロピーは減少しない 50
エントロピーが減少？ ? 熱力学第2法則 ? 閉鎖系のエントロピーは減少しない ? 気体を等温圧縮したことを観測した人間まで 含めて閉鎖系として考えると，減少した気体 のエントロピーは，観測者のエントロピーを (知識という形で) 上昇させる 50
可逆计算の物理学 51
计算に必要な最小のエネルギー 52
计算に必要な最小のエネルギー ? 現存するすべての計算機 (CPU) は動作 するために大量の熱を発生させている 52
计算に必要な最小のエネルギー ? 現存するすべての計算機 (CPU) は動作 するために大量の熱を発生させている ? このような無駄な発熱をゼロにできる と仮定したとき，計算をするためだけ に本質的に必要なエネルギー量はどの くらいになるだろう？ 52
计算机と物理学 53
计算机と物理学 ? コンピュータで行う計算について最も低いレ ベルで考えるとき，我々は論理回路を扱う 53
计算机と物理学 ? コンピュータで行う計算について最も低いレ ベルで考えるとき，我々は論理回路を扱う ? しかしながら，論理回路で用いる論理ゲート は物理的に実現された素子の理想化である 53
计算机と物理学 ? コンピュータで行う計算について最も低いレ ベルで考えるとき，我々は論理回路を扱う ? しかしながら，論理回路で用いる論理ゲート は物理的に実現された素子の理想化である ? 計算機の論理状態には必ず何らかの物理状態 が対応している 53
论理状态と物理状态 54
论理状态と物理状态 ? 论理状态と物理状态が対応していると いうことは… 54
论理状态と物理状态 ? 论理状态と物理状态が対応していると いうことは… ? 可能な論理状態の個数が増減すると き，同時に対応する物理状態の候補も 増減する 54
状態の増減と消費エネルギー ? 思い出そう！ 55
状態の増減と消費エネルギー ? 思い出そう！ ? 系の状態が減少するとき，系のエントロ ピーは減少し，系の自由エネルギーは増 加する 55
状態の増減と消費エネルギー ? 思い出そう！ ? 系の状態が減少するとき，系のエントロ ピーは減少し，系の自由エネルギーは増 加する ? 従って，計算機の論理状態が減少するとき， 計算機のエントロピーは減少し，計算機の自 由エネルギーは増加する 55
Landauer の原理 (1) 56
Landauer の原理 (1) ? コンピュータが情報量 1 [shannon] を 消去するとする．環境に放出される消 費エネルギーの量は少なくとも kBT log 2 [J] である．ここで T はコン ピュータの環境の温度である． 56
Landauer の原理 (2) 57
Landauer の原理 (2) ? コンピュータが情報 1 [shannon] を消 去するとする．環境のエントロピーは 少なくとも kB log 2 [J/K] だけ増加す る． 57

More Related Content

情报学特论#02