Ad
More Related Content
More from Ruo Ando (20)
解説#83 情報エントロピー
- 2. 秤とコインのパズル ? 手元に１２個のコインと秤がある。 ? １２個のコインのうち、１つは 偽金で他の１１個のコインより重い。 ? ２～３回の測定で偽金を見つけるには どうするか? ? このパズルを情報エントロピーを使って 考えてみる。
- 3. エントロピーとは? ? 不確かさの尺度。 ? エントロピーは分枝性を持つ。 ? Yを知ると、Xの不確かさはH(X)からH(X|Y)へ減少する。 ? Yを知ることで不確かさの分布がP1..PnからQ1..Qnへ変化する とすると、 ? 「どのコインが重いか」の わからなさ加減をHとする。
- 4. 秤とコインのパズルと木構造 3 4 1,2 3,4 5,6 7,8 1 2 7,8 3,6 1 2 4 3 7 8 3 6 下に行くほどエントロピーHは減る 秤に乗せて計る程、重いコインが どれか見当がつきやすくなる。
- 6. イェンゼンの不等式と熱力学の法則 ? ( ? ? ? ? ) = 0 熱力学の第一法則 Ci…Ckの熱溜めがあり、これらを接触させ、熱平衡Tfに達した場合、 熱力学の第一法則 - エネルギーの保存則から、 ? = 1 ? ? ? ΔS = c ?? ? = ? {ln ? ? 1 ? ({+ ? ln(? )} ? ln( 1 ? ? ) ? ? 1 ? {ln ? + ? ln ? } ≥ 0 ln( 1 ? ? ) ≥ ? 1 ? {ln ? + ? ln ? } 熱力学の第二法則 Ci…Ckが熱平衡Tfに達した場合の 全体のエントロピーの増加分をΔSとすると、
- 7. イェンゼンの不等式と熱力学の法則 ? Ｈ 全体の平均しか知らない場合 個別の平均を知っている場合 ↑lnを取ると、算術平均 > 幾何平均となる。 分布P1…Pkの区別がなくなり均されて、平衡すると、熱力学エントロピーは増加する