狈罢滨颁は何を计算しているのか
0 likes4,330 views
Non-trivial information closure (Bertschinger et al. (2006) "Information and closure in systems theory")について調べてみたのでまとめました。
![[DL輪読会]Control as Inferenceと発展](https://cdn.slidesharecdn.com/ss_thumbnails/20191004-191204055019-thumbnail.jpg?width=560&fit=bounds)
![SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法](https://cdn.slidesharecdn.com/ss_thumbnails/os2-02final-210610091211-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]`強化学習のための状態表現学習 －より良い「世界モデル」の獲得に向けて－](https://cdn.slidesharecdn.com/ss_thumbnails/20181026staterepresenration-181127055206-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]SlowFast Networks for Video Recognition](https://cdn.slidesharecdn.com/ss_thumbnails/20191206slowfastnetworkkuboshizuma-191206010601-thumbnail.jpg?width=560&fit=bounds)
More Related Content
What's hot (20)
More from Masatoshi Yoshida (20)
狈罢滨颁は何を计算しているのか
- 1. NTICではなにを計算しているか NTICはあくまでも3者の間のMIについての関係式。 MIの対称性より、MI(X;Y)のX,Yは交換可能。 NTICはMIだけで計算できるから NTICの計算式そのものには向きはない。 NTIC(Z → X, Y) = MI(X; Y) ? MI(X; Y|Z) NTICではこの計算式を、 systemとenvironmentの時間的発展に当てはめることで、 時間方向の因果について意味付けしている。 X Y Z 結論:
- 2. MI(X; Y) H(Y|X) H(X|Y) H(X) H(Y) X,Yの2者のMI(X:Y)は エントロピーから計算できる。 MI(X; Y) = H(X) ? H(X|Y) = H(Y) ? H(Y|X) 相互情報量MIとエントロピーHの関係 H(X) H(Y) H(Z) MI(X; Y|Z) NTIC (Z → X, Y) = MI(X; Y) ? MI(X; Y|Z) NTIC(Z → X, Y) 同じ要領でX,Y,Zの3者の 条件付き相互情報量 MI(X;Y|Z) およびNTICを表示する。 NTICはX,Y,Zについて 対称になってる。
- 3. つまり(時系列を取っ払えば) https://en.wikipedia.org/wiki/ Multivariate_mutual_information#/media/ File:VennInfo3Var.svg NTIC = MI(X;Y;Z) MI(X;Y;Z)という形を見ると、 相関での高次の相関に似ているように見える。 そこで、p(X),p(Y),p(Z)がgaussianで近似できる場合の MI(X;Y;Z)の動態を調べてみた。 高次の相互情報量 NTIC = MI(X; Y; Z) よって、 NTICそれじたいは 3者の間で一つ決まる値であって、 なんらかの方向の影響 を意味しているわけではない。
- 4. p(X),p(Y),p(Z)がgaussianの場合 よってNTIC = MI(X,Y,Z) も相関と偏相関で書ける。 MI(X; Y; Z) = MI(X; Y) ? MI(X; Y|Z) Zhao J, Zhou Y, Zhang X, Chen L. (2016) Proc Natl Acad Sci U S A. 113(18):5130-5. のSupplementary informationに証明あり: https://www.pnas.org/content/pnas/suppl/2016/04/16/1522586113.DCSupplemental/pnas.1522586113.sapp.pdf = ? 1 2 log(1 ? ρ2 XY) + 1 2 log(1 ? ρ2 XY?Z) = ? 1 2 log( 1 ? ρ2 XY 1 ? ρ2 XY?Z ) p(X),p(Y),p(Z)がgaussianの場合、 相関係数 MIおよび条件付きMIは、相関および偏相関で書ける。 MI(X; Y) = ? 1 2 log(1 ? ρ2 XY) 偏相関係数MI(X; Y|Z) = ? 1 2 log(1 ? ρ2 XY?Z) ρXY?Z ρXY
- 5. Information closureをベン図で理解 S1 S2 E1 時系列データに戻ってinformation closureの分類に当てはめてみる。 Information Closure J(E → S) = MI(E1; S2 |S1) = 0 H(E1) H(S2) H(S1) MI(E1; S2 |S1) NTIC (E → S) MI(E1; S2) = 0Trivial case: MI(E1; S2) > 0Nontrivial case: このとき2つのケースがある。 Independence Passive adaptation or modeling
- 6. Trivial case: Nontrivial case: Information closureをベン図で理解 Information Closure J(E → S) = MI(E1; S2 |S1) = 0 H(E1) H(S2) H(S1) MI(E1; S2) = 0 MI(E1; S2) > 0 => Independence => Passive adaptation or modeling H(E1) H(S2)と に重なりがない。 H(E1) H(S2) H(S1) NTIC (E → S) H(E1) H(S2)と に重なりがあるが、 そこは に包含されている。H(S1)E1とS1は重なりうる。
- 7. イメージをふくらませるため先述の線形の条件で考えてみる。 線形条件(相関で置き換え可能)でのNTIC p(E_1),p(S_1),p(S_2)がgaussianの場合、 MIおよび条件付きMIは相関および偏相関係数の関数で書ける。 かつ Trivial case: Nontrivial case: ρE1S2 ≠ 0 そうすると ρE1S2 = 0 ρ2 E1S2 = ρ2 E1S2?S1 となる。 NTIC = MI(E1; S1; S2) = MI(E1; S2) ? MI(E1; S2 |S1) より、 MI(E1; S2) = MI(E1; S1; S2) つまり MI(E1; S2) = ? 1 2 log(1 ? ρ2 E1S2 ) MI(E1; S2 |S1) = ? 1 2 log(1 ? ρ2 E1S2?S1 ) つまり相関がゼロでないのに 相関と偏相関が等しいときにnontrivialなinformation closureが起こる。
- 8. このことから3つの相関係数が満たすべき条件がわかる。 ρ2 E1S2 = ρ2 E1S2?S1 かつρE1S2 ≠ 0 とは ρE1S2?S1 = ρE1S2 ? ρS1S2 ρE1S1 1 ? ρS1S2 1 ? ρE1S1 1 ? ρS1S2 1 ? ρE1S1 = ρE1S2 ? ρS1S2 ρE1S1 ρE1S2 (1 ? ρS1S2 )(1 ? ρE1S1 ) = 1 ? ρS1S2 ρE1S1 ρE1S2 より、 ρE1S2 = ρS1S2 ρE1S1 1 ? (1 ? ρS1S2 )(1 ? ρE1S1 ) Nontrivial case: 線形条件(相関で置き換え可能)でのNTIC
- 9. Nontrivial information closureしているときに が満たすべき条件ρE1S2 ρE1S2 = ρS1S2 ρE1S1 1 ? (1 ? ρS1S2 )(1 ? ρE1S1 ) 一般的にシステムには 自己相関があるから このとき必ず ρS1S2 > 0 ρE1S2 > 0 ρE1S1 ρS1S2 ?1 1 ?1 1 ρE1S2 ρE1S2 をカラー表示 けっきょく第1象限が いちばんありうる。 線形システムでInformation closureを保つためには、こういう 相関構造を維持する必要がある。 線形条件(相関で置き換え可能)でのNTIC
- 10. 生成モデルでの表現 NTIC(E1 → S1, S2) = MI(E1; S2) ? MI(E1; S2 |S1) S1 S2 E1 MI(E1; S2) = DKL(P(E1, S2)∥P(E1)P(S2)) MI(E1; S2 |S1) = DKL(P(S1, S2, E1)∥P(E1 |S1)P(S2 |S1)P(S1)) 相互情報量はKLDとして表現することができる。 よって、NTICは2つのKLDの差になってる。 MIを2つの生成モデルのKLDとして図示することができる。 P(S2 |E1)P(E1) MI(E1; S2) = DKL(P(E1, S2)∥P(E1)P(S2))相互情報量 P(S2)P(E1) 二つの 生成モデル のKL距離 S2 S2 E1E1 P(S2, E1) = 今度は逆に、生成モデルを使って積極的に向きをつけてみる。 P(S2, E1) =
- 11. P(S2 |E1)P(E1) MI(E1; S2) = DKL(P(E1, S2)∥P(E1)P(S2)) 生成モデルでの表現 相互情報量 P(S2)P(E1) 二つの 生成モデル のKL距離 条件付き 相互情報量 MI(E1; S2 |S1) = DKL(P(S1, S2, E1)∥P(E1 |S1)P(S2 |S1)P(S1)) P(S2 |S1, E1)P(S1 |E1)P(E1) S1 S2 S1 S2 P(S2 |S1)P(S1 |E1)P(E1) 二つの 生成モデル のKL距離 E1E1 S2 S2 E1E1 同様に条件付き総合情報量についても生成モデルが作れる。
- 12. 生成モデルでの表現 このように図示してみると、nontrivialなケースとは、 P(S2 |E1)P(E1) P(S2)P(E1) S2 S2 E1E1 P(S2 |S1, E1)P(S1 |E1)P(E1) S1 S2 S1 S2 P(S2 |S1)P(S1 |E1)P(E1) E1E1 NTIC(E1 → S1, S2) = MI(E1; S2) ? MI(E1; S2 |S1) 下図の距離はゼロなのに、上図の距離が正である場合になる MI(E1; S2) MI(E1; S2 |S1)