Estimating Mutual Information for Discrete‐Continuous Mixtures 離散?連続混合の相互情報量の推定Yuya Takashina
?
NIPS論文読み会@PFN
Gao, Weihao, et al. "Estimating mutual information for discrete-continuous mixtures." Advances in Neural Information Processing Systems. 2017.
https://arxiv.org/abs/1709.06212
Estimating Mutual Information for Discrete‐Continuous Mixtures 離散?連続混合の相互情報量の推定Yuya Takashina
?
NIPS論文読み会@PFN
Gao, Weihao, et al. "Estimating mutual information for discrete-continuous mixtures." Advances in Neural Information Processing Systems. 2017.
https://arxiv.org/abs/1709.06212
5. 解法
例えば、 2^32 より大きな素数 p をひとつ固定し
て、 MOD p で計算することにしてみよう。
割り算は、 x / y = x * y^(p-2) で計算する
( フェルマーの小定理 ) 。
6. 解法
MOD p で計算した結果、 X[N]=z になったとする。
1. 0≦z≦2^31-1 になったら z が答。
2. 2^31≦z なら z-p が答。
-2^31 0 2^31 p-2^31 p Z
Z/pZ
7. 証明
Q[p] = {x in Q ; x = a/b となるような整数 a, b が
存在する。ただし b は p の倍数でない }
このとき、 Q[p] は和や積について閉じている。
( 分母に p を含まない数同士の足し算や掛け算で
新しく分母に p が出てくることはない )
|Y[i]| ≦ 10^6 なので、 X[i] in Q[p] になる。
8. 証明
f を Q[p] から Z/pZ への写像で、 x = a/b(a,b は整
数、 b は p の倍数でない ) を a*b^(p-2) に写すもの
とする、つまり
f(a/b) = a * b^(p-2)
この関数は well-defined であることが示せる。
つまり x=a/b の表し方は複数あるが、どのように表
したとしても行き先は変わらない。