誤り訂正符号からのボルツマン分布入門(アイディア)¶

誤り訂正符号から自然にボルツマン分布が出てくる例 [高田他] ．物理でボルツマン分布やってなくても，ボルツマン分布が分かるような導入法にならないかな，と考え中．

[高田他]

「誤り訂正符合のナイーブ平均場近似」 http://ci.nii.ac.jp/naid/110003232345/

誤り訂正符号¶

送信側のメッセージ¶

送信側のメッセージは $N$ 次元のバイナリ符号 $\bm{\xi} \in \{ -1, 1 \}^N$ だとする．メッセージ $\bm{\xi}$ の正規確率は一様分布

$P (\bm{\xi}) = \frac{1}{2^N}$

を仮定する．さらに，冗長信号として $\bm{\xi}$ の各成分の $r$ 個の積 $\xi_{i_1} \cdots \xi_{i_r}$ を送信する．

通信路の性質¶

送信されるメッセージには正規分布で表現されるノイズが加わり，受信側では

$\xi_i \to \tau_i$ ,
$\xi_{i_1} \cdots \xi_{i_r} \to J_{i_1 \cdots i_r}$

と変化するとする．つまり，通信チャンネルの特性は，条件付確率

$P (\bm{J}, \bm{\tau} | \bm{\xi}) = \prod_{i_1 < \cdots < i_r} P (J_{i_1 \cdots i_r} | \bm{\xi}) \prod_{i} P (\tau_i | \bm{\xi})$

$P (J_{i_1 \cdots i_r} | \bm{\xi}) = \frac{1}{\sqrt{2 \pi \frac{J^2 r!}{N^{r-1}} }} \exp \left( - \frac{(J_{i_1 \cdots i_r} - \frac{j_0 r!}{N^{r-1}} \xi_{i_1} \cdots \xi_{i_r})^2} { 2 \frac{J^2 r!}{N^{r-1}} } \right)$

$P (\tau_i | \bm{\xi}) = \frac{1}{\sqrt{2 \pi \tau^2 }} \exp \left( - \frac{ (\tau_i - \tau_0 \xi_i)^2 }{ 2 \tau^2 } \right)$

で表されると考える．

受信されるメッセージ(事後確率)¶

ベイズの公式から事後確率は $P (\bm{\xi} | \bm{J}, \bm{\tau}) \propto P (\bm{J}, \bm{\tau} | \bm{\xi}) P (\bm{\xi})$ となる． $P (\bm{\xi})$ が一様分布で， $\bm{\xi}$ を $\bm{\sigma}$ で推定することを考える．事後確率を計算すると， $\bm{\xi} \in \{ -1, 1 \}^N$ より， $\xi_i^2=1$ だから $\xi_i$ の一次の項のみが残り，

$P (\bm{\sigma} | \bm{J}, \bm{\tau}) \propto \exp \left( \beta \sum_{i_1 < \cdots < i_r} J_{i_1 \cdots i_r} \sigma_{i_1} \cdots \sigma_{i_r} + h \sum_i \tau_i \sigma_i \right)$