正規分布の周辺分布 - SuzukiMasayuki@Hatena::Diary

ノイズ $n$ が正規分布 $p(n)=\mathcal{N}(n; \mu_n, \Sigma_n)$ としてモデル化されていて，
さらにノイズが分かった上で観測信号 $x$ が出力される確率が
ノイズの線形変換を平均とする正規分布 $p(x|n)=\mathcal{N}(x; An+b, \Sigma_x)$ としてモデル化されている．

こんなとき， $x$ と $n$ の同時確率を $n$ で周辺化したい，というのはよくある状況かと思います．
丁寧に書くと，
$p(x) = \int p(x,n) dn = \int p(x|n)p(n) dn = \int \mathcal{N}(n; \mu_n, \Sigma_n)\mathcal{N}(x; An+b, \Sigma_x) dn$
を計算したいということです．

結論としては，解析的に計算できて，以下の正規分布になります．
$\int \mathcal{N}(n; \mu_n, \Sigma_n)\mathcal{N}(x; An+b, \Sigma_x) dn = \mathcal{N}(x;A\mu_n+b,\Sigma_x + A\Sigma_nA^\top)$

導出は PRML などに載っています．平方完成を使います．
VTS などモデルベースの特徴量強調技術を勉強するときには超頻出なので，
もはや公式として覚えておく必要があるかと思い，ここにメモしておきます．