独立成分分析の基礎と主成分分析との比較

独立成分分析は、主成分分析に変わる有効な信号処理手法です。

主成分分析との違いをサラッと紹介した後に、独立成分分析の学習手法を紹介したいと思います。

ちなみに、面倒なのでベクトルをボールド体で表現することはしません。全部ベクトルや行列だと思ってください。一次元のベクトルをスカラーだと思えば、特に区別する必要はないと思います。

ブラインド信号源分離（以後BSS）
主成分分析
独立成分分析
- 主成分分析との違い
- 独立性の計り方と勾配法

ブラインド信号源分離（以後BSS）

ブラインド信号源分離とは以下のような問題です。

個々の信号ベクトル $s$ に対して観測信号ベクトル $x$ が変換行列 $A$ によって、線形結合されて得られる場合に、元の個々の信号 $s$ を復元しようというものです。

$x=As$

となっているということです。これに対して

$A^{-1}$

を求めれば、問題は解けることになります。

$A^{-1}x=s$

となって、知りたかった個々の信号が取り出せるというわけです。

非常に単純な問題設定ですが、手元にあるデータは $x$ のみですから、実際には未知数が非常に多く普通には解けません。簡単として観測ベクトルの次元と、個々の信号の次元が一緒だったとしても、やはり条件が足らず求まらないので、何かしら仮定をして条件を加えていく必要があります。

主成分分析の場合は、観測データがガウス分布に由来するという仮定を用いてこの問題を解いていきます。

主成分分析

確率変数ベクトル $x$ が平均0で分散行列 $V_X$ の分布に従っていると仮定します。平均は0でなく、一般的に文字でおいても良いのですが、座標を平行移動して平均を0のデータに補正したと考えましょう。期待値演算を $E[・$ ]とすると、

$V_x=E[xx^T$ ]

です。仮に、直交行列 $O$ を用いて、手持ちの観測データ $x$ を $s=Ox$ と変換したとしましょう。すると、 $s$ の分散行列は

$V_s$ $=E[ss^T$ ] $=E[Oxx^{T}O^T$ ] $=E[OV_{x}O^T$ ]

となります。これが何の手掛かりになるのかを考えてみます。

もしも $V_s$ が対角行列になるならば、直交変換 $O$ によって、観測信号 $x$ が無相関化された信号 $s$ に変換されたと考えることができますね。

つまり逆の言い方をすれば、本来無相関であった信号 $s$ が観測時に色々混ざってしまって $x=O^{-1}s$ になったと考えることができるのです。そうであるならば $x$ の分散行列 $V_x$ を対角化するような行列 $O$ を見つければBSSの問題が解けるということになりますね。

主成分分析はこの考えで問題を解きます。

1．元々の信号は無相関であったと仮定

2．観測データを無相関化⇛分散行列 $V_x$ を対角化

3．分散行列 $V_x$ の固有値問題を解く

4．個々の固有ベクトルは新しい座標の基底となる

という発想です。そして、もしも $x$ が正規分布から生成されるとしたならば、正規分布は無相関であるときには必ず独立性も有しますので、個々の信号を取り出していることにちゃんとなります。

主成分分析の優れているところは、最終的に固有値問題に帰着されるということです。

固有値問題は一切の最適化などの工夫を必要とせず、ただ単に数値に対して計算を行えばいいのでプログラムとしては動作が非常に早いです。

独立成分分析

主成分分析との違い

もしも観測データが正規分布に従っていない場合はどうでしょう。

主成分分析をしてデータは無相関化されたとは言えど、まだ独立であるというわけにはいきません。できれば独立であるような状態でデータを見たほうが、完全に個々の変量について考察ができて便利です。

そこで、独立成分分析では観測データ $x$ に正規分布を仮定せずに、単に $s$ が独立になるように変換を求めようと考えます。

$x=As$

という状態に対して、仮に $A^{-1}$ を知っていれば

$A^{-1}x=s$

としてすぐさま取り出せるわけですが、今回は $A^{-1}$ を決定する具体的な手立ては見つかりそうにもありません。ですから、とりあえず適当な変換行列 $W$ を用いて

$y=Wx$

という変量を見てみることにします。そこで $y$ が独立性を有するかどうかを確認して、独立でなければ $W$ を違うものに変えるということを繰り返せば、いつか独立な $y$ が得られたら、晴れて $y=s$ が獲得できたと考えるのです。

1. $s$ は独立であり $x=As$ という変換がされているとする。

2. $y=Wx$ と変換してみて、 $W=A^{-1}$ を探したい。(そのとき $y=s$ と求まる）

3.直接 $A$ や $W$ は分からないので、 $y$ が独立性を有するかを見て $W$ を探す。

ちなみに２次元データに対して主成分分析(PCA)をして得られる基底と、独立成分分析(ICA)をして得られる基底の違いを図示したものを紹介します。

(http://meg.aalip.jp/ICA/)

f:id:s0sem0y:20160501174826p:plain

２次元データにプロットした青いデータは、斜めに交差しているように見えます。もしも青いデータが正規分布に従っているならば、これは直交しているはずです。しかし現実にはそうではないため、主成分分析を用いても適切な基底が得られていないように見えます。もちろん分析の目的にもよりますが、個々の成分を個別に考察したい場合は、明らかに独立成分分析のほうが適しているでしょう。

独立性の計り方と勾配法

では $y=Wx$ と変換してみてから、独立性を如何にして評価すればいいのかを考えます。

今は個々のデータベクトル $s$ は各成分が独立であるということを考えているので、 $s$ の各成分を $s_i$ とすれば、それぞれの成分の確率分布をとりあえず $r(s_i)$ と置いておけます。これを正規分布としたのが主成分分析でしたが、今は一般の分布を考えていますから、 $r(s_i)$ を頼りに問題を解いていくしかありません。

幸いにも、各成分が独立ですから、 $s=(s_1,s_2,...,s_i,...)^T$ というデータが得られる確率は、個々の成分の生じる確率の積で表され、

$r(s)=\prod{r(s_i)}$

となります。今、勝手な $W$ を使って $y=Wx$ としましょう。 $x$ は本来 $x=As$ のはずですから、

$s=A^{-1}x$

$x=W^{-1}y$

⇛ $s=A^{-1}W_{-1}y$

単に２回線形変換を受けただけとなっています。

この際 $y$ の確率分布 $p_{Y}(y)$ は

$p_{Y}(y)=|WA|^{-1}r(A^{-1}W^{-1}y)$

であり、もしも $W$ をうまく見つけて、 $W=A^{-1}$ となれば $p_{Y}(y)=r(s)$ となり、 $y=s$ が求まったことになります。つまり $r(s)$ に $p_{Y}(y)$ を近づけていく問題として解釈することができます。

しかし、そもそも $r(s)$ の形を知らないため、計算ができません。

それならば、適当に勝手な独立の分布 $q(y)$ というものを仮定して、この分布との近さを測ってみることにします。

$q(y)=\prod q_{i}(y_i)$

そもそも $s$ も未知 $r(s)$ もどうしようもありません。しかし勝手に独立な $q(y)$ という分布に $p(y)$ を近づけられれば、独立な $y$ を求めることはできます。そしてそれによって得られた $W$ こそ $A^{-1}$ だと考えるのです。つまり確率分布の隔たりを評価するKLダイバージェンス