数学編 第17回 独立、無相関、条件付き独立 ― 似て非なる3つの概念

位置: 数学編 第C部 第17回 / 前提: M13, M16 / この回でできるようになること: 独立・無相関・条件付き独立の違いを、具体例で区別できる

0. 物語 ― 無相関なのに独立でない例

ここまでの数学編で、期待値と分散、条件付き期待値、そして確率変数の間の「距離」を測る道具として共分散と相関係数が登場しました。相関係数がゼロなら「この2つは関係がない」と言いたくなります。実際、金融データの分析でもリスク管理でも、相関がゼロであれば2つの変数は無関係だとして先に進む場面は少なくありません。

ところが、その直感は危ういものです。

ある変数の値を2乗したものを、もう1つの変数だとしましょう。もとの変数が分かれば、2乗した値は自動的に決まります。片方を知れば、もう片方に不確実性は残りません。これ以上ないほど強い関係です。

しかし、もとの変数が平均ゼロの左右対称な分布に従うとき、この2つの相関係数はぴったりゼロになります。10万個のデータで計算しても、相関係数は0.0001にしかなりません。全体の平均はおよそ1.0ですが、もとの値が1より大きいときに限って平均を取るとおよそ2.5に跳ね上がり、逆にマイナス1より小さいときも同じくおよそ2.5です。片方の値によってもう片方の振る舞いが変わっている――つまり関係がないわけがないのに、相関係数はそれを教えてくれません。

相関係数が捉えるのは直線的な関係だけです。曲がった関係は見逃します。では、あらゆる関係を捉える概念は何かといえば、それが「独立」です。独立ならば相関はゼロになりますが、相関がゼロだからといって独立とは限りません。この一方通行の関係を、今回は定理として証明し、2つの変数が組として2変量正規分布に従うときは逆も成り立つことを示します。

1. 動機 ― 相関が0なら無関係と言ってよいのか

この回を読み終えると、独立・無相関・条件付き独立の違いを、具体例で区別できます。

相関係数が測るのは直線的な関係の強さだけで、曲がった関係や非線形の従属は見抜けません。確率論には「独立」というもっと強い概念があり、独立ならば相関は必ず 0 ですが、逆は成り立ちません。この非対称性を正確に理解しないまま金融データを分析すると、リスクを過小評価する危険があります。

さらに、ある条件のもとでは独立だが条件を外すと従属になる、という「条件付き独立」も登場します。今回はこの3つの概念を定義し、それぞれの関係を定理と反例で明らかにします。

この記事で証明すること

• THM-M17-1 2つの確率変数が独立で分散が有限なら、共分散は 0 です。つまり独立は無相関より強い条件です。
• THM-M17-2 2つの確率変数の組が2変量正規分布に従うとき、無相関であることと独立であることは同値です。
• THM-M17-3 条件付き独立であっても独立とは限らず、独立であっても条件付き独立とは限りません。

2. 設定と仮定 ― 3つの概念を定義する

確率空間 $(\Omega ,\mathcal{F},\mathbb{P})$ 上の確率変数 $X,Y$ を考えます。以下の3つの概念を区別します。

独立 　任意のボレル集合 $A,B$ に対して

$$\mathbb{P}(X\in A,Y\in B)=\mathbb{P}(X\in A)\mathbb{P}(Y\in B)\text{\hspace{1em}(1.1)}$$

が成り立つとき、$X$ と $Y$ は独立であるといいます。これはすべての事象の組について同時確率が周辺確率の積に等しい、という強い条件です。

無相関 　$X,Y$ が分散有限（$X,Y\in L^2(\Omega ,\mathcal{F},\mathbb{P})$）であるとき、

$$\mathrm{Cov}(X,Y)=\mathbb{E}[XY]-\mathbb{E}[X]\mathbb{E}[Y]=0\text{\hspace{1em}(1.2)}$$

が成り立つとき、$X$ と $Y$ は無相関であるといいます。これは $\mathbb{E}[XY]=\mathbb{E}[X]\mathbb{E}[Y]$ という1本の等式にすぎません。

条件付き独立 　部分 $\sigma$ 加法族 $\mathcal{G}\subset \mathcal{F}$ が与えられたとき、任意のボレル集合 $A,B$ に対して

$$\begin{array}{rl}& \mathbb{P}(X\in A,Y\in B\mid \mathcal{G})\\ & =\mathbb{P}(X\in A\mid \mathcal{G})\mathbb{P}(Y\in B\mid \mathcal{G})\text{a.s.}\end{array}\text{\hspace{1em}(1.3)}$$

が成り立つとき、$X$ と $Y$ は $\mathcal{G}$ のもとで条件付き独立であるといいます。

独立は (1.1) のようにすべての事象の組について等式を要求します。無相関は (1.2) のように期待値に関する1本の等式だけです。条件付き独立は (1.3) のように情報 $\mathcal{G}$ を所与としたときの独立です。この3つは互いに異なる条件であり、以下の定理でその関係を明らかにします。

3. 主張 ― 独立は無相関より強い

定理 THM-M17-1（独立なら無相関） 確率変数 $X,Y$ が独立で、ともに分散が有限であるとき、$\mathrm{Cov}(X,Y)=0$ である。

定理 THM-M17-2（正規分布での同値性） 確率変数の組 $(X,Y)$ が2変量正規分布に従うとき、$X$ と $Y$ が無相関であることと独立であることは同値である。

定理 THM-M17-3（条件付き独立と独立は無関係） 条件付き独立であっても独立とは限らず、独立であっても条件付き独立とは限らない。

THM-M17-1 は「独立 $\Rightarrow$ 無相関」を示します。THM-M17-2 は正規分布という特殊な設定でのみ逆が成り立つことを示します。THM-M17-3 は条件付き独立が独立とは別の概念であることを確認します。

証明を読む（読まなくても記事は完結します）

4. 証明 ― 期待値の積の公式から出す

この節は読まなくても記事は完結します。

この証明を追いたい人は、数学編 第13回「σ加法族と可測性」、数学編 第16回「条件付き期待値は射影である」へ。

THM-M17-1 の証明

$X$ と $Y$ が独立であるとき、任意の可測関数 $f,g$ について

$$\mathbb{E}[f(X)g(Y)]=\mathbb{E}[f(X)]\mathbb{E}[g(Y)]\text{\hspace{1em}(2.1)}$$

が成り立ちます。これは独立の定義 (1.1) から、指示関数 $f=1_A$, $g=1_B$ の場合にまず成り立ち、単関数への線形拡張と単調収束定理によって一般の非負可測関数に拡張されます。$f,g$ が $L^2$ に属する場合は正部分と負部分に分けて差を取ることで (2.1) が得られます。

共分散の定義に (2.1) を $f(x)=x$, $g(y)=y$ として適用します。$X,Y$ が分散有限なので $XY$ は可積分です（コーシー・シュワルツの不等式 $\mathbb{E}[|XY|]\le \sqrt{\mathbb{E}[X^2]\mathbb{E}[Y^2]}<\infty$ による）。したがって

$$\begin{array}{rl}\mathrm{Cov}(X,Y)& =\mathbb{E}[XY]-\mathbb{E}[X]\mathbb{E}[Y]\\ & =\mathbb{E}[X]\mathbb{E}[Y]-\mathbb{E}[X]\mathbb{E}[Y]=0.\end{array}$$(2.1)

THM-M17-2 の証明

$(X,Y)$ が2変量正規分布に従うとします。独立ならば無相関であることは THM-M17-1 で示しました。逆を示します。

無相関、すなわち $\mathrm{Cov}(X,Y)=0$ と仮定します。2変量正規分布の同時密度関数は、${\mu }_X=\mathbb{E}[X]$, ${\mu }_Y=\mathbb{E}[Y]$, ${\sigma }_X^2=\mathrm{Var}(X)$, ${\sigma }_Y^2=\mathrm{Var}(Y)$, $\rho =\mathrm{Cov}(X,Y)/({\sigma }_X{\sigma }_Y)$ として

$$\begin{array}{rl}{f}_{X,Y}(x,y)& =\frac{1}{2\pi {\sigma }_X{\sigma }_Y\sqrt{1-{\rho }^2}}\\ & \times \exp (-\frac{1}{2(1-{\rho }^2)}[\frac{(x-{\mu }_X{)}^2}{{\sigma }_X^2}\\ & -\frac{2\rho (x-{\mu }_X)(y-{\mu }_Y)}{{\sigma }_X{\sigma }_Y}+\frac{(y-{\mu }_Y{)}^2}{{\sigma }_Y^2}\left]\right)\end{array}\text{\hspace{1em}(2.2)}$$

と書けます。$\mathrm{Cov}(X,Y)=0$ のとき $\rho =0$ です。(2.2) に $\rho =0$ を代入すると

$$\begin{array}{rl}{f}_{X,Y}(x,y)& =\frac{1}{2\pi {\sigma }_X{\sigma }_Y}\\ & \times \exp (-\frac{(x-{\mu }_X{)}^2}{2{\sigma }_X^2}-\frac{(y-{\mu }_Y{)}^2}{2{\sigma }_Y^2})\\ & =\underset{f_X(x)}{\underbrace{\frac{1}{\sqrt{2\pi }{\sigma }_X}\exp (-\frac{(x-{\mu }_X{)}^2}{2{\sigma }_X^2})}}\\ & \times \underset{f_Y(y)}{\underbrace{\frac{1}{\sqrt{2\pi }{\sigma }_Y}\exp (-\frac{(y-{\mu }_Y{)}^2}{2{\sigma }_Y^2})}}.\end{array}\text{\hspace{1em}(2.3)}$$

$\rho =0$ を代入した結果、指数の交差項 $2\rho (\cdots )$ が消え、指数部分が $x$ だけの項と $y$ だけの項の和に分離します。指数関数の性質 $e^{a+b}=e^a\cdot e^b$ により、同時密度が周辺密度の積に因数分解されます。

同時密度が周辺密度の積に等しい、すなわち $f_{X,Y}(x,y)=f_X(x)f_Y(y)$ であれば、任意のボレル集合 $A,B$ について

$$\begin{array}{rl}& \mathbb{P}(X\in A,Y\in B)\\ & ={\int }_A{\int }_B{f}_{X,Y}(x,y)dydx\\ & ={\int }_A{f}_X(x)dx{\int }_B{f}_Y(y)dy\\ & =\mathbb{P}(X\in A)\mathbb{P}(Y\in B)\end{array}$$

が成り立ちます。フビニの定理で積分を分離できるのは、被積分関数が $x$ と $y$ の積になっているからです。これは独立の定義 (1.1) そのものです。

したがって、2変量正規分布のもとでは「無相関 $\Rightarrow$ 独立」が成り立ちます。THM-M17-1 と合わせて同値性が示されました。 ∎

注意: この証明で本質的に使ったのは「同時密度が (2.2) の形をしている」こと、すなわち組として2変量正規分布に従うことです。周辺分布がそれぞれ正規であるだけでは (2.2) は保証されません。この点は反例 CEX-M17-2 で確認します。

THM-M17-3 の証明

存在を示せばよいので、反例を2つ構成します。

独立だが条件付き独立でない例。 コイン $A$, $B$ が独立で、それぞれ $\mathbb{P}(A=1)=\mathbb{P}(B=1)=1/2$ とします。$S=A+B$ とおき、$\mathcal{G}=\sigma (S)$ のもとでの条件付き独立を考えます。$S=1$ で条件付けると $A$ と $B$ は一方が 1 なら他方が 0 に確定するので従属です。一方、$S=0$ で条件付けると $A=B=0$ が確定し、$S=2$ で条件付けると $A=B=1$ が確定するので、各条件のもとで自明に独立（確率変数が定数になる）です。しかし $S=1$ のもとでは従属なので、$\mathcal{G}$ のもとで条件付き独立ではありません。

これを逆に読みます。$A$ と $B$ は（無条件に）独立ですが、$\mathcal{G}=\sigma (S)$ のもとでは条件付き独立ではありません。独立でも条件付き独立とは限らない例です。

条件付き独立だが独立でない例。 確率変数 $Z$ が $\mathbb{P}(Z=0)=\mathbb{P}(Z=1)=1/2$ で、$Z=z$ が与えられたもとで $X,Y$ が独立に $N(z,1)$ に従うとします。$\mathcal{G}=\sigma (Z)$ のもとで $X,Y$ は条件付き独立です。しかし、$Z$ を知らない（周辺化した）もとでは $X$ と $Y$ はどちらも同じ $Z$ に引きずられるため独立ではありません。実際、$\mathbb{E}[XY]=\mathbb{E}[\mathbb{E}[XY\mid Z]]=\mathbb{E}[Z^2]=1/2$、$\mathbb{E}[X]=\mathbb{E}[Y]=\mathbb{E}[Z]=1/2$ より $\mathrm{Cov}(X,Y)=1/4\ne 0$ であり、THM-M17-1 の対偶から $X$ と $Y$ は独立ではありません。

以上の2つの例で、独立と条件付き独立のどちらの方向も成り立たないことが示されました。 ∎

5. 反例 ― 無相関なのに完全に従属

反例 CEX-M17-1: 共分散0だが完全に従属

$X$ を標準正規分布に従う確率変数、$Y=X^2$ とします。

理論計算。 $X$ は平均 0 の対称分布なので、奇数次モーメントはすべて 0 です。$\mathbb{E}[X]=0$, $\mathbb{E}[X^2]=1$, $\mathbb{E}[X^3]=0$ です。よって

$$\begin{array}{rl}\mathrm{Cov}(X,X^2)& =\mathbb{E}[X\cdot X^2]-\mathbb{E}[X]\mathbb{E}[X^2]\\ & =\mathbb{E}[X^3]-0\times 1=0.\end{array}\text{\hspace{1em}(3.1)}$$

共分散は厳密に 0 です。しかし $Y$ は $X$ で完全に決まります。$X$ を知れば $Y$ は確定し、不確実性はゼロです。無相関だが完全に従属している例です。

シミュレーション確認。 $n=100,000$ の標本で標本共分散は $0.0002$、標本相関係数は $0.0001$ と、ほぼ 0 です。一方、条件付き期待値を見ると違いが明確です。$\mathbb{E}[Y\mid X>1]\approx 2.5189$、$\mathbb{E}[Y\mid X<-1]\approx 2.5274$ であり、いずれも全体平均 $\mathbb{E}[Y]\approx 1.0018$ とは大きくずれています。$X$ の値を知れば $Y$ の分布が変わる、つまり独立ではないことが数値で確認できます。

反例 CEX-M17-2: 周辺は正規なのに組として正規でない

$X\sim N(0,1)$ とし、$X$ と独立な確率変数 $\epsilon$ を $\mathbb{P}(\epsilon =1)=\mathbb{P}(\epsilon =-1)=1/2$ とします。$Y=\epsilon X$ と定めます。

$Y$ の分布関数を計算すると $\mathbb{P}(Y\le y)=\mathbb{P}(\epsilon =1)\mathbb{P}(X\le y)+\mathbb{P}(\epsilon =-1)\mathbb{P}(-X\le y)=N(y)$ です。つまり $Y\sim N(0,1)$ です。

共分散は $\mathbb{E}[XY]=\mathbb{E}[X\cdot \epsilon X]=\mathbb{E}[\epsilon ]\mathbb{E}[X^2]=0\times 1=0$ です（$\epsilon$ と $X$ の独立性を使いました）。

しかし $|Y|=|\epsilon X|=|X|$ が常に成り立つので、$X$ と $Y$ は独立ではありません。独立ならば $\mathbb{P}(|X|>1,|Y|>1)=\mathbb{P}(|X|>1)\mathbb{P}(|Y|>1)$ が成り立つはずですが、$|Y|=|X|$ なので左辺は $\mathbb{P}(|X|>1)$ に等しく、右辺はその二乗です。シミュレーションでは左辺が $0.3184$、右辺が $0.1014$ であり、一致しません。

THM-M17-2 の条件は組として2変量正規分布に従うことでした。この例では周辺分布はともに正規ですが、$|Y|=|X|$ という完全な関係があるため組としては正規分布になりません。周辺が正規であるだけでは THM-M17-2 は使えない、という重要な教訓です。

反例 CEX-M17-3: 独立な2コインを合計で条件付けると従属になる

$A,B$ を独立なコイン投げとし、$\mathbb{P}(A=1)=\mathbb{P}(B=1)=1/2$ とします。$A+B=1$ で条件付けたときの同時確率表を計算します。

$\mathbb{P}(A+B=1)=1/2$ です。条件付き確率は以下の通りです。

	$B=0$	$B=1$
$A=0$	$0$	$1/2$
$A=1$	$1/2$	$0$

条件付き周辺確率は $\mathbb{P}(A=1\mid S=1)=1/2$, $\mathbb{P}(B=1\mid S=1)=1/2$ です。もし条件付き独立ならば $\mathbb{P}(A=1,B=1\mid S=1)=1/2\times 1/2=1/4$ となるはずですが、実際は $0$ です。合計が 1 であることを知った時点で、片方が 1 なら他方は 0 に確定します。共通の結果で条件付けると、もともと独立だったものが従属になる例です。

6. 数値例 ― X と X^2 で確かめる

4つの数値的確認をまとめます。

1. X と X^2 の標本共分散と条件付き分布。 $n=100,000$ の標本で標本共分散は $0.0002$、標本相関係数は $0.0001$ です。理論値は厳密に 0 です。一方、$X>1$ で条件付けた $Y=X^2$ の平均は $2.5189$、$X<-1$ で条件付けた平均は $2.5274$ で、全体平均 $1.0018$ と大きく異なります。相関が 0 でも条件付き分布は $X$ に依存しています。

2. 周辺は正規だが組として正規でない例。 $Y=\epsilon X$ の構成で、標本相関係数は $0.0071$ とほぼ 0 です。しかし $\mathbb{P}(|X|>1,|Y|>1)=0.3184$ に対し、独立なら $0.3184\times 0.3184=0.1014$ となるはずです。3倍以上の乖離があり、独立性は明確に否定されます。

3. 2枚のコインで合計1条件のもとの同時確率表。 上の表の通り、$\mathbb{P}(A=1,B=1\mid S=1)=0$ であり、周辺の積 $1/4$ と一致しません。

4. 2変量正規分布で相関0のときの密度の確認。 $\rho =0$ の2変量正規分布の同時密度と周辺密度の積を比較します。$(0,0)$ では同時密度 $0.159155$、積 $0.159155$ で一致。$(1,1)$ では同時密度 $0.058550$、積 $0.058550$ で一致。$(-1,0.5)$ では同時密度 $0.085190$、積 $0.085190$ で一致。THM-M17-2 の通り、$\rho =0$ のとき同時密度は周辺密度の積に等しくなっています。

7. 次回へ ― 収束の4概念

今回、独立・無相関・条件付き独立という3つの概念が似て非なるものであることを見ました。

次回 M18 では収束の4概念を扱います。確率変数の列が「収束する」とはどういうことか。概収束、確率収束、$L^p$ 収束、分布収束の4つを定義し、それぞれの間の包含関係を証明します。

よくある質問

相関が0なら無関係ではないのですか

直線的な関係が無いだけで、曲がった関係はありえます。$X$ と $X^2$ の例のように、一方が他方を完全に決定していても相関は 0 になり得ます。

正規分布なら安心ですか

組として正規分布なら無相関と独立は同じです。周辺が正規なだけでは足りません。反例 CEX-M17-2 のように、周辺はともに正規でも組として正規でない場合には、無相関でも独立ではありません。

条件付き独立はどこで使いますか

共通の要因で説明される資産どうしを扱うときに使います。たとえば市場全体の動きで条件付ければ個別銘柄の残差は条件付き独立に近くなる、という仮定はファクターモデルの基礎です。

参考文献

1. Billingsley P.、Probability and Measure、第3版、Wiley、1995年
2. Casella G. and Berger R. L.、Statistical Inference、第2版、Duxbury、2002年

---

数値例は compute.py により検算済み。シミュレーションは乱数シード 42 で固定。