ベイズ推定

統計学直前講義の講師は白石博先生に変更になっていた。
1回目はまだ慣れてない印象。
よい答練さえ作ってくれれば満足です。
よろしくお願いします。

後半のベイズ推定は難しくなりすぎていたので、
ちょっと話をほぐしてみた。

■まず、ベータ分布 Be(a,b) の扱いについて。
ベータ分布の密度関数にはベータ関数 B(a,b) が使われている。
ベータ関数はガンマ関数の組み合わせで出来ていて、一見面倒そう。
だけど、

　整数 n に対して、Ganma(n) = (n-1)!

なのだから、整数値に対しては、ベータ関数も階乗だけを用いて、

　B(a,b) = (a-1)!・(b-1)! ／ (a+b-1)!

となるので、簡単に計算できる。
（ 0! = 1 なので、B(1,1)=1 に注意）
整数値について計算できれば、当面は十分。

そうすると、ベータ分布 Be(1,1) の密度関数は、定義式から簡単に、
f(x)=1 (0≦x≦1) となる。つまり、

　Be(1,1) は、区間 [0,1] 上の一様分布

だということ。ここまでが準備。

■例題で扱っていたのは、ベルヌーイ試行の確率θの事後推定。
成功か失敗か、どちらかの結果の出る試行を繰り返す。
そして得られたデータから、成功する確率θについて推定するのだけど、
その推定にベイズの定理を用いている。

■まずは試行が1回の場合を考えよう。
試行が成功する確率はθ、失敗する確率は (1-θ)だ。
条件付確率として書けば、
　f( X=S | θ ) = θ
　f( X=F | θ ) = 1-θ
となる。

ここで、θについて仮定を置く。

　仮定：θは [0,1]上の一様分布に従う

一様分布ということは、0から1まで同じ程度にありえるってことだから、
つまりこの仮定を置いた理由は、

　θが何なのかさっぱりわからない

ということだと思っていい。

さて、一様分布なんだと決めてしまえば、θの密度関数が決まる。
しかもとても単純で、
　ω(θ) = 1　( 0≦θ≦1 )
となる。
これをθの事前分布という。

■この仮定された事前分布と、試行によって得られたデータから、
事後分布を推定するのが、ベイズ推定。

それでは、データが得られたことにしよう。

　結果：試行は成功　( X=S )

このとき、θの事後分布 ω'(θ| X=S) は、ベイズの定理より、

　ω'(θ| X=S) = C・ω(θ)・f( X=S |θ)

となる。らしい。

ただし、C は ω'(θ| X=S) の [0,1]上の積分を 1 にするような定数。
（ ω' を密度関数にするような定数ということ ）
あと、ダッシュは微分記号ではないことに注意。

計算すると、C=2 、ω'(θ| X=S) = 2θ となる。
これは、ベータ分布 Be(2,1) の密度関数になっている。

■ここまでの話をまとめると、

　事前分布の「仮定」の上で「結果」を考慮して、事後分布を得た

ということ。具体的には、

　θ～Be(1,1)を仮定　→　X=S だ → それならθ～Be(2,1)だ

という感じに、データを得ることで分布が更新されたわけ。

■ちなみに、試行が失敗だったら、

　θ～Be(1,1)を仮定　→　X=F だ → それならθ～Be(1,2)だ

ということになっている。計算は容易。

■ここまで1回の試行の場合を考えたけど、
試行の回数が増えても同様の手順で計算することが出来る。

試行が2回になった場合は、1回のときに得られた事後分布を、
2回目の試行についての事前分布として考えればいい。

やっぱり具体的に見てみよう。

　結果：1回目の試行は成功、2回目は失敗

の場合。最初の仮定は同じで、

　仮定：θは [0,1]上の一様分布に従う

ものとする。

1回目の試行だけに注目すれば、1回目の試行が終わった時点の
事後分布を求めることができる。

　θ～Be(1,1)を仮定　→　X=S だ → それならθ～Be(2,1)だ

さっきの話と同じだ。
さて、ここで得られた事後分布を、2回目の試行についての事前分布として使う。
つまり、

　θ～Be(2,1)だ　→　X=F だ → それなら？

と考える。計算はまったく同様で、θ～Be(2,2)になることが確かめられる。
試行の回数が増えても、同じ手順を繋げることで計算できる。

■一般に、n回成功、m回失敗した場合、
θの事後分布は Be(n+1,m+1)となる。