このファイルは、２年春学期科目「工学のための確率と統計」の授業において、口頭で説明する内容をテキスト(.txt)に書き起こしたものです。

事前に科目のＨＰにアクセスして「講義ノート」の PDF ファイルをダウンロードし、印刷しておいてください。講義ノート中には、わざと空白にしてある部分があり、このテキストに従ってそれらを埋めていってください。特に重要な部分を手書きすることによって記憶を強化するねらいがあります。

講義ノートの行間に、テキストの説明を書きこんで行くことをお勧めします。最後にプリントを綴じれば、将来必要になったときに見返せる自分の「講義ノート」ができあがります。

同じ場所に「宿題」を提示します。「学生用ページ」「レポート提出システム」 から、その日のレポートを提出してください。 〆切は 次回授業日前日の 23:59 です。

_/_/_/ 第八回　統計的計算手法 (2) _/_/_/

この授業も後半に差しかかって、いよいよ先週から、確率の話に加えて、統計的な計算手法という話を始めました。いよいよ「確率と統計」の体が整ってきました。

さて、今回は、いろいろな確率分布について、その平均と分散を求めてみたいと思います。

【講義ノート】確率分布の平均と分散

いろいろな確率分布について平均と分散を求めていきましょう。

二項分布、ポアソン分布、正規分布についてそれぞれ、平均と分散はどんな値になるのでしょうか。

このページは、とりあえずこのままにして、

平均と分散が求まった後で、また戻ってきて、書き込んで、覚えることにしましょう。

【講義ノート】二項分布 B(n, p)(k) の平均

皆さん、二項分布の式、覚えていますね。このくらいは、過去の資料を見返すことなく覚えていなけりゃだめです。掛け算九九のようなものです。ぱっと出てこなければいけない。

        n
p_k = (   ) × p^k × (1-p)^{n-k}
        k

確率変数は k です。n と p が分布の形状を定めるパラメータ。

平均値の定義は次式。これも覚えておかないといけない式です。

E(X) = Σ　x_i p_i
        i

確率変数 k なので x_k = k

確率分布、組み合わせの数を階乗で書いておくと。

           n!
p_k = ----------- × p^k × (1-p)^{n-k}
       k! (n-k)!

よって、

       n             n           n
E(X) = Σ　x_k p_k = Σ　k p_k = Σ　k p_k
       k=0           k=0         k=1

  n          n!
= Σ　k -----------  p^k  (1-p)^{n-k}
  k=1    k! (n-k)!

ここで、明らかに、 n! = n (n-1)! 、k! = k (k-1)!、
p^k = p p^{k-1} であるから、これらを用いて変形する。

n p をΣの外に括りだす。

             n           (n-1)!
E(X) = n p  Σ　---------------------- p^{k-1} (1-p)^{(n-1)-(k-1)}
             k=1  (k-1)!((n-1)-(k-1))!

式中に、 B(n, p)(k) の定義で、 n → n-1 、k → k-1 と変えたものを発見。

            n-1
E(X) = n p Σ　　B(n-1,p)(k-1)
            k-1=0

B(n-1,p)(k-1) も確率分布なので総和は 1 。よって

E(X) = n p

二項分布の平均が n p であることが導かれました。

前のページに戻って、二項分布のところに、

E(X) = n p

と書き込んでおきましょう。

【講義ノート】二項分布 B(n, p)(k) の分散

まず、公式

V(X) = E(X^2) - E(X)^2

を導きます。

        1  N
V(X) = --- Σ　(x_i - E(X))^2
        N  i=1

   1  N
= --- Σ　{ (x_i)^2 - 2(x_i)E(X)) + E(X)^2 }
   N  i=1

   1  N              2       N          1         N
= --- Σ　(x_i)^2 - --- E(X) Σ　x_i + --- E(X)^2 Σ　1
   N  i=1            N       i=1        N         i=1

= E(X^2) - 2 E(X) E(X) + E(X)^2

= E(X^2) - E(X)^2

さて、
         n
E(X^2) = Σ　k^2 p_k
         k=1
平均のときと同じような変形で、
             n
E(X^2) = n p Σ　　((k-1)+1) B(n-1, p)(k-1)
             k-1=0
よって、

V(X) =  E(X^2) - E(X)^2

      n
= n p Σ　　((k-1)+1) B(n-1, p)(k-1) - (n p)^2
      k-1=0

= n p ((n-1)p +1) -(n p)^2

= n p (1-p)

二項分布の分散が n p (1-p) であることが導かれました。

前のページに戻って、二項分布のところに、

V(X) = n p (1-p)

と書き込んでおきましょう。

【講義ノート】ポアソン分布の平均と分散を求めるための補題（その1）

さて、次はポワソン分布です。ポワソン分布の平均と分散はどうなるのでしょうか。

実は結構複雑な式変形が必要になります。まずは、ポアソン分布の平均と分散を求めるための補題を２つほど、説明します。

まず第一の補題は

∞             λ^k
Σ　k e^{-λ} ------
k=1              k!

という値を求めます。何でこんな形がでてくるのか。首をかしげますが、なあに後から式中にこの形が出てきて、値を計算する必要が出てくるんだろうな、くらいに思っておいてください。

さて、�狽�展開して、かつ約分できそうなところを変形していくと、結局この式は、

                    λ     λ^2
= e^{-λ} λ ( 1 + ---- + ------ +  ... ) = e^{-λ} λ e^λ = λ 
                    1!      2!

と求まります。ここで、下記の級数の公式を用いています。

          ∞   x^i
e^x = 1 + Σ　----
          i=1  i!
　[ 補題 1 ]

∞             λ^k
Σ　k e^{-λ} ------  = λ
k=1              k!

【講義ノート】ポアソン分布の平均と分散を求めるための補題（その2）

次に第二の補題は

∞                   λ^k
Σ　k (k-1) e^{-λ} -------
k=1                    k!

という値を求めます。

先ほどと同じように、�狽�展開して、かつ約分できそうなところを変形していきます。

左側に e^{-λ} λ^2 を括りだし、

                          λ     λ^2
= e^{-λ} λ^2 ( 0 + 1 + ---- + ------ +  ... ) 
                          1!      2!

級数の公式により、

= e^{-λ} λ^2 e^λ = λ^2 

　[ 補題 2 ]

∞                   λ^k
Σ　k (k-1) e^{-λ} ------  = λ^2
k=1                   k!

【講義ノート】ポアソン分布の平均

[補題 1][補題 2]で準備ができたところで、ポアソン分布の平均を求めましょう。

ポワソン分布 P(λ)(k) の式です。必ず記憶してください。

               λ^k
p_k = e^{-λ} ------
                k!

確率変数は k です。λが分布の形状を定めるパラメータ。

平均値の定義式。

       ∞
E(X) = Σ　x_i p_i
       i
  ∞          ∞             λ^k
= Σ　k p_k = Σ　k e^{-λ} ------
  k=1         k=1              k!

補題1の形が出てきました。よって、

E(X) = λ

ポワソン分布の平均が λ であることが導かれました。

前のページに戻って、ポワソン分布のところに、

E(X) = λ

と書き込んでおきましょう。

【講義ノート】ポアソン分布の分散

分散の定義式、

       ∞
V(X) = Σ　(k-λ)^2 p_k
       k=1

  ∞
= Σ　(k^2 - 2 k λ + λ^2) p_k
  k=1

  ∞
= Σ　(k(k-1) + k(1-2λ) + λ^2) p_k
  k=1

補題1と補題2より、

= λ^2 + λ(1-2λ) + λ^2 = λ

ポワソン分布の分散が λ であることが導かれました。

前のページに戻って、ポワソン分布のところに、

V(X) = λ

と書き込んでおきましょう。

そうです。ポワソン分布は平均も分散も、分布の形を決めるパラメータλに一致するのです。これは覚えやすいですね。

【講義ノート】中心極限定理

さて、正規分布です。正規分布の式は、

                        1                (x - μ)^2
N(μ、σ^2)(x) = --------------- exp( - ------------ )
                  sqrt(2πσ^2)           2 σ^2

でした。確率変数は x 、分布の形状を定めるパラメータはμとσ^2です。
なお、sqrt( ) は平方根を表します。

正規分布の平均はμ、分散はσ^2 になります。導出は少し難しいので省略します。ここでは結果のみ覚えておいてください。

前のページに戻って、正規分布のところに、

E(X) = μ, V(X) = σ^2

と書き込んでおきましょう。

正規分布に関する重要な定理として中心極限定理の話をしておきます。

[ 中心極限定理 ]

独立な n 個の確率変数 X_1, X_2, … , X_n が
平均 μ_1, μ_2,  … , μ_n 
分散 σ^2_1, σ^2_2, … , σ^2_n 
の「任意の」分布に従うとき、
合成確率変数

     n
     �煤@(X_i - μ_i)
     i=1
Y = -------------------
          n
    sqrt( �煤@σ^2_i )
          i=1

の分布は n→∞ で正規分布に近づく。

【講義ノート】中心極限定理 (2)

定理の文字面のみを見ると、何のことだかさっぱりわかりません。すこし式をかみ砕いて、意味を探りましょう。

ある確率変数が他の無数の変動要因によって影響され、その影響が相互に独立で、かつどれかがとくに大きいということがなければ、その変数は「近似的に」正規分布すると考えられる。

ということです。私たちの身の回りにあるいろいろな観測値は、実はたくさんの要因によってゆらいでいます。個々の要因が複雑に絡み合っていたとしても、それらの影響が独立で、同じくらいの影響力を持っていれば、この観測値を「正規分布」で近似できるのです。
--