このファイルは、２年春学期科目「工学のための確率と統計」の授業において、口頭で説明する内容をテキスト(.txt)に書き起こしたものです。

事前に科目のＨＰにアクセスして「講義ノート」の PDF ファイルをダウンロードし、印刷しておいてください。講義ノート中には、わざと空白にしてある部分があり、このテキストに従ってそれらを埋めていってください。特に重要な部分を手書きすることによって記憶を強化するねらいがあります。

講義ノートの行間に、テキストの説明を書きこんで行くことをお勧めします。最後にプリントを綴じれば、将来必要になったときに見返せる自分の「講義ノート」ができあがります。

同じ場所に「宿題」を提示します。「学生用ページ」「レポート提出システム」 から、その日のレポートを提出してください。 〆切は 次回授業日前日の 23:59 です。

_/_/_/ 第二回　確率と確率分布(1) _/_/_/

【講義ノート】用語・記号法

確率の概念を定義、説明するための記号の使い方について説明します。

まず事象を大文字アルファベットで表します。ここでは例として「E」というアルファベット用いました。 E は「Event」の頭文字なので、そうしてみましたが、今後「A」とか「B」とかをよく使います。これは「個々の事象」の集合です。

例えば、サイコロを振って「奇数の目が出る」という事象は「1の目が出る」「3の目が出る」「5の目が出る」という個々の事象の集合です。

起こりうる全ての事象の集合(全事象)を「Ω」(オメガ)という記号で表します。これはギリシャ文字の大文字です。ちなみにオメガの小文字は「ω」。

ある事象 E に対する確率を「P(E)」と表現します。確率の定義はまた後で。

さて、Ω を構成する要素(個々の事象)から E に含まれる要素を除いたものを「E の余事象」といいます。 E の上に横棒を引いて表現します。「イー コンプリメント」と読みます。

事象 A と事象 B の、両方の要素を合わせた集合を「和集合」といいます。「A ∪ B」と書き、「エー カップ ビー」と読みます。記号がコーヒーカップに似ているので「カップ」。

事象 A と事象 B の、どちらにも含まれる要素を集めた集合を「積集合」といいます。「A ∩ B」と書き、「エー キャップ ビー」と読みます。記号が帽子に似ているので「キャップ」。

もう一つ、特殊な集合として、一個も要素を持たない事象を「Φ」で表します。これはノルウェー文字ですが、なかなかフォントがないので、この講義では便宜的にギリシャ文字「Φ」(フィー)で代用します。

【講義ノート】確率

事象 E の確率 P(E) は次の性質を満たします。これをコルモゴロフの確率公理といいます。

(1) 0 ≦ P(E) ≦ 1

確率の値は 0 以上 1 以下の範囲を取らなければならない。値が負になったり、１より大きくなったりする量は確率とは呼ばない。

(2) P(Ω) = 1

起こりうる全ての事象の集合(全事象)に対する確率は 1 になる。

(3) P(A ∪ B) = P(A) + P(B) (if A ∩ B = Φ)

事象 A と事象 B の積集合が空集合になるとき、すなわち A と B に共通の要素がないとき、A と B の和集合の確率は、それぞれの事象の確率の和になる。

「確率であればこれらの性質を満たす」言い換えれば「これらの性質が満たされない量は確率ではない」(対偶命題)ということです。確率が形式的に定義されました。

【講義ノート】確率の加法定理

前のページで、事象 A と事象 B の積集合が空集合になるとき、それらの和集合の確率は、それぞれの事象の確率の和になるという、確率の公理について述べました。

では、事象 A と事象 B が共通の要素を持っているときは、どうしたらよいでしょうか。

一般に、事象 A と事象 B とその和集合 A ∪ B の確率について、次式が成り立ちます。これを確率の加法定理と呼びます。

P(A ∪ B) = P(A) + P(B) - P(A ∩ B)

この定理は、確率の公理より次のように証明することができます。

A^ を A の余事象、B^ を B の余事象とします。
(ほんとうは上に横棒を引いて表現しますが、.txt では書けないので)

[証明]
P(A ∪ B) = P(A ∩ B)+P(A ∩ B^)+P(A^ ∩ B)
= { P(A ∩ B)+P(A ∩ B^) }+{ P(A ∩ B)+P(A^ ∩ B) } - P(A ∩ B)
= P(A) + P(B) - P(A ∩ B)

確率の加法定理が証明できました。

【講義ノート】確率の乗法定理

加法定理の後は乗法定理です。まず「条件付き確率」という概念を定義します。

事象 A が起こったという条件下で、事象 B の起きる確率を「条件付き確率」といい記号「｜」(バー)を用いて

P(B|A)= P(A ∩ B) / P(A)

と定義します。

一般に、事象 A と事象 B とその積集合 A ∩ B の確率について、次式が成り立ちます。これを確率の乗法定理と呼びます。

P(A ∩ B) = P(A) P(B|A) = P(B) P(A|B)

[証明]
条件付き確率の定義式の両辺に P(A) を掛ければよい。A と B を入れ替えて同様。

確率の乗法定理が証明できました。

【講義ノート】完全系

さて次は、確率・統計における極めて重要な定理である Bayes の定理を目指して話を進めていきます。

まず「完全系」という概念を理解しましょう。

事象集合{ A_1 , A_2 , … , A_n }において、各事象が互いに排反、かつ個々の試行においてどれかの事象が必ず起こるとき、この事象の集合を「完全系」と呼びます。

ここで「 _ 」は添え字を表しています。

事象集合が完全系であるためには、２つの条件があります。

まずは「排反」であること。この A_1 から A_n までの複数の事象が同時には起こらないということです。例えば A_1 と A_2 が同時に起こるような事象集合は完全系ではない。

もう一つは、個々の試行において「どれかの事象が必ず起こる」ことです。ある試行の結果が A_1 から A_n までのどれでもない、ということがあると、それは完全系ではない。

完全系であるためには、各事象が排反であることと、どれかの事象が必ず起こることが必要です。

完全系をなす事象の集合には次の性質があります。

　　【完全系の確率の和は1】
　　
　　n
　　Σ  P(A_i) = 1
　　i=1

【講義ノート】全確率

ある事象の集合{ B_1 , B_2 , … , B_n }が完全系であるとき、任意の事象 A の確率は次式によって計算されます。

　　【全確率の公式】

　　       n
　　P(A) = Σ　P(B_i) P(A|B_i)
　　       i=1

【講義ノート】ベイズ (Bayes) の定理

さーて、ようやく Bayes の定理にたどりつきました。この定理こそが、この授業において最も重要な、よく使う、役に立つ定理です。数学者 Bayes 先生が示した定理なので、そのお名前が定理の名前になっています。

任意の事象A および完全系{ B_1 , B_2 , … ,B_n} に対し、次の式が成り立ちます。

　　　【ベイズの定理】

　　　            P(B_i) P(A|B_i)
　　　P(B_i|A) = -------------------
　　　           n
　　　           Σ  P(B_j) P(A|B_j)
　　　           j=1

ここで「 _ 」は添え字を表しています。

【講義ノート】ベイズの定理の証明

　　　【証明】
　　　確率の乗法定理より
　　　            P(B_i) P(A|B_i)
　　　P(B_i|A) = -------------------
　　　                 P(A)
　　　全確率の公式より

　　　            P(B_i) P(A|B_i)
　　　        = -------------------
　　　           n
　　　           Σ  P(B_j) P(A|B_j)
　　　           j=1

【講義ノート】ベイズの定理(離散型)：用語

これまでの話では、事象がいくつかの選択肢のどれになるか、という例で話を見てきました。事象がとびとびの値をとる状況を「離散型」といいます。ここでは離散型の Bayes の定理を眺めながら、「用語」を覚えていきましょう。

事象 A は実験結果、観測結果に対応します。
完全系 { B_1, ... , B_n } は結果の原因を n 個に区分したものです。

まず左辺から行きましょう、左辺の式 P(B_i|A) は、既に得られている実験結果 A を条件として、どの原因 Bi の可能性がどれだけあるかを表す確率です。実験・観測「後」の確率ですので、これを「事後確率」といいます。左辺の吹き出しを埋めましょう。このことばを覚えましょう。

次に右辺の分子のはじめの要素 P(B_i) です。この式は、実験に関わりなく B_i の可能性を表す確率ですので、「先験確率」または「事前確率」といいます。右辺の分子の左側の吹き出しを埋めましょう。このことばを覚えましょう。

右辺の分子の右側の要素 P(A|B_i) です。条件付き確率、前に勉強しましたね。原因 B_i を条件とする、実験・観測結果 A が得られる条件付き確率です。吹き出しに「条件付き確率」と書いておきましょう。

右辺の分母はなにやら複雑な式になっています。ちょっと目にひるみますが、なあに恐れることはありません。よく見ると、完全系の各事象の添字 j に関する和を取っていますので、この値は定数になります。左辺の事後確率は「確率」としての条件を満たすために、添字 i について和をとると 1 にならなければいけません。実はこの分母は「事後確率の総和が 1 になるように正規化」するための定数に過ぎないのです。

【講義ノート】ベイズの定理(連続型)：用語

さて確率現象には、事象が連続的な値をとる場合があります。この状況を「連続型」といいます。連続型の Bayes の定理についても、「用語」を覚えていきましょう。

連続型の Bayes の定理の左辺値は「事後分布」です。事後確率の分布です。確率分布については、また次回お話しします。吹き出しを埋めておきましょう。

右辺の分子のはじめの要素は「事前分布」です。原因となる変数の実験・観測前の分布です。先験分布とはあまりいいません。吹き出しを埋めておきましょう。

右辺の分子の右側の要素は「条件付き確率」です。吹き出しを埋めておきましょう。

右辺の分母は、正規化のための定数です。連続型の場合、左辺の事後分布は「積分して1」という条件を満たす必要があります。これに合わせて、右辺の分母にも積分が行われています。いずれにしても、計算結果は定数で、この分母は「事後分布の総面積が 1 になるように正規化」するための定数を表しています。
--