このファイルは、２年春学期科目「工学のための確率と統計」の授業において、口頭で説明する内容をテキスト(.txt)に書き起こしたものです。

事前に科目のＨＰにアクセスして「講義ノート」の PDF ファイルをダウンロードし、印刷しておいてください。講義ノート中には、わざと空白にしてある部分があり、このテキストに従ってそれらを埋めていってください。特に重要な部分を手書きすることによって記憶を強化するねらいがあります。

講義ノートの行間に、テキストの説明を書きこんで行くことをお勧めします。最後にプリントを綴じれば、将来必要になったときに見返せる自分の「講義ノート」ができあがります。

同じ場所に「宿題」を提示します。「学生用ページ」「レポート提出システム」 から、その日のレポートを提出してください。 〆切は 次回授業日前日の 23:59 です。

_/_/_/ 第十一回　確率分布に基づく仮説検定(1) _/_/_/

【講義ノート】検定とは？

この「情報科学のための確率・統計」という授業は、普通の確率・統計とちょっと違って、「ベイズ統計」に基づく工学的なものの考え方をお話してきました。

ベイズ統計の作法では「このコインは公平か」という問いに対して、きっぱりと「公平である」とか「公平でない」とか答えません。

じゃあどうするのかというと「表の出る確率の事後確率分布」を示して「分かるのはここまで」といって終わってしまうんです。

数学的には、観測結果から得られる最大の情報を確率分布が保持しているので、これでいいんですけど…、まあ、ちょっと困ることもありますよね。

例えば、お客さんのところに営業に行って「ご契約頂ければ収益が上がります」と言いたいじゃないですか。「収益が上がる確率分布はこのような形状をしていて…」などと説明していたら、こいつ何言ってんだと思われます。白黒はっきりさせたい。

今回は、この白黒はっきりさせる方法をお話したいとおもいます。それは「統計的仮説検定」という技術です。


「統計的仮説検定」 (testing statistical hypothesis) は、

観測結果すなわち標本の統計的性質に基づいて、ある主張の正誤を合理的に判断するための手法です。

「統計的仮説検定」は正確な名前ですが、長いので、普段はシンプルに「検定」(test)と呼びます。この授業の中で以後「検定」ということばが出てきたら、それは資格検定とは何の関係もなくって、この「統計的仮説検定」のことです。

【講義ノート】検定とは？ (2)

白黒はっきりさせたい課題として、例えば

「あるコインを5回投げたら、5回続けて表が出た。このコインは公平だろうか？」

何回もやってきた、コイン投げ課題ですね。これを検定してみましょう。

それから、

「ある自動車のニューモデルが発売されて一ヶ月が経った。カタログでは燃費が向上してるというが、ほんとうだろうか？」

燃費問題ですね。これも検定してみましょう。

もうひとつ、これは卒業研究ですね。

「音声認識のプログラムを何人かの被験者に使ってもらったところ、男性よりも女性のほうが音声認識率がよいような気がした。女声向きの新手法を発明できたのか？それ
ともただの偶然？」

さあ、どんな結論が得られるのでしょうか。果たして、この学生は卒業できるのでしょうか？

【講義ノート】検定の手順

検定は以下の３つの手順で行います。ちょっとした視点の転換が必要です。

1. 主張したい仮説と反対の仮説（帰無仮説）H_0 をたてる

まず、言いたいことの「逆の」仮説を立てます。なんでかというと、後で「この仮説間違ってる」と棄却するためのものだからです。結局、無に帰るから帰無仮説。
主張したい仮説を「帰無仮説」 H_0 と対立する仮説として、
「対立仮説」H_1 と記すこともあります。

言いたいことの反対のことを主張する「帰無仮説」を立てる。

2. 帰無仮説を正しいと仮定し、観測結果の確率を計算する

次に、帰無仮説を正しいと仮定して、観測結果の確率を計算します。この確率が小さければ、そんなことはめったに起こらないわけですから、前提とした「帰無仮説が間違っている」ことになる。

3. この確率が、ある値(有意水準という)よりも小さければ、帰無仮説 H_0 を棄却する

最後に、計算した確率と、設定した小さな値 0.01 とか 0.05 とか、を比べて、計算した確率が小さければ「帰無仮説 H_0 は間違っていた」として棄却します。棄却というのは捨てるということです。

この小さな値のことを「有意水準」といいます。0.01 のとき「有意水準１％」、0.05 のとき「有意水準５％」といいます。

対立する帰無仮説が棄却されれば、めでたく、

「主張したい仮説は有意水準？％で統計的に有意である」

と述べることができます。

【講義ノート】検定の手順 (2)

実際にやってみましょう。

「あるコインを5回投げたら、5回続けて表が出た」という観測結果に基づいて「このコインは公平でない」ことを検定してみましょう。

表の出る確率を連続型の確率変数と考えましょう。

有意水準は５％とします。

まず、帰無仮説を立てます。

1. 帰無仮説：コインはほぼ公平 (0.4<p<0.6)
(空欄を埋めましょう)

連続型なので、確率を計算するために積分範囲を指定する必要があります。ここでは、表の出る確率 p が (0.4<p<0.6) の範囲であれば、このコインは「ほぼ」公平であることにします。

2. 表の出る確率 p の事後確率分布を求める。
(空欄を埋めましょう)

事前分布は一様分布とします。結果は右の図のようになりました。

この分布の (0.4<p<0.6) の範囲の面積を計算したところ 0.046 という値が得られました。

3. 有意水準５％で帰無仮説を棄却
(空欄を埋めましょう)

「あるコインを5回投げたら、5回続けて表が出た」という観測結果に基づいて計算した事後確率分布の (0.4<p<0.6) の範囲の面積は 0.046 。

このような観測結果の得られているコインの表の出る確率が (0.4<p<0.6) の範囲である確率は 0.046 である。ということです。この値は有意水準５％ (0.05) より小さいので、帰無仮説を棄却します。よって、

「このコインは公平ではないという仮説は有意水準５％で統計的に有意である」

あるいは、もっとシンプルに、

「このコインは有意水準５％で公平ではない」

という結論が得られるのです。

⇒「このコインは公平とはいえない」
(空欄を埋めましょう)


検定の手順を踏むことによって、はっきりしなかった「表の出る確率の事後確率分布」を用いて、はっきり「公平である」が「公平でない」かを言うことができるようになりました。

でも、ちょっと不思議ではないですか。確率分布の持っていた曖昧性はどこへ行ってしまったのでしょうね？

実はトリックは「有意水準」にあります。
「観測結果から計算した確率が有意水準より小さいかどうかで判定を行う」ということは、「有意水準が変われば判定結果も変わる可能性がある」ということです。
有意水準が曖昧性を吸収していたのです。

最後に、有意水準の「意味」をしっかり認識しましょう。

帰無仮説 H_0 に基づいて観測結果の確率を計算したら 0.05 より小さい値になった。よって H_0 が真である可能性は 0.05 以下なので、H_0 を棄却する。のが検定の手順ですが、よく考えてください。「H_0 が真である可能性も 0.05 ある」わけです。

すなわち統計的仮説検定を用いて「ある仮説が有意水準５％で統計的に有意である」という結果が「誤って」いる確率が５％あるということです。

有意水準というのは「検定によって行った判断が誤っている」確率を意味しているのです。

【講義ノート】ケーススタディ (分散比検定-1)

もう一例、今度は「分散比」による検定を行います。

この手順は一般的には「分散分析」と呼ばれます。「分散分析」ということばも併せて覚えておきましょう。

「ニューモデルの燃費は向上したか？」

さて、この実験条件は、前回分散比を計算したものと同じです。

車種A ５台の燃費測定値(X_j^(A))
18.0 18.2 15.3 17.5 17.3

車種B 10台の燃費測定値(X_j^(B))
13.4 10.4 17.8 16.3 16.4
14.9 16.4 17.7 21.5 15.3

さて、両車種の燃費に差があるか？

【講義ノート】ケーススタディ (分散比検定-2)

帰無仮説 H_0 を立てます。
「車種Aと車種Bの間に燃費の違いはない」

この仮説のもとに、分散比 F は自由度対

[ 1, �煤@(n^(i) - 1) ]
     i=A,B

の F-分布に従う

【講義ノート】ケーススタディ (分散比検定-3)

車種A、B、全体の平均燃費を計算します。前回と同じです。
計算値は前回は空白にしていましたが、今回は書いてあります。

(「~」は上にひく横線、「^」は上付き添字、「_」は下付き添字 )

X~^(A)=  17.26
X~^(B)=  16.01
X~    =  16.426 …

【講義ノート】ケーススタディ (分散比検定-4)

級間平方和、異なる車種間の燃費のばらつきに関係。

s^2_{between} = 5.208 …

級内平方和、同一車種内での燃費のばらつきに関係。

s^2_{within} = 81.94 …

【講義ノート】ケーススタディ (分散比検定-5)

級間(不偏)分散

U^2_b = s^2_{between} / 1 = 5.028 …

級内(不偏)分散

U^2_w = s^2_{within} / �煤@(n^(i) - 1) = 6.303 …
                       i=A,B

【講義ノート】ケーススタディ (分散比検定-6)

不偏分散比を計算する。

     U^2_b
F = ------- = 0.826
     U^2_w

これで、車種Aと車種Bの燃費の違いを評価するための量が計算できました。
この値が大きいほど、燃費の違いが大きいことを表しています。

さて、車種Aと車種Bの間に燃費の違いはないという仮定の下、
２クラスの不偏分散比は自由度対

[ 1, �煤@(n^(i) - 1) ] = [ 1, 13 ]
     i=A,B
　　　　　　　　　　
の F-分布に従います。

【講義ノート】自由度対 [n_1, n_2] のＦ分布に関する境界値（有意水準5%）

さて、このように計算してきた分散比は連続型確率変数であり、自由度対 [ 1, 13 ]の F-分布 f_{1,13}(F) に従います。

このページに示した表は、いろいろな自由度対の F-分布を作図し、(0 < F < Fc) の範囲で積分して 0.95 になる Fc の値を計算したものです。この値を、有意水準５％における F-境界値とい います。

今回は自由度対 [ 1, 13 ] ですから、表の列から n_1=1、表の行から n_2=13 を選びます。そこに、4.67 という数字がありますね。これが、この条件における F-境界値です。

燃費測定データから計算した分散比が、この F-境界値より大きければ、
「車種Aと車種Bの間に燃費の違いはない」という仮定の下にこのような分散比が計算される確率は５％以下であり、めったにないことなので、「燃費の違いはない」という仮説を棄却できるわけです。

この表は、数学ハンドブックや、数表と呼ばれる書籍に載っています。またＰＣがあれば、エクセルの「FINV(n1, n2, 0.05)」という関数で求めることもできます。

【講義ノート】ケーススタディ (分散比検定-7)

ところが、今回のケースでは、

不偏分散比：　0.826 …

自由度対 [ 1, 13 ] の F-分布の境界値（有意水準 5%）：　4.67　(＞0.826)

ということで、計算した分散比は F-境界値よりまるで小さく、帰無仮説の棄却ができません。

⇒ 有意水準５％ では「H_0」を棄却できない。

ことになります。すなわち、
「この測定結果から有意水準５％で燃費の向上はわからない」
ということなのですね。

この例は検定に失敗するケースでした。

統計的仮説検定は、近い将来、皆さんにとって非常に重要な技術になります。卒業研究で何か実験を行った結果について必ず「検定により結果の有意性を示せ」と求められるからです。

次回はそのような例を取り扱ってみましょう。
--