7.1節 統計的推測の基礎
著者:梅谷 武
語句:母集団,無作為,標本,母集団分布,母数,パラメトリック,ノン・パラメトリック,統計量,標本平均,母平均,母分散,標本分散,推定量,推定値,点推定,不偏性,不偏推定量,一致性,一致推定量,最尤法,最尤推定量,区間推定,下側信頼限界,上側信頼限界,信頼係数,信頼区間,対偶,仮説検定,仮説,検定統計量,棄却,有意水準,有意,帰無仮説,対立仮説,棄却域
統計的推測の用語や基本概念の整理しながら、確率論との関係について述べる。
作成:2012-02-25
更新:2012-02-28
7.1 統計的推測の基礎
7.1.1 確率空間と確率変数
 統計学はさまざまな「ものの集まり」がもつ何らかの傾向について調べることを目的としている。その興味の対象となる「ものの集まり」を母集団ぼしゅうだん, populationという。統計的推測とは、母集団からその一部を無作為むさくい, randomに抽出し、それらを測定し、結果を分析することにより母集団のもつ傾向に関する推測を行なうことである。
 統計的推測では確率論の手法がそのまま用いられるが、あらかじめ確率分布が与えられる確率論の問題とは逆に、確率分布を推測することが問題となる。また言葉遣いも確率論とはやや異なり、混乱をもたらしかねない独特のものがあるため、まず最初に統計学の諸概念が確率論ではどのような意味をもつのかということを確認しておく必要がある。
 例として日本人全体を母集団Ωとし、無作為抽出された各個人ωの身長X(ω)を測り、その傾向を調べることを考える。
 日本の人口をN人とし、その中から一人を標本として抽出する確率を
P(ω) =
1
N
,  ∀ ω ∈ Ω
とする。Pは可測空間(Ω,2Ω)上の確率測度となる。
 標本ひょうほん, sampleという言葉は、各個人ω、ωに対してその身長X(ω)を対応させる関数、すなわち確率変数X、測定した値X(ω)の三通りの意味に使われる。文脈により意味が異なるので注意が必要である。標本、標本変数、標本値というように言葉を使い分けることも考えられるが、やや不自然な文章になってしまう。ここでは慣例に従い、文脈により意味を変えることにする。
 統計的推測とは、確率変数としての標本Xの確率分布μXを推測するものである。この確率分布は母集団分布ぼしゅうだんぶんぷ, population distributionと呼ばれるが、母集団とその標本、言い換えれば確率空間と確率変数に対して定まるものである。通常は例えば正規分布N(m,σ2)やPoisson分布P(λ)というような分布の型を仮定し、その型を決定する母数ぼすう, parameter、m,σ2やλを推測するという形式がとられる。このような方法をパラメトリックぱらめとりっく, parametricという。これに対して母集団分布の型を仮定しない方法をノン・パラメトリックのんぱらめとりっく, non-parametricという。
 特に断らない限り、母集団から無作為にn個抽出した標本X1, ⋯, Xnは独立同分布確率変数であると考える。母集団が有限個である場合でも、その個数がnに比べて十分に大きいと仮定し、復元抽出であるか非復元抽出であるかは問題にしない。
7.1.2 統計量
 母集団から無作為抽出した標本X1, ⋯, Xnの関数
t(X1, ⋯, Xn)
を統計量とうけいりょう, statisticという。統計量も確率変数である。

定義7.1.2.2 標本平均

X ≡
1
n
n
∑
i = 1
Xi
を標本平均ひょうほんへいきん, sample meanという。
 母集団分布の平均を母平均ぼへいきん, population mean、分散を母分散ぼぶんさん, population varianceという。

命題7.1.2.4

 母平均をm、母分散をσ2とすると次が成り立つ。
E[X] = m,  V[X] =
σ2
n

証明

演習とする。■

命題7.1.2.6

 正規母集団N(m,σ2)のn個の標本平均Xは正規分布N(m,σ2/n)に従う。

証明

演習とする。■

命題7.1.2.8

 正規母集団N(m,σ2)のn個の標本平均Xを標準化した統計量
X－m
σ/√n
は標準正規分布N(0,1)に従う。

証明

演習とする。■

定義7.1.2.10 標本分散

s2 ≡
1
n－1
n
∑
i = 1
(Xi－X)2
を標本分散ひょうほんぶんさん, sample varianceという。

命題7.1.2.11

 母分散をσ2とすると次が成り立つ。
E[s2] = σ2

証明

 Xi－m = (Xi－X) ＋ (X－m)より
n
∑
i = 1
(Xi－m)2
=
n
∑
i = 1
(Xi－X)2
 ＋
n
∑
i = 1
(X－m)2
 ＋ 2(X－m)
n
∑
i = 1
(Xi－X)
=
n
∑
i = 1
(Xi－X)2
 ＋
n
∑
i = 1
(X－m)2
したがって
n
∑
i = 1
(Xi－X)2
 =
n
∑
i = 1
(Xi－m)2
 －
n
∑
i = 1
(X－m)2
ここで
E[
n
∑
i = 1
(Xi－m)2
 ] =
n
∑
i = 1
E[(Xi－m)2]
 =
n
∑
i = 1
V[Xi]
 = nσ2
E[
n
∑
i = 1
(X－m)2
 ] =
n
∑
i = 1
E[(X－m)2]
 =
n
∑
i = 1
V[X]
 = σ2
であるから
E[
n
∑
i = 1
(Xi－X)2
 ] = nσ2 － σ2 = (n－1)σ2
であり
E[s2] = E[
1
n－1
n
∑
i = 1
(Xi－X)2
 ] = σ2
■

命題7.1.2.13

 正規母集団N(m,σ2)のn個の標本平方和S2
S2 ≡
n
∑
i = 1
(Xi－X)2
について、S2/σ2は自由度n－1のχ2分布χ2(n－1)に従う。

証明

演習とする。■

命題7.1.2.15

 正規母集団N(m,σ2)のn個のt統計量
t =
X－m
√s2/n
は自由度n－1のt分布t(n－1)に従う。

証明

演習とする。■
7.1.3 点推定
 母集団分布の未知母数θを推定するための統計量である推定量すいていりょう, estimatorθを、無作為抽出した標本について計算した推定値すいていち, estimateで推定する方法を点推定てんすいてい, point estimationという。推定量としてどのような統計量を選ぶかという事に関しては、いろいろな考え方がある。

定義7.1.3.2 不偏性

 母数θとその推定量θに関する次の性質
E[θ] = θ
を不偏性ふへんせい, unbiasednessといい、不偏性をもつ推定量を不偏推定量ふへんすいていりょう, unbiased estimatorという。
 命題7.1.3.4と命題7.1.3.7から次がわかる。

命題7.1.3.4

 標本平均は母平均の不偏推定量であり、標本分散は母分散の不偏推定量である。

定義7.1.3.5 一致性

 母数θとその推定量θnに関する次の性質
 
lim
n → ∞
P( |θn－θ| ＞ ε )
 = 0,  ∀ ε ＞ 0
を一致性いっちせい, consistencyといい、一致性をもつ推定量を一致推定量いっちすいていりょう, consistent estimatorという。

命題7.1.3.6

 標本平均は母平均の一致推定量であり、標本分散は母分散の一致推定量である。

証明

演習とする。■
 この他に最尤法さいゆうほう, maximum likelihood methodによる最尤推定量さいゆうすいていりょう, maximum likelihood estimatorがあるが、当面は使わないことにする。
7.1.4 区間推定
 点推定が母数θの推定値θを与えるのに対し、区間推定くかんすいてい, confidence intervalは母数θが確率1－αで区間[L,U]に入るという形で推定する。
 L = L(X1, ⋯, Xn), U = U(X1, ⋯, Xn)はともに標本X1, ⋯, Xnの関数であり、区間推定は母集団分布の確率測度Pにより、
P( L(X1, ⋯, Xn) ≦ θ ≦ U(X1, ⋯, Xn) ) = 1－α
という形式で表現される。Lを下側信頼限界したがわしんらいげんかい, lower confidence limit、Uを上側信頼限界うえがわしんらいげんかい, upper confidence limit、確率1－αを信頼係数しんらいけいすう, confidence coefficient、区間[L,U]を100(1－α)%信頼区間しんらいけいすう, confidence intervalという。
 区間推定は、母集団から無作為抽出した標本について信頼区間を計算する行為を試行、区間[L,U]に母数θが含まれることを成功とする、成功確率1－αのBernoulli試行と考えることができる。

正規母集団の母平均(分散既知)

 正規母集団N(m,σ2)のn個の標本平均Xについて
X－m
σ/√n
は標準正規分布N(0,1)に従うから、
1
√2π
∫∞
 
u(α/2)
e－x2/2dx
 =
α
2
によりu(α/2)を定めると
P( －u(α/2) ≦ √n(X－m)/σ ≦ u(α/2) ) = 1－α
P( X－u(α/2)σ/√n ≦ m ≦ X＋u(α/2)σ/√n ) = 1－α
より

信頼区間

[X－u(α/2)σ/√n, X＋u(α/2)σ/√n]

正規母集団の母平均(分散未知)

 正規母集団N(m,σ2)のn個のt統計量
t =
X－m
√s2/n
は自由度n－1のt分布t(n－1)に従うから、上と同様にt(α/2)を定めれば、
P( －t(α/2) ≦ √n(X－m)/s ≦ t(α/2) ) = 1－α
P( X－t(α/2)s/√n ≦ m ≦ X＋t(α/2)s/√n ) = 1－α
より

信頼区間

[X－t(α/2)s/√n, X＋t(α/2)s/√n]

正規母集団の母分散

 正規母集団N(m,σ2)のn個の(n－1)s2/σ2は自由度n－1のχ2分布χ2(n－1)に従うから、
P( K(1－α/2) ≦ (n－1)s2/σ2 ≦ K(α/2) ) = 1－α
P( (n－1)s2/K(α/2) ≦ σ2 ≦ (n－1)s2/K(1－α/2) ) = 1－α
より

信頼区間

[(n－1)s2/K(α/2), (n－1)s2/K(1－α/2)]
7.1.5 仮説検定
 数学的な命題は、あいまいさを排除するために、形式論理と呼ばれる共通の記号や構文、証明の元になる規則が定められた論理体系で記述される。例えば「命題Pが成り立てば命題Qが成り立つ」という命題は次のように表現される。
P ⇒ Q
命題Pの否定「Pは成り立たない」という命題は次のように表現される。
￢ P
古典論理と呼ばれる体系では、「任意の命題Pについて、Pまたは￢ Pのどちらかが成り立つ」という排中律を仮定している。これは次のように表現される。
P ∨ ￢ P
この体系においては次の命題が証明できる。
( P ⇒ Q ) ⇒ ( ￢ Q ⇒ ￢ P )
いわゆる対偶たいぐう, contrapositionである。これを利用するのが仮説検定である。
 仮説検定かせつけんてい, hypothesis testingとは母集団に関する命題を仮説かせつ, hypothesisPとして仮定し、その理論的帰結として標本のある統計量、すなわち検定統計量けんていとうけいりょう, test statisticが満たすべき条件Qを求め、実験によりその条件が満たされるかどうかを調べることで、その仮説が棄却ききゃく, rejectされるかどうか、すなわち否定されるかどうかを検証することである。仮説検定で証明できるのは、条件Qが否定されたとき(￢ Q)、仮説Pが棄却、すなわち否定される(￢ P)ことだけであり、仮説Pが成り立つことを証明することはできない。
 ここで証明という言葉を使ったが、これは標本の検定統計量が起こり得る確率が基準値、すなわち有意水準ゆういすいじゅん, significance levelより大きいか小さいかを検証するという意味であり、厳密な意味の証明ではない。有意水準αの仮説検定は成功確率1－αのBernoulli試行と考えることができる。
 言い換えれば、仮説検定は標本の検定統計量の仮説からのずれが意味あるものかどうか、すなわち有意ゆうい, significantかどうかを調べ、有意であれば仮説を棄却するものである。
 仮説検定において、元の仮説を帰無仮説きむかせつ, null hypothesis、その否定を対立仮説たいりつかせつ, alternative hypothesisと呼ぶことがある。この場合、帰無仮説が棄却されたときは対立仮説が証明されたことになる。
 以下、具体例で説明する。

両側検定

 正規母集団N(m,σ2)において、母平均mに関する帰無仮説を
H0：m = C
対立仮説を
H1：m ≠ C
とする。これについてn個の標本平均Xと標本分散s2を使って有意水準αで検定する。
 まず、理論的帰結としてt統計量
t =
X－m
√s2/n
が自由度n－1のt分布t(n－1)に従うという性質を使う。
 これに対して実験結果としてX = A, √s2 = Bを得たとする。
t =
A－C
B/√n
を計算し、これがt分布の両側の領域で合計確率がαとなる棄却域ききゃくいき, rejection regionに含まれるとき、すなわち
|t| ＞ t(α/2)
のとき棄却する。

片側検定

 正規母集団N(m,σ2)において、母平均mに関する帰無仮説を
H0：m = C
対立仮説を
H1：m ＜ C
とする。何らかの理由によりm ≦ Cが成り立つことを前提としている。 これについて有意水準αで検定する。
 理論的帰結としてt統計量
t =
X－m
√s2/n
が自由度n－1のt分布t(n－1)に従うという性質を使う。
 これに対して実験結果としてX = A, √s2 = Bを得たとする。
t =
A－C
B/√n
を計算し、これがt分布の左側の領域で確率がαとなる棄却域に含まれるとき、すなわち
t ＜ t(α)
のとき棄却する。
数　　学
母集団 ぼしゅうだん, population
無作為 むさくい, random
標本 ひょうほん, sample
母集団分布 ぼしゅうだんぶんぷ, population distribution
母数 ぼすう, parameter
パラメトリック ぱらめとりっく, parametric
ノン・パラメトリック のんぱらめとりっく, non-parametric
統計量 とうけいりょう, statistic
標本平均 ひょうほんへいきん, sample mean
母平均 ぼへいきん, population mean
母分散 ぼぶんさん, population variance
標本分散 ひょうほんぶんさん, sample variance
推定量 すいていりょう, estimator
推定値 すいていち, estimate
点推定 てんすいてい, point estimation
不偏性 ふへんせい, unbiasedness
不偏推定量 ふへんすいていりょう, unbiased estimator
一致性 いっちせい, consistency
一致推定量 いっちすいていりょう, consistent estimator
最尤法 さいゆうほう, maximum likelihood method
最尤推定量 さいゆうすいていりょう, maximum likelihood estimator
区間推定 くかんすいてい, confidence interval
下側信頼限界 したがわしんらいげんかい, lower confidence limit
上側信頼限界 うえがわしんらいげんかい, upper confidence limit
信頼係数 しんらいけいすう, confidence coefficient
信頼区間 しんらいけいすう, confidence interval
対偶 たいぐう, contraposition
仮説検定 かせつけんてい, hypothesis testing
仮説 かせつ, hypothesis
検定統計量 けんていとうけいりょう, test statistic
棄却 ききゃく, reject
有意水準 ゆういすいじゅん, significance level
有意 ゆうい, significant
帰無仮説 きむかせつ, null hypothesis
対立仮説 たいりつかせつ, alternative hypothesis
棄却域 ききゃくいき, rejection region