確率分布

代表的な確率分布における確率(密度)関数、期待値、分散、積率母関数などをまとめます。
表にはとりあえず暗記しておくべき項目を記載しています。
また、表に記載している各統計量や関数に関してはその導出方法も詳しく記載しました。
統計検定1級や大学のテストなどで活用できるかと思います。
ベータ分布やガンマ分布の最尤推定量や積率母関数はテストで求められることはほぼないので空欄としています。

ポアソン分布

$$ f(x \mid \lambda) = \frac{\lambda e^{-\lambda}}{x!} \,\,\, (\lambda > 0 , \, x=0,1,2,\dots) $$

ポアソン分布では、一定間隔におけるイベントの発生回数をモデル化できる。
例えば、以下のモデルとして使用される。

• 年間の地球に衝突する隕石のうち、直径が1mを超える隕石を観測する回数
• 午後10~11時の間に緊急治療室に運びこまれる患者数
• ある時間内に光子検出器にヒットする光子数

期待値

\begin{eqnarray}
E[X] &=& \sum_{k = 1}^N k \cdot \frac{ \lambda^k e^{-\lambda}}{k!} \\
&=& \sum^N_{k = 1} \lambda \cdot \frac{ \lambda^{k-1} e^{-\lambda} }{(k-1)!} \\
&=& \lambda
\end{eqnarray}

分散

\begin{eqnarray}
Var[X] &=& E[X^2] – \left( E[X] \right)^2 \\
&=& \sum_{k = 1}^N k^2 \cdot \frac{ \lambda^k e^{-\lambda}}{k!} – \lambda^2 \\
&=& \sum_{k = 1}^N (k(k-1) + k) \cdot \frac{ \lambda^k e^{-\lambda}}{k!} – \lambda^2 \\
&=& \lambda^2 \sum_{k = 1}^N \frac{ \lambda^{k-2} e^{-\lambda}}{(k-2)!} + \lambda \sum_{k = 1}^N \frac{ \lambda^{k-1} e^{-\lambda}}{(k-1)!} – \lambda^2 \\
&=& \lambda
\end{eqnarray}

最尤推定量

サンプル\( x_i \, (i \in \{ 1,2,\dots,N \}) \) が与えられたときの最尤推定量を求める。
まず、尤度関数 \( L(\theta) \) は以下となる。
$$ L(\theta) = \prod ^{N}_{i=1} \frac{\theta^{x_i}e^{-\theta}}{x_i !} $$
次に尤度関数の対数をとった対数尤度関数 \( l(\theta) \) は以下となる。
$$ l(\theta) = \sum^{N}_{i=1} \left( x_i \log{\theta} – \theta – \log{x_i !} \right) $$
対数尤度関数 \( l(\theta) \) を \( \theta \) で微分する。
\begin{eqnarray}
l'(\theta) &=& \sum^{N}_{i=1} \left( \frac{x_i}{\theta} – 1 \right) \\
&=& \frac{\sum^{N}_{i=1} x_i}{\theta} – N
\end{eqnarray}
ここで、対数尤度関数を最大化するパラメータ \( \theta \) は、\( l'(\theta) = 0 \) とすることで求められる。
\begin{eqnarray}
l'((\theta) = 0 & \Leftrightarrow & \frac{\sum^{N}_{i=1} x_i}{\theta} – N = 0 \\
& \Leftrightarrow & \theta = \frac{\sum^{N}_{i=1} x_i}{N} \\
& \Leftrightarrow & \theta = \overline{x}
\end{eqnarray}

積率母関数

\begin{eqnarray}
M_X(t) &=& \sum^{\infty}_{k=1} e^{tk} \frac{\lambda^k e^{-\lambda}}{k!} \\
&=& e^{-\lambda} \sum^{\infty}_{k=1} \frac{(\lambda e^t)^k}{k!} \\
&=& e^{-\lambda} e^{\lambda e^t} \\
&=& e^{\lambda (e^t – 1)}
\end{eqnarray}

再生性

$$ X \sim Po(\lambda_1), Y \sim Po(\lambda_2) \Rightarrow X+Y \sim Po(\lambda_1 + \lambda_2) $$

二項分布

$$ f(x \mid n, p) = {}_n \mathrm{C} _x p^x (1-p)^{n-x} \,\,\, (n \ge 1 , 0 \le p \le 1) $$
二項分布では、母集団(サイズ \( N \)) から復元抽出したサンプル(サイズ \( n \)) における成功数をモデル化できる。
非復元抽出の場合、試行は独立にならないため、二項分布ではなく超幾何分布となる。

期待値

\begin{eqnarray}
E[X] &=& \sum_{x=0}^{n} {}_n \mathrm{C} _x x \cdot p^x (1-p)^{n-x} \\
&=& \sum_{x=0}^{n} \frac{n!}{x!(n-x)!} x \cdot p^x (1-p)^{n-x} \\
&=& np \sum_{x=1}^{n} \frac{n-1!}{(x-1)!(n-x)!} p^{x-1} (1-p)^{n-x} \\
&=& np \sum_{x=1}^{n} {}_{n-1} \mathrm{C} _{x-1} p^{x-1} (1-p)^{n-x} \\
&=& np
\end{eqnarray}

4行目から5行目にかけては \( Bin(n-1,p) = {}_{n-1} \mathrm{C} _{k} p^{k} (1-p)^{n-k} \) の全確率が1であることを利用している。

分散

積率母関数

\begin{eqnarray}
M_X(t) &=& \sum^{n}_{x=0} e^{tx} {}_n \mathrm{C} _x p^x (1-p)^{n-x} \\
&=& \sum^{n}_{x=0} {}_n \mathrm{C} _x \left( e^t p \right)^x (1-p)^{n-x} \\
&=& \left( e^t + 1 – p \right)^n
\end{eqnarray}

幾何分布

$$ P(X = x \mid p) = p(1-p)^{x-1} \,\,\, (x=1,2, \cdots) $$

幾何分布では、以下の条件を満たす事象をモデル化できます。

• 連続した独立試行であること
• 各試行の結果が2値のうちのいずれかであること(成功or失敗など)
• パラメータ \( p \)が全ての試行において同一であること

確率関数から期待値や分散を求めるのは難しいため、積率母関数(モーメント母関数)から求めることにする。

積率母関数

\begin{eqnarray}
M_X(t) &=& \sum^{\infty}_{x=1} e^{tx} p(1-p)^{x-1} \\
&=& pe^t \sum^{\infty}_{x=1} e^{t(x-1)} (1-p)^{x-1} \\
&=& pe^t \sum^{\infty}_{x=1} \left( e^t(1-p) \right)^{x-1} \\
&=& \frac{pe^t}{1 – (e^t(1-p))}
\end{eqnarray}

超幾何分布

$$ P(X = x \mid N,M,K) = \frac{{}_M \mathrm{C} _x \cdot {}_{N-M} \mathrm{C} _{K-x}}{{}_N \mathrm{C} _K} \,\,\, (x=0,1,2, \cdots ,K) $$

期待値

分散

分散の定義より、以下のように分解できる。
\begin{eqnarray}
Var[X] &=& E[X^2] – \left( E[X] \right)^2 \\
&=& E[X(X-1)] + E[X] – \left( E[X] \right)^2 \\
\end{eqnarray}

期待値 \( E[X] \) は上記で求められているので、新たに　\( E[X(X-1)] \) を求めることで分散 \( Var[X] \) を導出できる。

よって、分散 \( Var[X] \) は以下となる。

正規分布

$$ f(x \mid \mu, \sigma) = \frac{1}{\sqrt{2\pi \sigma^2}}e^{-\frac{(x-\mu)^2}{2\sigma^{2}}} $$

最尤推定量

サンプル\( x_i \, (i \in \{ 1,2,\dots,N \}) \) が与えられたときの最尤推定量を求める。
まず、尤度関数 \( L(\mu, \sigma^2) \) は以下となる。
$$ L(\mu, \sigma^2) = \prod ^{N}_{i=1} \frac{1}{\sqrt{2\pi \sigma^2}}e^{-\frac{(x_i-\mu)^2}{2\sigma^{2}}} $$
次に尤度関数の対数をとった対数尤度関数 \( l(\mu, \sigma^2) \) は以下となる。
$$ l(\mu, \sigma^2) = \sum^{N}_{i=1} \left( -\frac{1}{2}\left( \log{2\pi} + \log{\sigma^2} \right) – \frac{(x_i – \mu)^2}{2\sigma^2} \right) $$

分散 \( \sigma^2 \) の最尤推定量

分散 \( \sigma^2 \)を定数として、対数尤度関数 \( l(\mu) \) を \( \mu \) で微分する。
\begin{eqnarray}
l'(\mu) &=& \sum^{N}_{i=1} \left( \frac{1}{2\sigma^2}(x_i – \mu)^2 \right) \\
&=& \sum^{N}_{i=1} \frac{(x_i – \mu)}{\sigma^2} \\
&=& \frac{1}{\sigma^2} \left( \sum^{N}_{i=1} x_i -N \mu \right)
\end{eqnarray}
ここで、対数尤度関数を最大化するパラメータ \( \mu \) は、\( l'(\mu) = 0 \) とすることで求められる。
\begin{eqnarray}
l'(\mu) = 0 & \Leftrightarrow & \frac{1}{\sigma^2} \left( \sum^{N}_{i=1} x_i -N \mu \right) = 0 \\
& \Leftrightarrow & \mu = \frac{\sum^{N}_{i=1} x_i}{N} \\
& \Leftrightarrow & \mu = \overline{x}
\end{eqnarray}

再生性

$$ X \sim N(\mu_1, \sigma^2_1), Y \sim N(\mu_2, \sigma^2_2) \Rightarrow X+Y \sim N(\mu_1 + \mu_2 , \sigma_1^2 + \sigma_2^2) $$

指数分布

$$ f(x \mid \lambda ) = \lambda e^{-\lambda x} \,\,\, (x > 0) $$

指数分布では、次のイベント(成功・失敗・到着など)が発生するまでの待ち時間をモデル化できる。
例えば、以下のモデルとして使用される。

• ある店舗において顧客が商品を閲覧後に実際に購入するまでの時間
• バスが到着するまでに待たなければならない時間
• システム障害が発生後に次のシステム障害が発生するまでの時間

期待値

\begin{eqnarray}
E[X] &=& \int_0^{\infty} x \cdot \lambda e^{-\lambda x} dx \\
&=& \int_0^{\infty} e^{-\lambda x}dx – \left[xe^{-\lambda x}\right]^{\infty}_{0} \\
&=& \left[ -\frac{1}{\lambda}e^{-\lambda x} \right]^{\infty}_{0} \\
&=& \frac{1}{\lambda}
\end{eqnarray}

分散

\begin{eqnarray}
Var[X] &=& E[X^2] – \left( E[X] \right)^2 \\
&=& \int_0^{\infty} x^2 \cdot \lambda e^{-\lambda x} dx – \frac{1}{\lambda^2} \\
&=& \int_0^{\infty} 2 x e^{-\lambda x} dx – \left[ x^2 e^{-\lambda x} \right]^{\infty}_{0} – \frac{1}{\lambda^2} \\
&=& 2 \frac{1}{\lambda} \left(\int_0^{\infty} e^{-\lambda x} dx – \left[ x e^{-\lambda x} \right]^{\infty}_{0} \right) – \frac{1}{\lambda^2} \\
&=& 2 \frac{1}{\lambda} \left[ -\frac{1}{\lambda}e^{-\lambda x} \right]^{\infty}_{0} – \frac{1}{\lambda^2} \\
&=& \frac{1}{\lambda^2}
\end{eqnarray}

最尤推定量

サンプル\( x_i \, (i \in \{ 1,2,\dots,N \}) \) が与えられたときの最尤推定量を求める。
まず、尤度関数 \( L(\theta) \) は以下となる。
$$ L(\theta) = \prod ^{N}_{i=1} \theta e^{-\theta x_i} $$
次に尤度関数の対数をとった対数尤度関数 \( l(\theta) \) は以下となる。
$$ l(\theta) = \sum^{N}_{i=1} \left( \log{\theta} – \theta – x_i \right) $$
対数尤度関数 \( l(\theta) \) を \( \theta \) で微分する。
\begin{eqnarray}
l'(\theta) &=& \sum^{N}_{i=1} \left( \frac{1}{\theta} – x_i \right) \\
&=& \frac{N}{\theta} – \sum^{N}_{i=1} x_i
\end{eqnarray}
ここで、対数尤度関数を最大化するパラメータ \( \theta \) は、\( l'(\theta) = 0 \) とすることで求められる。
\begin{eqnarray}
l'((\theta) = 0 & \Leftrightarrow & \frac{N}{\theta} – \sum^{N}_{i=1} x_i = 0 \\
& \Leftrightarrow & \theta = \frac{1}{\overline{x}}
\end{eqnarray}

積率母関数

\begin{eqnarray}
M_X(t) &=& \int^{\infty}_{k=0} e^{tx} \lambda e^{-\lambda x}dx \\
&=& \lambda \int^{\infty}_{k=0} e^{-(\lambda – t)x}dx \\
&=& \lambda \left[ \frac{-1}{\lambda – t} e^{-(\lambda – t)x} \right]^{\infty}_{0} \\
&=& \frac{\lambda}{\lambda – t}
\end{eqnarray}

※3行目から4行目では\( \lambda > t \) であることを利用。積率母関数の定義より、\( t \) は限りなく0に近い。

ベータ分布

$$ f(x \mid \alpha, \beta ) = \frac{1}{B(\alpha, \beta)}x^{\alpha -1}(1-x)^{\beta -1} \,\,\, (\alpha, \beta > 0, x \in [0, 1]) $$

ベータ分布はベイズ推論の事前分布(無情報分布)として利用される。

期待値

\begin{eqnarray}
E[X] &=& \int_0^1 \frac{1}{B(\alpha, \beta)} x \cdot x^{\alpha -1}(1-x)^{\beta -1}dx \\
&=& \frac{1}{B(\alpha, \beta)} \int_0^1 x^{\alpha}(1-x)^{\beta -1}dx \\
&=& \frac{1}{B(\alpha, \beta)} B(\alpha + 1, \beta) \\
&=& \frac{1}{B(\alpha, \beta)} \frac{\alpha}{\alpha + \beta}B(\alpha, \beta) \\
&=& \frac{\alpha}{\alpha + \beta}
\end{eqnarray}

ガンマ分布

$$ f(x \mid \alpha, \beta) = \frac{1}{\Gamma(\alpha)} \frac{1}{\beta} \left( \frac{x}{\beta} \right)^{\alpha -1} e^{-\frac{x}{\beta}} \,\,\, (x>0)$$

期待値

分散

カイ二乗分布

$$ f(x \mid k) = \frac{1}{2^{k/2} \Gamma(k/2)} x^{\frac{k}{2} – 1} e^{-\frac{x}{2}} \,\,\, (x\ge0)$$

期待値

分散