統計解析

大学のテストや検定試験で頻出の確率分布のまとめ

統計検定の試験勉強がてら、テストで頻出する確率分布を一覧化してみました。 各々の確率分布の詳細に関しては、数理統計学をテーマにしている専門書や、webにアップされている大学の講義資料などで把握できますが、確率(密度)関数、期待値、分散、最尤推定量などが一箇所にまとまって整理されている書籍やwebページはありませんでした。 大学の数理統計学のテストや統計検定(特に統計検定1級など)の勉強や試験直前の […]

施策効果の測定にはベイジアンA/Bテストを使おう!

クライアント先のデータサイエンティストから、「施策検証といえば普通はA/Bテストだけど、ベイジアンA/Bテストというモダンな手法があって面白いよ!」と勧められたのでいろいろ調べてみました。 なるほど確かに、ベイジアンA/Bテストかなり使えます。 ということで、簡単にベイジアンA/Bテストを紹介しようと思います! (Pyhtonでの実装方法や便利ツールなどは他所に詳しいのでリンクを貼っておきます) […]

統計学と機械学習におけるマルチコ(多重共線性)に対する考えの相違

先日、デスマーチの末なんとか機械学習案件のリリースに漕ぎ着けました。 今回の案件に関わらないですが、要件や仕様はしっかり明文化しておくべきですね。 後から(特にリリース間近になって)言った言わないの議論になるのは双方にとってあまり気持ちのいいものではありません。 些細な仕様変更のため口頭で合意した内容でも、しっかりと資料化しておくことの重要さを再認識しました。 さて、今回はマルチコ(多重共線性)に […]

Tableauで始めるアドホック分析~SQLと関連づけてTableauの仕組みを理解する

今回はTableauの仕組みを理解する上で本質的と思われる項目に焦点を当て、SQLと対比しながらTableauの仕組みを説明していきます。 ちなみに筆者はTableau歴1年で、Jedi(ジェダイ)には及ばないものの不自由なくTableauを使いこなせるようになりました。 (ダッシュボード関連では細かいバグを見つけたりもしています) しかし、Tableauを使い始めたころは仕組みを理解せずになんと […]

秘書問題をシミュレーションしてみた

無事に本社の忘年会が終わりました。 各部署の出し物のクオリティが全て高くて、「これ、忘年会の準備で業務に支障きたすレベルじゃね?(^^;)」って思ったり思わなかったり笑 さて、最近は『アルゴリズム思考術:問題解決の最強ツール』という本を読んでいます。 そこで、秘書問題という古典的な最適停止問題が取り上げられており、それがなかなか面白い内容だったので、今回は簡単なシミュレーションを交えて紹介します。 […]

モンティ・ホール問題をシミュレーションしてみた

いよいよ忘年会シーズン突入ですね。 私が所属する部署では、忘年会の余興として、全力で「翼をください」を合唱することになりました(当惑) 忘年会の出し物。昨年であれば、恋ダンス。今年ならブルゾンちえみでしょうか。 ダンスは絶望的に苦手なので、結構ホッとしています。 さて、今回はモンティ・ホール問題をシミュレーションしてみます。 数学科でも間違う方が多い問題ですが、なかなか面白いです。 また、こういっ […]

モンテカルロ法による円周率のシミュレーション

暇つぶしがてら、モンテカルロ法で円周率をシミュレーションしてみました。 円周率という神秘的で秩序だった定数を、乱数により近似するというアイデアの実装はなかなか楽しいものでした。 (別に目新しい方法ではないですけどね。) モンテカルロ法とは モンテカルロ法とは、乱数を用いたシミュレーションのことです。 例えば、サイコロの出る目が1/6(等確率)であることの証明を考えます。 理論的にサイコロの出る目が […]

現場で使える!2つのグループにおける比率差の検定

今回はPDCAサイクルの検証フェーズで良く用いられる、統計的仮説検定、特に比率の検定について投稿します。 比率の検定は、DM開封率や視聴率などの指標を、KPIに設定している場合に使います。 統計的仮説検定が使われる理由、それは、料金設定や広告、PR活動などのマーケティング施策が、その指標に影響を与えているかどうかを数学的に検証できるからです。 施策実施の前後で、DM開封率や視聴率などの指標に差があ […]

プロ野球の規定打席数は「大数の法則」で裏付けできる?

手始めに、統計理論の投稿をしてみます。 今回のテーマは、統計理論でも超有名な「大数の法則」です。 今夜CSの中継もありましたし、プロ野球の規定打席数との関係を説明します。 まずは、大数の法則をざっくりと説明し、そのあとで、プロ野球の規定打席数の定め方が、「大数の法則」に則っていることをシミュレーションにより確かめます。 大数の法則とは 一言でいえば、次の通りです。 試行回数を増加させると、真の成功 […]