KIYOSHI'S NOTES

統計解析

2021-01-16

肺ガンデータセットに一般化線形モデルや一般化線形混合モデルを適用してみる

あけましておめでとうございます。新年１発目の投稿です。今後の業務で一般化線形混合モデル(GLMM)や状態空間モデルを使うかもしれないということで、再び統計モデリングを勉強しています。今まで担当してきた業務は自然言語処理やレコメンドなどの…

2020-12-21

『Rで学ぶ確率統計学多変量統計編』の「第３章単回帰分析」を読んでいて、切片が0のとき（原点を通る）回帰モデルにおける決定係数について興味深い解釈がなされていたので、頭の整理としてまとめます。なお、今回のテーマですが、残念ながら日本語の…

2020-12-01

先日、MediumでMARS(Multivariate Adaptive Regression Splines:多変量適応的回帰スプライン)に関する記事を読みました。コードはGitHubに上がっています。多変量適応的回帰スプライン（Mu…

2020-11-01

Mediumを眺めていたらこんな記事を見かけました。今回は実際にPingouinを使ってみた感想を述べたいと思います。コードはGitHubにあげています。 Pingouinは統計解析パッケージの1つで、シンプルな記述であるにもかかわらず、…

2020-08-02

ROC曲線って、使わないとすぐに解釈の仕方を忘れてしまいます。縦軸や横軸が何を表していて、何を基準にプロットしていくのか、毎回使うときにググってしまう今日この頃です。ということで、今回は自分の記憶の整理をかねてROC曲線の可視化を実施し、…

2020-07-28

『Rで学ぶ確率統計学多変量統計編』を読んでいて、分割表の検定の章で残差分析という手法が出てきました。カイ二乗検定の説明は市販の統計学の参考書で頻出しているものの、有意な検定結果を得られた後に実施する下位検定（post hoc test）…

2020-04-15

最近、『A new rank correlation coefficient for information retrieval』という論文を読みました。本論文では、ランクがある2つのリストにおける相関係数を算出するために、Average …

2019-11-17

統計検定の試験勉強がてら、テストで頻出する確率分布を一覧化してみました。各々の確率分布の詳細に関しては、数理統計学をテーマにしている専門書や、webにアップされている大学の講義資料などで把握できますが、確率(密度)関数、期待値、分散、最尤…

2019-10-13

クライアント先のデータサイエンティストから、「施策検証といえば普通はA/Bテストだけど、ベイジアンA/Bテストというモダンな手法があって面白いよ！」と勧められたのでいろいろ調べてみました。なるほど確かに、ベイジアンA/Bテストかなり使えます…

2019-05-27

先日、デスマーチの末なんとか機械学習案件のリリースに漕ぎ着けました。今回の案件に関わらないですが、要件や仕様はしっかり明文化しておくべきですね。後から(特にリリース間近になって)言った言わないの議論になるのは双方にとってあまり気持ちのいいも…