学生のプロフィール情報とテスト結果の関係とは
- 2019.04.11
- Kaggle
気まぐれにKaggleのデータセットを眺めていたら面白そうなデータセットがあったのでサクッと分析してみました。 使ったデータセットは、「Students Performance in Exams」という学生のプロフィール情報（親の教育水準/人種/経済レベル/性別 etc）とテストの得点（数学/Writing/Reading）です。 Kaggleで紹介されているページはです。 また、出典となったデー […]
時系列データに対する特徴量エンジニアリング手法のまとめ
- 2019.03.23
- Kaggle
つい最近、『時系列データ分析』という時系列データ分析の超入門書を読んだのですが、実際に機械学習モデルを構築するためにはどうやって特徴量を生成するべきなのか良く分からなかったのでいろいろ調べてみました。 ちなみにこの本は、自己相関とは何かとか、ARCH、GARCHといった主要な統計モデリングの手法を理解するのには最適だと思います。ただ、機械学習モデルにどう特徴量として時系列データを組み込むのかは説明 […]
来月の商品の売上数を予測する〜Kaggle Predict Future Salesに挑む（その２）
- 2019.03.23
- Kaggle
前回の投稿からだいぶ経ってしまいましたが、Kaggleの「Predict Future Sales」に再度取り組んでみました。 タスクの概要については以下の記事をご参照ください。 今回は前回とは違い、一応機械学習モデルを入れています。 今回のポイントはマスタであるitem_categories(商品カテゴリ)とshops(店舗)から大分類的な情報を生成したことと、商品売上数と商品売上金額についてラ […]
『確率思考 不確かな未来から利益を生みだす』を読んだ感想
- 2019.03.17
- 書評
久々に書評を投稿します。 実はこの本が出版されてすぐ、本屋の平積みにあったのを気まぐれに買って読んでいたのですが、内容がサッパリ頭に入っておりませんでした。 今になってふともう一度読んでみようかと思って読み直してみると、なかなか良書でした。 タイトルはとっつきづらいですが、内容はそんなこと一切なく、今後の自分の人生におけるあらゆる意思決定の精度を向上できたり、また、後悔のない意思決定ができるように […]
来月の商品の売上数を予測する〜Kaggle Predict Future Salesに挑む（その１）
- 2019.02.10
- Kaggle
最近BI（Business Inteligence）関連とか、RPAツールをいじってばかりだったので、たまにはデータサイエンス系のことをやろうかと思ってKaggleを覗いたところ、簡単にSubmitできそうなタスクがありました。 試しにちょこっとやってsubmitしてみたので、ざっくりとどんなタスクなのか、どうやって提出したのかをまとめました。 なお、今回は機械学習を用いず、単純なルールベースで取 […]
ダイナミックプライシングとは何か？代表的な実装方法の紹介
- 2019.01.03
- その他
あけましておめでとうございます。 本年1発目の投稿は、ダイナミックプライシング(dynamic pricing)についてです。 最近、ダイナミックプライシングに関する案件を担当することになったので、いろいろと勉強しています。 ただ、日本語でダイナミックプライシングを詳しく説明しているサイトや参考書籍はほとんど見つかりません。 論文や英語記事を読み漁るしか現時点でダイナミックプライシングを学ぶ術がな […]
対数変換が適さない場合がある！？対数変換すると結果が悪くなる例の紹介
- 2018.12.26
- 統計解析
前回に続き、変数変換のお話です。 KaggleのKernelや諸々のブログで紹介されている手法を見ていて(自分が使う手法も含めて)ふと疑問を感じたことがあってこの記事を書きました。 それは、数値変数(連続値をとる変数)が正規分布に従わない場合に、対数変換によって正規分布に擬似的に従わせたうえでモデルを作っていることです。 正規分布に従わない連続値を対数変換するとよくわからないけど正規分布に従うと信 […]
カテゴリカル変数はなんでもダミー変換すればよいのか？-アルゴリズムに応じたOne Hot EncodingとLabel Encodingの使い分け
- 2018.12.23
- Kaggle
KaggleのKernelを見ていると、カテゴリカル変数に対して特に理由もなくpandasのget_dummiesメソッドでOne Hot Encodingをしている場合が多いようです。 本人たちは理解してカテゴリカル変数をEncodingしていると思いますが、なぜそのEncodingなのかを説明しているKernelを私は見たことがありません。 そこで自分の頭の整理を兼ねて、カテゴリカル変数をEn […]
住宅価格を予測する〜Kaggle House Priceチュートリアルに挑む
- 2018.12.17
- Kaggle
日増しに寒くなってきました。 街ゆく人々は厚手のコートにマフラーと本気で防寒し始めているわけですが、著者はダイエットのためにあえて薄着で過ごしております。 さて、Kaggleの回帰問題のチュートリアルである、住宅価格の予測(House Prices: Advanced Regression Techniques)に挑戦しました。 Kaggleには2つチュートリアルがあって、回帰問題はHouse P […]
タイタニック号の乗客の生存予測〜80%以上の予測精度を超える方法（探索的データ解析編）
今さらですが、ついにKaggleのタイタニック チュートリアル(titanic tutorial)でAccuracy80%を達成できました。 ※過去に3つほどtitanic tutorialについての記事を書いています。titanic tutorialって何？っていう方は以下に詳しくまとめていますのでご参照ください。 どうやってAccuracy80%を超えられたのかを、「探索的データ解析編」と「モ […]