タイタニック号の乗客の生存予測〜80%以上の予測精度を超える方法（モデル構築＆推論編）
本当に今更なテーマなのですが、以下の記事の後編を書きました。 さて、本編では前編での探索的データ解析をもとにモデルを構築し、推論します。 以下のディレクトリ構造で進めていきます。 前編と同様にDockerコンテナ上で分析環境を構築しています…
KIYOSHI'S NOTES
Kaggle
ExploratoryでKaggleのHouse Priceをやってみる
前回の投稿でベイジアンA/Bテストを紹介しましたが、その際に参考にした記事でExploratoryというツールが用いられていました。 Exploratoryを一言でいうと、データ分析タスクの3本柱である、データラングリング、データ可視化、分…
学生のプロフィール情報とテスト結果の関係とは
気まぐれにKaggleのデータセットを眺めていたら面白そうなデータセットがあったのでサクッと分析してみました。使ったデータセットは、「Students Performance in Exams」という学生のプロフィール情報（親の教育水準/人…
来月の商品の売上数を予測する〜Kaggle Predict Future Salesに挑む（その２）
前回の投稿からだいぶ経ってしまいましたが、Kaggleの「Predict Future Sales」に再度取り組んでみました。タスクの概要については以下の記事をご参照ください。 各種ライブラリを読み込み、データセットをpandas.Data…
時系列データに対する特徴量エンジニアリング手法のまとめ
つい最近、『時系列データ分析』という時系列データ分析の超入門書を読んだのですが、実際に機械学習モデルを構築するためにはどうやって特徴量を生成するべきなのか良く分からなかったのでいろいろ調べてみました。ちなみにこの本は、自己相関とは何かとか、…
来月の商品の売上数を予測する〜Kaggle Predict Future Salesに挑む（その１）
最近BI（Business Inteligence）関連とか、RPAツールをいじってばかりだったので、たまにはデータサイエンス系のことをやろうかと思ってKaggleを覗いたところ、簡単にSubmitできそうなタスクがありました。試しにちょこ…
カテゴリカル変数はなんでもダミー変換すればよいのか？-アルゴリズムに応じたOne Hot EncodingとLabel Encodingの使い分け
KaggleのKernelを見ていると、カテゴリカル変数に対して特に理由もなくpandasのget_dummiesメソッドでOne Hot Encodingをしている場合が多いようです。本人たちは理解してカテゴリカル変数をEncodingし…
住宅価格を予測する〜Kaggle House Priceチュートリアルに挑む
日増しに寒くなってきました。街ゆく人々は厚手のコートにマフラーと本気で防寒し始めているわけですが、著者はダイエットのためにあえて薄着で過ごしております。 さて、Kaggleの回帰問題のチュートリアルである、住宅価格の予測(House Pri…
タイタニック号の乗客の生存予測〜80%以上の予測精度を超える方法（探索的データ解析編）
今さらですが、ついにKaggleのタイタニック チュートリアル(titanic tutorial)でAccuracy80%を達成できました。※過去に3つほどtitanic tutorialについての記事を書いています。titanic tut…
レストランの来客数予測@Kaggle〜データ分析編①
３連休、もう終わりですね。 本来であればこの３連休は阿弥陀岳（南陵ルート）に挑む予定でした。 ですが、低気圧の通過で冬山としては最悪のコンディションが予想されたため延期になり、ぽっかりと連休の予定が空いてしまったのです。 ということで、この…