2018年12月

対数変換が適さない場合がある!?対数変換すると結果が悪くなる例の紹介

前回に続き、変数変換のお話です。 KaggleのKernelや諸々のブログで紹介されている手法を見ていて(自分が使う手法も含めて)ふと疑問を感じたことがあってこの記事を書きました。 それは、数値変数(連続値をとる変数)が正規分布に従わない場合に、対数変換によって正規分布に擬似的に従わせたうえでモデルを作っていることです。 正規分布に従わない連続値を対数変換するとよくわからないけど正規分布に従うと信 […]

カテゴリカル変数はなんでもダミー変換すればよいのか?-アルゴリズムに応じたOne Hot EncodingとLabel Encodingの使い分け

KaggleのKernelを見ていると、カテゴリカル変数に対して特に理由もなくpandasのget_dummiesメソッドでOne Hot Encodingをしている場合が多いようです。 本人たちは理解してカテゴリカル変数をEncodingしていると思いますが、なぜそのEncodingなのかを説明しているKernelを私は見たことがありません。 そこで自分の頭の整理を兼ねて、カテゴリカル変数をEn […]

住宅価格を予測する〜Kaggle House Priceチュートリアルに挑む(その1)

日増しに寒くなってきました。 街ゆく人々は厚手のコートにマフラーと本気で防寒し始めているわけですが、著者はダイエットのためにあえて薄着で過ごしております。 さて、Kaggleの回帰問題のチュートリアルである、住宅価格の予測(House Prices: Advanced Regression Techniques)に挑戦しました。 Kaggleには2つチュートリアルがあって、回帰問題はHouse P […]

タイタニック号の乗客の生存予測〜80%以上の予測精度を超える方法(探索的データ解析編)

今さらですが、ついにKaggleのタイタニック チュートリアル(titanic tutorial)でAccuracy 80%を達成できました。 ※過去に3つほどtitanic tutorialについての記事を書いています。titanic tutorialって何?っていう方は以下に詳しくまとめていますのでご参照ください。 今回から2~3回にわたって、どうやってAccuracy 80%を超えられたのか […]

Tableauで始めるアドホック分析~SQLと関連づけてTableauの仕組みを理解する

今回はTableauの仕組みを理解する上で本質的と思われる項目に焦点を当て、SQLと対比しながらTableauの仕組みを説明していきます。 ちなみに筆者はTableau歴1年で、Jedi(ジェダイ)には及ばないものの不自由なくTableauを使いこなせるようになりました。 (ダッシュボード関連では細かいバグを見つけたりもしています) しかし、Tableauを使い始めたころは仕組みを理解せずになんと […]