コロナ禍による概念ドリフト(Concept Drift)が機械学習タスクに与える影響
先日、全国で緊急事態宣言が解除され、ようやくコロナ禍の波を1つ超えた感があります。 しかし、コロナ禍によって人々の行動や需要が大きく変わっているため、コロナ禍の前後のデータは業界によっては全く傾向が異なると捉えるべきでしょう。 ここで気になるのは、コロナ禍以前から運用されている機械学習系サービスへの影響です。 本記事ではこういった感染症のパンデミックによる概念ドリフト（Concept Drift） […]
2020年
『データ分析のための数理モデル入門』を読んだ感想
- 2020.05.25
- 書評
Amazonを眺めていたら、今月の新刊の中でも特に気になるタイトルだったのでポチって読んでみました。 Twitterでも本書を読んだ感想がいくつか投稿されていますね。 結論、実務で数理モデルを扱っている方にとってはこういう数理モデルもあるのかと視野を広げるのにも役立ちますし、そもそも数理モデルとは何かを知りたい方にとっても数理モデリングに関する幅広い知識が身につくので、両者ともに一読の価値があると […]
『ビッグデータを支える技術―刻々とデータが脈打つ自動化の世界』を読んだ感想
- 2020.05.21
- 書評
会社のデータエンジニアの諸先輩方から熱くオススメされていたので読んでみました。 ※ちなみに、2020/6/1に弊社の新人も本書の書評を書いています。 以前読んだ『ビッグデータ分析のシステムと開発がこれ1冊でしっかりわかる教科書』では、タイトル通りビッグデータ分析に関する話題を広く扱っていましたが、本書ではデータ処理をどのようにシステム化するかの説明に特化しています。 (BIやMLサービスによる意思 […]
よく使われる2つのスコアの集約関数と複比ユニノルムとの比較
- 2020.05.15
- レコメンド
最近、相互推薦システムについて調べていて、Latent Factor Models and Aggregation Operators forCollaborative Filtering in Reciprocal Recommender Systemsという論文を読んでいます。 その中で、2つの選好スコアの集約関数についての記載がありました。ここで、選好スコアとは、ユーザAがユーザBをどれくら […]
レコメンド結果にMMRを適用して多様性を考慮した順位の入れ替えをやってみた
- 2020.05.08
- レコメンド
最近、Gunosyの方が書いた『多様性の導入による推薦システムにおけるユーザ体験向上の試み』という論文を読み、多様性を考慮したレコメンド手法に興味を持ちました。 この論文によれば、多様性を導入したレコメンドによって、ユーザのサービス継続率や利用日数が向上するのだとか。 そこで、上記をきっかけに引用文献等をいろいろ調査していたところ、MMR(Maximal Marginal Relevance:周辺 […]
『Rで学ぶ確率統計学一変量統計編』を読んだ感想
- 2020.05.06
- 書評
長い休みを使って統計学の基礎を復習しようと思い、この本を読んでみました。 ちなみに、本書はTJO氏のブログで以下と紹介されています。 東大出版会シリーズとほぼ同等の理論的な解説を伴った上で、Rでそれを現実のデータに対して実践するとどういう結果が得られるか？を丁寧に例示しており、今後の統計学テキストの新たなスタンダードになっていくのではないか 出典：https://tjo.hatenablog.co […]
『効果検証入門〜正しい比較のための因果推論/計量経済学の基礎』を読んだ感想
- 2020.04.30
- 書評
遅ればせながら読みました。 本書は各効果検証手法の説明が丁寧で、実サービスで運用する際の注意点も詳細に書かれています。 因果推論系の本を読むのは初めてでしたが、私のような入門者や実サービスへの導入を検討している方にも有用な本だと思いました。 また、因果推論のアプローチによって経済的な事象の効果を評価する計量経済学という分野にも興味が湧きました。 本書では、RCT(randomized contro […]
ランクがある2つのリストの相関係数の算出にAverage Precisionを導入する方法
- 2020.04.15
- 統計解析
最近、『A new rank correlation coefficient for information retrieval』という論文を読みました。 本論文では、ランクがある2つのリストにおける相関係数を算出するために、Average Precisionを利用することを提案しています。 従来、こういったランクがある2つのリストにおける相関係数としてはスピアマンの順位相関係数やケンドールの順位 […]
『トークンエコノミービジネスの教科書』を読んだ感想
- 2020.04.11
- 書評
最近、日経の『「ソニーの車」を生む革命 ブロックチェーンの可能性』というニュースを読んで、ブロックチェーンが気になっています。 中国ではコロナ禍以降、ブロックチェーンをベースにしたアプリが多数生まれていて、中国政府も積極的に推奨しているのだとか。 （ブロックチェーン技術の客観性、安全性、信頼性が中国製品やサービスへの信頼復活のチャンスになると考えているらしい。） ということで、まずはブロックチェー […]
MPR(Mean Percentage Ranking)〜暗黙的にユーザの嗜好を得られるレコメンドシステムにおけるオフライン評価指標の紹介
- 2020.04.08
- レコメンド
レコメンドシステムにおけるオフライン評価指標の一つであるMPR(Mean Percentage Ranking)について書かれた論文を見つけました。 今回はその調べた結果をまとめます。 ちなみに、レコメンド文脈でのオフラインorオンライン評価とは以下を意味します。 分類 説明 オンライン評価 実際にユーザにレコメンドを実施し、ユーザがどれだけ反応したかを評価すること。 Ex. A/Bテスト オフラ […]