yolo-kiyoshi

ビジュアライゼーション

M1チップ搭載のMacbookでRedash Dockerコンテナを起動する

開発しているサービスで、KPIをモニタリングするためにオープンソースBIのRedashを導入しようという話になりました。そこで、まずは試しにローカルにRedashサーバーを構築してみることにしました。Redash用のDockerイメージがあ...
エンジニアリング

RedShiftのGEOMETRY型を使って緯度経度から都道府県を判定してみる

最近TwitterでJTCの内情のツイートばかりをしていて、技術的な発信をおろそかにしていました...。反省です。ということで、久々のブログ投稿です。仕事上よく緯度・経度を持つ空間データの分析をするのですが、毎回DWH(AWS RedShi...
エンジニアリング

RabbitMQ Dockerコンテナでメッセージを永続化する方法

プライベートな開発で複数のDockerコンテナで並列処理を実装する必要があり、複数コンテナのタスクを管理するためにRabbitMQというOSSのメッセージブローカーを使い始めました。RabbitMQのデフォルト設定だと、サーバーが停止したり...
エンジニアリング

Torで接続元を匿名化してスクレイピングしてみる

Torネットワークを使うことで接続元IPアドレスを秘匿化してWebスクレイピングできるかを検証してみました。Webサイトをスクレイピングする際、同じIPアドレスからリクエストし続けると運営側からアカウントをBANされるリスクがあります。処理...
エンジニアリング

selenium Dockerイメージを使ってPairsで足跡を自動で付けてみた

最近Webやネイティブアプリのスクレイピングに興味があります。実際にスクレイピングアプリを作りながら学んでいこうということで、手始めにPairsを題材にコードを書いてみました。※Pairsは週に数回閲覧するかどうかくらいのライトユーザーです...
書評

『ビジネスデザインのための行動経済学ノート』を読んだ感想

久しぶりに書店に立ち寄った際に面白そうな本があったので試しに読んでみました。最近、上司や経営層がどういった思考回路で考えて物事を判断しているのかに興味があり、意思決定に関する本を読んでいます。それらの本の中では『行動経済学』というワードが頻...
所感

新年のご挨拶

あけましておめでとうございます。年末年始は北陸方面で登山や観光をする予定だったものの、年末寒波の影響で交通機関がマヒするリスクが高かったので断念。結局、予定はすべて白紙となったのでした。さて、AIベンチャーからジャパニーズトラディショナルな...
書評

『多様性の科学』を読んだ感想

Kindle版で期間限定セールの対象になっていたので読んでみました。大雑把に本書をまとめると、組織を構成するメンバーに多様性を持たせることで、組織全体での盲点が少なくなり、問題解決の可能性が高まるということです。一見よくある言説のように感じ...
機械学習

パラメータの初期値を指定してOptunaで最適化してみる

OptunaはPFN社が公開しているオープンソースのハイパーパラメータ自動最適化フレームワークです。最適化したいパラメータの事前分布と目的関数を定義すれば、あとはベイズ最適化を用いて自動的にパラメータを探索してくれます。(Optunaの一般...
ビジュアライゼーション

Googleデータポータルのツールチップで複数のフィールドを表示する方法

最近Googleデータポータルを使う機会があり、ツールチップの使い方で少し悩んだので備忘録として書いておきます。Googleデータポータルのツールチップは、Tableauでいうツールヒントとほぼ同じなのですが、複数のフィールド(ディメンショ...