4年ぶりのブログ更新。WordPressの復旧からコンテンツ消失、そしてAWSへの移行まで
どうやら、前回の投稿から4年以上が経っているらしい。 この4年間、技術から離れていたわけではない。むしろ、仕事でもプライベートでも、技術に触れる機会は以前より増えている。 それでもブログを更新していなかったのには、いくつか理由がある。 一つ…
KIYOSHI'S NOTES
技術と日々の記録を、ひとつずつ。
どうやら、前回の投稿から4年以上が経っているらしい。 この4年間、技術から離れていたわけではない。むしろ、仕事でもプライベートでも、技術に触れる機会は以前より増えている。 それでもブログを更新していなかったのには、いくつか理由がある。 一つ…
開発しているサービスで、KPIをモニタリングするためにオープンソースBIのRedashを導入しようという話になりました。そこで、まずは試しにローカルにRedashサーバーを構築してみることにしました。Redash用のDockerイメージがあ…
最近TwitterでJTCの内情のツイートばかりをしていて、技術的な発信をおろそかにしていました…。反省です。ということで、久々のブログ投稿です。 仕事上よく緯度・経度を持つ空間データの分析をするのですが、毎回DWH(AWS RedShif…
プライベートな開発で複数のDockerコンテナで並列処理を実装する必要があり、複数コンテナのタスクを管理するためにRabbitMQというOSSのメッセージブローカーを使い始めました。RabbitMQのデフォルト設定だと、サーバーが停止したり…
Torネットワークを使うことで接続元IPアドレスを秘匿化してWebスクレイピングできるかを検証してみました。 Webサイトをスクレイピングする際、同じIPアドレスからリクエストし続けると運営側からアカウントをBANされるリスクがあります。処…
最近Webやネイティブアプリのスクレイピングに興味があります。実際にスクレイピングアプリを作りながら学んでいこうということで、手始めにPairsを題材にコードを書いてみました。※Pairsは週に数回閲覧するかどうかくらいのライトユーザーです…
久しぶりに書店に立ち寄った際に面白そうな本があったので試しに読んでみました。 最近、上司や経営層がどういった思考回路で考えて物事を判断しているのかに興味があり、意思決定に関する本を読んでいます。それらの本の中では『行動経済学』というワードが…
あけましておめでとうございます。 年末年始は北陸方面で登山や観光をする予定だったものの、年末寒波の影響で交通機関がマヒするリスクが高かったので断念。結局、予定はすべて白紙となったのでした。 さて、AIベンチャーからジャパニーズトラディショナ…
Kindle版で期間限定セールの対象になっていたので読んでみました。 大雑把に本書をまとめると、組織を構成するメンバーに多様性を持たせることで、組織全体での盲点が少なくなり、問題解決の可能性が高まるということです。一見よくある言説のように感…
OptunaはPFN社が公開しているオープンソースのハイパーパラメータ自動最適化フレームワークです。最適化したいパラメータの事前分布と目的関数を定義すれば、あとはベイズ最適化を用いて自動的にパラメータを探索してくれます。(Optunaの一般…