スクレイピング

エンジニアリング

Torで接続元を匿名化してスクレイピングしてみる

Torネットワークを使うことで接続元IPアドレスを秘匿化してWebスクレイピングできるかを検証してみました。Webサイトをスクレイピングする際、同じIPアドレスからリクエストし続けると運営側からアカウントをBANされるリスクがあります。処理...
エンジニアリング

selenium Dockerイメージを使ってPairsで足跡を自動で付けてみた

最近Webやネイティブアプリのスクレイピングに興味があります。実際にスクレイピングアプリを作りながら学んでいこうということで、手始めにPairsを題材にコードを書いてみました。※Pairsは週に数回閲覧するかどうかくらいのライトユーザーです...