P/02

PythonによるWebスクレイピング

2024年

情報収集とデータ整理を自動化し、再利用しやすい形で運用したスクリプト。

01概要

Python を用いて Web 上の情報を自動収集し、構造化されたデータとして整理・保存するスクリプトを開発しました。

手動での情報収集に多くの時間がかかっており、効率化の必要性を感じたことがきっかけです。

サイトごとに異なるHTML構造への対応と、安定した定期実行の仕組みを構築することが課題でした。

設計・実装・運用のすべてを個人で担当しました。

Python

再利用性を意識したモジュール設計を行い、サイトごとのパーサーを分離して管理しやすい構成にしました。

情報収集にかかる時間を大幅に短縮し、データを再利用しやすい形式で蓄積できるようになりました。

スクレイピングにおけるエラーハンドリングや、安定した運用のための設計パターンを学びました。