1.　クローリング・スクレイピングとは何か

• 1-1.　本書が取り扱う領域
• 1-2.　Wgetによるクローリング
• 1-3.　スクレイピングに役立つUnixコマンド
• 1-4.　gihyo.jpのスクレイピング
• 1-5.　まとめ

2.　Pythonではじめるクローリング・スクレイピング

• 2-1.　Pythonを使うメリット
• 2-2.　Pythonのインストールと実行
• 2-3.　Pythonの基礎知識
• 2-4.　Webページを取得する
• 2-5.　Webページからデータを抜き出す
• 2-6.　データをファイルに保存する
• 2-7.　Pythonによるスクレイピングの流れ
• 2-8.　URLの基礎知識
• 2-9.　まとめ

3.　ライブラリによる高度なクローリング・スクレイピング

• 3-1.　HTMLのスクレイピング
• 3-2.　XMLのスクレイピング
• 3-3.　データベースに保存する
• 3-4.　クローラーとURL
• 3-5.　Pythonによるクローラーの作成
• 3-6.　まとめ

4.　実用のためのメソッド

• 4-1.　クローラーの特性
• 4-2.　収集したデータの利用に関する注意
• 4-3.　クロール先の負荷に関する注意
• 4-4.　繰り返しの実行を前提とした設計
• 4-5.　まとめ

5.　クローリング・スクレイピングの実践とデータの活用

• 5-1.　データセットの取得と活用
• 5-2.　APIによるデータの収集と活用
• 5-3.　時系列データの収集と活用
• 5-4.　オープンデータの収集と活用
• 5-5.　Webページの自動操作
• 5-6.　JavaScriptを使ったページのスクレイピング
• 5-7.　取得したデータの活用
• 5-8.　まとめ

6.　フレームワーク Scrapy

• 6-1.　Scrapyの概要
• 6-2.　Spiderの作成と実行
• 6-3.　実践的なクローリング
• 6-4.　抜き出したデータの処理
• 6-5.　Scrapyの設定
• 6-6.　Scrapyの拡張
• 6-7.　クローリングによるデータの収集と活用
• 6-8.　画像の収集と活用
• 6-9.　まとめ

7.　クローラーの継続的な運用・管理

• 7-1.　クローラーをサーバーで実行する
• 7-2.　クローラーの定期的な実行
• 7-3.　クローリングとスクレイピングの分離
• 7-4.　クローリングの高速化・非同期化
• 7-5.　クラウドを活用する
• 7-6.　まとめ

Appendix.　Vagrantによる開発環境の構築

• A-1.　VirtualBoxとVagrant
• A-2.　CPUの仮想化支援機能を有効にする
• A-3.　VirtualBoxのインストール
• A-4.　Vagrantのインストール
• A-5.　仮想マシンを起動する
• A-6.　ゲストOSにSSH接続する
• A-7.　Pythonのスクリプトファイルを実行する
• A-8.　Linuxの基本操作
• A-9.　Vagrantで仮想マシンを操作するコマンド