Ｗｅｂアプリケーション、Ｗｅｂサービスを開発／運用するエンジニアは、ＨＴＭＬ／ＨＴＴＰやＷｅｂサーバなどＷｅｂ技術の仕組みや基礎的な知識をおさえておかなければなりません。　本書では、実サービスでの大規模なＷｅｂクローラーの開発／運用経験をもとに、Ｗｅｂクローラーを支える、ＨＴＴＰ、文字コード、ＨＴＭＬ、認証、Ａｊａｘ／ＪＳＯＮなど、Ｗｅｂエンジニアがおさえておくべきポイントやテクニックを学びます。　クローラーから見たＷｅｂサイトの仕組みとその実情に加えて、現実に即した実践的かつ効率的なクローリングの方法論についても解説します。　○実例をもとにＨＴＴＰやＨＴＭＬなどＷｅｂの仕組みを深く知ることができる　○大規模なＷｅｂクローラーの開発／運用ノウハウを知ることができる　○Ｗｅｂサイトの運営者（クロールされる側）もクローラーに関する知見を得ることができる