精通Python爬虫框架Scrapy 作者: [美]迪米特里奥斯 考奇斯-劳卡斯 出版社: 人民邮电出版社 出品方: 异步图书 原作名: Learning Scrapy 译者: 李斌 出版年: 2018-2-1 页数: 239 定价: 59 装帧: 平装 ISBN: 9787115474209

内容简介

作者:[美]迪米特里奥斯 考奇斯-劳卡斯（Dimitrios Kouzis-Loukas） 译者:李斌 Dimitrios Kouzis-Loukas作为一位软件开发人员，已经拥有超过15年的经验。同时，他还使用自己掌握的知识和技能，向广大读者讲授如何编写软件。 他学习并掌握了多门学科，包括数学、物理学以及微电子学。他对这些学科的透彻理解，提高了自身的标准，而不只是“实用的解决方案”。他知道真正的解决方案应当是像物理学规律一样确定，像ECC内存一样健壮，像数学一样通用。 Dimitrios目前正在使用新的数据中心技术开发低延迟、高可用的分布式系统。他是语言无关论者，不过对Python、C++和Java略有偏好。他对开源软硬件有着坚定的信念，他希望他的贡献能够造福于各个社区和全人类。 关于译者 李斌，毕业于北京科技大学计算机科学与技术专业，获得硕士学位。曾任职于阿里巴巴，当前供职于凡普金科，负责应用安全工作。热爱Python编程和Web安全，希望以更加智能和自动化的方式提升网络安全。

作者简介

作者:[美]迪米特里奥斯 考奇斯-劳卡斯（Dimitrios Kouzis-Loukas） 译者:李斌 Dimitrios Kouzis-Loukas作为一位软件开发人员，已经拥有超过15年的经验。同时，他还使用自己掌握的知识和技能，向广大读者讲授如何编写软件。 他学习并掌握了多门学科，包括数学、物理学以及微电子学。他对这些学科的透彻理解，提高了自身的标准，而不只是“实用的解决方案”。他知道真正的解决方案应当是像物理学规律一样确定，像ECC内存一样健壮，像数学一样通用。 Dimitrios目前正在使用新的数据中心技术开发低延迟、高可用的分布式系统。他是语言无关论者，不过对Python、C++和Java略有偏好。他对开源软硬件有着坚定的信念，他希望他的贡献能够造福于各个社区和全人类。 关于译者 李斌，毕业于北京科技大学计算机科学与技术专业，获得硕士学位。曾任职于阿里巴巴，当前供职于凡普金科，负责应用安全工作。热爱Python编程和Web安全，希望以更加智能和自动化的方式提升网络安全。

网友热评

Charles Tang: 距离上一本技术书籍，这是过去多少年了，真是惭愧。感觉这真是一本好书，由浅入深，轻松愉悦。很快就看完了。此前看文档和网上零碎的文章学 Scrapy，真是痛苦死了，这书是个很好的路径规划。打 4 星，扣分在 5毛 的插图上面…… 补充两句，感觉不要太纠结版本的问题，现在软件版本翻新很快的，不过我看着 1.8 的文档学了半天，回来看这个老版本，没觉得有什么地方老旧过时，核心概念都没变化。如果用的时候，发现不对了，那顺便看看文档，正好当作复习和巩固了。 出门从来不带伞: 走马观花看完的一本书，翻译不算太好。 可能是我太菜了，看着有些费力。 Genieliu: 快速看了前面几章，能够入门爬取一些简单的页面。因为不是专门做爬虫，所以没有必要继续深入。准备再去官网翻一翻最新的tutorial kevin自由: httpcache如果使用大量占用磁盘node 实践经验= =

图书目录

目录 第1章Scrapy简介1 1.1初识Scrapy1 1.2喜欢Scrapy的更多理由2 1.3关于本书：目标和用途3 1.4掌握自动化数据爬取的重要性4 1.4.1开发健壮且高质量的应用，并提供合理规划4 1.4.2快速开发高质量可行产品5 1.4.3Google不会使用表单，爬取才能扩大规模6 1.4.4发现并融入你的生态系统7 1.5在充满爬虫的世界里做一个好公民7 1.6Scrapy不是什么8 1.7本章小结9 第2章理解HTML和XPath10 2.1HTML、DOM树表示以及XPath10 2.1.1URL11 2.1.2HTML文档11 2.1.3树表示法13 2.1.4你会在屏幕上看到什么14 2.2使用XPath选择HTML元素15 2.2.1有用的XPath表达式16 2.2.2使用Chrome获取XPath表达式19 2.2.3常见任务示例20 2.2.4预见变化21 2.3本章小结22 第3章爬虫基础23 3.1安装Scrapy24 3.1.1MacOS24 3.1.2Windows25 3.1.3Linux25 3.1.4新源码安装26 3.1.5升级Scrapy26 3.1.6Vagrant：本书中运行示例的官方方式27 3.2UR2IM——基本抓取流程28 3.2.1URL29 3.2.2请求和响应31 3.2.3Item31 3.3一个Scrapy项目37 3.3.1声明item38 3.3.2编写爬虫40 3.3.3填充item43 3.3.4保存文件45 3.3.5清理——item装载器与管理字段47 3.3.6创建contract50 3.4抽取更多的URL53 3.4.1使用爬虫实现双向爬取56 3.4.2使用CrawlSpider实现双向爬取59 3.5本章小结61 第4章从Scrapy到移动应用62 4.1选择手机应用框架62 4.2创建数据库和集合63 4.3使用Scrapy填充数据库65 4.4创建手机应用68 4.4.1创建数据库访问服务69 4.4.2创建用户界面69 4.4.3将数据映射到用户界面70 4.4.4数据库字段与用户界面控件间映射71 4.4.5测试、分享及导出你的手机应用72 4.5本章小结73 第5章迅速的爬虫技巧75 5.1需要登录的爬虫75 5.2使用JSONAPI和AJAX页面的爬虫81 5.330倍速的房产爬虫85 5.4基于Excel文件爬取的爬虫90 5.5本章小结93 第6章部署到Scrapinghub94 6.1注册、登录及创建项目94 6.2部署爬虫与计划运行96 6.3访问item99 6.4计划定时爬取100 6.5本章小结101 第7章配置与管理102 7.1使用Scrapy设置102 7.2基本设置103 7.2.1分析104 7.2.2性能107 7.2.3提前终止爬取108 7.2.4HTTP缓存和离线运行108 7.2.5爬取风格109 7.2.6feed110 7.2.7媒体下载111 7.2.8AmazonWeb服务113 7.2.9使用代理和爬虫113 7.3进阶设置114 7.3.1项目相关设置115 7.3.2Scrapy扩展设置116 7.3.3下载调优116 7.3.4自动限速扩展设置117 7.3.5内存使用扩展设置117 7.3.6日志和调试117 7.4本章小结118 第8章Scrapy编程119 8.1Scrapy是一个Twisted应用119 8.1.1延迟和延迟链122 8.1.2理解Twisted和非阻塞I/O——一个Python故事125 8.2Scrapy架构概述132 8.3示例1：非常简单的管道135 8.4信号136 8.5示例2：测量吞吐量和延时的扩展138 8.6中间件延伸141 8.7本章小结144 第9章管道秘诀145 9.1使用RESTAPI146 9.1.1使用treq146 9.1.2用于写入Elasticsearch的管道146 9.1.3使用GoogleGeocodingAPI实现地理编码的管道149 9.1.4在Elasticsearch中启用地理编码索引156 9.2与标准Python客户端建立数据库接口157 9.3使用Twisted专用客户端建立服务接口161 9.4为CPU密集型、阻塞或遗留功能建立接口166 9.4.1处理CPU密集型或阻塞操作的管道166 9.4.2使用二进制或脚本的管道168 9.5本章小结172 第10章理解Scrapy性能173 10.1Scrapy引擎——一种直观方式173 10.1.1级联队列系统175 10.1.2定义瓶颈176 10.1.3Scrapy性能模型176 10.2使用telnet获得组件利用率178 10.3基准系统180 10.4标准性能模型182 10.5解决性能问题185 10.5.1案例#1：CPU饱和185 10.5.2案例#2：代码阻塞187 10.5.3案例#3：下载器中的“垃圾”188 10.5.4案例#4：大量响应或超长响应造成的溢出191 10.5.5案例#5：有限/过度item并发造成的溢出193 10.5.6案例#6：下载器未充分利用194 10.6故障排除流程197 10.7本章小结198 第11章使用Scrapyd与实时分析进行分布式爬取199 11.1房产的标题是如何影响价格的200 11.2Scrapyd200 11.3分布式系统概述203 11.4爬虫和中间件的变化205 11.4.1索引页分片爬取205 11.4.2分批爬取URL207 11.4.3从设置中获取初始URL211 11.4.4在Scrapyd服务器中部署项目213 11.5创建自定义监控命令215 11.6使用ApacheSpark流计算偏移量216 11.7运行分布式爬取218 11.8系统性能220 11.9关键要点221 11.10本章小结221 附录A软件的安装与故障排除222