发布于 2017-12-30 00:30:13 | 266 次阅读 | 评论: 0 | 来源: 网友投递
Scrapy Python的爬虫框架
Scrapy是一个Python开发的一个快速,高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。
Scrapy 1.5.0 发布了，Scrapy 是一套基于 Twisted 的异步处理框架，纯 Python 实现的爬虫框架，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片。
更新内容：
在调用Feed导出存储之前，URI会被重新设置。
避免在项目加载器中缺少基本项目字段
添加测试报告给Travis
修复＃3034，CSV在Windows上导出不必要的空行问题
完整更新内容请查看发行说明。
下载地址：