发布于 2015-08-08 00:24:23 | 209 次阅读 | 评论: 0 | 来源: 网友投递
Scrapy Python的爬虫框架
Scrapy是一个Python开发的一个快速,高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。
Scrapy 1.0.2 发布，此版本更新内容如下：
Twisted 15.3.0 does not raises PicklingError serializing lambda functions (:commit:`b04dd7d`)
Minor method name fix (:commit:`6f85c7f`)
minor: scrapy.Spider grammar and clarity (:commit:`9c9d2e0`)
Put a blurb about support channels in CONTRIBUTING (:commit:`c63882b`)
Fixed typos (:commit:`a9ae7b0`)
Fix doc reference. (:commit:`7c8a4fe`)
下载：https://github.com/scrapy/scrapy/archive/1.0.2.zip。
Scrapy 是一套基于基于Twisted的异步处理框架，纯python实现的爬虫框架，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片，非常之方便～
Scrapy是一个Python开发的一个快速,高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。