发布于 2016-12-19 00:01:34 | 300 次阅读 | 评论: 0 | 来源: 网友投递
WebMagic 垂直爬虫
webmagic的是一个无须配置、便于二次开发的爬虫框架，它提供简单灵活的API，只需少量代码即可实现一个爬虫。
WebMagic 0.6.0 版本发布了。
此次更新主要是一些依赖包的升级和bugfix。
#194 重构代理池部分代码，支持自定义代理池 @EdwardsBean
#314 修复低版本json-path依赖2.x的StringUtils导致报错的问题
#380 升级fastjson 到1.2.21
#301 修复JsonPath在注解模式不可用的问题 @Salon-sai
#377 修复监控模块在URL带有端口时会报错的问题
#400 修复FileCacheQueueScheduler的NullPointerException问题
#374 升级HttpClient到4.5.2，修复一些安全问题
#424 去掉Guava依赖
因为Guava不同版本兼容性不好，经常导致demo无法运行，所以我最后决定去掉了Guava的依赖。如果使用了BloomFilterDuplicateRemover的用户，需要手动依赖Guava包。
#426 去掉Avalon相关包
Avalon是之前计划的一站式抓取平台。因为有个朋友基于WebMagic做了类似的实现Gather Platform，所以Avalon放弃了，转而支持这个项目。WebMagic核心会专注于做应用内的框架。
下载地址：