发布于 2017-01-21 17:28:57 | 168 次阅读 | 评论: 0 | 来源: 网友投递

这里有新鲜出炉的精品教程，程序狗速度看过来！

WebMagic 垂直爬虫

webmagic的是一个无须配置、便于二次开发的爬虫框架，它提供简单灵活的API，只需少量代码即可实现一个爬虫。

---

WebMagic 0.6.1 版本发布了。本次更新修复了一些 0.6.0 的问题和一些小优化。

• 修改默认策略为信任所有 https 证书 #444 @ckex

• 修复使用 startUrls 添加 url 时，如果使用了 cookie 会出现空指针的问题 #438

• PhantomJSDownloader 支持 crawl.js 路径自定义 #414 @jsbd

• POST 请求支持 302 跳转 #443 @xbynet

注：默认信任所有证书会有内容伪造的风险，但是考虑到爬虫的便利性还是加上了，使用者需要自己判断内容安全性。

历史版本 :
WebMagic 0.7.3 版本发布，Java 爬虫框架
WebMagic 0.7.2 版本发布，Java 爬虫框架
WebMagic 0.7.1 版本发布，Java 爬虫框架
WebMagic 0.7.0 版本发布，Java 爬虫框架
WebMagic 0.6.1 版本发布，Java 爬虫框架
WebMagic 0.6.0 版本发布，Java爬虫框架
WebMagic 0.5.3 版本发布，Java爬虫框架