python爬虫——requests模拟登入，模拟登入豆瓣

发布于 2016-01-13 04:14:28 | 439 次阅读 | 评论: 0 | 来源: PHPERZ

这里有新鲜出炉的精品教程，程序狗速度看过来！

Requests Python 的 HTTP 客户端库

1.下载抓包神器fiddler

fiddler官网：fiddler下载，通常情况下下载fiddler2版本，一直Next就可以下载成功了。

2.登入你想爬取的界面（用ie浏览器）

如用ie登入进豆瓣：http://www.douban.com/"
这时打开你的fiddler
1.
2.
3.

找到cookie后代码模拟登入

#-*_coding:utf-8-*-
import requests
reload(__import__('sys')).setdefaultencoding('utf-8')#打印为中文
headers={'User-Agent':'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/44.0.2403.157 Safari/537.36'}#构造头部
cook={"Cookie":'ll="118205"; _ga=GA1.2.740277333.1448884744; _gat=1; bid="iu5QJoQtotc"; ps=y; '}#cookie有改动，大家用自己的cookie就好
url="http://www.douban.com/"
html=requests.get(url,cookies=cook,headers=headers).content#get中提交url,COOKIE,headers
print html

拿到网页源代码后就是用正则，用xpath,用美味汤抓数据了。模拟登入还是很简单的吧

小結：

总的来说，用cookie实现模拟登入就是慢，而且页面爬多了还容易被封ip。总之，假如想爬取海量资源，还需进阶，什么分布式，多线程慢慢学吧。