最近在研究python爬虫,需要用到代理的知识。记录一下使用代理的方法,留着以后用。
1、用urllib2库的方法
在urllib2包中有ProxyHandler类,通过此类可以设置代理访问网页,如下代码片段: #coding=utf8 import urllib2 proxy = urllib2.ProxyHandler({'http': '127.0.0.1:8087'}) opener = urllib2.build_opener(proxy) urllib2.install_opener(opener) response = urllib2.urlopen('http://feeds2.feedburner.com/MobileOrchard') print response.read()
2、用requests库的方法
proxy = {"http":"http://127.0.0.1:1080"} headers={'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1'} def request(url): response = requests.get(url,headers=headers,proxies=proxy) return response
如无特殊说明,文章均为本站原创,转载请注明出处
- 转载请注明来源:python使用代理的方法
- 本文永久链接地址:http://www.hongxiaowei.com/xiaowei/407.html