python使用代理的方法

最近在研究python爬虫,需要用到代理的知识。记录一下使用代理的方法,留着以后用。

1、用urllib2库的方法

在urllib2包中有ProxyHandler类,通过此类可以设置代理访问网页,如下代码片段:
 #coding=utf8
 import urllib2
 proxy = urllib2.ProxyHandler({'http': '127.0.0.1:8087'})
 opener = urllib2.build_opener(proxy)
 urllib2.install_opener(opener)
 response = urllib2.urlopen('http://feeds2.feedburner.com/MobileOrchard')
 print response.read()

2、用requests库的方法

proxy = {"http":"http://127.0.0.1:1080"}
headers={'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1'}
def request(url):
response = requests.get(url,headers=headers,proxies=proxy)
return response

 

0
如无特殊说明,文章均为本站原创,转载请注明出处

该文章由 发布

这货来去如风,什么鬼都没留下!!!