您的位置：首页 > 编程语言 > Python开发

【用Python写爬虫】获取html的方法【二】：使用pycurl

2008-06-04 09:40 1021 查看

# Pycurl参考地址：http://pycurl.sourceforge.net/
# Pycurl下载地址：http://pycurl.sourceforge.net/download/pycurl-7.18.1.tar.gz

# -*-coding: UTF-8 -*-

importpycurl

importStringIO

defgetURLContent_pycurl(url):

    c = pycurl.Curl()

    c.setopt(pycurl.URL,url)

    b = StringIO.StringIO()

    c.setopt(pycurl.WRITEFUNCTION, b.write)

    c.setopt(pycurl.FOLLOWLOCATION, 1)

    c.setopt(pycurl.MAXREDIRS, 5)

    # 代理

    #c.setopt(pycurl.PROXY, 'http://11.11.11.11:8080')

    #c.setopt(pycurl.PROXYUSERPWD, 'aaa:aaa')

    c.perform()

    returnb.getvalue()

url = 'http://blog.csdn.net'

content =getURLContent_pycurl(url)

print content

内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理

标签： python html url behavior c

相关文章推荐

新的分享

章节导航