爬虫 xpath 的使用与范例

#coding:utf-8
from flask import Flask
import requests
from lxml import etree

app= Flask(__name__)
app.debug =True

#爬取小说并返回到前台
@app.route('/',methods=['GET','POST'])
def index():
r = requests.get("http://www.biquge.com.tw/0_703")
html = etree.HTML(r.content)
# print r.content
print '--------------------111'
# f = html.xpath('//div[@id="list"]/dl/dd/a/text()')#获取id为list的盒子下的  文本内容
f = html.xpath('//div[@id="list"]/dl/dd/a/@href')#获取a标签的 href属性
f = html.xpath('//div[@id="list"]/dl/dd/a')
print '---------------------2'
print f
text =''
for i in f:
a = i.xpath('text()')#获取文本
b = i.xpath('@href')#获取属性href
# print a
text = text+a[0]+'--'+'http://www.biquge.com.tw/'+b[0] +'<br>'
return  text

if __name__ == '__main__':
app.run()