Python 爬虫学习笔记三：多页内容爬取&内容分析及格式化

Python 爬虫学习笔记三：多页内容爬取&内容分析及格式化

python int 与 string 之间的转换：

Python int与string之间的转化

string–>int

1、10进制string转化为int

　int(‘12’)

2、16进制string转化为int

　　int(‘12’, 16)

int–>string

1、int转化为10进制string

　　str(18)

2、int转化为16进制string

　　hex(18)

2 . 由于链家网上面选中第二页的时候，只是在页面后面多了一个“d2”, 如： http://sh.lianjia.com/ershoufang/pudong/d2 ， 所以要想爬取更多的网页只需要循环更新requests 的页面URL

3 . 增加了一个循环之后，可以打印所有的爬取结果

from lxml import etree
import requests
import string
url = 'http://sh.lianjia.com/ershoufang/'
region = 'pudong'
price = 'p23'
finalURL = url+region+price

def spider_room(finallyURL):
r= requests.get(finallyURL)
html = requests.get(finalURL).content.decode('utf-8')
dom_tree = etree.HTML(html)
# all the messages
all_message = dom_tree.xpath("//ul[@class='js_fang_list']/li")
for index in range(len(all_message)):
print(all_message[index].xpath('string(.)').strip())
return
for i in range(20):
finallyURL = finalURL + '/d'+str(i)
spider_room(finallyURL)

4 . 爬取了20页的内容，可是内容的结果输出的形式并没有改变

【注】 看到的比较好的文章

[1] 利用Python爬取朋友圈数据，爬到你开始怀疑人生

[2] 请问爬虫如何爬取动态页面的内容？

[3] 如何用爬取的数据赚钱

[4] 钱塘数据大数据交易中心

[5] 利用爬虫技术能做到哪些很酷很有趣很有用的事情？