抓取安居客二手房经纪人数据，python爬虫自动翻页

和链接不一样，安居客网站里面没有找到总页数，可能在json里面有，只是我没有找到。
基于此能不能做网页的循环爬取呢。
能否判断页面读取完毕进行自动翻页？
查询了一些资料后得出了如下代码：

import requests
from lxml import etree

current_url = 'http://chengdu.anjuke.com/tycoon/p1'
headers = {'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36'}
allinfo = []
def getdata(url):
resouce = requests.get(url,headers = headers)
resouce.encoding = 'utf-8'
selector = etree.HTML(resouce.text)
return selector
def claw_data_from_detail_page(selector,j):
info = {}
str = '//*[@id="list-content"]/div[%s]'%j
info['person'] = selector.xpath(str+'/div[1]/div/h3/a/text()')[0]
info['phone'] = selector.xpath(str+'/div[2]/text()')[1].strip()
return info

while True:
# 下载页面
page = getdata(current_url)
print("正在爬取" + current_url)
# 根据我们定义的selector选择感兴趣的页面元素列表
data_list = page.xpath('//*[@id="list-content"]/div')

# 如果这个页面选择不到元素了，说明我们已经读取完了

# 也可以计算页面元素数量的最大值，比如你第一页爬到了10个元素
# 当你到了第N页，你只爬到了2个，说明这就是最后一页了
if len(data_list) == 0:
break
# 对每一个元素，我们把它放进另一个函数中读取
i=0
for data in data_list:
i += 1
info = claw_data_from_detail_page(data,i)
allinfo.append(info)
# 当这一页完成的时候，我们就更新一下当前页面的url地址，
# 回到while loop最开始的地方开始下一页

end = page.xpath('/html/body/div[6]/div[2]/div[3]/div/i[@class="iNxt"]')
if len(end)>0:
break
current_url = page.xpath('/html/body/div[6]/div[2]/div[3]/div/a[@class="aNxt"]/@href')[0]

print(allinfo)

[caption id="attachment_85" align="alignnone" width="300"]<img src="http://www.nigaea.com/wp-content/uploads/2016/12/WX20161222-180257-300x91.png" alt="抓取安居客二手房经纪人数据，python爬虫自动翻页" width="300" height="91" class="size-medium wp-image-85" /> 抓取安居客二手房经纪人数据，python爬虫自动翻页[/caption]
注意：

为了快速测试current_url中p1可以修改为p200。

这个程序主要是学习在无法得知总的页面数的时候，如何抓取所有页面。

欢迎到我博客吐槽，code有很多不优雅。http://www.nigaea.com/dataanalysis/84.html