简单爬虫实战

1. 某p2p网站每天发新标，对于一个标最后投标导致标满的用户，系统会奖励38元红包，所以写啦个爬虫每隔1分钟去爬取合适的标，然后短信提醒

2. 两个要爬取的页面

＝＝＝＝＝＝＝＝＝＝＝＝投资列表＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝



＝＝＝＝＝＝标的详情页面如下＝＝＝＝＝＝＝＝＝＝＝＝＝＝



＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝

3.核心代码逻辑

public Document getDocument (String url){
try {
return Jsoup.connect(url).get();
} catch (Exception e) {
e.printStackTrace();
}
return null;
}

//1.首页抓取未完成的标
CrawUtil ft = new CrawUtil();
Document fDoc = ft.getDocument("http://www.qtyd.com/");
Elements elements=fDoc.select("dd.invset-item");
if(elements.size()<=7){
//标的列表低于7个标
return ;
}
try {
//2.循环判断每个标的情况
for(int i=0;i<=7;i++){
//获取进度
Element elements1=elements.get(i);
Elements speed=elements1.select(".item-speed");
Elements speedLine=speed.select(".invest-speed-line");
String iSpeedLine= speedLine.toString();
String speedStr = iSpeedLine.substring(iSpeedLine.lastIndexOf(":")+1,iSpeedLine.lastIndexOf("%")).trim();
//过滤掉满标的
if(Double.parseDouble(speedStr)==100.00){
continue;
}
//获取收益
String itemApr=elements1.select(".item-apr").text();
//                if("12.00%".equals(itemApr.toString())){
//                    continue;
//                }
//3.获取天数
String itemTime=elements1.select(".item-time").text();
itemTime=itemTime.replace("天","").trim();
//                if(Integer.parseInt(itemTime)>50){
//                    continue;
//                }
//获取标id
String itemName=elements1.select(".item-name").toString();
itemName=itemName.substring(itemName.lastIndexOf("invest/")+7,itemName.lastIndexOf(".html"));

CrawUtil t = new CrawUtil();
String url=String.format("http://www.qtyd.com/invest/%s.html",Integer.parseInt(itemName));
Document doc = t.getDocument(url);
// 获取目标HTML代码
Elements ele1 = doc.select(".ft30");
StringBuffer stringBuffer=new StringBuffer();
stringBuffer.append("监控到有标可以投资：");
// 可投金额
String money = ele1.get(0).text().replace(",","");
//                if(Double.parseDouble(money)>50000){
//                    continue;
//                }
stringBuffer.append("可投金额:" + money);

// 年利率
String rank = ele1.get(1).text();
stringBuffer.append("年利率:" + rank);

// days
String days = ele1.get(2).text();
stringBuffer.append("收益期限" + days + "天"+"\n");
stringBuffer.append("请访问："+url+"\n");
System.out.print(stringBuffer.toString());
//发短信通知
//SmsUtil.sendSms(stringBuffer.toString(),"18758160514");
}
} catch (Exception e) {
e.printStackTrace();
}

4.爬取信息



5.后续扩展



（1）该网站各种请求url如上，后续有时间结合如上地址可以搞个自动投标插件，实现自动抢标、投标
6.遇到问题
之前get请求可以投标，但现在他们已经做了限制，不能get或post请求，请求报错信息如下：



如上问题查了很多资料，说清空本地cookie但试啦还是不行，还有说这个是php后台设置，以后有时间再尝试下是否存在csrf攻击……