nodeJs爬虫获取数据简单实现代码

本文实例为大家分享了nodeJs爬虫获取数据代码，供大家参考，具体内容如下

var http=require('http');
var cheerio=require('cheerio');//页面获取到的数据模块
var url='http://www.jcpeixun.com/lesson/1512/';
function filterData(html){
/*所要获取到的目标数组
　　 var courseData=[{
chapterTitle:"",
videosData:{
videoTitle:title,
videoId:id,
videoPrice:price
}
}] */
var $=cheerio.load(html);
var courseData=[];
var chapters=$(".list-collapse");
chapters.each(function(item){
var chapterTitle=$(this).find(".collapse-head").find("label").text();
var videos=$(this).find(".listview5").children("li");
var chaptersData={
chaptersTitle:chapterTitle,
videosData:[]
}
videos.each(function(item){
var videoTitle=$(this).find(".ml10").attr('data-lesson-name');
var videoId=$(this).find(".ml10").attr('data-lesson-id');
var vadeoPrice=$(this).find(".colblue").text();
chaptersData.videosData.push({
title:videoTitle,
id:videoId,
price:vadeoPrice
})
})
courseData.push(chaptersData)
})
return courseData
}
function printCourseInfo(courseData){
courseData.forEach(function(item){
console.log(item.chaptersTitle+'\n');
item.videosData.forEach(function(item){
console.log(item.title+'【'+item.id+'】'+item.price+'\n')
})
})
}
http.get(url,function(res){
html="";
res.on("data",function(data){
html+=data
})
res.on('end',function(){
var courseData=filterData(html);
printCourseInfo(courseData)
})
})

效果图：

以上就是nodeJs爬虫获取数据的相关代码，希望对大家的学习有所帮助。

您可能感兴趣的文章:

• nodejs爬虫初试superagent和cheerio
• NodeJS爬虫实例之糗事百科
• nodeJS实现简单网页爬虫功能的实例(分享)
• 基于nodejs 的多页面爬虫实例代码
• nodejs制作爬虫实现批量下载图片
• nodejs爬虫遇到的乱码问题汇总
• 详解nodejs爬虫程序解决gbk等中文编码问题
• 简单好用的nodejs 爬虫框架分享
• Nodejs爬虫进阶教程之异步并发控制
• nodejs爬虫抓取数据之编码问题
• nodejs爬虫抓取数据乱码问题总结
• NodeJS制作爬虫全过程（续）
• NodeJS制作爬虫全过程
• nodeJs爬虫的技术点总结