node的简单爬虫

最近在学node，这里简单记录一下。

首先是在linux的环境下，关于node的安装教程： https://github.com/alsotang/node-lessons/tree/master/lesson0
我看的教程里面还用来express框架 键入 $ npm install express --registry=https://registry.npm.taobao.org 来安装

这样基本的环境就弄好了，装好以后来创建项目，过程如下：

1.随便建一个文件夹，比如说是lesson3

2.初始化（键入 $ npm init ），这里要让你设置 packag.json 文件，这个文件是用来记录项目的信息的，项目名，作者什么的，如果你没什么好写的就一路回车

3.安装依赖包，（键入

$ npm install  ---save packagename）

，没有指定的情况下，默认从 npm 官方安装，上次我们是从淘宝的源安装的。二是多了个

--save

参数，这个参数的作用，就是会在你安装依赖的同时，自动把这些依赖写入 package.json

爬虫需要 superagent 和 cheerio

superagent(http://visionmedia.github.io/superagent/ ) 是个 http 方面的库，可以发起 get 或 post 请求

cheerio可以理解为node端的jquery，爬虫的爬下来网页以后用类似jquery选择器的方式就能对dom树进行操作

4.写应用逻辑

逻辑也是三步：

4.1加载依赖

4.2处理爬虫

4.3监听端口

以cnode为例，https://cnodejs.org/ 可以先到页面上右键然后审查元素看看自己想要扒什么

新建一个app.js文件，然后上代码：

//请求依赖
var express = require('express') ;
var superagent = require('superagent') ;
var cheerio = require('cheerio') ;
var sys = require('sys') ;
var app = express() ;
//爬虫部分
app.get('/',function(req,res,next){
superagent.get('https://cnodejs.org/')
.end(function(err,sres){
if(err){
return next(err) ;
}
var $ = cheerio.load(sres.text) ;
var items = [] ;
//利用cheerio来获取页面信息，each函数来遍历所有节点
var context = $('#topic_list .cell') ;
context.each(function(idx,element){
console.error(this) ;
//作者名是从链接里扒出来的，所以用split处理一下
var name = $(this).find('.user_avatar').attr('href').split('/')[2] ;
var element = $(this).find('.topic_title') ;
obj = this ;
items.push({
title:element.attr('title'),
href:element.attr('href'),
author:name
});
});
//将结果输出到页面
res.send(items) ;
});
});
//监听部分，监听3000端口
app.listen(3000,function(req,res){
console.log('3000 is running');
});

这里注意就是和jq一样，在一个对象的方法中调用对象要再用$()把this包起来才有相应的方法。

键入命令 $ node app.js来运行，从浏览器上访问 http://localhost:3000/ 来查看结果

结果如图：



学习是按照《Node.js 包教不包会》 -- by alsotang 来进行的，这里是网址 https://github.com/alsotang/node-lessons