学习Node.js

1.node.js是什么？
Node.js 是一个基于Chrome V8 引擎的JavaScript运行环境
Node.js使用了一个事件驱动、非阻塞式I/O的模型,使其轻量又高效
Node.js的包管理工具npm,是全球最大的开源库生态系统
node版本常识 ：偶数版本为稳定版 （0.6.x ，0.8.x ，0.10.x）
奇数版本为非稳定版（0.7.x ，0.9.x ，0.11.x）

2.内置模块
Url：是node中负责处理url字符串的
url是一个对象
方法：1.parse
url.parse(url字符串)
作用：将url字符串转成url对象
2.format
url.format（url对象）
作用：将url对象转成url字符串
3.resolve
作用：做url替换
stream 流
Stream 是一个抽象接口，Node 中有很多对象实现了这个接口。例如，对http 服务器发起请求的request 对象就是一个 Stream，还有stdout（标准输出）。

zlib 压缩

const zlib = require( ‘zlib’ ) // zlib是一个压缩包的内置模块
const fs = require( ‘fs’ ) // fs是文件系统
// const in = fs.createReadStream(文件路径)
// 通过fs文件系统将1.txt中的内容读出来 - 班长水杯中的水倒出来
const inp = fs.createReadStream(’./dist/1.txt’) // 创建可读的流
// 通过fs文件系统将 data 中的内容写进去
const out = fs.createWriteStream(‘1.txt.gz’) //创建可写的流
const gzlib = zlib.createGzlip() // 创建一个空的压缩包

http 简易爬虫

• 通过后端语言爬取网站中的数据，然后通过特定模块进行数据清洗，最后将数据输出给前端
• 不是那个网站都能爬取的

反爬虫
我们刚才数据清洗时，用的是 text() 这个获取的是a标签的内容

解决： 给a标签的内容中放一张图片

• 爬虫案例：
  - http.get
  - 数据清洗： 第三方插件【 模块 】 cheerio【 不要写es6 】

const http = require( ‘http’ )

const cheerio = require( ‘cheerio’ )

// http://jx.1000phone.net/teacher.php/Class/classDetail/param/rqiWlsefmajGmqJhXXWhl3ZiZGZp

const options = {
hostname: ‘jx.1000phone.net’,
port: 80,
path: ‘/teacher.php/Class/classDetail/param/rqiWlsefmajGmqJhXXWhl3ZiZGZp’,
method: ‘GET’,
headers: {
Accept: ‘text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,/;q=0.8,application/signed-exchange;v=b3’,
‘Accept-Encoding’: ‘gzip, deflate’,
‘Accept-Language’: ‘zh-CN,zh;q=0.9,en-US;q=0.8,en;q=0.7’,
‘Cache-Control’:’ no-cache’,
Cookie: ‘PHPSESSID=ST-22290-Uo8KnobsTgDO-TrQvhjA4TfoJI4-izm5ejd5j1npj2pjc7i3v4z’,
Host: ‘jx.1000phone.net’,
Pragma: ‘no-cache’,
‘Proxy-Connection’: ‘keep-alive’,
Referer: ‘http://jx.1000phone.net/teacher.php/Class/index’,
‘Upgrade-Insecure-Requests’: 1,
‘User-Agent’: ‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 Safari/537.36’,
‘Content-Type’: ‘application/x-www-form-urlencoded’,
‘Content-Length’: 0
}
};

const req = http.get( options, (res) => {
const { statusCode } = res; // 获取状态码 1xx - 5xx
const contentType = res.headers[‘content-type’]; // 文件类型 text/json/html/xml

res.setEncoding(‘utf8’); // 字符编码

// 核心 – start
let rawData = ‘’;
res.on(‘data’, (chunk) => { rawData += chunk; }); // 数据拼接
res.on(‘end’, () => { // 数据获取结束
try {

const $ = cheerio.load( rawData )

$('td.student a').each( function ( item ) {
console.log( $( this ).text() )
})

} catch (e) {
console.error(e.message);
}

});

// 核心 – end
}).on(‘error’, (e) => {
console.error(

Got error: ${e.message}

req.end()

3.模块化

• 模块化 为什么前端要使用模块化？
• 分析： html中引入多个js文件，使用script标签对
• Node.js都是js文件，思考： js文件如何引入其他类型文件
• 答案： 模块化
• 好处： 复用性高，一次定义，多次使用