Node.js爬虫数据抓取 -- 问题总结
2015-07-27 12:44
597 查看
[b]一 返回的信息提示 Something went wrong [/b]
request模块请求出现未知错误
其中,所用代码如下(无User-Agent部分)
问题多次派查无果,包括:
1:postman请求正常
2. curl 请求正常
解决办法:
为请求添加user-agent头,如取消上注释部分。(我发现,只要有了user-agent这个key,无论其value是否为空,都可以正常返回了)
所以对于模拟请求,有时候相应的http头部信息还是必须的。
request模块请求出现未知错误
其中,所用代码如下(无User-Agent部分)
问题多次派查无果,包括:
1:postman请求正常
2. curl 请求正常
解决办法:
为请求添加user-agent头,如取消上注释部分。(我发现,只要有了user-agent这个key,无论其value是否为空,都可以正常返回了)
所以对于模拟请求,有时候相应的http头部信息还是必须的。
相关文章推荐
- Leetcode 24 Swap Nodes in Pairs
- LeetCode 24 Swap Nodes in Pairs
- node.js简单的页面输出
- LeetCode-Delete Node in a Linked List
- jQuery静态方法noop,camelCase,nodeName,trim使用和源码分析
- LeetCode Swap Nodes in Pairs 交换结点对(单链表)
- 带你入门带你飞Ⅰ 使用Mocha + Chai + Sinon单元测试Node.js
- Koa (koajs) 基于 Node.js 平台的下一代 web 开发框架
- 通过Cloudera Manager为datanode增加数据目录
- [LeetCode]Swap Nodes in Pairs
- 【LeetCode】237 & 203 - Delete Node in a Linked List & Remove Linked List Elements
- [LeetCode]Populating Next Right Pointers in Each Node
- LeetCode-Remove Nth Node From End of List
- Reverse Nodes in k-Group
- leetcode[24]:Swap Nodes in Pairs
- javascrip中parentNode和offsetParent之间的区别
- 【Leetcode】Delete Node in a LinkedList
- [Leetcode 25] Reverse Nodes in k-Group
- leetcode[117]:Populating Next Right Pointers in Each Node II
- windows下关于nodejs和npm的安装、方法,网址