Linux企业级项目实践之网络爬虫(7)——DNS解析
2014-08-31 22:06
246 查看
DNS 是Domain Name Service的缩写。域名系统为Internet上的主机分配域名地址和IP地址。IP地址不易于记忆,然而域名地址相比较而言是方便于记忆的。用户如果使用域名地址,当想获得IP地址时,就要向域名服务器发送请求。这个域名服务器就会自动把域名地址转为IP地址返回给用户。
爬虫程序优化DNS请求的必要性
当爬虫程序从HTML页面上提取URL时,一般情况下,应该有很多都是这个站点内部的URL。那么当这个站点里的某个URL请求过DNS以后,就应该采用某种数据结构把这个值保存起来。以后再发现这个站点内的URL后,就把域名部分的IP取出给这个URL,从而减少不必要的DNS请求。这样可以大大加快抓取页面的速度,提高效率。
优化DNS请求的方式
对于同一个站点内部的页面应该设一个数据结构以保存,并且方便查找。这样,当爬虫系统得到了一个新的URL以后,可以快速的转换地址格式并进行连接。
爬虫程序优化DNS请求的必要性
当爬虫程序从HTML页面上提取URL时,一般情况下,应该有很多都是这个站点内部的URL。那么当这个站点里的某个URL请求过DNS以后,就应该采用某种数据结构把这个值保存起来。以后再发现这个站点内的URL后,就把域名部分的IP取出给这个URL,从而减少不必要的DNS请求。这样可以大大加快抓取页面的速度,提高效率。
优化DNS请求的方式
对于同一个站点内部的页面应该设一个数据结构以保存,并且方便查找。这样,当爬虫系统得到了一个新的URL以后,可以快速的转换地址格式并进行连接。
void * urlparser(void *none) { Surl *url = NULL; Url *ourl = NULL; map<string, string>::const_iterator itr; while(1) { pthread_mutex_lock(&sq_lock); while (surl_queue.empty()) { pthread_cond_wait(&sq_cond, &sq_lock); } url = surl_queue.front(); surl_queue.pop(); pthread_mutex_unlock(&sq_lock); ourl = surl2ourl(url); itr = host_ip_map.find(ourl->domain); if (itr == host_ip_map.end()) { /* not found */ /* dns resolve */ event_base * base = event_init(); evdns_init(); evdns_resolve_ipv4(ourl->domain, 0, dns_callback, ourl); event_dispatch(); event_base_free(base); } else { ourl->ip = strdup(itr->second.c_str()); push_ourlqueue(ourl); } } //evdns_base_free(dnsbase, 0); //event_base_free(base); return NULL; }
相关文章推荐
- Linux企业级项目实践之网络爬虫(7)——DNS解析
- Linux企业级项目实践之网络爬虫(1)——项目概述及准备工作
- Linux企业级项目实践之网络爬虫(3)——设计自己的网络爬虫
- Linux企业级项目实践之网络爬虫(11)——处理http请求头
- Linux企业级项目实践之网络爬虫(15)——区分文本文件和二进制文件
- Linux企业级项目实践之网络爬虫(13)——处理user-agent
- Linux企业级项目实践之网络爬虫(1)——项目概述及准备工作
- Linux企业级项目实践之网络爬虫(9)——通过URL抓取网页内容
- Linux企业级项目实践之网络爬虫(12)——处理HTTP应答头
- Linux企业级项目实践之网络爬虫(10)——处理HTTP状态码
- Linux企业级项目实践之网络爬虫(10)——处理HTTP状态码
- Linux企业级项目实践之网络爬虫(15)——区分文本文件和二进制文件
- Linux企业级项目实践之网络爬虫(4)——主程序流程
- Linux企业级项目实践之网络爬虫(8)——认识URL
- Linux企业级项目实践之网络爬虫(4)——主程序流程
- Linux企业级项目实践之网络爬虫(3)——设计自己的网络爬虫
- Linux企业级项目实践之网络爬虫(6)——将程序设计成为守护进程
- Linux企业级项目实践之网络爬虫(14)——使用正则表达式抽取HTML正文和URL
- Linux企业级项目实践之网络爬虫(13)——处理user-agent