反lj邮件防火墙的核心技术分析1
2013-12-31 00:00
190 查看
lj邮件的来历和技术根源
SMTP协议本身是一个简化的邮件递交协议,缺乏很多必要的身份认证,这是SMTP协议造成lj邮件泛滥的原因之一。由于SMTP协议中,允许发信人伪造绝大多数的发信人特征信息,如:发信人、信件路由等,甚至在通过匿名转发、开放转发和开放代理等手段后,可以近乎完全的抹去lj邮件的发信人特征。目前,绝大多数的lj邮件都伪造了其真实的发信来源,这对于发现制止lj邮件的传播造成了很大的困难。
SMTP协议还缺少一些必要的行为控制,不能有效的甄别正常的邮件发送和lj邮件发送行为,这是造成lj邮件泛滥的原因之二。lj邮件的发送通常有一定的行为特征,比如在较短的时间内发送极其大量的电子邮件,发信通讯中通常有特定的通讯特征等。
反lj邮件技术手段要么是本身带有一定的缺陷,比如在lj邮件的判断上不能做到绝对精确,或者需要很大实现成本等等;要么就是由于实际环境的限制而不能应用,比如不能彻底推翻原有的SMTP协议而使用一种新的可以避免lj邮件产生和传播的邮件协议。所以,单纯依赖技术手段并不能完全解决lj邮件。
反lj邮件技术的解析
我们以一款lj邮件厂商博威特-梭子鱼反lj邮件防火墙所用的防护技术为代表,来分析一下反lj邮件防火墙使用了哪些技术。以下是这款反lj邮件防火墙使用的防护技术:
1 拒绝服务攻击和安全防护
2 IP阻挡清单
3 速率控制
4 双层bd扫描
5 用户自定义规则
6 lj邮件指纹检查
7 邮件意图分析
8 贝叶斯智能分析
9 基于规则的评分系统
10 解压缩文件的bd防护
由于速率控制、bd扫描以及解压缩文件的bd防护针对bd的,属于反lj邮件的附属功能我们暂不讨论,值得一提的是防火墙的防止DDOS攻击和反lj邮件防火墙防止DOS攻击是不一样的。根据博威特技术工程师的介绍:反lj邮件防火墙的防止DOS攻击主要是防止往一个邮件地址在一个较短的时间内发送大量的lj邮件,从而形成Dos攻击。
而针对lj邮件的核心技术有贝叶斯智能分析、lj邮件指纹检查、基于规则的评分系统、用户自定义规则,其核心是贝叶斯智能分析、lj邮件指纹检查技术。下面我们来逐一分析反lj邮件过滤技术:
1 lj邮件指纹检查
谈到对lj邮件的指纹检查,很多人觉得有些神秘,其实所谓邮件的指纹,就是邮件内容中的一些字符串的组合,又称为快照。就是从类似、但不相同的信息,识别其中已经被确认为lj邮件的信息。举例来说:如果您经常受lj邮件此地困扰一定对下面的词汇不会陌生:"代理服务"、"招生"、"现金",是不是在你一看到他们就不免联想到lj邮件呢?
其实这就是lj邮件的指纹,和反bd技术的特征码识别的思想是共通的。反lj邮件防火墙通过识别类似、但不相同的信息,找出其中已经被确认为lj邮件的信息,最后完成对lj邮件的识别。
当然指纹检查的准确性依赖于lj邮件的指纹库,反lj邮件防火墙先给邮件中出现的每一个字符赋予一个数值,值得一提的是这个数值的确定是按照特定lj的用词规律特点进行分类,再利用统计方法然后再给这封邮件计算出一个综合的数值。也可以根据是否与其他多次收到的邮件相似来判定(多次收到相似的邮件很可能就是lj邮件)。
2 贝叶斯智能分析
贝叶斯智能分析的说法在我看来有赶时髦的嫌疑,主要是受上学时人工智能课程的毒害,和对智能字眼满天飞的视觉疲劳,毕竟一个技术如果能和智能挂钩的话,多少显得高深了不少。事实上这个智能分析就是一个统计学定律的应用而已,当然客观的说这个统计学的应用确实让反lj邮件聪明了不少。好了闲话说多了浪费大家时间,我们今天不讲贝叶斯定律,直接开始介绍贝叶斯反lj邮件算法,通过算法我们可以看出这个智能分析其实是将IP阻挡名单、lj邮件指纹检查、统计规律结合起来实现反lj邮件的智能分析。
SMTP协议本身是一个简化的邮件递交协议,缺乏很多必要的身份认证,这是SMTP协议造成lj邮件泛滥的原因之一。由于SMTP协议中,允许发信人伪造绝大多数的发信人特征信息,如:发信人、信件路由等,甚至在通过匿名转发、开放转发和开放代理等手段后,可以近乎完全的抹去lj邮件的发信人特征。目前,绝大多数的lj邮件都伪造了其真实的发信来源,这对于发现制止lj邮件的传播造成了很大的困难。
SMTP协议还缺少一些必要的行为控制,不能有效的甄别正常的邮件发送和lj邮件发送行为,这是造成lj邮件泛滥的原因之二。lj邮件的发送通常有一定的行为特征,比如在较短的时间内发送极其大量的电子邮件,发信通讯中通常有特定的通讯特征等。
反lj邮件技术手段要么是本身带有一定的缺陷,比如在lj邮件的判断上不能做到绝对精确,或者需要很大实现成本等等;要么就是由于实际环境的限制而不能应用,比如不能彻底推翻原有的SMTP协议而使用一种新的可以避免lj邮件产生和传播的邮件协议。所以,单纯依赖技术手段并不能完全解决lj邮件。
反lj邮件技术的解析
我们以一款lj邮件厂商博威特-梭子鱼反lj邮件防火墙所用的防护技术为代表,来分析一下反lj邮件防火墙使用了哪些技术。以下是这款反lj邮件防火墙使用的防护技术:
1 拒绝服务攻击和安全防护
2 IP阻挡清单
3 速率控制
4 双层bd扫描
5 用户自定义规则
6 lj邮件指纹检查
7 邮件意图分析
8 贝叶斯智能分析
9 基于规则的评分系统
10 解压缩文件的bd防护
由于速率控制、bd扫描以及解压缩文件的bd防护针对bd的,属于反lj邮件的附属功能我们暂不讨论,值得一提的是防火墙的防止DDOS攻击和反lj邮件防火墙防止DOS攻击是不一样的。根据博威特技术工程师的介绍:反lj邮件防火墙的防止DOS攻击主要是防止往一个邮件地址在一个较短的时间内发送大量的lj邮件,从而形成Dos攻击。
而针对lj邮件的核心技术有贝叶斯智能分析、lj邮件指纹检查、基于规则的评分系统、用户自定义规则,其核心是贝叶斯智能分析、lj邮件指纹检查技术。下面我们来逐一分析反lj邮件过滤技术:
1 lj邮件指纹检查
谈到对lj邮件的指纹检查,很多人觉得有些神秘,其实所谓邮件的指纹,就是邮件内容中的一些字符串的组合,又称为快照。就是从类似、但不相同的信息,识别其中已经被确认为lj邮件的信息。举例来说:如果您经常受lj邮件此地困扰一定对下面的词汇不会陌生:"代理服务"、"招生"、"现金",是不是在你一看到他们就不免联想到lj邮件呢?
其实这就是lj邮件的指纹,和反bd技术的特征码识别的思想是共通的。反lj邮件防火墙通过识别类似、但不相同的信息,找出其中已经被确认为lj邮件的信息,最后完成对lj邮件的识别。
当然指纹检查的准确性依赖于lj邮件的指纹库,反lj邮件防火墙先给邮件中出现的每一个字符赋予一个数值,值得一提的是这个数值的确定是按照特定lj的用词规律特点进行分类,再利用统计方法然后再给这封邮件计算出一个综合的数值。也可以根据是否与其他多次收到的邮件相似来判定(多次收到相似的邮件很可能就是lj邮件)。
2 贝叶斯智能分析
贝叶斯智能分析的说法在我看来有赶时髦的嫌疑,主要是受上学时人工智能课程的毒害,和对智能字眼满天飞的视觉疲劳,毕竟一个技术如果能和智能挂钩的话,多少显得高深了不少。事实上这个智能分析就是一个统计学定律的应用而已,当然客观的说这个统计学的应用确实让反lj邮件聪明了不少。好了闲话说多了浪费大家时间,我们今天不讲贝叶斯定律,直接开始介绍贝叶斯反lj邮件算法,通过算法我们可以看出这个智能分析其实是将IP阻挡名单、lj邮件指纹检查、统计规律结合起来实现反lj邮件的智能分析。
相关文章推荐
- 【技术分享】逆向分析EXTRABACON——针对思科ASA防火墙的大杀器
- H.264和AVS核心技术分析及对比
- 用C#开发网络防火墙技术分析
- 《大型网站技术架构 核心原理与案例分析 》
- 架构师---(大型网站技术架构核心原理与案例分析)2网站架构模式
- 学习笔记8:《大型网站技术架构 核心原理与案例分析》之 随需应变:网站的可扩展架构
- 大型网站技术架构-核心原理与案例分析-阅读笔记3
- Java开发核心技术面试心得分析
- 学习笔记1:《大型网站技术架构 核心原理与案例分析》之 大型网站软件系统的特点
- 读《大型网站技术架构-核心原理与技术分析》有感之一 架构师领导艺术
- 『大型网站技术架构:核心原理与案例分析』(一)
- android核心技术之性能分析工具Memory Monitor
- 大型网站技术架构:核心原理与案例分析阅读笔记之五
- 大型网站技术架构-核心原理与案例分析-阅读笔记5
- 解读SDN核心技术:OpenFlow深入分析
- 反lj邮件技术重点 过滤技术介绍
- 《深入实践Spring Boot》阅读笔记:核心技术源代码分析
- 基于流过滤技术的IPv6防火墙设计与分析
- [笔记] 大型网站技术架构——核心原理与案例分析 [三]
- 架构师---(大型网站技术架构核心原理与案例分析)3大型网站架构核心要素