免费的日志管理软件Splunk Free使用入门

Splunk可以收集由IT系统和技术基础设施产生的各种数据，包括网站、应用程序、服务器、网络、传感器、移动设备等。Splunk可以对这些数据进行搜索，可以对数据进行分析形成报告、图表。Splunk的功能及其强大，特别适合分析网络、服务器的故障、性能等。关于Splunk的详细介绍可以参考官方中文网站：http://zh-hans.splunk.com/。 这里主要对Splunk的日志管理功能进行说明，侧重介绍防火墙的日志分析功能。包括产品介绍、安装、使用、收集Syslog日志、搜索数据、创建图表、使用插件等内容。 一、产品介绍Splunk Free可以免费使用，主要的限制是每天只能索引500MB数据。Free版没有电子邮件通知之类的告警功能。Free版只有一个管理员用户，而且不能设定密码，不能添加用户，出于安全考虑可以通过Windows服务器防火墙功能限制只能本地使用Splunk。Free版不具有一些高级功能如分布式搜索、高性能分析存储、生成PDF等，不过这不影响使用。一些关键的功能如收集Syslog日志、搜索数据、创建图表、使用插件等功能都可以使用。关于Free版和Enterprise版的主要区别请见网站：
http://zh-hans.splunk.com/view/free-vs-enterprise/SP-CAAAE8W。

IT运维主要对网络设备、服务器、存储、虚拟化等进行监控。主要功能：
IT基础设施：使用 SNMP、流量协议（Netflow、sFlow）、系统日志、PCAP 以及基于 API 的传输跟踪来自无线装置、交换机和路由器、防火墙及其它装置的网络数据，从而监控并满足关键的网络 SLA。

操作系统：适用于操作系统（Windows和各种类型的 Unix 和 Linux）的 Splunk 应用提供了简洁的性能洞察和运营分析，例如性能、可用性、安全性、容量以及变更跟踪数据。

虚拟化：驾驭来自VMware vSphere、Citrix XenServer 和微软 Hyper-V 等流行的服务器虚拟化技术以及 Citrix XenApp 和 Citrix XenDesktop 等桌面虚拟化技术的数据。

Splunk最大的特点就是从IT系统中收集各种数据，并且对这些数据进行分析，让你全面掌控IT性能、容量规划、故障、安全性等。 二、产品安装和使用1、安装从网站http://zh-hans.splunk.com/download/下载Splunk，可以60天免费试用Enterprise版，每天最多可对 500MB 数据建立索引。之后可以转换为Free版。在Windows Server上安装极其简单，这里就不介绍了。安装程序支持各种主流的操作系统如Windows、Linux、AIX、Solaris、HP-UX、Mac OSX等等。可以在虚拟化环境中使用Splunk。关于产品的详细文档请参考链接：http://docs.splunk.com/Documentation/Splunk。默认的情况下Splunk会使用8000 端口，如果是在本机登录Splunk，你可以直接在浏览器地址栏输入http://localhost:8000 2、收集数据接下来主要介绍如何导入JuniperSSG140防火墙的日志。点击右上角的导航“设置”- “添加数据”。

在“添加数据”中点击“监视”。

在“添加数据”中选择“TCP/UDP”，在右侧选择“UDP”，在“端口”中输入“514”（Syslog默认使用端口514）。点击“下一步”。

在“输入设置”中的“Sourcetype”选择“手动”，并输入“syslog”。点击“检查”

点击“提交”完成“添加数据”。

完成之后就可以查看收集的数据。

3、防火墙设置在Juniper SSG 140防火墙“Configuration> Report Settings > Log Settings”中对Syslog选择需要收集数据的“SeverityLevels”。点击“Syslog”设置Syslog接受服务器。

在“IP/Hostname”中输入Splunk服务器的IP地址。选择正确的“SourceInterface”，并确保网络畅通。

4、查看日志在“搜索”中进行搜索或点击“数据摘要”。

在数据摘要中可以按照“主机”、“来源”、“来源类型”查看收集的数据。

5、搜索日志数据收集之后需要进一步分析才能对获取我们需要的结果。如对防火墙“192.168.1.1”中受到拒绝的源地址日志，可以在搜索框中搜索：host="192.168.1.1" "src=192.168.1.2""action=deny"其它搜索方法请见官方文档，或者访问以下网站：
http://www.netis.com.cn/splunk/splunk-search-tutorial/


三、创建仪表板和图表通过仪表盘和图表可以快速直观的判断防火墙问题所在，这里介绍如何使用仪表板对防火墙的流量进行分析。防火墙日志中记录了经过防火墙的源地址和目标地址流量信息。1、在“仪表板”中，在标题中输入如“Firewall_Flow”，在ID中输入一个未使用的ID。

2、在“编辑：FirewallFlow”中“添加面板”，在“新建”中点击“新建饼图”，选择“1小时窗口”，输入内容标题和搜索字符串：host="10.24.100.253"permit | addtotals fieldname=sum1 sent rcvd | stats sum(sum1) AS byte by src |sort - byte

这样可以直观的看到通过防火墙的来源地址数据流量。还可以在“编辑”中将仪表板“设置为主页仪表板”。

我的Splunk主页上显示防火墙实时流量图表。

四、使用插件插件是Splunk的特色功能，不使用插件也可以分析收集到的数据，但对于使用者来说会非常困难，需要熟悉Splunk的搜索命令。如果使用插件，就可以非常方便的对已知问题进行分析。可以从网站http://www.splunk.com/en_us/products/apps-and-add-ons.html下载插件。安装插件也非常简单，可以从主页上的“应用”进行插件的安装和管理。

我使用了“Splunk for JuniperFirewall”插件，用来分析防火墙Juniper的通信日志。可以非常方便的分析被拒绝访问的源地址和目标地址。



五、总结总体来说，Splunk功能非常强大，几乎可以监视IT系统的各个方面。但Splunk使用起来也不是很容易，需要具备较强的IT系统知识。建议有一定经验的IT系统管理员使用Splunk。
本文出自 “网络管理” 博客，请务必保留此出处http://jetye.blog.51cto.com/360175/1698250