splunk理论及安装配置

splunk是什么？
面向云的日志搜索引擎，是一款功能强大的日志管理软件。不仅支持通过多种方式添加本地或远程日志，而且能够产生图形化报表。最强大的功能是其搜索功能——因此被称为"Google for IT".

功能特性：
1、支持多平台安装
2、任意源获取任意数据
3、从远程系统中得到转发数据
4、关联复杂事件生成可视化视图
5、专门大数据引擎，支持大数据检索
6、数据中心扩展
7、提供基于角色的安全性控制

常用的功能性视图：
1、splunk索引任何数据
2、搜索和审查
3、关联事件
4、检测和告警
5、出报表
6、自定义仪表盘

web界面默认端口：8000

安装部署
/opt —— 建议/opt目录最好单独分区或者给/分区足够大
考虑：时间同步问题
内存：最好1G

一、安装配置
软件下载： http://zh-hans.splunk.com/download 1、安装
# rpm -ivh splunk-5.0.2-149561-linux-2.6-x86_64.rpm
-------------------------------------------------------------------------
Splunk has been installed in:
/opt/splunk

To start Splunk, run the command:
/opt/splunk/bin/splunk start

To use the Splunk Web interface, point your browser to: http://localhost.localdomain:8000
Complete documentation is at http://docs.splunk.com/Documentation/Splunk -------------------------------------------------------------------------
2、启动服务
# /opt/splunk/bin/splunk start
//首次启动会有许可协议，按q，再输入y。
3、设置开机自启动
# /opt/splunk/bin/splunk enable boot-start
Init script installed at /etc/init.d/splunk.
Init script is configured to run at boot.
4、查看帮助
# /opt/splunk/bin/splunk help enable
可以使用/etc/init.d/splunk管理splunk的启停
# /etc/init.d/splunk status
5、访问web页面
firefox http://172.16.254.239:8000 &
首次访问，会提示用户名密码admin/changeme
登录后，设置新的密码
6、修改默认端口的配置文件
# vim /opt/splunk/etc/system/default/web.conf
httpport = 8000
splunk日志的导入
数据源可以是本地的、远程的、Linux的、Unix的、windows的、交换机的、路由器的等等。也可以是web服务器的，IIS服务器的、ftp服务器的等等。

一、向splunk中导入本地日志 messages
添加数据——>syslog——>使用此 Splunk 服务器上的任何 syslog 文件或目录——>服务器上文件的路径 /var/log/messages ——>默认——>默认 继续——>默认，保存

二、搜索想要的日志
开始搜索——>输入aborting
搜其他 host="localhost"

练习：将secure日志导入到splunk中，并验证其搜索功能

三、向splunk导入远程日志
环境：
splunk server ：172.16.254.239
remote apache：172.16.254.200 web.up.com
开始配置：
注意：导入远程日志需要远程主机安装通用转发器(splunkforwarder)。
1、设置splunk服务器允许接收splunk转发器发送来的数据
管理器——>转发和接收——>配置接收中“新增”——>9999（指定接收数据的端口）——> 保存
2、在远程服务器上配置
1）安装splunkforwarder包
# rpm -ivh splunkforwarder-5.0.2-149561-linux-2.6-x86_64.rpm
2）配置splunkforwarder转发apache的日志
# /opt/splunkforwarder/bin/splunk start
# /opt/splunkforwarder/bin/splunk add forward-server 172.16.254.239:9999
Splunk username: admin
Password: changeme
Added forwarding to: 172.16.254.239:9999.
# cd /opt/splunkforwarder/etc/system/local/
# vim inputs.conf
[default]
host = web.up.com
[monitor:///var/log/httpd]
sourcetype = access_common
3）重启splunk转发器服务
# /opt/splunkforwarder/bin/splunk restart
3、验证结果
如果在splunk服务器的web页面能够看到web.up.com的apache的日志，就成功了。
简单搜索：
host="web.up.com"
host="web.up.com" error
host="web.up.com" OR error //OR 或者

生成视图

导入测试数据
将Sampledata.zip放到splunk服务器上

继续浏览器操作
管理器——>数据导入——>文件和目录“新增”——>跳过预览——>上载并索引文件 ——>保存

一、体验splunk强大的搜索功能
sourcetype="access_combined_wcookie"
1、搜索源类型为access_combined_wcookie，并且IP为10.2.1.44的日志请求
——81条
sourcetype="access_combined_wcookie" 10.2.1.44
2、进一步搜索关于“purchase”的请求 —— 63条
sourcetype="access_combined_wcookie" 10.2.1.44 purchase
3、进一步搜索http返回码不是200的购买请求
sourcetype="access_combined_wcookie" 10.2.1.44 purchase NOT 200
4、进一步搜索不是404错误的请求
sourcetype="access_combined_wcookie" 10.2.1.44 purchase NOT 200 NOT 404

用关键字搜索
搜索买花时间
sourcetype="access_combined_wcookie" 10.2.1.44 action=purchase category_id=flowers

|：前面的搜索结果作为后面的命令的输入
1、搜索最热卖的商品 使用命令top
sourcetype="access_combined_wcookie" action=purchase | top category_id
2、有多少名不同的顾客买了鲜花
需要使用stats命令和dc函数实现
sourcetype="access_combined_wcookie" action=purchase category_id=flowers | stats dc(clientip)
3、每个顾客分别买了多少花？
sourcetype="access_combined_wcookie" action=purchase category_id=flowers | stats count by clientip
需要使用stats命令和count函数并且使用by子句
4、倒序显示每个顾客购买多少花？
sourcetype="access_combined_wcookie" action=purchase category_id=flowers | stats count by clientip | sort -count
sort -count：按照count字段倒序排序
sort count：按照正序排序
5、给数据列起别名
sourcetype="access_combined_wcookie" action=purchase category_id=flowers | stats count by clientip | sort count | rename clientip as "顾客" , count as "购花总数"

二、将搜索结果保存为仪表盘
1、创建一个空的仪表盘
仪表板和视图——>创建仪表板——>ID:001 名称：每个顾客购花总数 ——> 创建
2、将搜索结果保存到仪表盘
sourcetype="access_combined_wcookie" action=purchase category_id=flowers | stats count by clientip | sort -count | rename clientip as "顾客" , count as "购花总数"
搜索——>创建——>仪表板面板——>每个顾客购花总数——>现有仪表板——>下拉列表中选择需要的仪表板——> 默认

三、在收集结果时动态更新生成的图表
创建报表
搜索:sourcetype="access_combined_wcookie" action=purchase category_id=flowers | stats count by clientip | sort -count
创建——>报表