业务数据分析系统

由于项目需求，需要将玩家信息从日志中存入到DB中，DB暂选MySQL.

本文并未使用开源的向fluentd http://fluentd.org/doc/overview.html一样的系统，我的工作只是日志分析，存入DB，剩下的是开发人员如何展示数据啦。现列出部分脚本，欢迎各位提出意见：

日志收集脚本（用shell搞定），核心思想是scp，并用cat 合并文件。

此程序分3个目录，bin目录下可执行脚本collect_log.sh expect_rsync.sh

conf 目录，service_server sync_file web_server 三个文件存储ip，和文件名称

data目录 存储收集、合并结果

expect_rsync.sh 远程传输:

#!/usr/bin/expect -f

set host [lindex $argv 0]
set remote_dir [lindex $argv 1]
set file [lindex $argv 2]
set local_dir [lindex $argv 3]
spawn scp "xxxxxx@$host#36000:$remote_dir/$file" $local_dir
expect {
-re "assword:" {
send "xxxxxx\r"
} -re "Permission denied, please try again." {
exit
} -re "Connection refused" {
exit
} timeout {
exit
} eof {
exit
}
}
expect eof
exit

collect_log.sh 判断机器和文件名

#!/bin/bash
WEB_REMOTE_DIR=/data/matrixjoyweb/matrixjoy-dragon-web/logs
SERVICE_REMOTE_DIR=/data/matrixjoyservice/matrixjoy-dragon-gameserver/logs/
SCDIR=/data/log-system/
RAWDATADIR=$SCDIR/data/raw/
LOGDATE=$(date  +%Y%m%d --date="-$1 day")

#transport function
function expect_rsync_logs() {
/usr/bin/expect -f $SCDIR/bin/expect_rsync.sh $@
}

#mkdir directory
function ensure_dir() {
if [ ! -d $1 ]
then
mkdir -p $1
fi
}

function  collect() {
server_list=$1
remote_dir=$2
dirtype=$3

for serverip in $server_list
do
store_dir="$RAWDATADIR/$serverip/$dirtype/$LOGDATE"
ensure_dir  $store_dir
for file in $(cat $SCDIR/conf/sync_file)
do
file_name=$file$LOGDATE
#Call the funciton to sync file
expect_rsync_logs $serverip  $remote_dir $file_name  $store_dir

done

done
}

function main() {
source /etc/profile
ensure_dir $RAWDATADIR
IFS="
"
collect  $(cat $SCDIR/conf/service_server) $SERVICE_REMOTE_DIR service
collect  $(cat $SCDIR/conf/web_server) $WEB_REMOTE_DIR web
}

#merge log

function merge() {
TARGET="$SCDIR/data/total/$LOGDATE"
server_ip_list=$1
dir_type=$2
echo $TARGET
ensure_dir $TARGET
for file in $(cat $SCDIR/conf/sync_file)
do
file_name=$file$LOGDATE
for ip in $server_ip_list
do
srcdir="$RAWDATADIR/$ip/$dir_type/$LOGDATE"
cat "$srcdir/$file_name" >> "$TARGET/$file_name"
done
done

}

function merge_result() {
ensure_dir $TARGET
IFS="
"
merge $(cat $SCDIR/conf/service_server) service
merge $(cat $SCDIR/conf/web_server) web
}

main
merge_result

待续。。。