python(2):使用python分析大日志文件思路及过程

1.做服务器开发的经常会遇到要分析大量的日志，统计大量数据；这里介绍几种统计日志数据的方法和思路

之前有遇到过要统计几天内的url出现次数的事情，一天有24个gz压缩文件，每个文件大概6G左右，URL的不重复率也很高

使用方法:

1.用shell 解压然后在统计，shell脚本写起来麻烦，统计那一块很多人也不是很熟悉(不也不咋熟悉)，sort又很慢，用下面的方法进行md5转换就更慢了

 while read line

   do 

     # 将字符串使用md5sum转换然后截取有用的部分

     m5=$(echo $line |md5sum | awk '{print $1}')

     echo $m5 >> ./1/$filename"_txt"

   done < ./$filename"_txt" 

2.使用lua(这个因为是本人最熟悉的脚本，所以先考虑的这个),在分析小数据的时候还是挺快的，数据量大了之后可能会产生内存分配失败的异常，32位下最大是2G，64位下理论上是可以达到2的64次方的，但是只要内有多余的内存分配就是抛出内存异常；而且在windows和linux下都需要独立安装，公司的有些服务器不提供安装许可，所以就不能用了

3.第三种使用python就行分片处理，python的问题和上面的lua一样，32位下允许2G,64位下允许2的64次方；linux系统基本都自带的有；但是即使是64位下加载数据大了之后也是会各种问题；

 问题: 1.空闲可用内存用完后python就会很卡着不动，或者抛出MemoryErr的异样,这个可以用try -catch处理，也可以分段处理

   2. python在读取文件的时候readline如果遇到无法识别的结束符eof的时候会报错(在gzip的部分版本是会出现的)，可以使用try-catch处理或者更新gzip的库

4.第四种思路也是用python，就是将数据存入数据库就行处理，可以存入python自带的sqlite数据库(试过解析插入会比较慢)；也可以存入redis这样的存储数据库会比较快

下面提供第三种的切片代码:

  切片的思路有两种:

     第一种是横向切片:就是按照常规的逻辑，每个文件的url就行合并统计，然后再就行一层一层的文件合并；这个的问题是如果url的重复率很低的话，后面的合并文件会越来越大，最终都会出现memoryErr的情况，好处是当URL重复率较高的话扫描一遍文件就可能可并完毕。

     第二种是纵向切片:就是按照数据就行分片，区url转换成md5之后的两个值就行取模，然后按照模的大小一遍一遍的扫描所有文件就行统计，可以根据分片的数据量调整模的大小，就不会出现内存不够的情况了，不足之处是要扫描好多次。

# -*- coding: utf-8 -*-

import os, sys

import hashlib

import gzip

import threading

from array import *

import gc

md = hashlib.md5()

# do file

class DoFile:

    # ??????

 def __init__(self):

  self.LineList = {}

  self.max = 0

  self.all_num_array = [0,0,0,0,0,0,0,0,0,0,0]

  self.out_file_num = 1

 

  self.all_max = 0

  self.file_num = 0

  self.one_max = 0

  self.one_file_num = 0

 #输出dic中的数据到文件

 def putOut(self, file_name):

  print(file_name)

  dirfile_f = open(file_name, "w")

  for key, value in self.LineList.items() :

   str_1 = key+" "+str(value)+" \n"

   dirfile_f.write(str_1)

  dirfile_f.close()

  self.max = 0

  self.LineList.clear()

  gc.collect()

 # 扫描统计,比较耗时

 def getTongJi(self, fen_duan):

  all_sum = 0

  file_num = 0

  max_1 = 0

  max_1_file_num = 0

  for key, value in self.LineList.items():

   all_sum = all_sum + value

   file_num = file_num + 1

   if value > 1 :

    max_1 = max_1 + value

    max_1_file_num = max_1_file_num + 1

  print(fen_duan,all_sum,file_num,max_1,max_1_file_num)

  self.LineList.clear()

  self.max = 0

  gc.collect()

 #输出统计内容

 def getTongjiAll(self, num):

  print(num, self.all_max, self.file_num, self.one_max, self.one_file_num)

  self.all_max = 0

  self.file_num = 0

  self.one_max = 0

  self.one_file_num = 0

  self.LineList.clear()

  self.max = 0

  gc.collect() 

   

   

 def GetTowInfo(self, file_name) :

  f_handl = open(file_name, "r")

  while f_handl != None:

   line = f_handl.readline()

   if not line:

    break;

   line = line.replace("\n","")

   line = line.replace("\r","")

   key, value = line.split(' ')

   #print(key, value)

   if self.LineList.get(key) == None:

    self.LineList[key] = int(value)

   else:

    self.LineList[key] = self.LineList[key] + int(value)

   self.max = self.max + 1

  f_handl.close()

  return self.max

 #统计解析后的文件(k v格式)的数据

 def GetModeInf(self,file_name, mode, mode_to):

  f_handl = open(file_name, "r")

  for line in f_handl.readlines():

   if not line:

    break;

   #line = line.replace("\n","")

   #line =line.replace("\r","")

   line = line.strip()

   #print(line)

   key, value= line.split(' ')

   if int(key[len(key)-2], 16) % mode == mode_to:

        #print(key, value)

        if self.LineList.get(key) == None:

                self.LineList[key] = int(value)

      self.file_num = self.file_num + 1

      if int(value) > 1:

       self.one_max = self.one_max + int(value)

       self.one_file_num = self.one_file_num + 1

        else:

      if self.LineList[key] == 1 :

                              self.one_max = self.one_max + int(value) + 1

       self.one_file_num = self.one_file_num + 1

      else :

       self.one_max = self.one_max + int(value) 

                self.LineList[key] = self.LineList[key] + int(value)

   self.all_max = self.all_max + int(value)

 f_handl.close()

 return self.max

 

 def SetOutFileNum(self,out_num):

  self.out_file_num = out_num

 # 当符合输出条件时就将dic中的数据输出到文件

 def MarkOutPutFile(self, max_num):

  if max_num > 10000000:

   out_file = "./1/uzip_txt_"+str(self.out_file_num)

   self.out_file_num = self.out_file_num + 1

   self.putOut(out_file)

 #解析gz压缩文件,存入dic中

 def GetZipFile(self, file_name):

  print("zip",file_name)

  f = gzip.open(file_name, 'rb')

  #for t_line in f.readlines():

  while 1:

   t_line = None

   try:

    t_line = f.readline()

    if not t_line:

     break

   except  Exception, err: 

    print(Exception, ":",err) 

    return 30000000

   #print(t_line)

   t_value = t_line.split(' ')

   #print(t_value[6])

   line = t_value[6]

   #line = line.replace("\n","")

   #line = line.replace("\r","")

   #line = line.replace(" ","")

   line = line.strip()

   md = hashlib.md5()

   md.update(line)

   key = md.hexdigest()

   mark = int(key[len(key)-2], 16)%10

   #self.all_num_array[mark] = self.all_num_array[mark]+1

   #print(key)

                        if self.LineList.get(key) == None:

                                self.LineList[key] = 1

     self.all_num_array[mark] = self.all_num_array[mark]+1

     self.max = self.max + 1

                        else:

                                self.LineList[key] = self.LineList[key] + 1

   #MarkOutPutFile(self.max,None)

  f.close()

  print("array_info:",self.all_num_array)

  return self.max

 

 def GetCountNum(self):

  max_sum_all = 0

  max_one = 0

  for i in range(0, 10):

      max_sum_all = max_sum_all + self.all_num_array[i]

      max_one = max_one + self.all_num_array[i]/20000000

  print("splite",max_sum_all, max_one)

  return max_one

 def GetCountFileNum(self):

  return self.out_file_num

 

dofile=DoFile()

#unzgrep file

def UnZgrepFile(out_file_num, zipfile_s, zipfile_e):

 dofile.SetOutFileNum(out_file_num)

 for i in range(zipfile_s, zipfile_e):

  str_k = "image_"+str(i)+ ".gz" 

  if i < 10:

    str_k = "image_0"+str(i)+".gz" 

  max_num = dofile.GetZipFile(str_k)

  dofile.MarkOutPutFile(max_num)  

 

#count

def CountFile(c_s, c_max, file_num):

 for j in range(c_s, c_max):

  print("count",c_max, j)

  for k in range(1, file_num):

   file_k = "./1/uzip_txt_"+str(k)

   print(file_k)

   dofile.GetModeInf(file_k, c_max, j)      

  dofile.getTongjiAll(j) 

if __name__ == '__main__' :

 #unzgrep file

 UnZgrepFile(1, 0, 24)

 #get count num

 split_num = dofile.GetCountNum()

 out_file_num = dofile.GetCountFileNum()

 

 #count

 CountFile(0, split_num, out_file_num)