【实现&调用】实现可被简单调用的python函数

0x00 前言

本篇破事水

@ZoeCUR 在学习WEB安全课程上，有一个对于用户密码的数据分析处理问题，懒惰的孩纸们表示数据处理还是挺麻烦的，吾辈夸下海口10分钟之内搞定

然后就有了这段主体部分25行的破事水——

需求：读入文件，去重；查询重复条目数；有的文件包含序号前缀，需要去掉；文件多为百兆或GB级别，复杂度要较低。

0x01 实现

#coding=utf8
# ========================================================
# Copyright (C) 2016 All rights reserved.
#
# filename : CDUnique.py
# author : okcd00 / chendian@baidu.com
# date : 2016-10-25
# desc : Unique and output custom attributes
# ========================================================
"""
usage:
from CDUnique import *
ret = CDUnique( <path>, <mode>, <repeat> )
ret = CDUnique( path, [all/no-head], [False, True],)
"""

import os,sys

def uniqueList(inlist): # Unstable for MarkLR, 'inlist' is stableList
dict = {}
for each in inlist:
dict.setdefault(each,0)
dict[each] += 1
#return list(set(inlist))
#outlist.sort(key=lambda x: len(x))
return dict.keys()

def CDUnique(path, mode='all', repeat=False):
# Check Existance
if not os.path.exists(path):
print "ReadFile ERROR: File not found"
return None

# Get InputList
if mode == 'no-head': inpList = [':'.join(l.strip().split(':')[1:]) for l in file(path)]
else: inpList = [line.strip() for line in file(path)]

# Output Attribute
if repeat:
uniqList = list(set(inpList))
return inpList.__len__() - uniqList.__len__()
else:
uniqList = uniqueList(inpList)
return uniqList


0x02 调用方法

from CDUnique import *

ret = CDUnique('in.txt', 'no-head', False)
print ret
#for e in ret: print e

0x03 要点？

这段代码其实几乎没用到任何高大上的东西，主要是想体现一个熟练工（伪）的速敲情怀。

一般来说如果需要进行功能实现的话，要求高点的话封装成类，要求低点的话就做成一个单文件可以被import直接调用，无论是在大型的工程项目还是简单的课堂作业上，都是一个用者省心，写者易改的感觉。