Python实现Apriori

Python实现Apriori

运行环境

计算过程

st=>start: 开始
e=>end: 结束
op1=>operation: 读入数据
op2=>operation: 递归生成频繁项集
op3=>operation: 关联规则挖掘
op4=>operation: 输出结果

st->op1->op2->op3->op4->e

输入样例

/* Apriori.txt */
文本编号    词列表（以空格分隔）
1   消防员 冲进 火场 救出 男童
2   公务员 患 癌症 保持 在岗
3   消防员 多次 冲进 火场 救人 不幸 身亡
4   老人 成功 进行 免费 白内障 手术
5   海豚 误 吞 排球 后 手术 成功 取出
6   6旬 老人 跳楼 自杀 身亡
7   男子 跳楼 自杀 身亡
8   疑犯 枪杀 出租车 司机
9   男子 枪杀 妻子 后 自杀
10  医师 误 把 肾脏 当 肝脏 致人 身亡
11  癌症 老人 成功 手术
12  男子 枪杀 司机 后 喝药 自杀
13  癌症 医师 保持 手术 清醒
14  男子 跳楼 自杀
15  男子 枪杀 老人 后 自杀
16  消防员 冲进 火场 将 男童 救出
17  出租车 司机 免费 搭载 老人
18  男子 误 杀 弟媳 后 自杀 身亡
19  医师 误 把 患者 肝脏 捅破 致人 身亡
20  6旬 老人 火场 救人 不幸 身亡

代码实现

# -*- coding: utf-8 -*-
__author__ = 'Wsine'

def loadDataSet(fileName):
attrTemp = []
with open(fileName) as fr:
for line in fr.readlines()[1:]:
words = line.strip().split('\t')[1].split()
attrTemp.extend(words)
attr = list(set(attrTemp))
dataSet = []
with open(fileName) as fr:
for line in fr.readlines()[1:]:
words = line.strip().split('\t')[1].split()
data = []
for word in words:
for index, _word in enumerate(attr):
if word == _word:
data.append(index)
break
dataSet.append(data)
return dataSet, attr

def createC1(dataSet):
"""
输入：数据集
输出：所有大小为1的候选项集合C1
"""
C1 = []
for transaction in dataSet:
for item in transaction:
if not [item] in C1:
C1.append([item])
C1.sort()
return list(map(frozenset, C1))

def scanD(D, Ck, minSupport):
"""
输入：数据集集合, 候选项集, 最小支持度
输出：最频繁项集的支持度
"""
ssCnt = {}
for tid in D:
for can in Ck:
if can.issubset(tid):
if not can in ssCnt:
ssCnt[can] = 1
else:
ssCnt[can] += 1
numItems = float(len(D))
retList = []
supportData = {}
for key in ssCnt:
support = ssCnt[key] / numItems
if support >= minSupport:
retList.insert(0, key)
supportData[key] = support
return retList, supportData

def aprioriGen(Lk, k):
"""
输入：频繁项集列表, 项集元素个数
输出：合并后的项集列表
"""
retList = []
lenLk = len(Lk)
for i in range(lenLk):
for j in range(i+1, lenLk):
L1 = list(Lk[i])[:k-2]
L2 = list(Lk[j])[:k-2]
L1.sort()
L2.sort()
if L1 == L2:
retList.append(Lk[i] | Lk[j])
return retList

def apriori(dataSet, minSupport=0.5):
"""
输入：数据集, 最小支持度
输出：候选项集列表
"""
C1 = createC1(dataSet)
D = list(map(set, dataSet))
L1, supportData = scanD(D, C1, minSupport)
L = [L1]
k = 2
while (len(L[k-2]) > 0):
Ck = aprioriGen(L[k-2], k)
Lk, supK = scanD(D, Ck, minSupport)
supportData.update(supK)
L.append(Lk)
k += 1
return L, supportData

def calcConf(freqSet, H, supportData, br1, minConf=0.7):
"""
输入：频繁项集, 所有项集, 支持度数据, 通过检查的bigRuleList, 最小置信度
输出：满足最小置信度要求的规则列表
"""
prunedH = []
for conseq in H:
conf = supportData[freqSet] / supportData[freqSet - conseq]
if conf >= minConf:
#print(freqSet - conseq, '-->', conseq, 'conf:', conf)
br1.append((freqSet - conseq, conseq, conf))
prunedH.append(conseq)
return prunedH

def rulesFromConseq(freqSet, H, supportData, br1, minConf=0.7):
"""
输入：频繁项集, 所有项集, 支持度数据, 通过检查的bigRuleList, 最小置信度
描述：生成更多的关联规则
"""
m = len(H[0])
if (len(freqSet) > (m + 1)):
Hmp1 = aprioriGen(H, m + 1)
Hmp1 = calcConf(freqSet, Hmp1, supportData, br1, minConf)
if (len(Hmp1) > 1):
rulesFromConseq(freqSet, Hmp1, supportData, br1, minConf)

def generateRules(L, supportData, minConf=0.7):
"""
输入：频繁项集列表, 包含频繁项集支持数据的字典, 最小置信度
输出：置信度规则列表
"""
bigRuleList = []
for i in range(1, len(L)):
for freqSet in L[i]:
H1 = [frozenset([item]) for item in freqSet]
if (i > 1):
rulesFromConseq(freqSet, H1, supportData, bigRuleList, minConf)
else:
calcConf(freqSet, H1, supportData, bigRuleList, minConf)
return bigRuleList

def printRules(rules, attr):
for rule in rules:
ruleFrom = []
ruleFromSet = set(rule[0])
while len(ruleFromSet) > 0:
ruleFrom.append(attr[ruleFromSet.pop()])
ruleTo = []
ruleToSet = set(rule[1])
while len(ruleToSet) > 0:
ruleTo.append(attr[ruleToSet.pop()])
print(ruleFrom, '-->', ruleTo)
print('\tconf: ', rule[-1])

def main():
dataSet, attr = loadDataSet('Apriori.txt')
L, supportData = apriori(dataSet, minSupport=0.2)
print('二项集', L[1])
print('三项集', L[2])
rules = generateRules(L, supportData, minConf=0.2)
printRules(rules, attr)

if __name__ == '__main__':
main()

输出样例

二项集 [frozenset({32, 39}), frozenset({32, 46}), frozenset({46, 39})]
三项集 [frozenset({32, 46, 39})]
['自杀'] --> ['男子']
conf:  0.8571428571428572
['男子'] --> ['自杀']
conf:  1.0
['后'] --> ['男子']
conf:  0.8
['男子'] --> ['后']
conf:  0.6666666666666667
['自杀'] --> ['后']
conf:  0.5714285714285715
['后'] --> ['自杀']
conf:  0.8
['自杀'] --> ['男子', '后']
conf:  0.5714285714285715
['后'] --> ['男子', '自杀']
conf:  0.8
['男子'] --> ['后', '自杀']
conf:  0.6666666666666667