机器学习实战--fp-growth
2016-03-28 21:18
274 查看
接着前面所学的apriori频繁集挖掘,这里介绍一种更高效的发现频繁集的算法fp-growth(frequence pattern),对大数据量时尤其有效(近百万条数据中查找,一般电脑只需2s左右)但fp-growth算法只能用来进行发现频繁集,不能挖掘关联规则。
fp-growth算法主要由两步:
1、构建fp树
2、利用fp树发现频繁集
构建fp树:
构建fp树时,需要扫描数据集2次,第一次统计出现的次数,得到项出现的频率;第二次只考虑频繁元素。
1、创建fp树数据结构
2、除了fp树外,还需要一个头指针table保存指向不同类型的首元素的指针,整个数据结构如下:
第一次遍历数据集会得到各个元素出现的次数,接下来去掉不满足最小支持度的元素项。再进行下一步的构建fp树。再构建时,读入每一个项集并将其添加到一条已经存在的路径中。如果该路径不存在,创建一条新的路径。每个事务就是一个无序集合。假设有集合{z,x,y}和{y,z,x},那么再fp树中,相同项只会表示一次。为了解决此问题,在将集合添加到树之前,需要对每个集合进行排序。排序基于元素项的绝对出现频率进行。
基于fp树的频繁集的挖掘:
测试:
fp-growth算法主要由两步:
1、构建fp树
2、利用fp树发现频繁集
构建fp树:
构建fp树时,需要扫描数据集2次,第一次统计出现的次数,得到项出现的频率;第二次只考虑频繁元素。
1、创建fp树数据结构
class treeNode: def __init__(self, nameValue, numOccur, parentNode): self.name = nameValue#元素名 self.count = numOccur#元素出现的次数 self.nodeLink = None #父节点,后面得到频繁集项进行回溯时会用到 self.parent = parentNode #needs to be updated self.children = {} def inc(self, numOccur): self.count += numOccur def disp(self, ind=1): print ' '*ind, self.name, ' ', self.count for child in self.children.values(): child.disp(ind+1)
2、除了fp树外,还需要一个头指针table保存指向不同类型的首元素的指针,整个数据结构如下:
第一次遍历数据集会得到各个元素出现的次数,接下来去掉不满足最小支持度的元素项。再进行下一步的构建fp树。再构建时,读入每一个项集并将其添加到一条已经存在的路径中。如果该路径不存在,创建一条新的路径。每个事务就是一个无序集合。假设有集合{z,x,y}和{y,z,x},那么再fp树中,相同项只会表示一次。为了解决此问题,在将集合添加到树之前,需要对每个集合进行排序。排序基于元素项的绝对出现频率进行。
#dataSet simple:{feozenset(['r', 'z', 'h', 'j', 'p']):1, frozenset(['z', 'y', 'x', 'w', 'v', 'u', 't', 's']):2} def createTree(dataSet, minSup=1): #create FP-tree from dataset but don't mine headerTable = {} #go over dataSet twice for trans in dataSet:#first pass counts frequency of occurance for item in trans: headerTable[item] = headerTable.get(item, 0) + dataSet[trans] for k in headerTable.keys(): #remove items not meeting minSup if headerTable[k] < minSup: del(headerTable[k]) freqItemSet = set(headerTable.keys()) #print 'freqItemSet: ',freqItemSet if len(freqItemSet) == 0: return None, None #if no items meet min support -->get out for k in headerTable: headerTable[k] = [headerTable[k], None] #reformat headerTable to use Node link #print 'headerTable: ',headerTable retTree = treeNode('Null Set', 1, None) #create tree for tranSet, count in dataSet.items(): #go through dataset 2nd time localD = {} for item in tranSet: #put transaction items in order if item in freqItemSet: localD[item] = headerTable[item][0] if len(localD) > 0: orderedItems = [v[0] for v in sorted(localD.items(), key=lambda p: p[1], reverse=True)] updateTree(orderedItems, retTree, headerTable, count)#populate tree with ordered freq itemset return retTree, headerTable #return tree and header table def updateTree(items, inTree, headerTable, count): if items[0] in inTree.children:#check if orderedItems[0] in retTree.children inTree.children[items[0]].inc(count) #incrament count else: #add items[0] to inTree.children inTree.children[items[0]] = treeNode(items[0], count, inTree) if headerTable[items[0]][1] == None: #update header table headerTable[items[0]][1] = inTree.children[items[0]] else: updateHeader(headerTable[items[0]][1], inTree.children[items[0]]) if len(items) > 1:#call updateTree() with remaining ordered items updateTree(items[1::], inTree.children[items[0]], headerTable, count) def updateHeader(nodeToTest, targetNode): #this version does not use recursion while (nodeToTest.nodeLink != None): #Do not use recursion to traverse a linked list! nodeToTest = nodeToTest.nodeLink nodeToTest.nodeLink = targetNode
基于fp树的频繁集的挖掘:
def ascendTree(leafNode, prefixPath): #ascends from leaf node to root if leafNode.parent != None: prefixPath.append(leafNode.name) ascendTree(leafNode.parent, prefixPath) #treeNode: 理解为headerTable头指针链表中的节点 #创建条件模式基 def findPrefixPath(basePat, treeNode): #treeNode comes from header table condPats = {} while treeNode != None: prefixPath = [] ascendTree(treeNode, prefixPath) #add the prefixPath count if len(prefixPath) > 1: condPats[frozenset(prefixPath[1:])] = treeNode.count treeNode = treeNode.nodeLink return condPats #freqItemList:频繁集项列表 #inTree:fp树 #headerTable:头指针表 def mineTree(inTree, headerTable, minSup, preFix, freqItemList): bigL = [v[0] for v in sorted(headerTable.items(), key=lambda p: p[1])]#(sort header table) for basePat in bigL: #start from bottom of header table newFreqSet = preFix.copy() newFreqSet.add(basePat) #print 'finalFrequent Item: ',newFreqSet #append to set freqItemList.append(newFreqSet) condPattBases = findPrefixPath(basePat, headerTable[basePat][1]) #print 'condPattBases :',basePat, condPattBases #2. construct cond FP-tree from cond. pattern base myCondTree, myHead = createTree(condPattBases, minSup) #print 'head from conditional tree: ', myHead if myHead != None: #3. mine cond. FP-tree #print 'conditional tree for: ',newFreqSet #myCondTree.disp(1) mineTree(myCondTree, myHead, minSup, newFreqSet, freqItemList)
测试:
#minSup = 3 #simpDat = loadSimpDat() #initSet = createInitSet(simpDat) #myFPtree, myHeaderTab = createTree(initSet, minSup) #myFPtree.disp() #myFreqList = [] #mineTree(myFPtree, myHeaderTab, minSup, set([]), myFreqList)
相关文章推荐
- 逻辑斯蒂回归模型与最大熵模型
- 浅谈strtok函数的使用心得
- 眼前再次迷茫
- Vsftpd完全攻略(四)搭建支持SSL加密传输的vftpd
- BZOJ 2462: [BeiJing2011]矩阵模板
- strncmp函数
- AndroidStudio常用的设置及快捷键
- 近期规划
- dos2unix命令
- 关于Servlet中GET和POST方法的总结
- java 中对继承实现类的一次重构
- Oracle 11G 出现EXP-00003: 未找到段 (0,0) 的存储定义
- HDU4370 0 or 1 最短路
- 浅谈SEO翻倍提升网站流量
- 丢失数据文件恢复操作(有备份)
- 软考-网工最后阅读
- hdu-1075 What Are You Talking About
- 部分高校OJ系统汇总(应该不算SEO违规吧)
- Android Studio多渠道打包
- 详解MVP矩阵之ViewMatrix