如何利用trie树加快关键词查找

项目中有如下需求，给定一个关键词库（规模不定，从几百到几千不等），需要在一句话或者一段内容中快速找出关键词，如果有任何一个关键词命中就可以直接返回。

1. 简单的方法就是依次判断每个词是否存在于给定内容中：

def filter(content):
for filter_word in filter_words:
if filter_word in content:
return True
return False

该方式显然时间复杂度上不符合要求。

2. 可以使用trie树类似单字索引的方式来加速查找，使用trie查找关键词。

trie树结果上是一颗前缀树，某个节点的所有子孙都拥有相同的前缀，从根节点到叶子节点的一条路径可以认为是一个关键词。



#!/usr/bin/env python
#coding: utf-8
#author: wenhui

import os
import sys
reload(sys)
sys.setdefaultencoding('utf-8')

import json

class Trie(object):

def __init__(self,logger=None,rfile=None):
self.data = {'ref':{}}
if logger:self.logger = logger
if rfile:
self.load(rfile)
self.max_word_size = 0
self.word_num = 0

def add(self, word):
ref = self.data['ref']
for char in word:
if char not in ref:
ref[char] = {}
ref = ref[char]
ref['\3'] = True
if len(word) > self.max_word_size:
self.max_word_size = len(word)
self.word_num += 1

def find(self,content):
ret = []
ref = self.data['ref']
content_size = len(content)
for idx,char in enumerate(content):
if not ref.has_key(char):continue
tmp_word_size,tmp_ref = 1,ref[char]
while tmp_word_size <= self.max_word_size:
if tmp_ref.get("\3",False):
return True,content[idx:idx+tmp_word_size]
if idx + tmp_word_size >= content_size:
break
tmp_char = content[idx+tmp_word_size]
if tmp_char not in tmp_ref:
break
tmp_word_size += 1
tmp_ref = tmp_ref[tmp_char]

return False,None

def load(self,rfile):
if not os.path.exists(rfile):
return False
try:
self.data = json.loads(open(rfile).read())
except Exception as e:
if self.logger:
self.logger.warn("trie load error\t%s" % str(e))
self.data = {'ref':{}}
return False
return True

def dump(self,rfile):
json.dump(self.data,open(rfile,"w"),ensure_ascii=False)

if __name__ == "__main__":
inst = Trie()
inst.add(u'主播')
print json.dumps(inst.data,ensure_ascii=False)

code,word = inst.find(u'标题： 韩国女主播青草女主播学生装热舞(9)')
print code,word

find方法可以快速放回第一个命中的关键词，时间复杂度为length(content)。

ref：https://zh.wikipedia.org/wiki/Trie