Python 敏感词过滤的实现示例

第Python敏感词过滤的实现示例目录一个简单的实现使用BSF(宽度优先搜索)进行实现

使用DFA(DeterministicFiniteAutomaton)进行实现

一个简单的实现

主要是通过循环和replace的方式进行敏感词的替换

classNaiveFilter():

'''FilterMessagesfromkeywords

verysimplefilterimplementation

f=NaiveFilter()

f.parse("filepath")

f.filter("hellosexybaby")

hello****baby

def__init__(self):

self.keywords=set([])

defparse(self,path):

forkeywordinopen(path):

self.keywords.add(keyword.strip().decode('utf-8').lower())

deffilter(self,message,repl="*"):

message=str(message).lower()

forkwinself.keywords:

message=message.replace(kw,repl)

returnmessage

使用BSF(宽度优先搜索)进行实现

对于搜索查找进行了优化，对于英语单词，直接进行了按词索引字典查找。对于其他语言模式，我们采用逐字符查找匹配的一种模式。

BFS：宽度优先搜索方式

classBSFilter:

'''FilterMessagesfromkeywords

UseBackSortedMappingtoreducereplacementtimes

f=BSFilter()

f.add("sexy")

f.filter("hellosexybaby")

hello****baby

def__init__(self):

self.keywords=[]

self.kwsets=set([])

self.bsdict=defaultdict(set)

self.pat_en=pile(r'^[0-9a-zA-Z]+$')#englishphraseornot

defadd(self,keyword):

ifnotisinstance(keyword,str):

keyword=keyword.decode('utf-8')

keyword=keyword.lower()

ifkeywordnotinself.kwsets:

self.keywords.append(keyword)

self.kwsets.add(keyword)

index=len(self.keywords)-1

forwordinkeyword.split():

ifself.pat_en.search(word):

self.bsdict[word].add(index)

else:

forcharinword:

self.bsdict[char].add(index)

defparse(self,path):

withopen(path,"r")asf:

forkeywordinf:

self.add(keyword.strip())

deffilter(self,message,repl="*"):

ifnotisinstance(message,str):

message=message.decode('utf-8')

message=message.lower()

forwordinmessage.split():

ifself.pat_en.search(word):

forindexinself.bsdict[word]:

message=message.replace(self.keywords[index],repl)

else:

forcharinword:

forindexinself.bsdict[char]:

message=message.replace(self.keywords[index],repl)

returnmessage

使用DFA(DeterministicFiniteAutomaton)进行实现

DFA即DeterministicFiniteAutomaton，也就是确定有穷自动机。

使用了嵌套的字典来实现。

classDFAFilter():

'''FilterMessagesfromkeywords

UseDFAtokeepalgorithmperformconstantly

f=DFAFilter()

f.add("sexy")

f.filter("hellosexybaby")

hello****baby

def__init__(self):

self.keyword_chains={}

self.delimit='\x00'

defadd(self,keyword):

ifnotisinstance(keyword,str):

keyword=keyword.decode('utf-8')

keyword=keyword.lower()

chars=keyword.strip()

ifnotchars:

return

level=self.keyword_chains

foriinrange(len(chars)):

ifchars[i]inlevel:

level=level[chars[i]]

else:

ifnotisinstance(level,dict):

break

forjinrange(i,len(chars)):

level[chars[j]]={}

last_level,last_char=level,chars[j]

level=level[chars[j]]

last_level[last_char]={self.delimit:0}

break

ifi==len(chars)-1:

level[self.delimit]=0

defparse(self,path):

withopen(path,encoding='UTF-8')asf:

forkeywordinf:

self.add(keyword.strip())

deffilter(self,message,repl="*"):

ifnotisinstance(message,str):

message=message.decode('utf-8')

message=message.lower()

ret=[]

start=0

whilestartlen(message):

level=self.keyword_chains

step_ins=0

forcharinmessage[start:]:

ifcharinlevel:

step_ins+=1

ifself.delimitnotinlevel[char]:

level=level[char]

else: