《人工智能基础及应用（Python 微课版）》程序代码 第7章 自然语言处理

第7章自然语言处理【例7-2】中文分词举例fromsklearn.feature_extraction.textimportCountVectorizercv=CountVectorizer()data=cv.fit_transform(["我来到北京清华大学"])print('单词数：{}'.format(len(cv.vocabulary_)))print('分词：{}'.format(cv.vocabulary_))print(cv.get_feature_names())print(data.toarray())fromsklearn.feature_extraction.textimportCountVectorizercv=CountVectorizer()data=cv.fit_transform(["我来到北京清华大学"])print('单词数：{}'.format(len(cv.vocabulary_)))print('分词：{}'.format(cv.vocabulary_))print(cv.get_feature_names())print(data.toarray())【例7-3】全模式举例importjiebaseg_list=jieba.cut("我来到北京清华大学",cut_all=True)print("Fullmode:"+"/".join(seg_list))【例7-4】精确模式举例importjiebaseg_list=jieba.cut("我来到北京清华大学",cut_all=False)print("Defaultmode:"+"/".join(seg_list))【例7-5】搜索引擎模式举例importjiebaseg_list=jieba.cut_for_search("我来到北京清华大学")print("/".join(seg_list))【例7-6】jieba.load_userdict举例importjiebaseg_list=jieba.cut("周元哲老师是Python技术讲师",cut_all=True)print("/".join(seg_list))importjiebajieba.load_userdict("d:/userdict.txt")#加载自定义词典seg_list=jieba.cut("周元哲老师是Python技术讲师",cut_all=True)print("/".join(seg_list))【例7-7】jieba.suggest_freq举例importjiebajieba.suggest_freq("周元哲",tune=True)seg_list=jieba.cut("周元哲老师是Python技术讲师",cut_all=True)print("/".join(seg_list))【例7-9】断词位置举例importjiebaresult=jieba.tokenize('周元哲老师是Python技术讲师')#返回词语在原文的起止位置print("默认模式为：")fortkinresult:print("word%s\t\tstart:%d\t\tend:%d"%(tk[0],tk[1],tk[2]))【例7-11】举例importjiebaimportjieba.analyseasanalyselines="周元哲老师是Python技术讲师"print('defaultidf'+'-'*90)keywords=analyse.extract_tags(lines,topK=7,withWeight=True,allowPOS=())foriteminkeywords:print("%s=%f"%(item[0],item[1]))print('set_idf_path'+'-'*90)jieba.analyse.set_idf_path("d:/idf.txt")keywords=analyse.extract_tags(lines,topK=7,withWeight=True,allowPOS=())#print("topK=TF/IDF,TF=%d"%len(keywords))foriteminkeywords:#print("%s=%f"%(item[0],item[1]))print("%sTF=%f,IDF=%ftopK=%f"%(item[0],item[1],len(keywords)*item[1],item[1]*len(keywords)*item[1]))【例7-12】“排列最常出现的分词”举例importjiebatext="周元哲老师是Python技术讲师,周元哲老师是软件测试技术讲师"dic={}foreleinjieba.cut(text):ifelenotindic:dic[ele]=1else:dic[ele]=dic[ele]+1forwinsorted(dic,key=dic.get,reverse=True):print("%s%i"%(w,dic[w]))【例7-13】jieba

实例【题意】使用jieba

分析刘慈欣小说《三体》出现次数最多的词语，《三体》保存在d:\\santi.txt，文件为utf-7编码。【程序代码如下所示】importjiebatxt=open("d:\\santi.txt",encoding="utf-7").read()words=jieba.lcut(txt)counts={}forwordinwords:counts[word]=counts.get(word,0)+1items=list(counts.items())items.sort(key=lambdax:x[1],reverse=True)foriinrange(30):word,count=items[i]print("{0:<7}{1:>5}".format(word,count))【例7-14】停用词举例importjiebatxt=open("santi.txt",encoding="utf-7").read()#加载停用词表stopwords=[line.strip()forlineinopen("StopWords.txt",encoding="utf-7").readlines()]words=jieba.lcut(txt)counts={}forwordinwords:#不在停用词表中ifwordnotinstopwords:#不统计字数为一的词iflen(word)==1:continueelse:counts[word]=counts.get(word,0)+1items=list(counts.items())items.sort(key=lambdax:x[1],reverse=True)foriinrange(30):word,count=items[i]print("{:<7}{:>7}".format(word,count))【例7-15】引入jieba和停用词，进行中文特征提取fromsklearn.feature_extraction.textimportCountVectorizerimportjiebatext='今天天气真好，我要去西安大雁塔玩，玩完之后，游览兵马俑'#进行结巴分词，精确模式text_list=jieba.cut(text,cut_all=False)text_list=",".join(text_list)context=[]context.append(text_list)print(context)con_vec=CountVectorizer(min_df=1,stop_words=['之后','玩完'])X=con_vec.fit_transform(context)feature__name=con_vec.get_feature_names()print(feature__name)print(X.toarray())【例15-9】举例fromsnownlpimportSnowNLPtext='我来到北京清华大学's=SnowNLP(text)print(s.words)【例15-20】举例fromsnownlpimportSnowNLPs=SnowNLP(u'这个东西真心很赞')#引号前面的字母u，表示文本是Unicode编码格式tags=[xforxins.tags]print(tags)【例15-21】举例fromsnownlpimportSnowNLPtext=u'''自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系，但又有重要的区别。自然语言处理并不是一般地研究自然语言，而在于研制能有效地实现自然语言通信的计算机系统，特别是其中的软件系统。因而它是计算机科学的一部分。'''s=SnowNLP(text)print(s.sentences)【例15-22】举例fromsnownlpimportSnowNLPtext1='这部电影真心棒，全程无尿点'text2='这部电影简直烂到爆's1=SnowNLP(text1)s2=SnowNLP(text2)print(text1,s1.sentiments)print(text2,s2.sentiments)【例15-23】举例fromsnownlpimportSnowNLPs=SnowNLP(u'这个东西真心很赞')print(s.pinyin)【例15-24】举例fromsnownlpimportSnowNLPs=SnowNLP(u'「繁體字」「繁體中文」的叫法在臺灣亦很常見。')print(s.han)【例15-25】举例fromsnownlpimportSnowNLPtext=u'''自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系，但又有重要的区别。自然语言处理并不是一般地研究自然语言，而在于研制能有效地实现自然语言通信的计算机系统，特别是其中的软件系统。因而它是计算机科学的一部分。'''s=SnowNLP(text)print(s.keywords(limit=10))【例15-26】举例fromsnownlpimportSnowNLPtext=u'''自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系，但又有重要的区别。自然语言处理并不是一般地研究自然语言，而在于研制能有效地实现自然语言通信的计算机系统，特别是其中的软件系统。因而它是计算机科学的一部分。'''s=SnowNLP(text)print(s.summary(limit=4))【例15-27】举例fromsnownlpimportSnowNLPs=SnowNLP([['性格','善良'],['温柔','善良','善良'],['温柔','善良'],['好人'],['性格','善良'],])print(s.tf)print(s.idf)7.6.3实例——小说《我的叔叔于勒》source=open("d:\\data.txt","r",encoding='utf-7')#《我的叔叔于勒》文档保存data.txt中line=source.rea