算法与程序综合应用教育部资源中心石沙算法与程序综合应用课件2

国家中小学课程资源算法与程序综合应用2（第二十课时）年 级：高一学 科：信息技术（人教&中图版）学

校某省市西城区教育研修学院国家中小学课程资源算法与程序综合应用2（第二十课时）年 级：高一 学科：信息技术（人教&中图版）

学校某省市西城区教育研修学院引

入编程解决问题文本数据数值数据高某著名企业息技术文本分析校园文化热词在路上顶层设计班级文化高某著名企业息技术最美的遇见行为文化扣好人生第一粒扣子文本分析《老人与海》词云图高某著名企业息技术文本分析某地区上半年舆情领域分布吏治反腐高某著名企业息技术涉警涉法民生投诉科教文卫突发卫生事件行业舆情企业舆情其他文本分析情感分布文本情感分析高某著名企业息技术问题呈现学校开展经典诵读活动，小明在阅读《三国演义》时，为了分析该文学作品内容及其写作特色，想把小说中出现次数最多的20个词查找出来。如何通过编写程序来实现呢？高某著名企业息技术问题分析文本文件《三国演义》》已知找出高频词求解目标求解过程读取文件高某著名企业息技术中文分词词频统计词频排序显示输出词、出现次数、前20问题分析读取文件中文分词统计词频词频排序显示输出查找文章高频词高某著名企业息技术1.读取文件中文分词词频统计词频排序读取文件高某著名企业息技术显示输出1.读取文件实践活动一：读取文本数据阅读任务单活动一的学习材料；输入并尝试理解相关语句。高某著名企业息技术1.读取文件高某著名企业息技术#打开指定文件，创建返回一个文件对象f

=

open(“d:/三国演义.txt",

"r",encoding='utf-8')#读取文件内容txt=

f.read()1.读取文件高某著名企业息技术问题：运行代码，看不到效果。有什么办法可以观察和了解程序的进展呢？1.读取文件高某著名企业息技术调试方法：函数print()

/ print(type())输出变量值或变量类型，观察程序的进展。1.读取文件试一试：下面代码执行后的结果。f

=

open("d:/三国演义.txt","r",encoding='utf-8')txt=

f.read()print(txt)高某著名企业息技术print(type(txt))1.读取文件高某著名企业息技术1.读取文件中文分词词频统计词频排序读取文件高某著名企业息技术显示输出open()read()2.中文分词中文分词词频统计词频排序读取文件高某著名企业息技术显示输出open()read()2.中文分词高某著名企业息技术中文分词就是将连续的字序列按照一定的规范重新组合成词序列的过程。如：小明是一名学生。小明

是

一名

学生

。.2.中文分词高某著名企业息技术.jieba模块,对中文有着很强大的分词能力。由于它是第三方模块，使用前需要下载安装。2.中文分词实践活动二：请同学们参照任务单中说明完成jieba模块的安装。自学中文分词相关内容。高某著名企业息技术2.中文分词高某著名企业息技术#导入jieba模块.importjieba#将txt中的中文拆分为词语保存到words中.

words=jieba.lcut(txt)2.中文分词。import

jieba。f=

open("d:/三国演义.txt",

"r",

encoding='utf-8')。txt

=f.read()。words=jieba.lcut(txt)高某著名企业息技术2.中文分词试一试：利用前面用到的调试方法，观察程序的进展。高某著名企业息技术2.中文分词高某著名企业息技术2.中文分词中文分词词频统计词频排序读取文件高某著名企业息技术显示输出3.词频统计词频统计词频排序读取文件高某著名企业息技术显示输出open()read().jieba 中文lcut() 分词3.词频统计解析算法：表达式枚举算法：逐一判断实践活动三：如何统计词语的出现次数呢？高某著名企业息技术3.词频统计如何利用枚举算法来统计词频呢？提示：高频词应该是具有明确指向意义的词语，不包括单字的词。高某著名企业息技术高某著名企业息技术3.词频统计统计表中添加该词，次数为1统计开始False统计结束True是单字词FFaallsseeTrue统计表中已有该词True统计表中该词次数+13.词频统计依序从词表中取一词3.词频统计高某著名企业息技术汉朝建宁英雄…………15660…………A[0]A[1]A[2]A[3]B[0]B[1]B[2]B[3]汉朝15建宁6……想一想：如何记录词语内容及其出现次数呢？（假设词频为：汉朝15次，建宁6次，英雄60次）方案1 方案2A[0]A[1]A[2]A[3]这种记录方式，一旦词语顺序发生调整和变化，容次数对应上的错误。3.词频统计}新的数据类型——字典'{

'香蕉:

5

,'苹果':

6

,'山楂

:

2'键值对（key-value）高某著名企业息技术字典中键与值是一一对应的，数据没有先后顺序关系。字典是无序集合。3.词频统计活动：参考任务单活动三的材料，学习字典的相关内容。尝试编写相关代码，实现词频统计。高某著名企业息技术3.词频统计高某著名企业息技术counts=

{}#建立空字典，用于存储词和出现次数#单字的词语忽略不计forwordin

words:iflen(word)==

1:continueelse:counts[word]=counts.get(word,0)+

13.词频统计试一试：利用前面用到的调试方法，观察程序的进展。高某著名企业息技术3.词频统计高某著名企业息技术3.词频统计中文分词词频排序读取文件高某著名企业息技术显示输出open()read().jiebalcut()词频统计.枚举、字典4.词频排序中文分词词频排序读取文件高某著名企业息技术显示输出open()read().jiebalcut()词频统计.枚举、字典4.词频排序高某著名企业息技术实践活动四：如何实现按词频排序？思考问题1：词频存储在字典中。字典中的元素能否进行排序呢？思考问题2：如何实现按词语的出现次数进行排序？参看任务单的学习材料。动手尝试编程实现。4.词频排序高某著名企业息技术降序按出现次数排序#字典转化为列表items=list(counts.items())#按出现次数进行降序排列items.sort(key=lambdax:x[1]，reverse=True

)4.词频排序试一试：运行调试程序，观察程序进展。高某著名企业息技术4.词频排序高某著名企业息技术4.词频排序中文分词词频排序读取文件高某著名企业息技术显示输出open()read().jiebalcut(

)词频统计.字典、枚举list(

)sort(

)5.显示输出中文分词词频排序读取文件高某著名企业息技术显示输出open()read().jiebalcut()词频统计.字典、枚举list(

)sort(

)5.显示输出实践：请同学们思考并自行完成显示输出功能。高某著名企业息技术5.显示输出高某著名企业息技术#输出前20个元素的值foriin

range(20):print(items[i][0],

items[i][1])5.显示输出高某著名企业息技术查找文章高频词中文分词词频排序读取文件高某著名企业息技术显示输出open()read().jiebalcut()词频统计.字典、枚举list(

)sort(

)循环结构小明的收获曹操595不可272孔明534不能262将军508如此252却说446孔明曰

247玄德396

228丞相323主公

223关公320商议

217二人307

196荆州297引兵

190玄德曰

275军士184高某著名企业息技术拓 展

高某著名企业息技术曹操吕布诸葛亮