版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
高中信息技术高一年级选择性必修四初识结巴库教学设计一教材与课标定位分析本教学设计依据《普通高中信息技术课程标准》(2017年版2020年修订)中“选择性必修4:人工智能初步”模块编制。课标明确要求学生“理解自然语言处理的基本原理与典型应用”“能够使用编程语言调用相关库实现简单的自然语言处理任务”。结巴库作为Python生态中最成熟、社区最活跃的中文分词工具,是连接文本数据与计算模型的关键桥梁。本课位于模块单元“自然语言处理基础”的首课时,承上启下:上接学生已掌握的Python基础语法、数据结构及文件操作;下引“词性标注”“关键词提取”“文本聚类”等进阶主题。教材选取《三体》《红楼梦》片段及网络热评数据作为语料,意在让学生在真实语境中体验“分词即理解”的核心逻辑,为后续构建文本分类、情感分析模型奠定工程化认知基础。二核心素养导向的教学目标1.信息意识:能辨析中文分词与英文分词在语言学本质上的差异,理解“无空格分隔”带来的歧义消解难题,建立“数据预处理决定模型上限”的工程认知。2.计算思维:掌握基于字典的最大匹配、基于概率图的最短路径、基于序列标注的HMM/CRF三种分词算法的数学建模思想,能将“分词”抽象为“有向无环图上的最短路径搜索”问题。3.数字化学习与创新:熟练掌握结巴库精确模式、全模式、搜索引擎模式三大切分策略的调用参数与适用场景,能结合自定义词典、停用词表、并行分词接口完成百万级语料的工程化清洗。4.信息社会责任:在爬取网络评论、构建用户画像的实践中,严守《数据安全法》《个人信息保护法》红线,匿名化处理敏感字段,践行技术向善伦理。三学情分析与教学对象画像面向对象为选修信息技术的高一年级学生,共24人,分A、B两层走班。A层(14人)具备扎实Python基础,曾完成“词频统计可视化”期中项目,对列表推导式、正则表达式、jieba.analyse模块有感性认知;B层(10人)编程基础薄弱,仅掌握顺序结构与基础I/O,对“库”的概念停留在import层面。认知冲突点集中在:为何分词结果随模式改变?用户词典优先级如何生效?HMM模型参数从何而来?针对差异,采用“分层任务单+同伴编程+脚手架拆解”策略,A层攻克源码级原理与性能调优,B层聚焦API调用规范与可视化验证,共同完成“舆情分析微项目”。四重难点拆解与应对策略重点:结巴库三种分词模式的底层逻辑差异与参数配置;自定义词典加载机制与词频调节对分词粒度的影响;停用词过滤与词性标注在特征工程中的作用。难点:基于前缀词典的有向无环图(DAG)构建过程;动态规划求解最大概率路径的维特比算法直观理解;多进程并行分词时的内存共享与进程间通信开销权衡。应对策略:引入“透明盒子”可视化工具,将DAG生成、路径计算过程动态演示;设计“纸笔模拟分词”离线活动,让学生手工推演“结婚/婚纱/纱布”歧义消解;提供预置好的`jieba.lcut`源码阅读导引单,降低源码阅读门槛。五教学资源与环境准备硬件环境:机房配备i512400/16GB内存/512GBSSD主机24台,部署Anaconda3统一环境,预装jieba==0.42.1、wordcloud、matplotlib、pandas、jupyterlab。语料库:`sanguoyanyi.txt`(860KB)、《红楼梦》前20回(1.2MB)、某平台“浙江旅游”热评数据(CSV,含字段:user_id,content,timestamp,like_count,已脱敏)。工具链:Git版本控制管理代码迭代,OBSStudio录制微课供课后复盘,雨课堂发布分层任务单与实时弹幕收集疑难点。六教学过程设计(共3课时)(一)第一课时:破冰·认知冲突与分词三模式实战5.情境导入:中文理解的“第一道关卡”(5分钟)播放30秒短视频:同一句“乒乓球拍卖完了”在不同分词工具下输出“乒乓球/拍卖/完了”与“乒乓球/拍/卖/完/了”对比。提问:“机器为何会读错?这对下游情感分析有何影响?”引导学生意识到:分词错误会导致特征空间扭曲,直接引发语义偏移。强调“分词是NLP流水线的基石,错一步,错全程”。6.核心概念建模:从字符串切片到语言单元切分(10分钟)在白板绘制英文分词与中文分词对比图。英文天然分隔符为空格,`split()`即可;中文无显式分隔符,最小语义单元是“词”而非“字”。引入“词典”概念:机器需一本“词表”辅助判断。展示结巴核心数据结构——前缀词典(TrieTree)局部结构:根节点├──乒(freq=120,tag='n')│├──乓(freq=118,tag='n')││└──球(freq=115,tag='n')│└──乓球(freq=110,tag='n')├──拍(freq=90,tag='v')│└──卖(freq=88,tag='v')└──完(freq=200,tag='ad')└──了(freq=198,tag='u')讲解:每个节点存储词频与词性标签,路径即候选词。DAG构建即从位置i出发,沿TrieTree向下遍历,收集所有以i开头的词及其结束位置j。此处不展开Trie插入删除算法,仅建立“前缀共享压缩空间、支持快速前缀查找”的直觉。7.三大模式实战对比:参数即策略(20分钟)学生打开JupyterLab,导入预置notebook`lesson37_mode_pare.ipynb`。任务单分三级:基础任务(全员):对句子“李小福在创新办工作”分别调用`jieba.lcut(sent,cut_all=False)`、`jieba.lcut(sent,cut_all=True)`、`jieba.lcut_for_search(sent)`,记录输出差异,填写对比表。进阶任务(A层+自愿B层):阅读源码片段`_cut_DAG`与`_cut_DAG_NO_HMM`,注释关键行:`route=self.calc_route(sentence)`与`yieldfromself.__cut_detail(sentence)`的调用关系。解释为何全模式输出“创新/新办/办工/工作”而精确模式输出“创新办/工作”。挑战任务(A层):设计一个最短句子,使三种模式输出两两不同。在雨课堂提交代码截图与推理过程。教师巡场重点:观察B层学生是否混淆`cut`(生成器)与`lcut`(列表)返回类型;A层能否指认出全模式遍历DAG所有路径、精确模式动态规划求最优路径、搜索模式在精确模式基础上对长词再切分的本质差异。8.可视化验证:词云直观呈现粒度差异(10分钟)加载《三国演义》全文,分别用三种模式生成词云。学生观察:精确模式“曹操”“刘备”“诸葛亮”突出;全模式出现“曹操/操/操刀/刀”“玄德/德/德行”噪声;搜索模式兼顾“孔明曰/孔明/明曰”。引导总结:精确模式适合文本分类特征提取,全模式适合搜索引擎倒排索引构建召回率,搜索模式平衡精确率与召回率。9.课堂小结与预习布置(5分钟)梳理知识图谱:输入文本→DAG构建→路径计算→输出词序列。布置预习:阅读`jieba/dict.txt`前200行,思考“词频从何而来?词性标签体系遵循何标准?”预习单发至雨课堂,下节课伊始检查。(二)第二课时:深度·原理透视与工程化配置10.预习检测与词典解剖(10分钟)随机抽查3名学生预习笔记。展示`dict.txt`格式:`词词频词性`。说明词频源自大规模语料统计(如人民日报语料、维基百科中文_dump),词性遵循ICTCLAS标签集(如`n`名词、`v`动词、`a`形容词、`d`副词、`eng`英文、`x`非词语)。强调:结巴初始化时将`dict.txt`加载内存构建TrieTree,耗时约0.3秒,后续分词不再读盘。11.自定义词典:领域适配的“金钥匙”(20分钟)案例驱动:对“杭州亚运会吉祥物congconglianlianchenchen很可爱”分词,精确模式输出“杭州/亚运会/吉祥/物/congcong/lianlian/chenchen/很/可爱”,丢失“吉祥物”“陈陈”实体。演示三步走:步骤1:新建`userdict.txt`,内容:杭州亚运会10000nz吉祥物5000ncongcong100nzlianlian100nzchenchen100nz步骤2:`jieba.load_userdict('userdict.txt')`或初始化时`jieba.initialize('userdict.txt')`。步骤3:再次分词,观察“杭州亚运会/吉祥物/congcong/lianlian/chenchen/很/可爱”。深度追问:为何设置极高词频(10000)?引导学生理解:结巴计算路径概率时取对数概率`log(freq/total)`,词频越大,对数概率越高(负绝对值越小),路径权重越低,越易被动态规划选中。演示动态增词`jieba.add_word('元宇宙',freq=2000,tag='nz')`与删词`jieba.del_word('元宇宙')`对后续分词的即时影响,说明词典在内存中可变。12.停用词与词性标注:特征工程的“减法”与“增法”(15分钟)停用词表加载:`jieba.analyse.set_stop_words('stopwords_hit.txt')`(哈工大停用词表)。实战:对热评“风景美、服务好、性价比高、下次还来”提取关键词,对比加/不加停用词的Top5差异,体会“的/了/是/在”高频无信息量特征的剔除必要性。词性标注实战:`jieba.posseg.lcut(sent)`返回`pair(word,flag)`生成器。任务:筛选名词(`n`,`nr`,`ns`,`nz`)、动词(`v`,`vd`,`vn`)、形容词(`a`,`ad`,`an`)作为特征候选,过滤语气词(`y`)、拟声词(`o`)、助词(`u`)。学生完成“仅保留实词构建文档词项矩阵”练习,为下节课TFIDF向量化铺垫。13.HMM模型与新词发现:攻克未登录词(10分钟)展示结巴处理“区块链技术赋能数字经济”分词结果:“区块/链/技术/赋能/数字/经济”。说明“区块链”未收录于系统词典,但HMM模型基于字符级BMES标注(B始、M中、E末、S单)预测出“区块链/技术/赋能/数字经济”。简述HMM三要素:初始概率π、转移概率A、发射概率B,参数由`hmm_model.pkl`加载,源自People'sDaily标注语料训练。演示`jieba.enable_parallel(4)`开启4进程并行,对比处理10MB文本耗时从12秒降至3.5秒,解释进程池切片机制与`multiprocessing.Manager`共享词典指针的开销权衡。14.分层作业布置(5分钟)基础层:使用结巴对《红楼梦》前20回完成:分词→停用词过滤→词频统计Top50→生成词云图,提交`.ipynb`与`.html`导出件。进阶层:在基础层基础上,构建领域词典(角色名、地名、器物名),对比优化前后“林黛玉/黛玉/妹妹”合并效果,计算调整后的词频分布变化率。研究层:阅读`jieba/analyse/__init__.py`中`tfidf`与`textrank`实现,尝试为“浙江旅游热评”提取Top20关键词并人工评估语义覆盖度,撰写500字技术随笔。(三)第三课时:迁移·舆情分析微项目实战与反思15.项目启动:从分词到洞察的完整链路(5分钟)发布项目驱动题:“某文旅局需分析‘浙江旅游’近万条网络热评,产出‘痛点榜单’与‘亮点画像’,辅助决策。”明确交付物:可交互式仪表盘(HTML)、分析报告(PDF)、代码仓库(GitHub/Gitee)。分组:每组4人(1名A层担任TechLead,1名记者,1名分析师,1名测试),共6组。16.数据清洗与分词管道构建(20分钟)TechLead主导编写`pipeline.py`核心流程:```pythonimportjiebaimportjieba.analyseimportpandasaspdimportre1.加载资源jieba.load_userdict('dict/tourism_dict.txt')景区名、美食名、方言词jieba.analyse.set_stop_words('dict/stopwords_cn.txt')jieba.enable_parallel(4)2.清洗函数defclean(text):text=re.sub(r'http\S+','',text)去链接text=re.sub(r'@\w+','',text)去@用户text=re.sub(r'\[.?\]','',text)去表情符号text=re.sub(r'\s+','',text).strip()归一化空白returntext3.分词+词性筛选生成器deftokenize(text):allow_pos=('n','nr','ns','nz','v','vd','vn','a','ad','an')words=jieba.posseg.lcut(clean(text))return[w.wordforwinwordsifw.flaginallow_posandlen(w.word)>1]4.批量处理df=pd.read_csv('data/ments.csv')df['tokens']=df['content'].apply(tokenize)df.to_parquet('output/tokens.parquet')列式存储加速后续读取```教师巡场指导:检查正则表达式鲁棒性、并行分词是否在`if__name__=='__main__':`保护下运行(Windows多进程必需)、Parquet格式优势讲解。17.特征提取与可视化呈现(15分钟)分析师主导使用`jieba.analyse.extract_tags`(TFIDF)与`textrank`(TextRank)双算法提取各景区Top15关键词,对比一致性。记者调用`pyecharts`生成:•词云图:区分正向(好评词:美、赞、棒、舒服)与负向(差评词:挤、贵、坑、脏、等)颜色映射。•共现网络图:节点为关键词,边权重为共现窗口内频次,Layout力导向算法揭示“西湖/人山人海/预约/难”簇群。•时间序列热力图:按日期聚合情感倾向(基于BosonNLP情感词典简单打分),发现节假日“拥挤”负面峰值。18.成果汇报与同伴评议(15分钟)每组3分钟演示:核心发现一条(如“夜游经济关键词‘灯光秀/夜市/烟花’高频且正向”)、技术难点一条(如“方言‘阿拉/搞定’未切准,后补入用户词典解决”)、改进方向一条(如“引入SnowNLP情感模型替代词典打分”)。同组互评维度:代码规范性、分词准确率人工抽检、可视化可读性、隐私合规性(是否残留user_id)。19.教学总结与元认知提升(5分钟)回顾全单元知识图谱:分词原理→工具调用→工程配置→项目落地。强调三个“迁移”:①算法迁移:DAG+动态规划思想可用于分词、词性标注、命名实体识别、拼音输入法解码。②工程迁移:用户词典机制通用于谁osh、THULAC、LTP等分词器;停用词、并行、序列化模式通用于所有NLP预处理管线。③思维迁移:“脏数据进,垃圾出”倒逼数据治理;“可解释性”要求特征工程透明化;“合规性”贯穿数据全生命周期。七分层评价体系与实施记录过程性评价(60%):•课堂编程任务完成度(Git提交记录为证,权重30%)•同伴互评与自评量表(含代码规范、协作沟通、问题解决,权重20%)•教师观察记录:关键提问响应、调试坚持度、助人行为(权重10%)终结性评价(40%):•微项目成果包(代码+报告+演示视频),按《项目评分细则》打分:功能完备性(分词清洗管道跑通、关键词提取准确、可视化交互有效)40分工程规范性(模块化设计、异常处理、日志记录、配置分离、README完整)30分分析深度性(发现非显性洞察、结合领域知识解释、提出可行建议)20分合规与伦理(数据脱敏、版权声明、偏见风险提示)10分评价结果转化为“计算思维发展档案”条目,纳入学生综合素质评价信息系统。八教学反思与迭代计划实施后复盘发现:B层学生在“动态规划求最优路径”数学建模环节认知负荷过大,即使有可视化工具,仍有4名学生未能建立“路径权重=累加对数概率”联系。下轮迭代计划:引入“网格寻宝”桌游,将DAG具象化为格子地图,词频为金币,最优路径为收集金币最多路线,体验式构建动态规划直觉。A层学生对并行分词`multiprocessing`内存复制机制兴趣浓厚,拟增设“源码深度解读”选修模块,剖析`jieba.enable_parallel`源码中`Pool.imap`与共享内存`Array`的实现细节。此外,微项目数据量目前仅万级,未暴露内存瓶颈,后续引入百万级评论数据,对比`jieba`与`jiebafast`(Rust绑定)、`pyhanlp`分词吞吐量,引入性能剖析工具`pyspy`,落实“工程化思维”核心素养。附件一:分层任务单示例(节选)任务维度基础层(B层必做)进阶层(A层必做)研究层(自愿挑战)::::API调用正确使用lcut三模式
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 绘画老师制作课件
- 九年级物理教学设计:热学专题一轮复习核心考点与模型构建
- 高三地理一轮复习专题十二区域可持续发展教学设计
- 高一地理人教版必修一《地球的宇宙环境》首课时教学设计
- 高三历史一轮复习教学设计:从中华文明起源到秦汉统一国家的建立巩固
- 高中思想政治大单元复习教学设计:唯物辩证法实质与核心的辩证思维培养-以矛盾分析法破解高考主观题为例
- 高中地理必修二第五单元环境与发展章末复习教学设计
- 高中信息技术必修二信息系统功能探究教学设计
- 小学三年级心理健康《独特的我》教学设计
- 小学六年级英语小升初复习教学设计-26个字母的系统梳理与迁移运用
- 余额宝相关课件
- T-TFZX 59-2025 医疗机构医德医风考评指标体系指南
- (重点)采购师(中级)职业能力等级认证近年考试真题题库-含答案
- 《普通高中英语课程标准(2025年版)》带星号词汇详解表清单-高三英语一轮复习专项
- 非标自动化项目管理
- 专题全等三角形压轴题(30题)(原卷版+解析)
- 2025年-集团公司投资管理办法
- 智驭未来:AI工具辅助高效学习与科研(天津师范大学)学习通网课章节测试答案
- 2025年医学生物化学基础知识综合测试卷答案及解析
- GJB10157-2021军用可编程逻辑器件软件语言编程安全子集
- 工会经费审计条例课件
评论
0/150
提交评论