2025 高中信息技术数据与计算的信息抽取技术课件

一、课程背景与目标定位演讲人课程背景与目标定位01信息抽取技术的核心概念解析02安装依赖库04真实场景下的应用与挑战05技术原理与实践操作03总结与未来展望06目录2025高中信息技术数据与计算的信息抽取技术课件01课程背景与目标定位课程背景与目标定位作为一线信息技术教师，我常观察到学生在面对海量数据时，普遍存在“数据丰富但知识匮乏”的困惑——社交平台的评论、新闻报道的文本、科研论文的摘要……这些非结构化数据中藏着关键信息，却像散落在沙滩上的珍珠，需要工具将其串成项链。2025版高中信息技术新课标明确将“数据与计算”模块定位为培养学生数据意识、算法思维和数字化学习能力的核心载体，而信息抽取技术正是连接“原始数据”与“结构化知识”的桥梁。1课程目标设计基于新课标要求与学生认知特点，本课程设定三级目标体系：知识目标：理解信息抽取的核心概念（实体识别、关系抽取、事件抽取），掌握传统规则法、机器学习法与深度学习法的技术原理，明确不同方法的适用场景。能力目标：能运用简单工具（如正则表达式、Python开源库）完成文本数据的信息抽取任务，具备分析抽取结果准确性的能力，初步形成“数据问题→方法选择→结果验证”的技术应用逻辑。素养目标：通过真实情境任务（如校园新闻要素提取、社交媒体情感分析），体会信息抽取在知识发现中的价值，培养数据安全意识与技术伦理思维（如避免隐私信息的不当抽取）。02信息抽取技术的核心概念解析信息抽取技术的核心概念解析要理解信息抽取，不妨先回到生活场景：当你阅读一则“校运会将于10月20日在操场举行，高三（3）班李华同学报名100米短跑”的通知时，大脑会自动提取“时间（10月20日）”“地点（操场）”“人物（李华）”“事件（100米短跑报名）”等关键信息——这就是人类的“信息抽取”。而计算机的信息抽取，本质是用算法模拟这一过程，从非结构化文本中提取预定义类型的实体、关系或事件，并转化为结构化数据。1核心任务分类信息抽取的核心任务可分为三个递进层次，如同“搭积木”般逐步构建知识：实体识别（NamedEntityRecognition,NER）：识别文本中具有特定意义的实体，如人名、地名、机构名、时间、数值等。例如从“2023年诺贝尔生理学或医学奖授予卡塔琳考里科和德鲁韦斯曼”中提取“2023年”（时间）、“诺贝尔生理学或医学奖”（奖项）、“卡塔琳考里科”“德鲁韦斯曼”（人名）。关系抽取（RelationExtraction）：在实体识别基础上，判断实体间的语义关系。例如从“张老师是高一（5）班的班主任”中提取“张老师”与“高一（5）班”的“班主任-班级”关系。1核心任务分类事件抽取（EventExtraction）：识别文本中的事件（如“地震”“会议召开”），并抽取事件的触发词（如“发生”“召开”）及参与实体（如“震级”“时间”“地点”）。例如从“7月15日，华为在上海发布Mate60Pro”中提取事件“产品发布”，触发词“发布”，参与实体“时间（7月15日）”“主体（华为）”“地点（上海）”“客体（Mate60Pro）”。2技术发展脉络信息抽取技术的演进，本质是“从人工规则到数据驱动”的范式转变，这与我近十年教学中见证的技术迭代高度一致：早期：基于规则的方法（1990s前）：依赖语言学家设计的语法规则或正则表达式，如用\d{4}-\d{2}-\d{2}匹配“YYYY-MM-DD”格式的日期。优点是准确性高（在规则覆盖范围内），但缺点显著——规则编写耗时耗力，且难以应对语言的灵活性（如“明年三月”“下周五”等非标准时间表达）。中期：基于机器学习的方法（1990s-2010s）：通过特征工程（如词形、词性、上下文窗口）将文本转化为向量，训练分类器（如SVM、朴素贝叶斯）完成抽取任务。例如训练一个模型，通过“前一个词是‘出生于’”“当前词是地名”等特征，判断当前词是否为“出生地”实体。这种方法降低了人工规则的依赖，但特征设计仍需领域知识，且对长距离依赖（如跨句的实体关联）处理能力有限。2技术发展脉络近期：基于深度学习的方法（2010s至今）：利用神经网络（如LSTM、Transformer）自动学习文本的深层语义特征，无需人工设计特征。例如BERT模型通过预训练学习通用语言知识，再通过微调完成特定领域的实体识别任务。我曾带领学生用HuggingFace的BERT预训练模型尝试抽取校报中的“活动名称”“组织者”“参与班级”，准确率较传统方法提升了30%以上，直观展现了深度学习的优势。03技术原理与实践操作技术原理与实践操作理解概念后，我们需要“拆解”技术原理，并通过实践掌握操作方法。这里以最基础的实体识别为例，分传统、机器学习、深度学习三类方法展开。1传统方法：正则表达式与规则模板正则表达式是最易上手的工具，适合处理格式固定的信息（如电话号码、邮箱）。例如要提取文本中的邮箱地址，可使用正则表达式r'\b[A-Za-z0-9._%+-]+@[A-Za-z0-9.-]+\.[A-Z|a-z]{2,}\b'。操作步骤如下：需求分析：明确要抽取的信息类型（如邮箱）及其格式特征（前缀+@+域名+后缀）。规则设计：根据格式特征编写正则表达式，注意转义字符（如.需写为\.）。测试优化：用实际文本测试，调整规则以覆盖遗漏情况（如允许域名包含连字符“-”）。但正则表达式的局限性也很明显：若文本中存在“张老师邮箱是zhanglaoshi@学校.com”（“学校”非标准域名），或“联系我们：邮箱（见文末）”（无具体地址），规则将无法正确抽取。因此，传统方法更适合结构化程度高的场景（如发票信息、固定格式报表）。2机器学习方法：以SVM为例机器学习方法的核心是“特征+模型”。以“人名识别”任务为例，步骤如下：数据标注：标注训练数据，如文本“李华和王芳参加了比赛”中，标注“李华”“王芳”为人名实体（标签为PER）。特征提取：设计特征（如当前词是否为姓氏、前一个词是否为“和”“与”等连接词、当前词长度是否为2-3字）。模型训练：将特征向量输入SVM分类器，学习“哪些特征组合对应人名”。预测评估：用测试集验证模型准确率，调整特征或模型参数（如正则化系数）。我曾让学生用NLTK库的分类器尝试“班级通知中的人名识别”，发现当训练数据包含500条标注样本时，准确率可达85%，但遇到复姓（如“欧阳”）或外文译名（如“玛丽亚”）时易出错——这反映了机器学习依赖特征设计和数据覆盖度的特点。3深度学习方法：以BERT微调为例深度学习方法的优势在于“端到端”学习，无需人工设计特征。以Python的transformers库为例，操作步骤如下（简化版）：04安装依赖库安装依赖库!pipinstalltransformersdatasets加载预训练模型和分词器fromtransformersimportBertTokenizer,BertForTokenClassificationtokenizer=BertTokenizer.from_pretrained('bert-base-chinese')model=BertForTokenClassification.from_pretrained('bert-base-chinese',num_labels=len(label_list))加载并预处理数据（需标注好的训练集）安装依赖库fromdatasetsimportload_datasetdataset=load_dataset('json',data_files={'train':'train.json','test':'test.json'})定义数据预处理函数（将文本转换为模型输入的ID和标签）defpreprocess_function(examples):tokenized_inputs=tokenizer(examples['text'],truncation=True,padding='max_length',max_length=128)labels=[]安装依赖库fori,labelinenumerate(examples['labels']):1word_ids=tokenized_inputs.word_ids(batch_index=i)2previous_word_idx=None3label_ids=[]4forword_idxinword_ids:5ifword_idxisNone:6label_ids.append(-100)7elifword_idx!=previous_word_idx:8安装依赖库label_ids.append(label[word_idx])else:label_ids.append(-100)previous_word_idx=word_idxlabels.append(label_ids)tokenized_inputs['labels']=labelsreturntokenized_inputs训练模型fromtransformersimportTrainingArguments,Trainer安装依赖库training_args=TrainingArguments(1evaluation_strategy='epoch',2learning_rate=2e-5,3per_device_train_batch_size=16,4per_device_eval_batch_size=16,5num_train_epochs=3,6)7trainer=Trainer(8model=model,9output_dir='./results',10安装依赖库args=training_args,train_dataset=dataset['train'],eval_dataset=dataset['test'],tokenizer=tokenizer,)trainer.train()尽管代码看似复杂，但学生通过分步骤调试（如先理解分词器如何将文本转为ID，再观察模型输出的概率分布），能直观感受深度学习“自动学习特征”的魅力。需要注意的是，深度学习需要较大的计算资源（如GPU）和标注数据，教学中可借助GoogleColab等免费平台降低门槛。05真实场景下的应用与挑战真实场景下的应用与挑战信息抽取不是“纸上谈兵”，它已深度融入我们的数字化生活。以下结合学生熟悉的场景，探讨其应用价值与技术挑战。1应用场景示例校园信息管理：从校报新闻中自动提取“活动名称”“时间”“地点”“参与班级”，生成校园活动日历；从学生问卷中抽取“课程满意度”“建议”等关键词，辅助教学改进。我曾指导学生用Python的spaCy库处理200份家长反馈问卷，原本需3天完成的人工整理，用信息抽取技术2小时内即可输出结构化结果（如“教学问题”“校园设施”等高频建议分类）。社交媒体分析：从班级群聊记录中抽取“请假原因”“缺课时间”，辅助班主任统计考勤；从学校公众号评论区抽取“最受欢迎活动”“改进意见”，优化校园文化活动设计。例如，某班级用信息抽取技术分析500条运动会评论，发现“加油环节”“奖项设置”是提及最多的关键词，后续活动针对性加强了这两方面。1应用场景示例学术辅助学习：从科普文章中抽取“科学概念”“实验步骤”“结论”，辅助知识整理；从论文摘要中抽取“研究问题”“方法”“创新点”，培养文献阅读能力。学生反馈，用信息抽取工具整理《人工智能》章节的知识点，效率比手动摘录提升了40%。2技术挑战与伦理思考信息抽取虽强大，但并非“万能”，教学中需引导学生辩证看待：技术挑战：歧义性：自然语言的多义性（如“苹果”可指水果或品牌）、省略（如“他去了那边”中“那边”需结合上下文）会影响抽取准确性。数据稀疏性：小语种（如方言）、专业领域（如医学术语）的标注数据较少，模型泛化能力受限。长距离依赖：跨句的实体关联（如“小明参加了比赛。他获得了冠军”中“他”指代“小明”）需要更复杂的语义理解。伦理挑战：2技术挑战与伦理思考隐私保护：抽取社交文本中的“手机号”“家庭住址”可能泄露个人信息，需设置“敏感词过滤”功能。虚假信息：若抽取工具被用于传播谣言（如错误提取“某药物可治愈癌症”），可能造成社会影响，需强调“结果验证”的重要性。算法偏见：训练数据若存在偏差（如性别、地域刻板印象），可能导致抽取结果不公平（如过度标注某群体为“负面角色”）。06总结与未来展望总结与未来展望回顾本课程，我们从“信息抽取是什么”出发，拆解了“实体识别-关系抽取-事件抽取”的任务层级，梳理了“规则-机器学习-深度学习”的技术脉络，通过校园场景的实践操作体会了技术价值，也探讨了技术背后的伦理责任。信息抽取技术的本质，是“让计算机理解人类语言，从数据中提炼知识”。它不仅是“数据与计算”模块的核心工具，更是培养学生“用技术解决真