8.3 NLP的预处理电子课件

8.3NLP的预处理预处理流程语料库构建获取文本数据文本清洗去除噪音数据分词切分词汇单元标准化统一文本格式特征提取转为数值特征NLP的核心目标是让计算机具备理解、解析和生成人类语言的能力。数据收集：语料库构建开源语料库最常见的方式是直接下载已有的开源语料库，这些语料库由研究机构、开发者社区或公共资源提供，涵盖广泛的文本类型和领域。维基百科

定向数据爬取通过编写爬虫脚本，抓取来自新闻网站、论坛、博客等特定网站的内容，满足特定领域或个性化需求。企业自有数据企业内部数据更贴合实际应用，能为特定业务场景提供高质量语料，包括客户反馈、产品评论、技术支持对话等。数据来源统计：开源语料库占40%，爬虫抓取占35%，企业内部数据占25%

Reuters-21578NewYorkTimesCommonCrawl新闻网站论坛博客产品评论客户反馈语料库是NLP模型学习训练的基础载体典型语料数据类型社交文本类来自电子邮件服务商或社交媒体平台的数据，如Gmail、Outlook中的邮件列表，或者推特、Reddit中的帖子。产品评论类在线购物平台上用户对商品的评价信息，如亚马逊、Yelp和各种应用商店提供的大量产品评论数据。用户通过互联网平台分享的各种信息，如推文、Facebook帖子、StackOverflow上的问题与答案等。客服对话数据企业客户服务部门记录和分析的客户互动数据，包括客户请求、支持服务单、聊天记录等。用户生成的内容情感分析话题建模推荐系统

情感分析话题分类社交网络分析聊天机器人智能客服文本清洗：数据净化1去除特殊字符和冗余标记2删除停用词3规范文本格式4文本小写化5处理表情符号或表情文字原始文本："IloveNLP!#AI#MachineLearning"清洗后："IloveNLPAIMachineLearning"原始文本："Thisisatest."清洗后："test."原始文本："IloveloveNLP"清洗后："IloveNLP"原始文本："ILoveNLP"清洗后："ilovenlp"原始文本："Iamsohappy❤"清洗后："Iamsohappy"将原始文本转换为干净、结构化的格式分词基于词典基于规则基于统计基于机器学习优势：实现简单，速度快劣势：依赖词典，无法处理未登录词优势：捕捉语法特征劣势：规则维护成本高，灵活性不足优势：具备学习能力，发现新词劣势：独立假设限制，依赖语料质量优势：准确性高，丰富上下文劣势：计算成本高将连续文本拆分为具备独立语义的词汇单元文本标准化1数字标准化2单位标准化3时间标准化4缩写词扩展原始文本："Thehousecosts1000dollars"标准化后："Thehousecosts[NUM]dollars"原始文本："Themeetingison15thJanuary2023"标准化后："Themeetingison2023-01-15"原始文本："Heweighs75kilograms"标准化后："Heweighs75kg"原始文本："Dr.Smithisafamousscientist"标准化后："DoctorSmithisafamousscientist"消除文本形式差异，转为统一标准格式特征提取词袋模型TF-IDF词向量文档向量特点：简单高效，丢失语序应用场景：文本分类、垃圾邮件检测优势：量化词汇重要性劣势：信