自然语言处理 课件 项目1 初识自然语言处理

自然语言处理项目1初识自然语言处理

MOBILEPHONECONFERENCE品牌介绍MOBILEPHONECONFERENCE产品介绍MOBILEPHONECONFERENCE产品设计目录01020304人工智能基础概述什么是人工智能人工智能（ArtificialIntelligence），英文缩写为AI，它是计算机科学的一个分支，是一门新的技术学科。人工智能研究到底什么是智能，希望可以生产出模仿人类智能的机器，这种机器能够以人类智能相似的方式对事物做出反应。科学家正在探索通过一定的理论、技术和方法，使计算机模拟和扩展人类的智能。目前的一些热门技术，如机器人、语言识别、图像识别、自然语言处理、专家系统等都是人工智能的研究领域人工智能的目的就是让机器能够像人一样思考，然而，这并不是一件容易的事，以计算机科学一己之力，无法完成如此艰巨复杂的任务。时至今日，人工智能已经发展成为一门交叉科学，它涉及到计算机科学、脑科学、认知科学、心理学、语言学、逻辑学甚至哲学。010203whatisArtificialIntelligence?人工智能发展历程人工智能的主要流派符号主义、连接主义和行为主义三大人工智能学派。符号主义（Symbolicism），又称为逻辑主义、心理学派或计算机学派。符号主义学派认为人工智能的研究方法应为功能模拟方法连接主义（Connectionism），又称为仿生学派或生理学派，其原理主要为神经网络及神经网络间的连接机制与学习算法。行为主义(Actionism)又称进化主义或控制论学派，其原理为控制论及感知—动作型控制系统。01020304自然语言处理概述自然语言处理概述利用计算机为工具对人类特有的书面形式和口头形式的自然语言的信息进行各种类型处理和加工的技术。自然语言处理的基本问题形态学问题，研究词的构成规律，涉及到分词问题。语法学问题，研究句子的语法规律。语义学问题，研究句子的含义，如何由词的含义推演出整个句子的含义。语用学问题，研究句子在不同的上下文环境中的含义。语音学问题，研究声音和文字之间的对应关系。自然语言处理的基本研究方法理性主义方法经验主义方法神经网络方法自然语言处理发展历程NLP自然语言处理的基本流程：语料获取、语料预处理、文本向量化、模型构建、模型训练、模型评价及模型线上应用构成。自然语言处理行业应用机器翻译、信息检索、自动文摘、问答系统、信息抽取、文档分类、语音识别、信息过滤、推荐系统、聊天机器人等。感谢欣赏自然语言处理项目1初识自然语言处理

MOBILEPHONECONFERENCE品牌介绍MOBILEPHONECONFERENCE产品介绍MOBILEPHONECONFERENCE产品设计目录01020304语料库的学习与使用什么是语料库在自然语言处理中，大多数情况下都是采用统计的方法，也就是采用机器学习的方法解决问题。机器学习需要大规模的数据作为驱动，在自然语言处理技术中，驱动机器学习的大规模数据，我们称之为语料库。在自然语言处理中，语料库起到的是语言数据库或知识库的作用，无论是全文检索、文本分类还是机器翻译，在处理过程中都要大量访问语言数据库和知识库。语言数据库中含有语言模型训练参数，这是机器学习必不可少的数据，知识库中包含词法、语法相关规则、词汇语义、语言常识、世界常识等知识，也是自然语言处理必不可少的数据支撑。010203国外语料库的建设Brown语料库：世界上第一个计算机可读的语料库，它搜集的语料来自1961年美国英语出版物上的文本，共500篇，每篇大约2000个单词，合计100万单词。TLF语料库（TremordelaLangueFrancaise），法国国家科学研究中心与美国芝加哥大学联合建成的法语语料库，包括2000书面法语文本，1.5亿词。BNC

英国国家语料库：该语料库书面语与口语并存，词容量超过一亿，由4124篇代表广泛的现代英式英语文本构成。COCA

美国当代英语语料库：是目前最大的免费英语语料库，它由包含5.2亿词的文本构成，这些文本由口语、小说、流行杂志、报纸以及学术文章五种不同的文体构成01020304国内语料库的建设BCC语料库：BCC语料库是以汉语为主，兼有英语、西班牙语、法语、德语、土耳其语等语言的语料库，其中汉语语料规模约150亿字，涵盖了报刊、文学、微博、科技、综合和古汉语等多领域语料。CCL语料库：CCL语料库中包含现代汉语语料、古代汉语语料两类单语语料，涉及的文献时间从公元前11世纪到当代。人民日报标注语料库：该语料库是我国第一个大型的现代汉语标注语料库，以《人民日报》1998年的纯文本语料为基础，完成词语切分、词性标注、专有名词标注、语素子类标注、动词和形容词特殊用法标注、短语型标注等加工工作，现已扩充至3500万字的规模。TCT语料库：清华汉语树库（TshinghuaChineseTreebank,）从包含文学、学术、新闻、应用四大体裁的200万汉字平衡语料库中提取了100万汉字规模的语料文本，经过自动断句、句法分析后再进行人工校对，形成了有完整句法结构树的汉语句法树库语料。01020304语料库的种类与构建按内容构成和目的划分：异质的语料库、同质的语料库、系统的语料库、专用的语料库。按语言种类划分：单语的语料库、双语的