数据标注工程-概念、方法、工具与案例 课件 第6章 文本数据标注

人工智能技术应用核心课程系列教材数据标注工程——概念、方法、工具与案例第6章文本数据标注6.2文本数据标注工具人工智能技术应用核心课程系列教材6.1文本数据标注简介6.3序列标注方法举例6.4关系标注方法举例6.5属性标注方法案例6.6本章小结6.7作业与练习文本数据标注作为最常见的数据标注类型之一，是指将文字、符号在内的文本进行标注，让计算机能够读懂并识别。从本质上来看，文本数据标注就是一个监督学习的过程，而标注问题就是更复杂结构预测问题的简单形式。标注问题的目的在于学习模型，使该模型能够对观测序列给出标记序列作为预测。这也决定了标注问题的工作流程，即输入是一个观测序列，之后输出是一个标记序列或者状态序列。需要注意的是，标记个数是有限的，但其组合所成的标记序列的个数是依照序列长度呈指数级增长的。6.1

文本数据标注简介第6章文本数据标注（1）自然语言对话是网络大数据语义理解的主要挑战之一，被誉为人工智能皇冠上的宝石，而文本数据标注就是这一系列工作中最基础、最重要的环节。文本数据标注就是为了让机器准确识别人类的自然语言，并促使机器对人类的自然语言做出精准定位。（2）近二三十年的研究成果显示，自然语言对话系统历经了由基于概率决策过程的多轮对话系统到基于深度学习的生成式对话系统、再到将深度学习和符号处理相融合的神经符号对话系统的快速发展。但是，无论系统发展的如何迅速、无论系统朝着何种方向发展，自然语言对话系统的核心推动力从未改变，即更好地进行自然语言理解、知识表示和逻辑推理。6.1.1发展与研究现状6.1

文本数据标注简介第6章文本数据标注文本数据标注类型包括：序列标注、关系标注、属性标注和类别标注。具体介绍如下：（1）序列标注：是一个比较简单的自然语言处理（NaturalLanguageProcessing，NLP）NLP任务，也是最基础的任务。序列标注的涵盖范围非常广泛，包括分词、实体、关键字、韵律、意图理解等；（2）关系标注：对复句的句法关联和语义关联做出重要标示的一种任务，是复句自动分析的形式标记。关系标注包括：指向关系、修饰关系、平行语料等等。（3）属性标注：对事物属性进行标签，属性标注包括：文本类别、新闻、娱乐等；（4）类别标注：对文章的类别进行标注，例如篇章级的阅读理解等。6.1.2基本概念6.1

文本数据标注简介第6章文本数据标注文本项目数据标注的大致流程为，预处理、标注、线上标注、线下标注、质检、验收、数据处理和数据交付。具体到各个步骤，操作细节如下，：（1）预处理：根据数据的规范要求，对数据进行算法的初步处理；（2）标注：根据项目要求，可以将标注分为线上标注（数据+平台）和线下标注：①线上标注：将源数据上传到“数据+平台”，通过互联网进行操作；②线下标注：通过线下小工具或线下文本（TXT、Excel等）进行操作；（3）质检：根据数据合格率要求，由定义规范理解的人员对已经标注数据进行抽查；（4）验收：由数据质量中心对质检合格数据进行再次验证；（5）数据处理：利用技术处理成客户需要的格式（如：JSON、UTF-8文本或Excel等）；（6）数据交付：数据加密后交付客户。6.1.3流程介绍6.1

文本数据标注简介第6章文本数据标注文本类标注任务的数据结果包含文本标签的位置和标签的具体内容。标注文件的输岀格式推荐使用易解析、易存储的数据格式，包括JSON、XML、TXT等。标注文件应该包含详细的标签信息。每个独立标签应包含以下信息：（1）标签id：每个标签的独立编号；（2）文件路径：待标注文本的文件链接；（3）原始文本：待标注文本的全部内容（文本数据标注任务仅需提供文件路径或原始文本中的一个）；（4）置信度：为标签的置信度；（5）每个标签中可能包含多个对象，对于每个对象需要定义：①对象类型：比如text_classification或者text_tag；②对象详情：对象的具体文本位置和内容信息，或与其他对象的关系信息。6.1.4

交付格式6.1

文本数据标注简介第6章文本数据标注数据交付时，标注团队需对最终提交的数据量进行说明。交付的内容应包括：（1）标注结果（必选）；（2）交付和说明文档（可选）；（3）关于标注数据的Metadata（可选），包括描述原始数据的元信息；（4）原始数据（可选，有时数据使用方可直接访问原始数据，则无须单独交付原始数据）。6.1.4

交付格式6.1

文本数据标注简介第6章文本数据标注文本数据标注是最常见的数据标注类型之一，在现实生活中也得到了充分应用。具体来说，文本数据标注应用比较多的场景包括：新零售、客服行业、广告营销、金融行业和医疗行业等，具体介绍如下：（1）新零售行业：新零售需要重塑零售行业的服务模式，因此需要对客户的问题进行精准定位，既需要对客户的问题进行量身定制，又需要考虑多数客户的共性要求，这就需要借助文本数据标注的方法，将顾客的相应问题做出标记。（2）客服行业：随着互联网技术的兴起，电子客服越来越多的取缔了人工客服。电子客服同样也可进行文字客服、视频客服和语音客服三类，这就需要机器对客户说话方式进行识别。考虑到不同人的说话方式不同、说话习惯不同，因此，对于同一个问题提问的方式也会不同。但是对于机器而言，面对同一问题，顾客提问方式虽然不同，但做出的回答应该是完全相同的。这就要求把对同一问题的不同提问方式进行学习，从而做出回复。6.1.5应用场景6.1

文本数据标注简介第6章文本数据标注（3）广告行业：对某产品进行广告设计时，通常会把类别相近的且销量较高的商品文案相互借鉴，把已经有的单个商品文案进行综合，取其精华、去其糟粕，通过文本数据标注把文案中的“精华”与“糟粕”标记出来，这让文案设计工作者可以在案例中进行提取综合，这无疑提高了工作人员的工作效率。（4）金融行业：在企业的商务合同中，关键信息的读取显得尤为重要。例如：合同中提到的公司名称、合同编号、发票编号、相关金额、到期日期和风险提示等内容，这些内容囊括了甲乙双方公司的核心信息。对于一个规模较大的公司来说，每天的签约合同非常之多，这时用人工智能对合同中的相关信息进行提取，可以大幅减少劳动力，降低人力成本、提高工作效率。6.1.5应用场景6.1

文本数据标注简介第6章文本数据标注第6章文本数据标注6.1文本数据标注简介人工智能技术应用核心课程系列教材6.2文本数据标注工具6.3序列标注方法举例6.4关系标注方法举例6.5属性标注方法案例6.6本章小结6.7作业与练习常用的开源文本标注工具包括：Doccano、YEDDA、Chinese-Annotator、IEPY、DeepDive和BRAT，具体介绍如下。（1）Doccano：是一个开源文本标注工具，它提供了文本分类、序列标记和序列到序列任务的标注功能。因此，可以为情感分析、命名实体识别、文本摘要等标注任务创建带标签的数据。Doccano序列标注任务界面如下图所示。6.2.1开源文本数据标注工具汇总6.2文本数据标注工具第6章文本数据标注（2）YEDDA：是一个针对实体类的开源文本注释工具，它提供了序列标记的标注功能。YEDDA为文本跨度标注提供了一个系统的解决方案，从协作用户标注到管理员评估和分析。它克服了传统文本注释工具效率低下的问题，通过命令行和快捷键对实体进行注释，这些实体可配置自定义标签。下图为YEDDA进行序列标注任务的界面。6.2.1开源文本数据标注工具汇总6.2文本数据标注工具第6章文本数据标注（3）

Chinese-Annotator：是一款智能中文文本标注工具，拥有简洁的标注环境与智能的学习算法，能够进行线下学习。该标注工具标注界面显而易见地友好，让标注操作尽可能简便和符合直觉。标注框架是一个较为完整的系统，包括前端、后台与数据库。下图为Chinese-Annotator的标注界面。6.2.1开源文本数据标注工具汇总6.2文本数据标注工具第6章文本数据标注（4）

IEPY：是一个专注于关系提取的信息提取开源工具。操作界面如下图所示。6.2.1开源文本数据标注工具汇总6.2文本数据标注工具第6章文本数据标注（5）

DeepDive：与IEPY类似，也是针对信息抽取类型任务的开源标注工具，DeepDive非常适合信息抽取，是构建知识库的利器。能够基于词性标注、句法分析等通过各种文本规则实现实体之间关系的抽取，同时可面向异构、海量的数据。下图为DeepDive的标注界面。6.2.1开源文本数据标注工具汇总6.2文本数据标注工具第6章文本数据标注（6）

BRAT：这个工具可以用于各种自然语言处理（NLP）任务，该工具是为实体识别和关系抽取设计的。BRAT服务器是一个Python程序，默认情况使用乌班图（Ubuntu）操作系统，网页浏览器使用谷歌浏览器。下图为BRAT的标注界面。6.2.1开源文本数据标注工具汇总6.2文本数据标注工具第6章文本数据标注本部分以数据堂的文本数据标注工具为样例介绍典型的几种文本数据标注工具。（1）韵律标注：韵律原指诗词中的平仄格式和押韵规则，后引申为音响的节奏规律。这里的韵律是指句子中字词之间的停顿，大多数情况下，我们不能完全没有停顿地说一句话，总会或长或短的有些停顿，这些停顿就是我们要标注韵律符号的位置，根据停顿长度不同，韵律符号也会相应发生变化。韵律标注界面如下图所示。6.2.2文本数据标注工具使用介绍6.2文本数据标注工具第6章文本数据标注（2）词性标注：词性标注是文本数据标注的一种形式，词性标注工具可对文本内容进行实体名称、实体属性、实体关系标注，下图为实体标注工具，实体标注工具具有实体名称列表、文本显示区、属性编辑框、标注列表、工具栏等，能够进行选中文本、新建/编辑/删除实体标注操作，同时支持自定义标签功能。6.2.2文本数据标注工具使用介绍6.2文本数据标注工具第6章文本数据标注（3）词性（实体）关系标注：需要先对文本进行实体标注，然后对实体之间进行实体的关系标注。相关联的实体会通过一条线进行关联，示意图如下。6.2.2文本数据标注工具使用介绍6.2文本数据标注工具第6章文本数据标注（4）音调多音字标注：通俗地讲，就是给一个多音字加读音，例如“骈”读音（pián），便（pián）宜等。通过音调多音字标注工具，实现快速的标注。首先通过算法把一段文本的多音字识别出来，与原始文本一起导入平台，模板会同时将文本和读音加载显示在标注页面。多音字标注平台示意图如下。6.2.2文本数据标注工具使用介绍6.2文本数据标注工具第6章文本数据标注（5）语义标注：是文本数据标注的一种形式，针对交互的短文本进行理解，标注出文本的意图。语义标注工具可进行意图标注以及设置自定义标签。语义标注首先是要自定义标签，自定义标签包括意图级别配置、功能配置、预识别配置等，语义标注平台如下图所示。6.2.2文本数据标注工具使用介绍6.2文本数据标注工具第6章文本数据标注（6）阅读理解：模板区域和实体标注的基本一致，不同之处在于右侧显示的是问答标注列表，可以在该处进行问答填写，同时底部也没有工具栏，下图展示的是阅读理解标注展示界面。6.2.2文本数据标注工具使用介绍6.2文本数据标注工具第6章文本数据标注（7）标注准确率计算：数据质检完成后，根据标注结果与质检结果比对情况，计算标注的准确率，标注人员和质检人员均可以在任务执行情况页面查看实时的准确率，准确率统计界面如下图所示。6.2.2文本数据标注工具使用介绍6.2文本数据标注工具第6章文本数据标注标注工具对于数据产品生产任务至关重要，一个好的标注工具能够大大减少标注过程中出现的问题，减少标注人员出现的错误，提高数据产品生产效率与数据质量。那么一款优秀的标注工具应当具备什么样的条件呢？这里给出以下几个思考方面：（1）扩展性强；（2）操作便捷；（3）容错性强；（4）数据存储稳定；（5）数据导出格式多样；（6）支持预识别算法；（7）支持多语种；（8）网页版。6.2.3优秀的标注工具应具备的条件6.2文本数据标注工具第6章文本数据标注第6章文本数据标注6.2文本数据标注工具人工智能技术应用核心课程系列教材6.3序列标注方法举例6.6本章小结6.4关系标注方法举例6.5属性标注方法案例6.1文本数据标注简介6.7作业与练习项目背景：顾客在点外卖时，首先考虑的第一个问题是要买什么，即商品的类别是什么，第二个问题就是商品的品牌是什么、规格怎样，第三个问题就是顾客本身对某些特定产品的偏好。而商家在接到顾客的外卖订单时，考虑到的第一个问题就是顾客的需求如何，应该提供什么样的商品，第二个问题就是顾客的位置，如何给顾客送达。标注目的：标注结果用于训练外卖成分识别模型，优化来自外卖意图的召回和排序效果。标注内容：在句中划词并选择标签。标注⼈员需要对用户搜索的意图进行推断，确定查询词的边界以及对应的成分类型；对于模糊查询，需要借助搜索引擎来判断查询的意图；如果存在多种分析结果，就填写多次，按粗粒度、细粒度顺序填写外卖成分识别标注案例6.3序列标注方法举例第6章文本数据标注标注流程：根据项目要求，需要标注的内容如下表所示。外卖成分识别标注案例6.3序列标注方法举例第6章文本数据标注标注内容符号地址L品牌B其它U品类C口味AT商品描述属性AS用户需求属性AU规格AQ食物类别S标注结果：部分标注结果如下表所示。外卖成分识别标注案例6.3序列标注方法举例第6章文本数据标注querylabel新都榴莲蛋糕新都/L；榴莲/AS；蛋糕/S睡眠美白面膜睡眠/AU；美白/AU；面膜/S秦镇米皮腊汁肉夹馍秦镇/L；米皮/S；腊汁/AS；肉夹馍/S第6章文本数据标注6.2文本数据标注工具人工智能技术应用核心课程系列教材6.4关系标注方法举例6.3序列标注方法举例6.6本章小结6.5属性标注方法案例6.1文本数据标注简介6.7作业与练习标注内容：给定新闻文章内容，要求标注员根据文章内容提出问题，并对问题进行回答。标注过程：一次标注过程中，系统会在页面左侧显示文章内容并按照段落划分好。（1）标注者快速阅读段落内容。（2）提问。标注员在右侧输入框内输入标注者根据段落内容想到的问题，要求问题与段落内容相关，标注员自己组织语言提问，不得复制文章内容当作问题，问题表述与段落内容差异越大越好。（3）标记问题答案。标注员根据问题和段落内容，在段落中选择答案所在位置。要求选出所有答案，在选择过程中按照答案与问题匹配程度的由高到低选取。段落开头有类似“####”的特殊标记，标注者首先选择可以正确回答问题的答案，然后选择这个特殊标记作为分隔，之后选出看似是答案但是实际不能正确回答问题的可以答案。中文阅读理解分析案例6.4

关系标注方法举例第6章文本数据标注标注示例：段落内容为：####石墨烯如此低的电阻率自然是动力电池的最好材料，也有数据显示，石墨烯聚合材料电池的重量仅为传统电池50%，成本将比锂电池低77%，且石墨烯锂电池充电一次，耗时也不超过10分钟。不过有关石墨烯电池的说法已经流传了很久，至今没有实际的落地，荣耀手机不大可能会进行“技术大跃进”。标注员给出问题及答案示例如下：问题1：石墨烯电池的成本怎么样？答案1：比锂电池低77%答案2：####答案3：仅为传统电池50%（解释：答案1为问题的正确回答，答案2是正确答案与可疑答案的分隔，答案3是可疑答案，因为仅看答案貌似可以回答问题，但是结合段落上下文可知50%是指重量，非成本。）中文阅读理解分析案例6.4

关系标注方法举例第6章文本数据标注第6章文本数据标注6.2文本数据标注工具人工智能技术应用核心课程系列教材6.5属性标注方法案例6.3序列标注方法举例6.6本章小结6.4关系标注方法举例6.1文本数据标注简介6.7作业与练习项目背景：在人与机器的语音通话中，能够将顾客问题精准定位是十分必要的。考虑到不同人的说话方式不同、说话习惯不同，因此，对于同一个问题提问的方式也会不同。但是对于机器而言，面对同一问题，顾客提问方式虽然不同，但做出的回答应该是完全相同的。这就要求把对同一问题的不同提问方式进行学习，从而进行回复。标注需求：在电话对话场景下，语音转为文本作为数据，因此标注过程中需要充分考虑到这一环境，对可能存在的干扰数据进行排除。6.5.1语音文本判别标注案例6.5属性标注方法案例第6章文本数据标注标注规范：（1）在各个类别中，每个类别代表一个用户意图，其对应的句子语义表达跟类别意图相同或不相同。需要将与意图相同的句子标注为1，与意图不相同的标注为0；（2）表达语义明确，但存在干扰信息的句子中，与意图相同的句子标注为1，与意图不相同的标注为0；（3）表达语义不明确的句子，按照不相关进行处理，即标注为”0”；（4）数据标注准确率要求达到98%.6.5.1语音文本判别标注案例6.5属性标注方法案例第6章文本数据标注标注结果示例：客户-客户在忙标注6.5.1语音文本判别标注案例6.5属性标注方法案例第6章文本数据标注标注结果示例：公司—什么公司标注6.5.1语音文本判别标注案例6.5属性标注方法案例第6章文本数据标注项目背景：近年来，随着论坛、点评、微博、微信和QQ等语言社交软件平台的快速发展。在社交平台上的帖子直接关系到了企业形象的重塑等相关问题讨论，这些帖子在无形中左右了公众的情绪和情感，深刻地影响了我们社会发展。当我们在感叹人言可畏的同时，对政府的舆情系统也提出了重大考验。社交平台上公众发表的帖子就是文本数据，通过对文本数据进行情感分析，可以实时把控群众的情感变化或者是舆论趋势，以此避免发生恶性事件或者虚假事件。标注需求：对平台上获得的文本数据进行情感判别，可以在此基础上进行情感分析。6.5.2文本情感分析判别标注案例6.5属性标注方法案例第6章文本数据标注标注规范：（1）比较多的事件信息判断有误，比如上市、涨停、公司合作、增持等均属于利好事件，比较突出的是很多涨停事件全部标记为负面；（2）比较倾向性的情感描述，比如有望、史上最大、看好、合作、腾飞等描述，均可以视作利好，这种描述表达了作者对市场的看好情绪，