文本数据标注

第6章文本数据标注6.2文本数据标注工具人工智能技术应用核心课程系列教材6.1文本数据标注简介6.3序列标注方法举例6.4关系标注方法举例6.5属性标注方法案例6.6本章小结6.7作业与练习文本数据标注作为最常见的数据标注类型之一，是指将文字、符号在内的文本进行标注，让计算机能够读懂并识别。从本质上来看，文本数据标注就是一个监督学习的过程，而标注问题就是更困难结构预料问题的简洁形式。标注问题的目的在于学习模型，使该模型能够对观测序列给出标记序列作为预料。这也确定了标注问题的工作流程，即输入是一个观测序列，之后输出是一个标记序列或者状态序列。须要留意的是，标记个数是有限的，但其组合所成的标记序列的个数是依照序列长度呈指数级增长的。6.1

文本数据标注简介第6章文本数据标注（1）自然语言对话是网络大数据语义理解的主要挑战之一，被誉为人工智能皇冠上的宝石，而文本数据标注就是这一系列工作中最基础、最重要的环节。文本数据标注就是为了让机器精确识别人类的自然语言，并促使机器对人类的自然语言做出精准定位。（2）近二三十年的探讨成果显示，自然语言对话系统历经了由基于概率决策过程的多轮对话系统到基于深度学习的生成式对话系统、再到将深度学习和符号处理相融合的神经符号对话系统的快速发展。但是，无论系统发展的如何快速、无论系统朝着何种方向发展，自然语言对话系统的核心推动力从未变更，即更好地进行自然语言理解、学问表示和逻辑推理。6.1.1发展与探讨现状6.1

文本数据标注简介第6章文本数据标注文本数据标注类型包括：序列标注、关系标注、属性标注和类别标注。具体介绍如下：（1）序列标注：是一个比较简洁的自然语言处理（NaturalLanguageProcessing，NLP）NLP任务，也是最基础的任务。序列标注的涵盖范围特别广泛，包括分词、实体、关键字、韵律、意图理解等；（2）关系标注：对复句的句法关联和语义关联做出重要标示的一种任务，是复句自动分析的形式标记。关系标注包括：指向关系、修饰关系、平行语料等等。（3）属性标注：对事物属性进行标签，属性标注包括：文本类别、新闻、消遣等；（4）类别标注：对文章的类别进行标注，例如篇章级的阅读理解等。6.1.2基本概念6.1

文本数据标注简介第6章文本数据标注为什么要运用RFID中间件01探究RFID中间件技术——为什么要运用RFID中间件这个问题的本质是用户应用系统与硬件接口的问题。在RFID应用中，通透性是整个应用的关键，正确抓取数据、确保数据读取的牢靠性、以及有效地将数据传送到后端系统都是必需考虑的问题。(1)如何将现有的系统与新的RFIDReader连接?RFID中间件产品02探究RFID中间件技术——为什么要运用RFID中间件为了就近获得reader读取的信息，一些地理区域跨度较广的企业，例如:商场、配送中心或者仓库等，可以运用多个RFIDEventManager，也就是为每一场所配备一个RFIDEventManager，这种方式可以大大减轻网络通讯负载:运用EventManager将过滤和处理过的数据通过网络发送，而不是将Reader干脆连接到网络，削减通过网络传输的数据流量。除此之外，通过RFIDEventManager将Reader同网络隔离开也是基于平安因素考虑的一个良好的架构方式。RFID中间件产品02探究RFID中间件技术——为什么要运用RFID中间件Sun公司的RFIDEventManager的主要功能模块包括:1）nDeviceAdapter适配器允许来自不同厂商的设备能够同RFIDEventManager通讯和交互。2）nFilter过滤器能够过滤RFID设备所供应的冗余数据，还可以用来实施小规模的数据处理和业务逻辑。3）nConnectorsRFIDEventManager中的Connector模块可以将相关信息发送到文件系统、JMS队列，XML语言，HTTP，SOAP消息，从而可以将RFID或者是非RFID的相关事务数据通知给外部系统。RFID中间件产品02探究RFID中间件技术——为什么要运用RFID中间件4）nEnterpriseGateway该模块可以作为连接企业应用程序的公共接口。5）nFailover由于Sun的RFIDEventManager是基于Java和Jini技术框架，服务的失效转移是其固有的技术特色。RFID中间件产品02探究RFID中间件技术——为什么要运用RFID中间件图5-34RFIDEventManager的架构图RFID中间件产品02探究RFID中间件技术——为什么要运用RFID中间件SunJavaRFIDSoftware中另一个主要的模块就是JavaSystemRFIDInformationServer。Sun公司提倡运用整合技术将RFIDEventManager同EIS(EnterpriseInformationSystems)互连，这里所说的EIS包括传统的ERP，WMS(仓储管理系统)，SCM(供应链管理系统)以及CRM系统以及一切希望运用RFID标签信息的系统。JES不仅为这种整合供应了丰富的技术支持手段，也为整合供应了丰富而成熟的功能模块和解决方案。RFID中间件产品02探究RFID中间件技术——为什么要运用RFID中间件在图5-34中整个软件架构中的最下层就是由EIS系统所组成的，可以包括ERP,WMS，传统遗留的系统以及企业的私有信息系统。这些系统必需能够接收并集成来自标签标识物品的数据和事务。事实上，可以将RFIDInformationServer理解成将RFIDEventManager和现有的EIS以及其他的企业应用系统集成的集成层，由RFIDInformationServer供应了底层的RFID数据同高层业务应用的连接通道。将RFIDInformationServer置于RFIDEventManager和其他的企业应用之间就可以针对业务需求的变更、企业应用的变更供应最大的敏捷性。RFID中间件产品02探究RFID中间件技术——为什么要运用RFID中间件通过RFIDInformationService可以获得的数据包括:1）通过RFIDEventManager所获得的来自reader或sensor的数据；2）标签说标识的物品的特征数据，例如:制造日期、重量、失效日期等；3）产品书目信息。图5-35RFIDInformationServer架构图RFID中间件产品02探究RFID中间件技术——为什么要运用RFID中间件3.SunJavaSystemRFIDSoftwareforJavaMEDevicesJavaME(JavaMicroEdition)是Sun公司提出的面对嵌入式设备的Java平台方案。基于JavaME，Sun公司供应了面对RFID设备的、支持EPCGlobalALE(ApplicationLevelEvents)规范的嵌入式软件包:SunJavaSystemRFIDSoftwareforJavaMEDevices。该软件包供应了如下两方面的功能:在支持JavaME技术的RFID设备上干脆的、智能的处理、过滤设备所产生的相关数据，大幅度削减了RFID设备向网络环境发送的数据流量。RFID中间件产品02探究RFID中间件技术——为什么要运用RFID中间件供应了远程管理RFID设备的软件接口，SunJavaSystemRFIDSoftwareforJavaMEDevices能够同前面介绍的SunJavaSystemRFIDSoftware无缝的集成，供应了以集中的方式来管理大量的分布式RFID设备的实力。SunJavaSystemRFIDSoftwareforJavaMEDevices的具体功能包括:1）记录捕获EPCcode的时间和位置；2）定时处理服务；3）同步或者异步的发送答复；4）定义事务的触发器，例如侦测到一个casetag；5）过滤数据，过滤的方法包括布尔逻辑、模式匹配、分组、计数等。运用SunJavaSystemRFIDSoftwareforJavaMEDevices，可以进一步简化RFID的部署环境。RFID中间件产品02探究RFID中间件技术——为什么要运用RFID中间件4.JavaSystemRFIDSoftwareToolkitJavaSystemRFIDSoftwareToolkit供应了一套基于Sun公司的RFID解决方案的适配器开发环境，旨在简化针对不同RFIDreader，printer以及其他设备的适配器的开发，通过这些适配器就能够将设备同JavaSystemRFIDEventManager相连。这套Toolkit既可以作为NetBeans的插件，也可以作为SunStudioIDE的插件运用，同时在插件中包括代码范例，适配器代码模板，ant的编译脚本文件以及JUnit的测试模板。RFID中间件产品02探究RFID中间件技术——为什么要运用RFID中间件5.基于Sun公司RFID产品的行业解决方案通过将Sun公司的RFIDSoftware同Sun公司丰富的软、硬件产品相结合，合作伙伴可以为相关行业的特定应用供应定制化的解决方案。同时，Sun公司也特别乐于同合作伙伴共享自己在RFID实施领域的丰富阅历，合作伙伴可以参考Sun公司丰富而具体的、针对不同行业的参考解决方案来定制或扩展，构造自己的行业应用。图5-35展示了基于Sun公司软、硬件平台的资产跟踪和管理解决方案。文本项目数据标注的大致流程为，预处理、标注、线上标注、线下标注、质检、验收、数据处理和数据交付。具体到各个步骤，操作细微环节如下，：（1）预处理：依据数据的规范要求，对数据进行算法的初步处理；（2）标注：依据项目要求，可以将标注分为线上标注（数据+平台）和线下标注：①线上标注：将源数据上传到“数据+平台”，通过互联网进行操作；②线下标注：通过线下小工具或线下文本（TXT、Excel等）进行操作；（3）质检：依据数据合格率要求，由定义规范理解的人员对已经标注数据进行抽查；（4）验收：由数据质量中心对质检合格数据进行再次验证；（5）数据处理：利用技术处理成客户须要的格式（如：JSON、UTF-8文本或Excel等）；（6）数据交付：数据加密后交付客户。6.1.3流程介绍6.1

文本数据标注简介第6章文本数据标注文本类标注任务的数据结果包含文本标签的位置和标签的具体内容。标注文件的输岀格式举荐运用易解析、易存储的数据格式，包括JSON、XML、TXT等。标注文件应当包含具体的标签信息。每个独立标签应包含以下信息：（1）标签id：每个标签的独立编号；（2）文件路径：待标注文本的文件链接；（3）原始文本：待标注文本的全部内容（文本数据标注任务仅需供应文件路径或原始文本中的一个）；（4）置信度：为标签的置信度；（5）每个标签中可能包含多个对象，对于每个对象须要定义：①对象类型：比如text_classification或者text_tag；②对象详情：对象的具体文本位置和内容信息，或与其他对象的关系信息。6.1.4

交付格式6.1

文本数据标注简介第6章文本数据标注数据交付时，标注团队需对最终提交的数据量进行说明。交付的内容应包括：（1）标注结果（必选）；（2）交付和说明文档（可选）；（3）关于标注数据的Metadata（可选），包括描述原始数据的元信息；（4）原始数据（可选，有时数据运用方可干脆访问原始数据，则无须单独交付原始数据）。6.1.4

交付格式6.1

文本数据标注简介第6章文本数据标注文本数据标注是最常见的数据标注类型之一，在现实生活中也得到了充分应用。具体来说，文本数据标注应用比较多的场景包括：新零售、客服行业、广告营销、金融行业和医疗行业等，具体介绍如下：（1）新零售行业：新零售须要重塑零售行业的服务模式，因此须要对客户的问题进行精准定位，既须要对客户的问题进行量身定制，又须要考虑多数客户的共性要求，这就须要借助文本数据标注的方法，将顾客的相应问题做出标记。（2）客服行业：随着互联网技术的兴起，电子客服越来越多的取缔了人工客服。电子客服同样也可进行文字客服、视频客服和语音客服三类，这就须要机器对客户说话方式进行识别。考虑到不同人的说话方式不同、说话习惯不同，因此，对于同一个问题提问的方式也会不同。但是对于机器而言，面对同一问题，顾客提问方式虽然不同，但做出的回答应当是完全相同的。这就要求把对同一问题的不同提问方式进行学习，从而做出回复。6.1.5应用场景6.1

文本数据标注简介第6章文本数据标注（3）广告行业：对某产品进行广告设计时，通常会把类别相近的且销量较高的商品文案相互借鉴，把已经有的单个商品文案进行综合，取其精华、去其糟粕，通过文本数据标注把文案中的“精华”与“糟粕”标记出来，这让文案设计工作者可以在案例中进行提取综合，这无疑提高了工作人员的工作效率。（4）金融行业：在企业的商务合同中，关键信息的读取显得尤为重要。例如：合同中提到的公司名称、合同编号、发票编号、相关金额、到期日期和风险提示等内容，这些内容囊括了甲乙双方公司的核心信息。对于一个规模较大的公司来说，每天的签约合同特别之多，这时用人工智能对合同中的相关信息进行提取，可以大幅削减劳动力，降低人力成本、提高工作效率。6.1.5应用场景6.1

文本数据标注简介第6章文本数据标注第6章文本数据标注6.1文本数据标注简介人工智能技术应用核心课程系列教材6.2文本数据标注工具6.3序列标注方法举例6.4关系标注方法举例6.5属性标注方法案例6.6本章小结6.7作业与练习常用的开源文本标注工具包括：Doccano、YEDDA、Chinese-Annotator、IEPY、DeepDive和BRAT，具体介绍如下。（1）Doccano：是一个开源文本标注工具，它供应了文本分类、序列标记和序列到序列任务的标注功能。因此，可以为情感分析、命名实体识别、文本摘要等标注任务创建带标签的数据。Doccano序列标注任务界面如下图所示。6.2.1开源文本数据标注工具汇总6.2文本数据标注工具第6章文本数据标注（2）YEDDA：是一个针对实体类的开源文本注释工具，它供应了序列标记的标注功能。YEDDA为文本跨度标注供应了一个系统的解决方案，从协作用户标注到管理员评估和分析。它克服了传统文本注释工具效率低下的问题，通过吩咐行和快捷键对实体进行注释，这些实体可配置自定义标签。下图为YEDDA进行序列标注任务的界面。6.2.1开源文本数据标注工具汇总6.2文本数据标注工具第6章文本数据标注（3）Chinese-Annotator：是一款智能中文文本标注工具，拥有简洁的标注环境与智能的学习算法，能够进行线下学习。该标注工具标注界面自不待言地友好，让标注操作尽可能简便和符合直觉。标注框架是一个较为完整的系统，包括前端、后台与数据库。下图为Chinese-Annotator的标注界面。6.2.1开源文本数据标注工具汇总6.2文本数据标注工具第6章文本数据标注（4）

IEPY：是一个专注于关系提取的信息提取开源工具。操作界面如下图所示。6.2.1开源文本数据标注工具汇总6.2文本数据标注工具第6章文本数据标注（5）DeepDive：与IEPY类似，也是针对信息抽取类型任务的开源标注工具，DeepDive特别适合信息抽取，是构建学问库的利器。能够基于词性标注、句法分析等通过各种文本规则实现实体之间关系的抽取，同时可面对异构、海量的数据。下图为DeepDive的标注界面。6.2.1开源文本数据标注工具汇总6.2文本数据标注工具第6章文本数据标注（6）BRAT：这个工具可以用于各种自然语言处理（NLP）任务，该工具是为实体识别和关系抽取设计的。BRAT服务器是一个Python程序，默认状况运用乌班图（Ubuntu）操作系统，网页阅读器运用谷歌阅读器。下图为BRAT的标注界面。6.2.1开源文本数据标注工具汇总6.2文本数据标注工具第6章文本数据标注本部分以数据堂的文本数据标注工具为样例介绍典型的几种文本数据标注工具。（1）韵律标注：韵律原指诗词中的平仄格式和押韵规则，后引申为音响的节奏规律。这里的韵律是指句子中字词之间的停顿，大多数状况下，我们不能完全没有停顿地说一句话，总会或长或短的有些停顿，这些停顿就是我们要标注韵律符号的位置，依据停顿长度不同，韵律符号也会相应发生变更。韵律标注界面如下图所示。6.2.2文本数据标注工具运用介绍6.2文本数据标注工具第6章文本数据标注（2）词性标注：词性标注是文本数据标注的一种形式，词性标注工具可对文本内容进行实体名称、实体属性、实体关系标注，下图为实体标注工具，实体标注工具具有实体名称列表、文本显示区、属性编辑框、标注列表、工具栏等，能够进行选中文本、新建/编辑/删除实体标注操作，同时支持自定义标签功能。6.2.2文本数据标注工具运用介绍6.2文本数据标注工具第6章文本数据标注（3）词性（实体）关系标注：须要先对文本进行实体标注，然后对实体之间进行实体的关系标注。相关联的实体会通过一条线进行关联，示意图如下。6.2.2文本数据标注工具运用介绍6.2文本数据标注工具第6章文本数据标注（4）音调多音字标注：通俗地讲，就是给一个多音字加读音，例如“骈”读音（pián），便（pián）宜等。通过音调多音字标注工具，实现快速的标注。首先通过算法把一段文本的多音字识别出来，与原始文本一起导入平台，模板会同时将文本和读音加载显示在标注页面。多音字标注平台示意图如下。6.2.2文本数据标注工具运用介绍6.2文本数据标注工具第6章文本数据标注（5）语义标注：是文本数据标注的一种形式，针对交互的短文本进行理解，标注出文本的意图。语义标注工具可进行意图标注以及设置自定义标签。语义标注首先是要自定义标签，自定义标签包括意图级别配置、功能配置、预识别配置等，语义标注平台如下图所示。6.2.2文本数据标注工具运用介绍6.2文本数据标注工具第6章文本数据标注（6）阅读理解：模板区域和实体标注的基本一样，不同之处在于右侧显示的是问答标注列表，可以在该处进行问答填写，同时底部也没有工具栏，下图展示的是阅读理解标注展示界面。6.2.2文本数据标注工具运用介绍6.2文本数据标注工具第6章文本数据标注（7）标注精确率计算：数据质检完成后，依据标注结果与质检结果比对状况，计算标注的精确率，标注人员和质检人员均可以在任务执行状况页面查看实时的精确率，精确率统计界面如下图所示。6.2.2文本数据标注工具运用介绍6.2文本数据标注工具第6章文本数据标注标注工具对于数据产品生产任务至关重要，一个好的标注工具能够大大削减标注过程中出现的问题，削减标注人员出现的错误，提高数据产品生产效率与数据质量。那么一款优秀的标注工具应当具备什么样的条件呢？这里给出以下几个思索方面：（1）扩展性强；（2）操作便捷；（3）容错性强；（4）数据存储稳定；（5）数据导出格式多样；（6）支持预识别算法；（7）支持多语种；（8）网页版。6.2.3优秀的标注工具应具备的条件6.2文本数据标注工具第6章文本数据标注第6章文本数据标注6.2文本数据标注工具人工智能技术应用核心课程系列教材6.3序列标注方法举例6.6本章小结6.4关系标注方法举例6.5属性标注方法案例6.1文本数据标注简介6.7作业与练习项目背景：顾客在点外卖时，首先考虑的第一个问题是要买什么，即商品的类别是什么，其次个问题就是商品的品牌是什么、规格怎样，第三个问题就是顾客本身对某些特定产品的偏好。而商家在接到顾客的外卖订单时，考虑到的第一个问题就是顾客的需求如何，应当供应什么样的商品，其次个问题就是顾客的位置，如何给顾客送达。标注目的：标注结果用于训练外卖成分识别模型，优化来自外卖意图的召回和排序效果。标注内容：在句中划词并选择标签。标注⼈员须要对用户搜寻的意图进行推断，确定查询词的边界以及对应的成分类型；对于模糊查询，须要借助搜寻引擎来推断查询的意图；假如存在多种分析结果，就填写多次，按粗粒度、细粒度依次填写外卖成分识别标注案例6.3序列标注方法举例第6章文本数据标注标注流程：依据项目要求，须要标注的内容如下表所示。外卖成分识别标注案例6.3序列标注方法举例第6章文本数据标注标注内容符号地址L品牌B其它U品类C口味AT商品描述属性AS用户需求属性AU规格AQ食物类别S标注结果：部分标注结果如下表所示。外卖成分识别标注案例6.3序列标注方法举例第6章文本数据标注querylabel新都榴莲蛋糕新都/L；榴莲/AS；蛋糕/S睡眠美白面膜睡眠/AU；美白/AU；面膜/S秦镇米皮腊汁肉夹馍秦镇/L；米皮/S；腊汁/AS；肉夹馍/S第6章文本数据标注6.2文本数据标注工具人工智能技术应用核心课程系列教材6.4关系标注方法举例6.3序列标注方法举例6.6本章小结6.5属性标注方法案例6.1文本数据标注简介6.7作业与练习标注内容：给定新闻文章内容，要求标注员依据文章内容提出问题，并对问题进行回答。标注过程：一次标注过程中，系统会在页面左侧显示文章内容并依据段落划分好。（1）标注者快速阅读段落内容。（2）提问。标注员在右侧输入框内输入标注者依据段落内容想到的问题，要求问题与段落内容相关，标注员自己组织语言提问，不得复制文章内容当作问题，问题表述与段落内容差异越大越好。（3）标记问题答案。标注员依据问题和段落内容，在段落中选择答案所在位置。要求选出全部答案，在选择过程中依据答案与问题匹配程度的由高到低选取。段落开头有类似“####”的特殊标记，标注者首先选择可以正确回答问题的答案，然后选择这个特殊标记作为分隔，之后选出看似是答案但是实际不能正确回答问题的可以答案。中文阅读理解分析案例6.4

关系标注方法举例第6章文本数据标注标注示例：段落内容为：####石墨烯如此低的电阻率自然是动力电池的最好材料，也有数据显示，石墨烯聚合材料电池的重量仅为传统电池50%，成本将比锂电池低77%，且石墨烯锂电池充电一次，耗时也不超过10分钟。不过有关石墨烯电池的说法已经流传了很久，至今没有实际的落地，荣耀手机不大可能会进行“技术大跃进”。标注员给出问题及答案示例如下：问题1：石墨烯电池的成本怎么样？答案1：比锂电池低77%答案2：####答案3：仅为传统电池50%（说明：答案1为问题的正确回答，答案2是正确答案与可疑答案的分隔，答案3是可疑答案，因为仅看答案貌似可以回答问题，但是结合段落上下文可知50%是指重量，非成本。）中文阅读理解分析案例6.4

关系标注方法举例第6章文本数据标注第6章文本数据标注6.2文本数据标注工具人工智能技术应用核心课程系列教材6.5属性标注方法案例6.3序列标注方法举例6.6本章小结6.4关系标注方法举例6.1文本数据标注简介6.7作业与练习项目背景：在人与机器的语音通话中，能够将顾客问题精准定位是特别必要的。考虑到不同人的说话方式不同、说话习惯不同，因此，对于同一个问题提问的方式也会不同。但是对于机器而言，面对同一问题，顾客提问方式虽然不同，但做出的回答应当是完全相同的。这就要求把对同一问题的不同提问方式进行学习，从而进行回复。标注需求：在电话对话场景下，语音转为文本作为数据，因此标注过程中须要充分考虑到这一环境，对可能存在的干扰数据进行解除。6.5.1语音文本判别标注案例6.5属性标注方法案例第6章文本数据标注标注规范：（1）在各个类别中，每个类别代表一个用户意图，其对应的句子语义表达跟类别意图相同或不相同。须要将与意图相同的句子标注为1，与意图不相同的标注为0；（2）表达语义明确，但存在干扰信息的句子中，与意图相同的句子标注为1，与意图不相同的标注为0；（3）表达语义不明确的句子，依据不相关进行处理，即标注为”0”；（4）数据标注精确率要求达到98%.6.5.1语音文本判别标注案例6.5属性标注方法案例第6章文本数据标注标注结果示例：客户-客户在忙标注6.5.1语音文本判别标注案例6.5属性标注方法案例第6章文本数据标注标注结果示例：公司—什么公司标注6.5.1语音文本判别标注案例6.5属性标注方法案例第6章文本数据标注项目背景：近年来，随着论坛、点评、微博、微信和QQ等语言社交软件平台的快速发展。在社交平台上的帖子干脆关系到了企业形象的重塑等相关问题探讨，这些帖子在无形中左右了公众的心情和情感，深刻地影响了我们社会发展。当我们在感叹人言可畏的同时，对政府的舆情系统也提出了重大考验。社交平台上公众