数据服务实践 课件 项目四 数据标注服务

项目四《数据标注服务》DataAnnotationService在我们的日常生活中,人工智能已经无处不在。大到智慧医疗、自动驾驶、智能政务，小到手机扫码、人脸识别、语音转文字以及智能客服，当我们享受人工智能所带来的便捷体验时,是否思考过这到底是如何实现的?其中,数据标注发挥了重要作用。作为人工智能算法得以有效运行的关键环节,数据标注能够把需要机器识别和分辨的数据贴上标签,然后让计算机不断地学习这些数据的特征,使计算机最终实现自主识别,从而在日常生活中实现那一幕幕人机对话的场景。数字经济时代，算力是核心生产力，算法是重要生产工具，数据是关键生产资料。数据标注作为数字经济产业链的基础服务商，将进一步筑牢数字经济产业链条。数据的数量和质量很大程度上决定了大模型的“智商”，没有数据标注，人工智能就无法在智能化场景中应用、迭代。项目导入1.项目背景及需求在模型训练之前，我们需要对图像文本数据做标注，需要对图像内的文本做好标签，这样才能利用我们提供的数据和标注标签进行模型训练。通过语句分词标注、语义判定标注、文本翻译标注、情感色彩标注、拼音标注、多音字标注、数字符号标注等，可获得高准确率的文本语料。图像标注是一个将标签添加到图像上的过程。图像标注在人工智能与各行各业应用相结合的研究过程中扮演着重要的角色，通过对路况图片中的汽车和行人进行筛选、分类、标框，可以提高安防摄像头以及无人驾驶系统的识别能力。在人工智能研究中，语音应答交互系统是一个重要分支，已经成为深入日常生活的重要应用。需要对语音进行标注，把语音中包含的文字信息、各种声音“提取”出来，再进行转写或者合成，从而用作人工智能机器学习数据。项目导入2.项目分解数据标注工程师主要负责对各种数据进行标注、审核、整理和反馈，以帮助机器学习模型更好地理解和学习数据。具体职责包括但不限于以下几点：（1）数据标注操作：根据项目需求，对图片、视频、文本等各种类型的数据执行标注工作，例如标记图片中的物体、转录视频中的对话、标注文本中的情感倾向等。（2）数据审核管理：审核已标注的数据，确保标注的准确性和一致性，同时对标注团队的工作进行管理和指导。（3）数据整理反馈：对已完成标注的数据进行整理，保证数据格式的规范性和可用性，并及时反馈在标注过程中遇到的问题。（4）监控项目进度：监控项目执行的进度，确保数据标注的质量和效率符合项目要求。（5）数据处理修正：对图像、视频等数据进行处理、修正，以满足特定的标注需求。项目导入3.职业岗位介绍项目知识目标

理解数据标注的基本概念和重要性；理解数据标注的整体流程，学习数据标注规范，确保数据标注的一致性和准确性。010203目标掌握数据标注的方法，熟练使用数据标注的工具；项目技能目标

掌握大数据标注工程的方法与技能；增强对数据的处理能力和分析能力。010203目标提高数据标注的准确性和提升标注效率的能力；项目思政目标

遵循行业规范和标准，确保数据标注的质量符合项目要求，并保持工作过程的透明度和可追溯性；在处理敏感数据时，遵守相关的法律法规和隐私政策，确保数据的安全性和合规性。010203目标对待每一项数据标注任务都要认真负责，确保数据的准确性和一致性，避免因疏忽而导致的数据质量问题；票据数据标注PART02Billdataannotation任务导入在数字化浪潮中，票据OCR文本标注意义非凡。企业日常运营会产生海量票据，传统人工处理耗时费力且易出错。票据OCR文本标注借助先进技术，将票据图像中的文字精准转化为可编辑数据。它能极大提升数据录入效率，让财务人员从繁重的重复劳动中解脱，投入更具价值的分析工作。精准标注的票据数据为财务核算、税务申报提供可靠依据，助力企业合规运营。标注后的数据还方便进行深度挖掘与分析，为企业决策提供有力支持，如洞察业务趋势、优化成本结构，推动企业在数字化时代高效稳健发展。任务知识目标2.了解OCR识别的基本流程；1.

掌握数据标注的基本概念；3.熟悉票据标注的基本原理和方法；4.了解模型训练和数据预标注的方法。任务能力目标目标01具备对票据的文本进行标注的能力02具备优化标注效果的基本能力任务思政目标01通过本任务的学习，培养学生敏锐的观察力，能够注意到票据文本中的细微差别和潜在错误。CONTENTS目录数据标注的定义01DefinitionofDataAnnotation数据标注的历史02Historyofdataannotation数据标注的分类03Classificationofdataannotation1.数据标注的定义数据标注是指对图片、语音、文本、视频等数据进行处理，标记对象的特征，生成满足机器学习训练要求的可读数据编码。数据标注企业，通常需要完成数据集结构/流程设计、数据处理、数据质检等工作，为下游客户提供训练数据集、定制化服务。数据标注一直是人工智能技术研发中不可或缺的一环，伴随着AI在自动驾驶、金融、医疗、安防等多个垂直场景的深度落地，数据训练需求海量增长，数据标注也摆脱了传统劳动密集型行业的局限性，向高技术含量、高知识密度和高价值等特性发展。数据经过清洗，即可进入数据标注的核心环节。一般在正式标注前，会由需求方的算法工程师给出标注样板，并为具体标注人员详细阐述标注需求与标注规则，经过充分讨论与沟通，以保证最终数据输出的方式、格式以及质量一步到位，这也被称为试标过程。试标后，标注工程师按照此前沟通确认的要求进行数据标注，通过对图像、视频、语音、文本等素材进行细致的分类、标框、描点等操作，给素材打上不同的标签，以满足不同的人工智能应用需要。2.数据标注的历史数据标注作为人工智能（AI）与机器学习（ML）领域的核心环节，其发展历程与技术演进深刻影响着AI模型的性能与应用广度。随着AI技术的普及，数据标注已从基础的数据处理环节演变为推动技术创新的关键驱动力。（1）早期萌芽（20世纪50年代—90年代）

数据标注的概念起源于人工智能研究初期，彼时受限于计算能力，标注工作主要依赖人工完成，效率低下且成本高昂。这一阶段，数据标注主要用于基础图像识别和语音识别研究，应用场景有限。（2）技术突破与规模化（2000年代—2010年代）

随着互联网普及和计算能力提升，数据标注进入快速发展期。这一时期，数据标注开始服务于自动驾驶、医疗影像分析等复杂场景，需求量呈指数级增长。（3）智能化与专业化（2020年代至今）

当前，数据标注正经历智能化与专业化转型。自动化标注工具（如预标注、主动学习）和AI辅助标注技术显著提升效率，同时标注需求向垂直领域深化，如医疗、法律、金融等高精度场景。行业对标注质量、数据安全及合规性的要求日益严格，推动标注服务向专业化、标准化发展。3.数据标注的分类01030402图像数据标注文本数据标注语音数据标注视频数据标注数据标注按标注对象主要可分为以下几类：3.数据标注的分类图像数据标注可分为以下几类：分类标注为图像中的物体或场景指定一个类别标签，例如将一张包含猫的图片标注为“猫”类别，用于图像分类任务。目标检测标注在图像中用矩形框或多边形框出目标物体的位置，并标注出物体的类别，如在一张街道照片中框出所有车辆，并标注为“汽车”“公交车”等不同类别，常用于自动驾驶中的目标识别等场景。语义分割标注将图像中的每个像素都标注为所属的类别，实现对图像的精细分割，比如区分出一幅森林图像中树木、草地、天空等不同区域的像素，可应用于图像理解和场景分析。关键点标注标记出图像中特定物体的关键节点或部位，如在人体图像上标注出关节点位置，用于姿态估计和动作识别等领域。3.数据标注的分类文本数据标注可分为以下几类：命名实体识别标注识别文本中的命名实体，如人名、地名、组织机构名等，并标注其类别，例如在“苹果公司发布了新款手机”这句话中，标注“苹果公司”为组织机构名。情感分析标注对文本的情感倾向进行标注，如积极、消极或中性，常用于分析用户对产品、服务等的评价和反馈。文本分类标注关系抽取标注将文本划分到不同的类别中，如将新闻文本分为政治、经济、体育等类别，以便进行文本分类和信息检索。标注文本中实体之间的关系，如“苹果公司创始人是史蒂夫・乔布斯”中，标注出“苹果公司”与“史蒂夫・乔布斯”之间的“创始人”关系，有助于知识图谱的构建。3.数据标注的分类语音数据标注可分为以下几类：语音转文字标注将语音内容转换为文字形式，同时可能还会标注一些语音的属性，如说话人身份、口音、语速等，为语音识别系统提供训练数据。语音情感标注根据语音的语调、语速、音量等特征，标注出语音所表达的情感，如高兴、悲伤、愤怒等，可应用于情感交互的语音应用中。语音分类标注将语音按照不同的类别进行标注，如将语音分为电话语音、会议语音、环境声音等类别，用于语音信号的分类和识别。感谢观看主讲教师:马玲Thankyouforwatching项目四《数据标注服务》主讲教师:马玲DataAnnotationService任务二：可行驶区域检测图像标注任务导入可行驶区域检测图像标注，在智能交通和自动驾驶领域至关重要。它精准圈定车辆可安全行驶的范围，是智能系统理解复杂路况的基础。通过对大量道路图像细致标注，标注员为算法提供关键学习样本，使智能车或辅助驾驶系统能有效识别车道边界、路沿、障碍物及可通行的空旷区域。这极大提升了自动驾驶的安全性与可靠性，减少事故风险。标注成果还助力城市交通规划，为新道路设计、交通流量优化提供数据支撑，让出行更高效、顺畅，推动智能交通迈向新高度，塑造更安全、便捷的未来出行体验。任务知识目标21了解自动驾驶相关知识掌握语义分割标注方法掌握数据集标注与质检方法3任务能力目标目标01具备对可行驶区域进行图像分割的能力02具备对数据集标注与质检的能力任务思政目标目标01遵循行业标注规范和标准，确保标注数据的准确性和一致性02具备足够的耐心和细心以确保标注过程的完整性和准确性CONTENTS目录认识自动驾驶01Peoplerecognizeautonomousdriving语义分割标注方法02Semanticsegmentationannotationmethod数据集标注与质检03Datasetannotationandqualityinspection可行驶区域图像的分割标注04Segmentationandannotationofdrivableareaimages视觉传感器：即摄像头，摄像头分为单目视觉和双目（立体）视觉两类。比较知名的视觉传感器提供商有以色列的Mobileye，加拿大的PointGrey，德国的Pike等。激光传感器：分为单线和多线。每多一线，成本相应上涨，当然检测效果也相对更为出色。比较知名的激光传感器提供商有美国的Velodyne和Quanergy，德国的Ibeo等。国内有速腾聚创和禾赛科技。雷达传感器：雷达传感器已经在汽车上得到了广泛使用，应该是车厂Tier1的强项。知名的供应商当然是博世、德尔福、电装等。1.认识自动驾驶自动驾驶是指车辆能够依赖自身对周围环境的感知、理解、自行进行运动控制，达到人类驾驶员驾驶水平。感知传感器包括视觉传感器、激光传感器、雷达传感器等类型。视觉传感器：即摄像头，摄像头分为单目视觉和双目（立体）视觉两类。比较知名的视觉传感器提供商有以色列的Mobileye，加拿大的PointGrey，德国的Pike等。激光传感器：分为单线和多线。每多一线，成本相应上涨，当然检测效果也相对更为出色。比较知名的激光传感器提供商有美国的Velodyne和Quanergy，德国的Ibeo等。国内有速腾聚创和禾赛科技。雷达传感器：雷达传感器已经在汽车上得到了广泛使用，应该是车厂Tier1的强项。知名的供应商当然是博世、德尔福、电装等。1.认识自动驾驶思考为什么需要自动驾驶？视觉传感器：即摄像头，摄像头分为单目视觉和双目（立体）视觉两类。比较知名的视觉传感器提供商有以色列的Mobileye，加拿大的PointGrey，德国的Pike等。激光传感器：分为单线和多线。每多一线，成本相应上涨，当然检测效果也相对更为出色。比较知名的激光传感器提供商有美国的Velodyne和Quanergy，德国的Ibeo等。国内有速腾聚创和禾赛科技。雷达传感器：雷达传感器已经在汽车上得到了广泛使用，应该是车厂Tier1的强项。知名的供应商当然是博世、德尔福、电装等。1.认识自动驾驶引发交通事故的四大原因：驾驶员分心，注意力不集中超速酒后驾驶鲁莽驾驶

高度的无人驾驶系统能有效提高道路交通安全，减少事故发生。视觉传感器：即摄像头，摄像头分为单目视觉和双目（立体）视觉两类。比较知名的视觉传感器提供商有以色列的Mobileye，加拿大的PointGrey，德国的Pike等。激光传感器：分为单线和多线。每多一线，成本相应上涨，当然检测效果也相对更为出色。比较知名的激光传感器提供商有美国的Velodyne和Quanergy，德国的Ibeo等。国内有速腾聚创和禾赛科技。雷达传感器：雷达传感器已经在汽车上得到了广泛使用，应该是车厂Tier1的强项。知名的供应商当然是博世、德尔福、电装等。1.认识自动驾驶未来的无人驾驶还能有效缓解城市交通拥堵，提升出行效率：

高度的、未来的无人驾驶系统是什么？快速了解拥堵情况，及时调整路线避免大量人为因素（如加塞）导致的不合理拥堵….视觉传感器：即摄像头，摄像头分为单目视觉和双目（立体）视觉两类。比较知名的视觉传感器提供商有以色列的Mobileye，加拿大的PointGrey，德国的Pike等。激光传感器：分为单线和多线。每多一线，成本相应上涨，当然检测效果也相对更为出色。比较知名的激光传感器提供商有美国的Velodyne和Quanergy，德国的Ibeo等。国内有速腾聚创和禾赛科技。雷达传感器：雷达传感器已经在汽车上得到了广泛使用，应该是车厂Tier1的强项。知名的供应商当然是博世、德尔福、电装等。1.认识自动驾驶自动驾驶分级L4、L5的自动驾驶不再需要人类驾驶员SAE:美国汽车工程师学会；NHTSA:美国高速公路安全管理局L3以上车辆要感知周边环境变化。激光传感器：分为单线和多线。每多一线，成本相应上涨，当然检测效果也相对更为出色。比较知名的激光传感器提供商有美国的Velodyne和Quanergy，德国的Ibeo等。国内有速腾聚创和禾赛科技。雷达传感器：雷达传感器已经在汽车上得到了广泛使用，应该是车厂Tier1的强项。知名的供应商当然是博世、德尔福、电装等。1.认识自动驾驶自动驾驶首先是对环境信息和车内信息的采集、处理和分析，即环境感知，它是车辆自动驾驶的基础和前提。视觉传感器：即摄像头，摄像头分为单目视觉和双目（立体）视觉两类。比较知名的视觉传感器提供商有以色列的Mobileye，加拿大的PointGrey，德国的Pike等。激光传感器：分为单线和多线。每多一线，成本相应上涨，当然检测效果也相对更为出色。比较知名的激光传感器提供商有美国的Velodyne和Quanergy，德国的Ibeo等。国内有速腾聚创和禾赛科技。雷达传感器：雷达传感器已经在汽车上得到了广泛使用，应该是车厂Tier1的强项。知名的供应商当然是博世、德尔福、电装等。1.认识自动驾驶行驶路径：道路，道路边缘等根据感知对象划分:驾驶状态：驾驶员状态（如疲劳状态）周围物体：行人，车辆，交通标志（如减速、限速），红绿灯等检测道路上的红绿灯、行人激光传感器：分为单线和多线。每多一线，成本相应上涨，当然检测效果也相对更为出色。比较知名的激光传感器提供商有美国的Velodyne和Quanergy，德国的Ibeo等。国内有速腾聚创和禾赛科技。雷达传感器：雷达传感器已经在汽车上得到了广泛使用，应该是车厂Tier1的强项。知名的供应商当然是博世、德尔福、电装等。1.认识自动驾驶常见任务红绿灯检测交通标识检测障碍物检测激光传感器：分为单线和多线。每多一线，成本相应上涨，当然检测效果也相对更为出色。比较知名的激光传感器提供商有美国的Velodyne和Quanergy，德国的Ibeo等。国内有速腾聚创和禾赛科技。雷达传感器：雷达传感器已经在汽车上得到了广泛使用，应该是车厂Tier1的强项。知名的供应商当然是博世、德尔福、电装等。1.认识自动驾驶常见任务可行驶区域检测（车道检测）检测出当前车辆可行驶的区域车道线检测本项目的任务激光传感器：分为单线和多线。每多一线，成本相应上涨，当然检测效果也相对更为出色。比较知名的激光传感器提供商有美国的Velodyne和Quanergy，德国的Ibeo等。国内有速腾聚创和禾赛科技。雷达传感器：雷达传感器已经在汽车上得到了广泛使用，应该是车厂Tier1的强项。知名的供应商当然是博世、德尔福、电装等。2.语义分割标注法语义分割熬标注图像语义分割（semanticsegmentation）就是让计算机根据图像的语义进行标注。图像的语义指图像的内容，对图片的理解；分割表示从像素的角度分割出图片中的不同对象。分割出道路：不一定要分割所有区域，只需要分割出感兴趣区域分割出自行车、人、背景激光传感器：分为单线和多线。每多一线，成本相应上涨，当然检测效果也相对更为出色。比较知名的激光传感器提供商有美国的Velodyne和Quanergy，德国的Ibeo等。国内有速腾聚创和禾赛科技。雷达传感器：雷达传感器已经在汽车上得到了广泛使用，应该是车厂Tier1的强项。知名的供应商当然是博世、德尔福、电装等。2.语义分割标注法相较于分类任务与目标检测任务，语义分割任务能提供像素级别的图像理解。图像分类：识别图像中的内容目标检测：检测图像中的内容和位置（通过边界框）语义分割：检测图像中的内容和位置（通过图像像素）激光传感器：分为单线和多线。每多一线，成本相应上涨，当然检测效果也相对更为出色。比较知名的激光传感器提供商有美国的Velodyne和Quanergy，德国的Ibeo等。国内有速腾聚创和禾赛科技。雷达传感器：雷达传感器已经在汽车上得到了广泛使用，应该是车厂Tier1的强项。知名的供应商当然是博世、德尔福、电装等。2.语义分割标注法图像语义分割的应用地理环境检测：分割出道路，河流，建筑物等环境。自动驾驶环境检测：分割出车辆周边的道路、行人等医疗影像分析：分割出牙齿结构与病灶。感谢观看主讲教师:马玲Thankyouforwatching项目四《数据标注服务》主讲教师:马玲DataAnnotationService任务三：客服语音转写标注任务导入客服语音转写标注具有重大意义。在客户服务场景中，每天会产生海量语音沟通记录。转写标注可将这些语音精准转化为文字，并对关键信息加以标记。一方面，企业能借此快速梳理客户诉求，精准定位问题，大幅提升服务效率，及时解决客户困扰，增强客户满意度与忠诚度。另一方面，大量标注数据能助力人工智能客服的优化升级，为智能客服模型提供丰富学习样本，使其更好理解人类语言逻辑与情感倾向，模拟真人客服对话，实现更自然、高效的交互。最终推动企业客户服务水平迈向新高度，在激烈市场竞争中赢得优势。任务知识目标21了解语音标注任务分类熟悉语音标注应用场景掌握语音标注工具的使用3任务能力目标01使用工具完成对语音的标注，并达到质检要求的能力。任务思政目标目标01保持对新技术和新方法的关注，不断学习和适应语音转写领域的最新发展。02具备自我提升的能力能够根据反馈和经验不断优化转写流程和方法提高转写效率和质量。CONTENTS目录语音标注任务分类01Classificationofvoiceannotationtasks语音标注应用场景02Applicationscenariosofvoiceannotation语音标注工具介绍03IntroductiontoVoiceAnnotationTools语音标注工具使用04Useofvoiceannotationtools1.语音标注任务分类语音数据标注的目的在于对语言段中的各种属性加以辨认与标识，包括语音内容、噪音种类、周围环境、说话人信息、说话人情感等，从而帮助提升人工智能领域中语音研究方向的性能。与多种多样的语音交互场景相同，语音数据标注任务也具有各自不同的形式，大致可从以下不同维度考察它们的特点：

1.按照智能应用场景，可划分为智能家居、智能会议、智能客服、智能车载等。

2.按照语音信号处理研究方向，可划分为语音识别、语音合成、说话人识别、情感识别、语音分离等。

3.按照音源与拾音器之间的距离，可划分为近场语音、远场语音。4.按照语音时长，可划分为短语音、长语音。5.按照难度等级，可划分为简单、中等难度、高难度。6.按照口音，可划分为普通话、方言、带地方口音的普通话等。

除此之外，小语种、外语相关的语音数据标注任务则需要有相应专业背景的专业人士来完成，这也加大了语音数据标注任务的难度。2.语音标注应用场景语音标注是我们的标注员不断地对语言信息进行转写，让人工系统进行学习的过程。目前，语音识别技术在我们日常生活中的很多方面都有所普及，例如我们的微信翻译、语音助手、智能音响、智能客服等，随着人工智能的逐步发展，人机语音交互场景将会向更多的方向延伸，对辨认精度、场景优化、语音辨认技术等方面提出了更高的要求。常见有下面四大场景：1.语音清洗2.语音转写3.语音切分4.音素标注激光传感器：分为单线和多线。每多一线，成本相应上涨，当然检测效果也相对更为出色。比较知名的激光传感器提供商有美国的Velodyne和Quanergy，德国的Ibeo等。国内有速腾聚创和禾赛科技。雷达传感器：雷达传感器已经在汽车上得到了广泛使用，应该是车厂Tier1的强项。知名的供应商当然是博世、德尔福、电装等。2.语音标注应用场景1.语音清洗语音清洗通过技术清洗空音频，