大数据技术和标准化

科学、公正、诚信、效劳2内容大数据开展背景标准化工作现状下一步工作重点3一、大数据催生了信息化3.0〔智慧化阶段〕信息化1.0--1995以单机应用为特征的数字化阶段--2021以联网应用为特征的网络化阶段2021-以数据的深度挖掘与融合应用为特征的智慧化阶段信息化2.0信息化3.0？金税工程数据规模更大，来源更丰富，类型更复杂，变化更快4一、大数据催生了信息化3.0〔智慧化阶段〕技术廉价化、互联网发展、信息化建设长期积累，形成了规模巨大的数据资源，且仍将加速增长大数据应用的成功案例，激发了基于数据，萃取知识、指导实践的巨大需求大数据现象出现数据应用需求激增以数据的深度挖掘与融合应用为特征的智慧化阶段信息化3.05二、

大数据的战略意义大数据正在改变人类的思维方式随机样本精确求解因果关系全体数据近似求解关联关系传统思维大数据思维提供新思维、新手段6二、

大数据的战略意义↑GDP促进经济转型增长改善民生：

优化资源配置,健康医疗、就业、社保、教育、公共交通产业转型，创新业态：

颠覆传统产业,提高运行效率和决策能力,催生智能制造、互联网金融等新业态7二、

大数据的战略意义美国棱镜方案：电邮、即时消息、视频、照片、语音、文件传输、视频会议、社交网络等数据的收集与综合分析8大数据采集大数据存储、管理和处理大数据呈现和应用大数据分析和挖掘9三、大数据产业生态链〔商业〕10四、我国大数据产业开展现状11内容大数据开展背景标准化工作现状下一步工作重点12一、大数据工作组概况〔一〕组织架构进一步扩大工作组规模

申请报名的成员单位170+家成员单位管理统一邮箱：

微信公众平台建立联络关系贵州省贵阳市政府、中关村大数据产业联盟建立大数据专家团队一、工作组概况13一、工作组概况〔二〕组织管理2021年12月2日，工作组成立大会2021年7月14日，工作组第二次全会，正式成立7个专题组2021年12月17日，工作组第三次全会〔2021年年终总结〕工作组开展了一系列调研活动，组织线下活动5次，召开专题组会议18次二、标准体系框架1516二、标准体系框架17二、标准体系框架18二、标准体系框架二、大数据参考模型19二、大数据标准化白皮书V2.020二、研究报告4、加强研究?〔英国〕开放数据白皮书?NIST在大数据领域的相关研究报告：?大数据互操作性框架：第一卷：定义?、?大数据互操作性框架：第二卷：大数据分类?、?大数据互操作性框架：第四卷：平安与隐私?、?大数据互操作性框架：第六卷：参考架构?、?NIST大数据互操作性框架：第七卷：大数据标准路线图?。为了更好的开展政府大数据开放共享和数据资产管理方面的标准化工作，工作组正在开展?政府大数据分类分级?和?数据资产管理?的相关研究工作，目前已经形成两份研究报告的初稿。21〔二〕标准化工作进展已立项标准三、标准研制序号计划号标准名称状态120141191-T-469信息技术大数据术语审定会220141190-T-469信息技术大数据技术参考模型完成草案320141184-T-469数据能力成熟度评价模型完成草案420141172-T-469多媒体数据语义描述要求完成草案520141194-T-469信息技术科学数据引用完成草案620141200-T-469信息技术数据交易服务平台交易数据描述完成草案720141201-T-469信息技术数据交易服务平台通用功能要求完成草案820141202-T-469信息技术数据溯源描述模型完成草案920141203-T-469信息技术数据质量评价指标草案大纲1020141204-T-469信息技术通用数据导入接口规范草案大纲23三、标准研制Volume24大数据bigdata具有数量巨大、来源多样、生成极快且多变等特征并且难以用传统数据体系结构有效处理的包含大量数据集的数据。注：国际上，大数据的4个特征普遍不加修饰地直接用volume、variety、velocity和variability予以表述，并分别赋予了它们在大数据语境下的定义：数量VolumeVolume多样性Variety

多变性variabilityVolume构成大数据的数据集的规模。速度Velocity数据可能来自多个数据仓库、数据领域或多种数据类型。Volume单位时间的数据流量。大数据其他特征，即数量、速度和多样性等特征都处于多变状态。25大数据参考体系结构bigdatareferencearchitecture一种用作工具的、便于对大数据内在要求、设计结构和运行进行开放性探讨的高层概念模型。注：比较普遍认同的大数据参考体系结构一般包含系统协调者、数据提供者、大数据应用提供者、大数据框架提供者和数据消费者等5个逻辑功能构件。26大数据生命周期模型lifecyclemodelforbigdata用于描述大数据的“数据–信息–知识–价值〞生命周期和指导大数据相关活动的模型；这些活动主要由收集、准备、分析和行动等阶段覆盖。注：几个阶段的主要活动如下：a.收集阶段——采集原始数据并按原始数据形式存储；b.准备阶段——将原始数据转化为干净的、有组织的信息；c.分析阶段——利用有组织的信息产生合成的知识；d.行动阶段——运用合成的知识为企业生成价值。272829大数据价值链的两个维度组织：30五个角色+两个重要的逻辑构件：平安和隐私管理能够为大数据系统的其他五个主要构件提供效劳和功能已上报申请立项标准序号已申请国家标准名称牵头单位1《信息技术大数据基于参考架构下的接口框架》华为2《信息技术大数据分类指南》中科院信工所3《信息技术大数据系统通用规范》电子四院4《信息技术大数据系统运维和管理功能要求》华为5《信息技术大数据存储与处理系统功能要求》华为6《信息技术大数据存储与处理系统功能测试规范》华为7《信息技术大数据分析系统功能要求》浪潮电子8《信息技术大数据分析系统功能测试规范》浪潮电子9《信息技术大数据面向应用的基础计算平台基本性能要求》浪潮电子10《信息技术大数据

开放共享第1部分：总则》电子四院11《信息技术大数据开放共享第2部分：政府数据开放共享基本要求》国家信息中心12《信息技术大数据开放共享第3部分：开放程度评价》电子四院13《信息技术工业大数据术语》数码大方14《信息技术工业大数据参考架构》数码大方15《信息技术工业大数据工业订单元数据》数码大方16《信息技术工业大数据产品核心元数据规范》电子四院17《信息技术电子商务大数据采集规范》京东18《信息技术电子商务大数据仓库建设模型》京东19《信息技术电子商务大数据应用指标体系第2部分：电子商务大数据》京东开放程度形式许可证★数据在网站上可用（任意格式）开放许可证★★作为结构化数据可用（比如Excel，而不是表的扫描图）开放许可证★★★以一种开放的、非专属的形式可用（比如，CSV、XML而不是Execl）开放许可证★★★★除了使用开放的格式，使用统一资源定位符（URLs）识别使用来自W3C的开放标准和推荐的事物开放许可证★★★★★除了使用开放格式和URLs识别事物，链接数据到其他用户的数据，提供上下文环境开放许可证数据开放程度衡量标准英国内阁办公室?开放数据白皮书?四、工作重点：数据资源开放共享3233四、工作重点：数据资源开放共享提出重点标准研制标准名称参编单位《大数据开放共享第1部分：总则》中国电子技术标准化研究院、国家信息中心、北京信息资源中心、华为技术有限公司、上海卓繁信息技术股份有限公司《大数据开放共享第2部分：政府数据开放共享基本要求》国家信息中心、中国电子技术标准化研究院、阿里云计算有限公司、上海卓繁信息技术股份有限公司、北京市信息资源管理中心《大数据开放共享第3部分：开放程度评价》中国电子技术标准化研究院、国家信息中心、北京信息资源中心、华为技术有限公司、上海卓繁信息技术股份有限公司《信息技术大数据开放共享第4部分：政府资源目录体系》拟立项四、工作重点：数据资源开放共享34收集各领域元数据相关标准，建立元数据资源库已收集到的各领域元数据相关标准相关标准研制元数据资源库对外开放，提供服务四、工作重点：数据资源开放共享35乙方：准确定位甲方的能力和需求，从而提出针对性的大数据解决方案对甲方进行大数据能力评估和认证提供对机构和人员DCMM的认可通过DCMM认证，在工程招投标中证明自身具备数据规划、管理和咨询的能力提供DCMM的咨询和培训效劳实施的意义数据能力成熟度评估行业地方企业领域用户第三方四、工作重点：数据能力成熟度评估36四、工作重点：大数据系统测试3738四、重点领域：数据质量标准化需求数据生命周期报表及相关数据是否准确、可信？信息系统的整体数据质量状况如何？跨系统数据之间是否存在矛盾或者不一致的地方？业务数据的上报是否及时？数据的波动性、有效性如何？质量问题在通过信息化手段进行业务部门横向贯穿的过程中，由于数据质量存在的问题严重影响了信息化和数据的可信度，由此对公司业务运行及决策支持等均带来负面影响在复杂的企业信息环境下，数据在创立、存储、应用、维护、迁移、报废的整个生命周期中的各个环节中，都会产生不同的数据质量问题信息数据生命周期数据存储数据应用数据维护数据迁移数据报废数据创建人力资源复杂的信息环境统计分析财务管理合同管理客户管理39四、重点领域：数据质量标准化数据质量管理—企业面临的问题哪些关键信息缺失?企业常见的数据质量问题?哪些数据相互矛盾?哪些数据是否可以清晰表达?哪些数据没有按照时间的要求进行上传?哪些数据是重复进行定义的?完整性哪些数据没有按照要求的规那么存储？标准性一致性准确性重复性及时性40四、

重点领域：数据质量标准化41四、

重点领域：数据质量标准化数据质量指标数据质量评估度量分析数据质量管理提高数据质量管理评估42四、

重点领域：数据质量标准化数据质量指标43四、重点领域：数据质量标准化数据质量管理数据质量是统计分析的根底数据质量是管理创新的需求数据质量是数据中心建设的需求数据质量是监管的需要数据是企业的重要资产，良好的数据质量可以提高数据的利用价值，帮助企业更准确的判断未来的开展趋势。数据质量管理是数据中心标准标准建设的一局部，也是企业根底数据库建设的必要组成.数据资产管理是信息化开展的新的趋势，是企业中各个业务系统建设的需求，也是企业信息化管理创新的需要。通过数据质量管理可以保证上报数据的及时性、准确性，满足上下级之间数据监管的需要数据质量管理企业信息化的快速开展，累积了大量的数据，如何最大化这些数据的ROI，如何更好的利用这些数据进行决策分析是企业信息化面临的最大的问题。44四、

重点领域：数据质量标准化数据质量标准化情况

数据质量国际标准企业标准行业标准国家标准组织标准DAMADMBOK数据质量度量，数据质量模型，数据质量指标，能力成熟度模型，物联网数据质量ISO19100地理信息质量JTC1/SC725012/25041IBM、Oracle2021年有两个元数据质量的标准数据是企业信息化建设的核心，质量是企业信息化建设的灵魂45四、重点领域：数据质量标准化数据质量标准化需求数据质量评价指标数据质量评价模型数据质量管理体系数据质量管理评估体系46四、工作重点：工业大数据产品加工数据、零部件配置关系、变更记录数据、测试数据、生产设备、质量控制等数据产品设计、建模数据、产品结构数据等个性化定制数据、市场营销等数据业务管理、组织结构、电子商务、市场数据产品故障检测数据、标识数据47四、工业大数据标准重点四、工业大数据中元数据和OID标识体系标识分布式解析对象OID标识服务器1产品生产元数据智能制造中的对象（人、组织、产品等）数据关联OID注册解析系统服务器2产品流通元数据服务器3产品使用元数据服务器3产品回收元数据现状：不同对象标识方案不统一

产品各环节信息无法互通共享解决的问题：不同厂商、种类对象的统一标识

产品生产/流通/使用环节信息互通四、OID标识体系是什么？OID〔ObjectIdentifier，对象标识符〕无歧义地标识对象的全局唯一值[ISO/IEC9834-1|Rec.ITU-TX.660]编码方案：XX.XX.XX.XX…….树状结构，注册机构向下分配OID，无穷结点对象由从树根到结点的路径〔OID〕进行标识例子：农业部：OID(1.2.156.326) 扩展性强分层管理四、OID标识体系的价值

支撑物联网产业大规模应用标识体系之间不兼容、甚至相互矛盾的问题全球范围内对象标识相互理解和处理的需求帮助用户买到高质量的产品全球范围内查询、追溯产品信息选择高质量、有保障的产品促进信息互通、交换和共享异构标识管理系统互连，数据互通和交换政府、地区、行业协会、企业现有的标识管理系统打通产品、人、组织、机器等各类相关信息产品：原材料采购、生产、流通、销售、追溯、回收、管理等各环节的信息互通四、OID标识体系的价值四、OID顶级编码方案典型行业应用国家标准行业标准地方标准RFID传感器网络二维码商业运营公司组织内部对象管理四、OID解析示意图通用解析应用解析四、我国OID应用情况OID注册中心主要职责

-负责管理“ISO分支〞和“ISO-ITU联合分支〞下的中国OID分支-负责国内OID注册、管理、维护以及在国际备案工作

应用领域典型注册机构食品追溯农业部、河北广联公司、天辰、万信方达信息安全国家密码管理局、工业和信息化部信息安全协调司、中金金融认证中心有限公司、天威诚信电子商务有限公司、上海市、山东省、四川省、广东省等多家电子认证公司医疗卫生卫生部统计信息中心、北京大学医学院、北医三院、用友医疗卫生信息系统有限公司、北京亿仁赛博医疗设备公司等金融中国银联网络管理中国互联网络信息中心、清华大学、无线IP标准工作组、北大方正电子有限公司、广东华大集成技术有限责任公司等。监察管理公安部第三研究所协会贸促会商业分会、煤炭协会物资分会教育中央电化教育馆家电中国家电研究院智能制造智能制造安全生产安监总局四、OID注册情况〔1〕

物联网载体典型注册机构RFID、智能IC卡国家IC卡注册中心RFID工作组传感器网络无锡物联网产业研究院、国家传感器网络标准工作组、感知集团有限公司、无锡“感知中国”物联网商会二维码中国二维码产业联盟、武汉矽感科技有限公司、上海新大陆翼码信息科技有限公司仪器仪表重庆享控智能科技有限公司四、OID注册情况〔2〕四、OID注册解析系统建设OID注册解析管理系统注册解析效劳注册效劳系统对接托管效劳快速建立下级系统多种互连方式国际OID树国内物联网公共平台系统对接万信方达：激光码天辰：RFID矽感：二维码享控：仪器仪表四、OID标准情况〔1〕OID基础类国家标准（14项）OID注册机构操作规程信息技术

开放系统互连

注册机构操作规程一般规程已经发布OSI登记机构的操作规程第3部分:ISO和ITU-T联合管理的顶级弧下的客体标识符弧的登记已经发布OSI登记机构的操作规程第5部分

VT控制客体定义的登记表已经发布OSI登记机构的操作规程第6部分：应用进程和应用实体已经发布OSI登记机构操作规程第8部分：通用唯一标识符的生成和登记及其用作ASN.1客体标识符组件已经发布抽象语法记法ASN.1信息技术抽象语法记法一(ASN.1):基本记法规范已经发布信息技术

抽象语法记法一(ASN.1)第2部分信息客体规范已经发布信息技术抽象语法记法一(ASN.1)第3部分:约束规范已经发布信息技术抽象语法记法一(ASN.1)第4部分:ASN.1规范的参数化已经发布抽象语法记法ASN.1编码规则信息技术ASN.1编码规则第1部分：基本编码规则（BER）、正则编码规则（CER）和非典型编码规则（DER）规范已经发布信息技术ASN.1编码规则第2部分：紧缩编码规则（PER）规范已经发布OID国家编号体系信息技术开放系统互连OID的国家编号体系和注册规程已经发布解析系统信息技术开放系统互连对象标识符解析系统规范在研信息技术开放系统互连解析系统运营机构的操作规程在研四、标准情况〔2〕

OID应用性国家标准（15项）物联网总体规划物联网标识体系总则征求意见物联网标识体系OID应用指南立项，国际标准传感器网络传感器网络标识传感节点编码规范报批传感器网络标识解析和管理规范报批交通交通运输物联网解析系统征求意见交通运输物联网标识规则交通运输物联网对象分类机动车射频识别标签数据编码和存储分配要求（重庆地标）发布林业林业物联网标识与解析技术规范研制林业物联网对象分类林业物联网标识分配方案二维码企业产品追溯体系评价指标申请立项信息技术供应链平台产品二维码标识规则信息技术供应链平台应用信息数据要求信息技术供应链平台数据接口要求四、OID在应用案例企业注册信息对象基本信息对象追溯信息64五、ISO/IECJTC1WG9大数据工作组工作内容：制定大数据的根底标准找出大数据标准化的差距联络跟踪JTC1内部和外部组织正在开展的标准化工作在根底标准的根底上研制其他大数据标准65五、

ISO/IECJTC1WG9大数据工作组66五、ISO/IECJTC1WG9大数据工作组JTC1/WG9工作组会议信息：年份日期会议地点201512月1-4日巴西巴西利亚20163月8-10日电话会议20167月12-14日中国北京201612月之前（待定）摩洛哥马拉喀什67五、ISO/IECJTC1SC32数据管理与交换68五、

ITU-TSG13第13研究组具体包括：Q2、Q17、Q18，由Q17牵头开展ITU-T大数据标准化的制定工作并负责向TSAG汇报Q2涉及的研究课题：Y.IoT-BigData-reqts“针对大数据的物联网具体需求和能力要求〞Q17涉及的研究课题：Y.BigData-reqts“基于云计算的大数据需求和能力〞Q18涉及的研究课题：Y.BDaaS-arch“大数据即业务的功能架构〞69五、

NISTNBD-PWG大数据公共工作组70五、NISTNBD-PWG大数据公共工作组5个子组及其7个输出：NISTBigDataDefinitions&TaxonomiesSubgroup1.M0392:DraftSP1500-1--Volume1:Definitions 2.M0393:DraftSP1500-2--Volume2:Taxonomies

NISTBigDataUseCase&RequirementsSubgroup3.M0394:DraftSP1500-3--Volume3:UseC