《大数据标准化白皮书(2018版)

大 数 据 标 准 化 白 皮 书（ 2018 版 ）编 写 单 位 ： 中 国 电 子 技 术 标 准 化 研 究 院全 国 信 息 技 术 标 准 化 技 术 委 员 会 大 数 据 标 准 工 作 组二 零 一 八 年 三 月 大 数 据 标 准 化 白 皮 书 （ 2018 版 ）顾 问 指 导 组梅 宏 谢 少 锋 戴 红 赵 波 林 宁李 冠 宇 孙 文 龙 商 超 刘 大 山 傅 永 宝侯 建 仁全 国 信 息 技 术 标 准 化 技 术 委 员 会 大 数 据 标 准 工 作 组组长 ： 梅宏副 组 长 ： 孙 文 龙秘 书 长 ： 吴 东 亚联 络 员 ： 刘 大 山杜 小 勇傅 永 宝吴 建 明侯 建 仁闵 万 里编 写 单 位 （ 排 名 不 分 先 后 ）中 国 电 子 技 术 标 准 化 研 究 院勤 智 数 码 科 技 股 份 有 限 公 司神 州 数 码 系 统 集 成 服 务 有 限 公 司北 京 大 学华 为 技 术 有 限 公 司浪 潮 软 件 集 团 有 限 公 司美 林 数 据 技 术 股 份 有 限 公 司陕 西 省 信 息 化 工 程 研 究 院北 京 东 方 国 信 科 技 股 份 有 限 公 司湖 北 省 标 准 化 与 质 量 研 究 院中 电 长 城 网 际 系 统 应 用 有 限 公 司交 通 运 输 部 科 学 研 究 院中 国 科 学 院 信 息 工 程 研 究 所 （ 信 息安 全 国 家 重 点 实 验 室 ）编 写 组 （ 排 名 不 分 先 后 ）江 苏 省 经 济 和 信 息 化 委 员 会成 都 市 标 准 化 研 究 院中 兴 通 讯 股 份 有 限 公 司北 京 市 金 杜 律 师 事 务 所成 都 四 方 伟 业 软 件 股 份 有 限 公 司重 庆 大 数 据 研 究 院 有 限 公 司江 苏 中 堃 数 据 技 术 有 限 公 司深 圳 市 华 傲 数 据 技 术 有 限 公 司北 京 软 件 和 信 息 服 务 交 易 所 有 限 公 司星 环 信 息 科 技 （ 上 海 ） 有 限 公 司九 次 方 大 数 据 信 息 集 团 有 限 公 司湖 北 省 楚 天 云 有 限 公 司交 通 运 输 部 科 学 研 究 院代 红 吴 东 亚 董 建 张 群 刘 宇 峰 李 正 张 慧 敏马 珊 珊张 永 丽光 亮谢 秋 琪尹 卓闵 京 华黄 先 芝郭 亚 茹于 洋刘 莎马 红 霞马 洪 杰张 勇李 佳 承王 东 卫 凤 林 叶 润 国 宁 宣 凤 周 刚 刘 斌 魏 清何 运 昌 于 铁 强 周 洪 明 胡 荣 夏 天 杨 坤 赵 茅张 巍 赵 俊 峰目 录1 前 言 . 11.1 研 究 背 景 .11.2 研 究 目 标 及 意 义 .22 相 关 政 策 法 规 .32.1 国 外 政 策 .32.1.1 美 国 大 数 据 政 策 ....7欧 盟 大 数 据 政 策 . 4英 国 大 数 据 政 策 . 5法 国 大 数 据 政 策 . 5日 本 大 数 据 政 策 . 6印 度 大 数 据 政 策 . 7澳 大 利 亚 大 数 据 政 策 . 72.2 国 内 政 策 .82.2.1 国 家 和 行 业 政 策 ..3国 家 大 数 据 综 合 试 验 区 . 10地 方 政 策 . 132.3 安 全 隐 私 法 律 法 规 .152.3.1 国 内 外 立 法 现 状 .162.3.2 大 数 据 立 法 趋 势 和 对 产 业 的 影 响 .193 大 数 据 发 展 现 状 和 趋 势 分 析 .213.1 大 数 据 核 心 产 业 链 .213.1.1 大 数 据 产 业 生 态 商 业 角 色 构 成 .213.1.2 大 数 据 产 业 生 态 商 业 模 式 分 析 .233.2 重 点 领 域 应 用 ......10社 会 管 理 与 公 共 服 务 . 24农 业 . 31制 造 业 . 32电 力 及 水 务 领 域 . 33通 信 与 电 子 商 务 . 35交 通 运 输 领 域 . 37邮 政 领 域 . 38金 融 领 域 . 39科 学 研 究 . 40教 育 领 域 . 413.2.11 卫 生 领 域 . 43I43.2.12 文 化 领 域 .443.3 大 数 据 发 展 趋 势 分 析 .44大 数 据 参 考 架 构 .474.1 参 考 架 构 .474.2 参 考 架 构 中 涉 及 的 相 关 内 容 .494.2.1 系 统 协 调 者 .4...7数 据 提 供 者 . 49大 数 据 应 用 提 供 者 . 50大 数 据 框 架 提 供 者 . 52数 据 消 费 者 . 54安 全 和 隐 私 . 54管 理 角 色 . 575 大 数 据 标 准 化 现 状 . 595.1 国 外 标 准 化 现 状 .595.1.1 ISO/IEC JTC 1 . 595.1.2 ITU-T . 615.1.3 IEEE BDGMM . 625.1.4 NIST . 635.2 国 内 标 准 化 现 状 .645.2.1 国 家 标 准 现 状 .645.2.2 行 业 及 地 方 标 准 现 状 .666 大 数 据 标 准 体 系 .686.1 大 数 据 标 准 体 系 框 架 .686.2 标 准 明 细 表 .706.3 重 点 标 准 描 述 .757 我 国 大 数 据 标 准 化 工 作 建 议 .7完 善 大 数 据 标 准 体 系 建 设 . 77加 强 大 数 据 标 准 的 宣 传 推 广 工 作 . 77加 强 大 数 据 重 点 标 准 应 用 示 范 工 作 . 77加 强 大 数 据 标 准 化 在 数 据 治 理 领 域 的 推 进 作 用 . 78加 快 大 数 据 标 准 化 人 才 队 伍 的 培 养 . 78加 快 我 国 大 数 据 标 准 的 国 际 化 步 伐 . 788 附 件 ： 成 功 案 例 . 79II1 前 言1.1 研 究 背 景全 球 已 步 入 大 数 据 时 代 ， 互 联 网 上 的 数 据 量 每 两 年 会 翻 一 番 。 截 止 到 2013年 ， 全 球 数 据 量 为 4.3 泽 字 节 ， 2020 年 有 望 达 到 40 泽 字 节 。 如 果 将 数 据 视 为 一种 生 产 资 料 ， 大 数 据 将 是 下 一 个 创 新 、 竞 争 、 生 产 力 提 高 的 前 沿 ， 是 信 息 时 代 新的 财 富 ， 价 值 堪 比 石 油 。 大 数 据 所 能 带 来 的 巨 大 商 业 价 值 ， 被 认 为 将 引 领 一 场 足以 与 20 世 纪 计 算 机 革 命 匹 敌 的 巨 大 变 革 。 当 前 ， 世 界 各 国 政 府 和 国 际 组 织 都 认识 到 了 大 数 据 的 重 要 作 用 ， 将 开 发 利 用 大 数 据 作 为 夺 取 新 一 轮 竞 争 制 高 点 的 重 要抓 手 ， 世 界 工 业 发 达 国 家 纷 纷 制 定 相 关 政 策 ， 积 极 推 动 大 数 据 相 关 技 术 的 研 发 与落 实 。我 国 正 处 于 数 字 经 济 发 展 的 转 型 时 期 ， 信 息 的 公 开 、 共 享 与 服 务 成 为 时 代 发展 的 主 题 。 信 息 逐 渐 成 为 与 物 质 和 能 源 同 等 重 要 的 资 源 ， 以 开 发 和 利 用 信 息 资 源为 目 的 的 经 济 活 动 迅 速 扩 大 ， 逐 渐 占 据 或 超 越 工 业 活 动 在 国 民 经 济 活 动 中 的 地 位 。大 数 据 的 出 现 是 跨 学 科 技 术 与 应 用 发 展 的 结 果 。 对 于 大 数 据 ， 自 然 科 学 家 强 调 在网 络 虚 拟 环 境 下 对 于 密 集 型 数 据 的 研 究 方 法 ， 社 会 科 学 家 则 看 重 密 集 型 数 据 后 面隐 藏 的 价 值 与 推 动 社 会 发 展 的 模 式 。 目 前 大 数 据 在 支 撑 履 行 政 府 职 能 、 保 障 公 共安 全 、 实 施 社 会 治 理 、 支 持 重 大 决 策 和 改 进 公 共 服 务 等 方 面 发 挥 出 越 来 越 重 要 的作 用 。党 中 央 、 国 务 院 高 度 重 视 大 数 据 发 展 ， 将 大 数 据 上 升 为 我 国 国 家 战 略 之 一 。党 的 十 九 大 明 确 提 出 “推 动 互 联 网 、 大 数 据 、 人 工 智 能 和 实 体 经 济 深 度 融 合”。国 务 院 促 进 大 数 据 发 展 行 动 纲 要 （ 国 发 2015 50 号 ） 明 确 指 出 要 “建 立 标准 规 范 体 系 ”。 工 信 部 2017 年 初 发 布 的 大 数 据 产 业 发 展 规 划 （ 2016 2020 年） （ 工 信 部 规 2016412） 中 部 署 了 “推 进 大 数 据 标 准 体 系 建 设 ， 加 强 大 数 据 标 准化 顶 层 设 计 ， 逐 步 完 善 标 准 体 系 ， 发 挥 标 准 化 对 产 业 发 展 的 重 要 支 撑 作 用”的 重点 任 务 。 2017 年 5 月 14 日 ， 习 近 平 在 “一 带 一 路 ”国 际 合 作 高 峰 论 坛 上 发 表 讲话 “要 坚 持 创 新 驱 动 发 展 ， 加 强 在 数 字 经 济 、 人 工 智 能 、 纳 米 技 术 、 量 子 计 算 机等 前 沿 领 域 合 作 ， 推 动 大 数 据 、 云 计 算 、 智 慧 城 市 建 设 ， 连 接 成 21 世 纪 的 数 字1丝 绸 之 路 。”2017 年 12 月 8 日 习 近 平 在 中 共 中 央 政 治 局 第 二 次 集 体 学 习 时 强 调“实 施 国 家 大 数 据 战 略 加 快 建 设 数 字 中 国”。2016 年 ， 在 工 信 部 信 软 司 和 国 标 委 工 业 二 部 的 指 导 下 ， 中 国 电 子 技 术 标 准化 研 究 院 组 织 国 内 相 关 产 、 学 、 研 单 位 的 专 家 针 对 大 数 据 应 用 、 产 业 、 技 术 与 标准 化 需 求 进 行 了 问 卷 调 研 。 通 过 对 调 研 数 据 的 分 析 ， 初 步 形 成 了 对 于 大 数 据 应 用 、技 术 、 产 业 发 展 以 及 标 准 化 需 求 的 分 析 成 果 。 作 为 业 界 共 同 研 究 的 基 础 ， 由 30家 单 位 共 同 编 制 形 成 并 发 布 了 大 数 据 标 准 化 白 皮 书 2016 版 ， 得 到 了 业 界 广泛 关 注 。 2018 版 白 皮 书 在 2016 版 的 基 础 上 更 新 了 大 数 据 政 策 ， 分 析 了 大 数 据 发展 的 最 新 趋 势 和 重 点 领 域 的 应 用 实 践 ， 完 善 了 大 数 据 标 准 体 系 ， 给 出 了 最 新 的 大数 据 标 准 化 工 作 建 议 ， 大 数 据 标 准 相 关 成 果 的 推 进 在 本 版 本 中 也 有 所 体 现 。1.2 研 究 目 标 及 意 义本 白 皮 书 介 绍 了 国 内 、 国 外 主 要 国 家 在 大 数 据 领 域 的 发 展 战 略 、 发 展 现 状 和趋 势 ， 描 述 了 大 数 据 的 核 心 产 业 链 以 及 大 数 据 重 点 领 域 的 应 用 实 践,力 图 从 应 用 、技 术 、 产 业 、 标 准 等 角 度 ， 勾 画 出 大 数 据 发 展 的 整 体 轮 廓 ； 从 数 据 生 存 周 期 的 角度 提 出 大 数 据 参 考 架 构 ； 同 时 抛 开 其 他 影 响 因 素 ， 从 数 据 自 身 的 角 度 提 出 在 不 断创 新 应 用 与 服 务 模 式 下 的 大 数 据 标 准 体 系 及 大 数 据 标 准 化 路 线 ； 最 后 提 出 了 我 国大 数 据 标 准 化 工 作 建 议 。本 白 皮 书 立 足 于 大 数 据 产 业 发 展 的 社 会 转 型 历 史 时 期 所 具 有 的 政 策 、 经 济 与文 化 等 特 点 ,分 析 处 于 初 期 发 展 阶 段 的 大 数 据 产 业 对 于 经 济 、 社 会 的 作 用 和 影 响 ，旨 在 与 业 界 分 享 我 们 在 大 数 据 领 域 的 研 究 成 果 和 实 践 经 验 ,呼 吁 社 会 各 界 共 同 关注 大 数 据 的 政 策 研 究 、 技 术 投 入 、 标 准 建 设 与 服 务 应 用 ， 共 同 推 动 大 数 据 的 发 展 ，提 升 社 会 整 体 决 策 与 服 务 管 理 能 力 。22 相 关 政 策 法 规2.1 国 外 政 策2.1.1 美 国 大 数 据 政 策2009 年 5 月 ， 美 国 政 府 推 出 Data .gov， 这 是 为 了 增 加 政 府 资 料 透 明 度 而 设立 的 一 系 列 网 站 。 宣 布 实 施 “开 放 政 府 计 划 ”（ OpenGovernmentInitiative） ，这项 计 划 提 出 利 用 整 体 、 开 放 的 网 络 平 台 ， 公 开 政 府 信 息 、 工 作 程 序 和 决 策 过 程 ，以 鼓 励 公 众 交 流 和 评 估 ， 增 进 政 府 信 息 的 可 及 性 ， 强 化 政 府 责 任 ， 提 高 政 府 效 率 ，增 进 与 企 业 及 各 级 政 府 间 的 合 作 ， 推 动 政 府 管 理 向 开 放 、 协 同 、 合 作 迈 进 。 联 邦政 府 同 时 开 通 了 旗 舰 级 项 目 “一 站 式 ”政 府 数 据 下 载 网 站 D， 只 要不 涉 及 隐 私 和 国 家 安 全 的 相 关 数 据 ， 均 需 全 部 在 该 网 站 公 开 发 布 。 D 的上 线 意 味 着 美 国 政 府 数 据 仓 库 的 正 式 建 立 ， 标 志 着 美 国 政 府 信 息 进 一 步 公 开 与 透明 。2012 年 3 月 ， 美 国 白 宫 科 技 政 策 办 公 室 发 布 大 数 据 研 究 和 发 展 计 划 ， 成立 “大 数 据 高 级 指 导 小 组 ”， 旨 在 大 力 提 升 美 国 从 海 量 复 杂 的 数 据 集 合 中 获 取 知识 和 洞 见 的 能 力 。 具 体 实 现 三 个 目 标 ： （1） 开 发 能 对 大 量 数 据 进 行 收 集 、 存 储 、维 护 、 管 理 、 分 析 和 共 享 的 最 先 进 的 核 心 技 术 ；（ 2） 利 用 这 些 技 术 加 快 科 学 和 工程 学 领 域 探 索 发 现 的 步 伐 ， 加 强 国 家 安 全 ， 转 变 现 有 的 教 学 方 式 ；（ 3） 扩 大 从 事大 数 据 技 术 开 发 和 应 用 的 人 员 数 量 。2013 年 11 月 ， 美 国 信 息 技 术 与 创 新 基 金 会 发 布 支 持 数 据 驱 动 型 创 新 的 技术 与 政 策 。 建 议 世 界 各 国 的 政 策 制 定 者 应 采 取 措 施 ， 鼓 励 公 共 部 门 和 私 营 部 门开 展 数 据 驱 动 型 创 新 。 指 出 “数 据 驱 动 型 创 新 ”作 为 崭 新 命 题 ， 所 面 临 的 包 括 新概 念 、 新 技 术 的 挑 战 ； 并 就 政 府 如 何 支 持 数 据 型 驱 动 的 创 新 提 出 了 建 议 ： 一 是 政府 应 大 力 培 养 所 需 的 有 技 能 的 劳 动 力 ； 二 是 政 府 要 推 动 数 据 相 关 技 术 的 研 发 。2014 年 5 月 ， 美 国 总 统 行 政 办 公 室 发 布 大 数 据 ： 把 握 机 遇 ， 保 存 价 值 。对 美 国 大 数 据 应 用 与 管 理 的 现 状 、 政 策 框 架 和 改 进 建 议 进 行 了 集 中 阐 述 ； 并 就 保护 个 人 隐 私 的 价 值 、 数 字 时 代 负 责 任 的 教 育 创 新 、 大 数 据 与 歧 视 、 执 法 与 安 全 保3护 、 数 据 公 共 资 源 化 提 出 建 议 。2016 年 5 月 ， 美 国 总 统 科 技 顾 问 委 员 会 发 布 了 NITRD 编 写 的 联 邦 大 数 据研 究 和 开 发 战 略 计 划 ， 该 计 划 在 已 有 基 础 上 提 出 美 国 下 一 步 的 大 数 据 七 大 发 展战 略 ， 代 表 大 数 据 研 究 和 开 发 （ R D） 的 关 键 领 域 。 包 括 在 科 学 ， 医 学 和 安 全 的各 个 方 面 促 进 人 们 的 理 解 ； 确 保 国 家 在 研 发 上 的 持 续 领 导 ； 提 高 国 家 应 对 社 会 压力 的 能 力 以 及 通 过 研 究 和 开 发 面 向 国 家 和 世 界 的 环 境 问 题 。2.1.2 欧 盟 大 数 据 政 策2014 年 欧 盟 委 员 会 发 布 了 数 据 驱 动 经 济 战 略 ， 聚 焦 深 入 研 究 基 于 大 数 据价 值 链 的 创 新 机 制 ， 提 出 大 力 推 动 “数 据 价 值 链 战 略 计 划 ”， 通 过 一 个 以 数 据 为核 心 的 连 贯 性 欧 盟 生 态 体 系 ， 让 数 据 价 值 链 的 不 同 阶 段 产 生 价 值 。 数 据 价 值 链 的概 念 为 数 据 的 生 命 周 期 ， 从 数 据 产 生 、 验 证 以 及 进 一 步 加 工 后 ， 以 新 的 创 新 产 品和 服 务 形 式 出 现 的 利 用 与 再 利 用 。2015 年 欧 盟 大 数 据 价 值 联 盟 正 式 发 布 了 欧 盟 大 数 据 价 值 战 略 研 究 和 创 新议 程 （ 以 下 简 称 为 议 程 ） ， 设 定 了 欧 盟 国 家 和 区 域 层 面 的 发 展 目 标 ， 以 实 现未 来 欧 洲 在 世 界 创 造 大 数 据 价 值 中 的 领 先 地 位 。 议 程 建 议 建 立 欧 盟 大 数 据 契约 的 合 同 制 公 私 伙 伴 (cPPP)， 以 在 欧 盟 2020 地 平 线 (Horizon 2020)、 各 国 和 地区 计 划 中 推 行 议 程 ， 增 强 泛 欧 的 研 究 与 创 新 工 作 ， 形 成 清 晰 的 研 究 、 技 术 发 展 和投 资 战 略 。 议 程 从 七 个 方 面 指 出 了 在 欧 盟 建 立 良 好 的 大 数 据 生 态 系 统 所 需 要 解 决的 主 要 挑 战 。 议 程 对 大 数 据 发 展 目 标 的 预 期 影 响 进 行 了 研 究 ， 设 定 了 关 键 绩 效 指标 ， 以 评 估 预 期 影 响 。2017 年 欧 盟 委 员 会 发 布 打 造 欧 洲 数 据 经 济 报 告 ， 对 数 据 驱 动 型 经 济 的潜 力 、 面 临 的 障 碍 、 解 决 方 案 等 进 行 了 分 析 总 结 。 报 告 指 出 ， 大 数 据 是 经 济 增 长 、就 业 和 社 会 进 步 的 重 要 资 源 ， 2015 年 欧 盟 数 据 经 济 的 价 值 是 2720 亿 欧 元 ， 接 近于 欧 盟 地 区 生 产 总 值 的 1.9%。 如 果 有 适 当 的 政 策 和 法 律 解 决 方 案 ， 数 据 经 济 的价 值 将 会 在 2020 年 翻 一 番 。42.1.3 英 国 大 数 据 政 策2012 年 5 月 ， 世 界 上 首 个 开 放 式 数 据 研 究 所 ODI(The Open Data Institute )在 英 国 政 府 的 支 持 下 建 立 ， 首 批 注 资 十 万 英 镑 。 这 是 英 国 政 府 研 究 和 利 用 开 放 式数 据 方 面 的 一 次 里 程 碑 式 发 展 。 未 来 ， 英 国 政 府 将 通 过 这 个 组 织 来 利 用 和 挖 掘 公开 数 据 的 商 业 潜 力 ， 并 为 英 国 公 共 部 门 、 学 术 机 构 等 方 面 的 创 新 发 展 提 供“孵 化环 境 ”， 同 时 为 国 家 可 持 续 发 展 政 策 提 供 进 一 步 的 帮 助 。2013 年 1 月 ， 英 国 商 业 、 创 新 和 技 能 部 宣 布 ， 将 注 资 6 亿 英 镑 发 展 8 类 高新 技 术 ， 大 数 据 独 揽 其 中 的 1.89 亿 英 镑 ， 将 近 三 成 。 英 国 政 府 预 计 大 数 据 将 成为 英 国 经 济 的 主 要 驱 动 力 ， 而 四 个 大 数 据 研 究 中 心 将 确 保 英 国 在 国 际 竞 争 中 保 持较 强 竞 争 力 。 到 2017 年 ， 大 数 据