李正海：如何进行大数据顶层设计.pdf

1 如何进行大数据发展顶层设计 李正海 大数据成为热词 2015 年 9 月 5 日 国务院关于印发促进大数据发展行动 纲要的通知 正式发布 在全社会引起广泛影响 各单位领导非常重视 着手开 展大数据工作 然而开展大数据工作 首先就要做好大数据的顶层设计 所以就 这个话题发表一些看法 内容包括顶层设计的模式解读 设计原则 大数据发展 目标 重点任务 关键技术 保障措施 行动计划 顶层设计工作安排等 1 1 顶层设计模式解读顶层设计模式解读 顶层设计需要综合运用系统论 博弈论 控制论的方法 从全局的角度 对 大数据工作的各方面 各层次 各要素统筹规划 以集中有效资源 高效快捷地 实现大数据发展目标 促进中国经济社会发展 顶层的定位 既然是顶层设计 那么首先就必须有顶层的定位 在实际的运 作中 编制顶层设计的人员 往往不是企业的最高领导 这就需要编制者把自己 定位在最高领导的层面来看待问题 而作为大数据项目 必须体现足够的高度 这就意味着还需要以更高的角度来定位 笔者一般建议至少再提升三个层次 具 体而言 例如一个工厂制定大数据目标 可能编制者是企业的 CIO CIO 就必须 首先把自己提升到 CEO 的层面 再扩展三层 那就分别是集团层面 行业层面 地区经济层面 供应链生态层面 要素梳理 然后是顶层设计需要考虑各要素 从全局角度看待 运用系统论 的方法 建议可以按照高度 长度 角度的方法进行设计 高度方面例如按照组 织维度 在企业可以按照工人 班组长 车间主任 副总经理 总经理这样的高 度不断上升 长度方面针对流程 例如企业的合同发展流程 这个流程需要实现 全流程 全生命周期 从询价 合同 付款 发票 发货 收货 验收 安装调 试 售后服务 并指导服务中产生的问题促进产品的改进 角度也可以理解为维 度 大数据涉及多个维度 例如企业中的产品角度 商务角度 技术角度 工厂 角度 设备角度等 分析关系 需要分析系统与要素之间的关系 要素与要素之间的关系 这种 关系是因果关系 关联关系 逻辑关系等等 在数据层面上 需要考虑数据的总 分关系 比较关系 时序关系 空间关系 关联关系等等 这种关系需要注意的 是不仅仅要考虑单个要素与单个要素之间的关系 更需要考虑多要素之间的关 系 从而构建模式 模型 要素提升 针对各种要素 需要分析要素的现状 需求 确立要素的发展目 标 资源分配 具体任务 行动计划和执行保障措施等 这是大数据顶层设计的 2 颗粒化考量 也是大数据顶层设计能否可行的关键 综合平衡 创新为先 在前面的工作完成后 从系统的层面综合平衡 实现 统筹规划 分布实施 以效益驱动为原则 不断突破重点要素发展 从而形成滚 雪球的良性循环 在各个组织 流程 业务方面实现创新 从而形成一个高水平 的大数据发展顶层设计 2 2 大数据顶层设计的原则大数据顶层设计的原则 在进行大数据顶层设计时 需要收集足够的信息 确立多个方案 与相关的 资源相匹配 大数据顶层设计的内容首先需要有可行性 是可实施可操作的 表 述简洁明确 实施量化管理 然后需要有关联性 大数据项目不是单元项目 抽 一发而动全身 因此对于各个要素之间的联动关系 博弈关系需要理顺 例如各 个部门之间的利益平衡问题 第三是技术先进性 大数据是典型的技术密集型事 业 因此需要有国际化视野 结合国际发达国家 国际 500 强公司的层次进行设 计 并且不断动态创新 第四是有经济性 综合平衡大数据的投入产出 充分利 用互联网时代的外部资源 实现生态发展 优化资源配置 从而获得较高的经济 与社会价值 3 大数据发展目标 首先大数据发展的目标制定需要把握大目标 长期目标 预测目标的思路 所谓大目标就是目标的制定需要足够宏大 足够先进 足够创新 对经济 社会 企业发展有着重大影响 就像美国的登月计划 通过重大目标 促进大家为之努 力 为之产生激情 端正态度 不懈努力 目标制定是长期的 不是短期的 因 此可以包括短期的紧急的项目 但是这不是重点 重点是相对长期的目标 例如 考虑 10 年 重点 3 到 5 年 这样通过一段时间的工作 可以获得一定的有规模 的收益 有着明显的改进创新 第三是预测为核心 这种预测是顶层设计的基础 首先需要利用大数据对单位的发展进行预测 更要预测整个社会 经济 政治发 展 再进一步考虑如何发展大数据预测技术本身 第二大数据的目标确立可以从三个维度来考虑 这三个维度分别是业务目 标 数据目标和对标目标 大数据通常理解是项技术 是物理世界向虚拟世界的 转变 因此数据是为业务服务的 针对什么样的业务发展目标 那么就可以根据 业务发展来制定大数据目标 笔者更建议针对业务问题 利用数据思维的方式进 行业务问题的提出 收集数据 分析 提出解决方案 再分析评价 将解决方案 进行实施 而不是为了大数据而大数据 这是要排一位的 单位的战略发展目标 指引大数据发展目标 大数据促进战略发展目标优化创新 然后才是数据目标 数据目标可以套用亚信武源文武总的说法 数据大到有商业价值就是大数据 那 么在没有达到一定的数据规模之前 往往也难于发现一定的价值 因此需要付出 3 一定的成本来设置数据目标 让数据的总量过了阀值 例如曾经的一份材料中介 绍 传统的医疗分析 数千样本就很难得 但是这样的样本数 发现潜在规律 例如遗传基因缺陷 数据量是不够的 而到了 2 万以上的样本数 才会显著 但 是针对数据 我们需要注意的是 仍然不是为了大数据而无限制地扩展大数据 需要考虑收益与成本之间的平衡 第三是竞争目标 例如其他国家 其他部委 集团 企事业单位 有什么样的大数据规划 自身也对应地制定相应的顶层设计 但是这种设计需要不同的策略 例如采取的是追随策略 还是在别人的基础上的 超越策略 还是充分考虑了各方情况后 采取的创新策略 第三大数据发展目标可以分成应用目标 技术目标 基础保障目标 应用目 标方面包括单元应用目标 内部的集成应用目标 外部集成目标 数据共享目标 在技术目标方面可以按照大数据的业务流程 从数据的采集 传输 存储 清洗 装载 统计分析 数据挖掘 可视化 数据应用等多个方面考虑提升技术水平 购置相关资源 进行人员培养 结合业务应用 从而达到既有点的先进性 又有 面的普遍性 在基础保障目标方面 确立大数据项目的资金投入目标 组织保障 目标 制度文化建设目标 完成基础设施投入 从而保障大数据顶层设计的落地 执行的可靠有效 4 4 大数据重点任务的选择大数据重点任务的选择 发展大数据 需要确立大数据的重点任务 这些重点任务往往也是有关联关 系的 不同性质的单位 采取的重点任务也会不同 因此从大数据的产业布局方 面来综合选择大数据的重点任务 大数据基础设施 对于大数据的运营支撑单位 例如电信企业 移动 电信 联通这样的 实现数据存储 网络建设是关键 而对于华为中信这样的企业 如 何提升网络设备 客户终端是关键 而对于大型企业 构建自己的数据中心 内 部安全网络是关键 而对于中小企业 如何学会使用基于云的基础设施成为重点 大数据应用技术 对于掌握大数据的公司 例如金融 电信 医疗等等 自 身可以利用大数据进行分析应用 需要培养自身的人员队伍 但是毕竟大数据是 个非常专业的领域 利用大数据技术促进政府治理 企业发展 升级改造是很多 单位并不具备的实现 从产业布局看 例如亚信这样的企业可以有巨大发展机会 而很多中小型企业 利用大数据技术与大型单位合作 选择细分领域 也会有很 多发展机会 大数据相关产品 随着经济全球化 互联网发展把世界变成了地球村 大数 据的发展如火如荼 核心就是很多细分领域因为这种全球市场也变得有经济规模 了 因此发展大数据产品获得了很多投资机构 天使的青睐 而且结合很多地方 政府治理 惠民服务 企业发展的细分需要 也有大量的空白需要填充 4 大数据云平台 大数据不是一个独立单位的业务 真正做好大数据 需要有 一定的数据规模 这种规模不仅体现在数据量上 更体现在数据维度 数据时效 乃至数据质量等多个方面 针对地区 行业 供应链的大数据云平台 实现数据 的统一的存储 集成 共享 分析应用 才会获得相应的价值 但是我们的建议 是这种平台不再是传统的单中心模式 而是分散中心模式 但是这种中心也不是 过度颗粒细分的 而需要一定的规模 例如笔者反对铺天盖地的数据交易中心 但是如果各地政府 结合自身的资源 例如实现结合行业的多数据中心则是合理 的 基础理论研究 中国的大数据事业已经上升到国家战略 但是我们国家的原 创性是不足的 而在中国巨大的人口红利下 中国的高校 研究机构有了很好的 弯道超车的机遇 各单位组建有规模的力量 针对细分领域进行基础理论研究 例如算法 模型扥 并加强科技成果转化 也会对大数据的发展起到重要作用 模式创新 这里的模式对于企业是商业模式 对于政府是治理模式 服务模 式 这种模式不再是单点的优化 改进 而需要全组织 全流程 全生命周期来 系统化创新 在多点进行突破 从而保证最终的结果优化 这种模式下 就需要 物联网 互联网 云计算 大数据的协同应用 从而实现作业 流程 经济价值 管控 决策的协同优化 提升顾客体验 满足人民生活需要 5 5 关键技术关键技术 大数据是个系统工程 做好顶层设计需要多方面考虑 而这些方面也需要进 行顺序排列 确立权重 笔者认为文化与制度 数据处理相关技术 数据标准 安全隐私四个方面十分重要 文化与制度 组织建设在大数据领域需要上升到技术层面 这种话题的核心 是针对大数据应用 如何量化管理单位的相关文化 制度 保障大数据相关人员 的水平 综合能力以及其发挥的绩效 通过量化管理思维的锻炼 用数据说话的 习惯养成 需要很多技术支持 在这个领域有所突破对于大数据工作的开展有画 龙点睛的意义 数据处理相关技术 涉及大数据流程的各项单元业务 如大数据采集 大数 据预处理 大数据存储及管理 大数据分析及挖掘 大数据检索 大数据可视化 大数据应用 大数据安全等 基础技术方面包括语音识别 图像 视频识别 文 字语言分析 人工智能 机器学习 数据挖掘等等 在基础设施方面的物联网 云计算 服务器 智能能源等等 在应用方面智能制造 智慧城市 智慧生活等 在产业链方面则包括解决方案 公共云平台 政府 PPP 服务等 数据标准 实际上这个数据标准需要泛化 不仅指数据本身的标准 也包括 数据的作业标准 数据的应用标准 例如术语定义 统计方法 基础数据 知识 5 库 模型表达 算法 各种系统的接口规范 自动化处理规范 互操作规范 结 合人的认知规范 交互规范 行为指导规范 数据的质量 交易 产品 安全保 密等 数据安全 数据涉及个人隐私 商业秘密 国家安全 需要在安全与应用之 间取得平衡 可以从数据存储 数据传输 数据应用多个层面进行规划 不仅仅 是保障数据的丢失 被窃 篡改 更要考虑如何实现数据的脱敏 实现数据的安 全存储 灾难控制 日常管理 制定相关的管理制度 法律法规 从而在安全的 基础上 实现大数据事业的发展 6 6 保障措施保障措施 在顶层设计中 需要设计组织保障 资金保障 文化制度保障 技术先进性 保障 安全可靠保障 从而形成全方位 立体的 全流程的保障措施 促进大数 据的良性滚动发展 组织保障 在单位中构建大数据的领导小组 工作组 制定人员规划 职责 规划 绩效规划 建立沟通协调机制 加强内部与外部资源的联系 结合自身特 色 制定组织发展规划 统一思想 构建大数据发展的人才梯队 资金保障 规划顶层设计费用 启动项目费用 长期投入费用 结合单位业 务发展需要 综合短期 中期 长期 充分利用政府扶持资金 企业自身投入资 金 同时积极利用资本市场 另外充分利用合作单位资金 联合攻关 共投入 共收益 利用大数据促进单位业务改进 并可利用大数据交易市场实现大数据资 源收益 文化制度保障 利用法律法规保障大数据安全可靠 促进数据开发 在企事 业单位内部 激发大数据的量化文化 利用制度保障信息化项目 大数据项目的 执行 管理 决策 促进创新 保证数据质量 数据时效 从而促进大数据产生 经济价值 社会价值 技术先进性保障 大数据发展突飞猛进 单独一个单位的力量有限 因此必 须内外结合 企业内部建立人才培养模式 构建多层次 多类型的大数据人才 在单位内部应用大数据 推广大数据 不断跟踪国内外大数据的发展现状 趋势 建立与高校 研究所的合作关系 建立大数据专家资源池 积极参与国际交流合 作 充分利用国际资源 引进人才 产品 技术 服务 参与 开拓国际大数据 市场 参与制定大数据国际标准 7 7 确立大数据项目的行动计划确立大数据项目的行动计划 大数据项目很多人认为是云里雾里 我们认为核心有三个问题需要认真考 虑 分别是顺序问题 阶段问题 起步问题 6 路线需要解决先做什么 后做什么 也就是顺序问题 那么针对目标 资源 问题等等 我们需要确立要素之间的关联性 确立其逻辑关系 先有鸡还是先有 蛋的问题 例如有数据的企业 可以去分析数据 但是没有数据的企业则需要先 去收集数据 但是收集哪些数据 又是业务问题来确立的 那么我们目前需要解 决的业务问题是什么 而确立了这些问题后 哪些是可以解决的 哪些是短期不 能解决的 存在技术障碍的 在具体执行时 可以采用思维导图 金字塔原理进 行表达 分析 调整 梳理 而在排序的时候 则需要综合考虑平衡发展的问题 难度的问题 价值的问题等等 典型的 例如优先考虑实施最有价值的项目 同 时虽有难度 但是经过努力还是可以完成的项目 而不是最先开展容易实施的项 目 阶段问题 大数据的工作需要阶段性目标 例如有 10 年计划 五年计划 三年计划 年度计划 对于顶层设计 例如可以划分三个阶段 每个阶段都有里 程碑 合理地划分阶段 有助于资源投入 产出的平衡 相关人员心态平稳 积 极地投入工作 促进事业有效而高速发展 大数据是个新生事物 首战告捷是关键 各地 各单位需要打好第一仗 避 免决策失误 因此选择好起步项目 十分关键 笔者的建议是典范性项目需要政 府的引导 企业作为主体 以创新为原则 结合单位的具体情况 采用价值导向 针对业务发展需要 收集具有统计学意义的规模数据 进行分析应用 从而获得 一定的经济价值 并在此基础上进行总结 发布 宣传 交流 从而促进整个各 政府部门 行业主管单位 企事业单位 个人的各方的共同发展环境 8 8 大数据顶层设计的工作安排大数据顶层设计的工作安排 大数据顶层设计工作是项任务艰巨 技术难度大 跨度大的复杂工作 可以 按照如下的模式进行相关工作 构建大数据顶层设计的内部组织 包括领导小组 工作组 领导小组一般由 单位一把手担任 成员包括各个部门的负责人等 领导小组负责重大决策 顶层 设计初步框架 最终结果的审定工作以及工作组人员构成等 工作组一般可以由 单位主管信息化工作副职担任 但是更好的模式是轮换制度 例如初期由业务副 总担任 例如工厂的生产副厂长 后期由工厂 CIO 担任 工作组的成员则包括各 业务单位人员 重要相关部门副职 具体负责人员担任 制定顶层设计的方案可以分成几个阶段 每个阶段产生不同的产出物 例如 首先是大数据顶层设计草案 然后是大数据顶层设计可行性