大数据应用云平台及新一代智能网络通讯研发项目可行性研究报告

大数据应用云平台及新一代智能网络通讯研发项目可行性研究报告一、项目内容概述本项目以建设创意信息大数据应用云平台及新一代智能网络通讯的研发和应用实践为主要建设内容，具体如下：1、大数据应用云平台项目创意信息“大数据应用云平台”基于大数据、云计算、物联网等技术，适用于政务、环保、电力等行业，是从数据采集到数据处理、数据应用、数据管理、数据存储、再到数据备份服务的软、硬件数据分析平台，其通过“硬件+软件+服务”的集成，为政务、环保、电力等不同行业用户、服务商、数据管理者、消费者提供基于云计算的智能化、可定制、可视化的数据模型管理平台，最终形成面向大数据深加工的核心产品及服务。通过建设“大数据应用云平台及新一代智能网络通讯的研发和应用实践项目”，进而在此基础上实施大数据分析、安全脱敏、智能备份及提供其他增值服务，一方面可以帮助公司以现有产品作为切入点，云化建立具有自主知识产权的大数据平台，更好的满足现有业务领域客户；另一方面，公司可以利用云平台，通过大数据分析解决虚拟运营商在实际业务开展中遇到的困难，为其提供差异化服务，丰富虚拟运营商IT服务提供方式，从而获取更大的利润空间。“大数据应用云平台”主要包含“六大自主可控基础产品开发”和“两大应用服务”；经过前期的市场调研工作，结合公司自身优势，本项目大数据应用云平台的业务应用将优先开发工业物联网支撑平台应用服务、持续运营个性化流量应用服务。具体如下：1.1大数据应用云平台（1）企业级大数据平台（D+）企业级大数据平台（D+）是基于开源ApacheHadoop，综合大数据市场需求，打造的企业级大数据平台产品。产品集成Hadoop生态圈中多种优秀组件，实现采集、处理、分析、存储、搜索、算法、服务、安全等全域一体化的数据加工能力。通过实时动态分析、离线数据模型分析、挖掘、预测等手段，为企业级用户提供强大的分析、决策、创新等支撑能力。D+定义D+平台同步最新的ApacheHadoop稳定发行版，集成了最新稳定的Pig、Hive、Ooize、Tez、Storm、Spark、HBase、Solr、Kafka、Flume、Sqoop、Knox、Ranger、Hue、Zookeeper等组件，极大增强其兼容性、安全性、稳定性，解决了版本、组件等相互依赖问题，使用户能够专注于数据存储、处理等业务应用，而不用关心底层平台问题。D+体系架构D+平台以YARN作为架构中心，支持多任务、多负载、多处理方式（从批处理到交互式处理再到实时处理），拥有企业级大数据平台所需的关键能力——管理、安全和运营。平台全面的功能集包括：集中监管、数据存储、数据访问、数据安全等主要功能。（2）大数据业务模型平台（M+）大数据业务模型平台（M+）构建了基于大数据业务的PaaS层服务。依托大数据领域从业人员（业务分析师、业务分析专家、模型设计人员、测试人员、管理维护人员、服务方和集成商等）的具体需求，构建了大数据业务模型全生命周期的闭环管理，平台具备可视化大数据业务建模、业务模型自动化部署、模型测试、可视化展示、业务模型调度维护等功能，支撑多租户的大数据业务模型开发、共享、授权与管理。平台以企业业务逻辑为导向，使数据分析者只关注具体的业务分析逻辑而无需关注底层大数据平台的技术细节，极大提高了业务模型开发的速度和便捷性。新型大数据整体分析模式M+包含以下几个主要功能：①可视化模型开发客户端：模型设计可视化、运行数据可视化、模型开发引擎；②认证与用户管理服务：用户管理、模型权限自动化分配管理、模型与用户权限认证；③模型管理服务：模型库管理、模型发布、模型类型配置、模型审核授权；④模型调度服务：任务调度引擎、日志引擎；⑤模型解释服务：模型自动化编译引擎、模型自动化解释引擎。大数据业务模型平台一站式大数据综合架构（3）大数据数据处理平台(TROYETL)TROYETL是同时支撑Windows和Linux运行环境的大数据数据处理平台。TROYETL能够快速便捷的完成涵盖各种数据结构的转换、过滤、清洗工作；其全程的可视化操作及监控体系为业务人员、运维人员、开发人员从数据集成设计、调度运维、功能扩展及支持提供了完善的支撑。大数据数据处理平台整体架构①大数据层平台提供对分布式文件系统的支撑,同时对创意企业级大数据平台(D+)提供的大数据环境进行了功能优化,对比其他开源环境拥有更高的执行效率。支撑的组件包括Oracle、Hadoop、MongoDB、Hive、Kafka、Hbase、Storm等。②内核层平台内核层作为整个平台的基础能力提供层：提供安全加解密、线程管理、数据库驱动、消息传递、日志管理等功能，同时可通过插件接口实现对新功能的自定义扩展。③引擎层提供作业、转换、批处理任务、元数据、系统数据交换引擎功能。④应用层平台具有：可视化的ETL任务设计器、批量的任务调度器、支持动态集群调度管理器和分级的日志管理功能。大数据数据处理平台特性（4）数据脱敏（敏感数据管理）产品创意“数据脱敏产品”是一个适合不同行业和用户的全方位产品，内置丰富的敏感数据发现、脱敏算法能够支持金融、政府、教育、零售等不同行业的数据脱敏需求；又能支持国内外主流的数据存储平台，包括：数据库、Hadoop大数据分析、文件等的全面智能的数据脱敏软件。与其他脱敏软件不同的是，创意研发的“数据脱敏产品”是可以与创意信息研发的数据敏捷管理平台CDS产品实现无缝对接，可以在统一的图形化界面管理中帮助客户实现测试、开发和数据分析等多种场景下的应用需求，通过“数据脱敏产品”的自助服务平台，适应大型企业、大项目的不同复杂场景的敏感数据管理，灵活的脱敏算法自定义能力，包括支持混排、替换、随机、波动等常见的脱敏算法。脱敏过程全内存的数据处理，保障数据不会在脱敏过程中泄露，部署架构方面支持集群部署和并行处理，保障大数据分析要求的处理能力。（5）分布式块存储产品在日益激烈的竞争环境中，高效、敏捷的IT服务能力已成为现代企业取得商业成功的核心要素。数据库、虚拟化、云应用要求IT系统更富于效率和灵活性，而以传统的高中低端磁盘阵列为代表的“传统SAN”IT基础设施是孤立、僵化、不灵活的，它们在性能、扩展性、可管理性等方面存在明显的局限性，无法始终为客户提供所需的可扩展性、弹性和灵活性来满足当今高性能应用程序的需求，更不用说满足整个业务的需求。云计算、虚拟化、分布式、软件定义技术的快速发展，促使数据中心的建设目标和技术架构发生了深刻的变化，要求实现更高的效率、服务水平、灵活性和敏捷性。经过前期的市场调研工作，结合公司自身优势，本项目中研发的分布式块存储设备具备以下特点：企业级数据服务，充分利用各类高性能标准X86硬件资源，构建高效的分布式块存储架构，可通过高性能的VM专用接口，NBD接口和iSCSI接口供业务主机访问，可完整支持虚拟化、云计算、数据库等各类企业级应用场景，包括数据保护，容量优化，快照和克隆，动态分层，SLA保障，安全加密等。弹性化存储管理，采用完全横向的扩展模式，可实现真正不停机的动态扩容，按需配置，随需扩展高性能，采用Scale-out分布式设计架构，存储集群内部每个节点可以并行的对外提供访问，自动负载均衡等多种性能优化机制，可构建一个高带宽、高并发、低延时的高效存储平台。低TCO成本，可以不采用同等节点，让用户充分利旧原有资源的灵活组建方式可以最大限度的降低TCO成本，且支持动态可扩展的扩容，最大限度保护已有投资。（6）备份系统智能分析及自动化恢复验证平台产品研发的备份系统智能分析及自动化恢复验证平台，初期以支持当前在金融/能源/电信运营商中使用比例最高的NBU软件为基础，实现针对NBU软件的备份系统智能分析和自动化恢复验证，同时，开发与数据敏捷管理平台的对接，实现一套平台下的数据全生命周期管理和使用，真正将数据的在线、近线、离线管理落到实处，实时展现当前数据副本的状态。未来考虑逐步加入客户当前使用量较大的其他备份软件的支持。本期研发的产品还具备以下功能特点：灵活部署方式，提供私有云和公有云两种模式，无缝对接企业内部已有的NBU备份平台，松耦合的方式获取数据及验证图形化操作界面，通过WebGUI的图形界面的方式进行操作，设置验证策略及分析策略，采用智能数据分析方法将分析结论以动态图形的方式予以展现，且可以记录不同时期的分析结果，实现多维度对比，并给出备份系统当前存在的问题及建议修改的方式。丰富的接口，提供Restful的API接口，同时可以与北京创意云智的数据敏捷管理产品实现无缝对接，从而在提升现有备份系统能力的同时，也可以在统一的界面内对客户的数据进行全生命周期管理，同时预留了未来与其他备份软件对接的接口，方便与其他备份软件集成。1.2工业物联网支撑平台应用随着工业4.0以及互联网+概念和政策的出台，单一的设备人员本地服务以及粗放的本地监控服务模式，已经远远不能满足客户复杂的业务需求。结合邦讯信息在物联网方面的技术优势和创意信息在大数据技术方面的长期积累，工业物联网支撑平台应用将面向行业客户提供设备运行情况、数据接入采集，并对采集的数据进行汇总和综合分析，最终形成企业设备管理和维护的最佳方案，优化资源配置。该平台可以应用于能源行业、智能监控行业、安防行业、基于物联网的传统行业改造。1.3个性化流量应用“创意流量”是在基于云端数据分析的流量消费服务，负责对运营商流量的交易、流转、兑换、结转，根据不同的应用场景，通过流量7个维度流量属性（大小、时间、内容、位置、质量、流向、流速）的不同配置组合,面向个人用户、家庭用户、企业用户及相关互联网流量销售合作伙伴开展不同类型的流量产品。2、新一代智能网络通讯项目随着3GPP标准Rel15和Rel16的冻结，5G相关的通讯芯片供应商、终端厂家、系统设备供应商从技术角度陆续公布产品路标和发布时间。国内三大运营商也相继推出技术商业白皮书，建立5G应用和产研中心，工信部组织的5G测试已进入第三阶段。创意信息根据未来发展规划，结合技术、市场的资源储备和对新兴5G技术市场、行业方向的调研分析，在公司首席科学家梁平院士牵头的技术团队充分论证和准备下，确定了