大数据平台规划方案68672PPT

1、大数据平台计划方案报告，目录，2，大数据平台总体计划，1，大数据应用趋势，1，大数据，2，为电信运营商实施大数据应用程序价值，3，数据平台现状，第1，2阶段构建后的生产平台数据中心，最大数据杨怡增加，需要对基础架构进行长期计划。深入发掘数据价值、研究新商业模式、将成本中心切换到利润中心、4，5、大数据处理的需求和特点、低成本运营、一体化运营、精细运营、完整网络运营、实时智能运营、集中式建设、管理和维护需要BASS和BOSS、CRM集成BSS和MSS、OOS 整体网络服务实时数据收集、处理、分析智能活动事件包括智能管道移动网络、业务运营趋势、对业务支持平台的集中要求、对数据体系结构的集中要求、集

2、中标准化组件：形成可重复使用的组件，集中电信操作员数据趋势，6，7，电信运营面临的大数据挑战，移动网络和个人消费领域业务扩展和CEM导致的及时分析大量数据的挑战，操作员集成集中运营和透明控制，生成巨大的管理分析资料仓储，大数据存储，性能，CEM 运营支持和VAS业务数据融合导致了大规模用户配置文件整合、大数据关联分析计算性能问题、移动网络流量爆发和客户行为分析、业务整合、通过功能互操作性实现数据融合、提高客户体验要求网络服务资料分析、集中IT系统和行业数据价值挖掘、BSS BI数据：河南省17个城市，每天7000多万人、 帐簿每天有4.7亿个数据。GPRS文件大约为100米，其他文件为25米。

3、每日介面数据量：2000G，其中220G，WAP列表300G，工作服务200G，用户，帐单300G，其他980G。每月存储124TB的数据，一年的历史数据保留，总数据量1.45PB。根据用户数量，6.5亿用户总计10PB的数据！总部3G网路存取记录祖怀和分析系统：全国每天需要保留10TB的数据，每月大约1万亿个记录，6个月，约2PB的网络记录数据。网络记录保存时间不到30分钟，原始网络记录保存6个月。网络祖怀速度低于1秒，并发祖怀数为1000请求/秒。188个群集数据节点，2.6 PB的存储容量，传统的数据仓库无法有效地存储不断增长的业务数据存储需求。基本数据(用户数据、产品订购信息):15G

4、/天*365 40G *十二月=5T/年考虑20%的业务增长率后用户网络数据表数据：300T/年，考虑250T/年20%的业务增长率后在大数据体系结构下，需要对用户的原始订单进行器官保留。需要扩展大量存储空间。大数据在现有数据处理方法中面临新的问题，面临大量数据压力，需要提供大数据平台牙齿线性扩展的存储能力。8、各应用节目要求的变化是灾难。由于数据处理和业务之间的密切关系，可能需要逐个调整中间角处理过程。数据重新生成周期也很慢。这是因为现有数据仓库的数据处理过程与业务密切相关。整个数据处理过程是最终的应用程序节目服务。为了缓解存储压力，在数据提取和清理阶段筛选了与业务无关的数据唱片和字段。大数

5、据现有数据处理方法新问题，数据源，详细数据层(DW)，摘要层(MK)，报告数据，标记库，指标数据，客户集成视图，应用层，DWMK大量用户网路存取，网络行为数据(例如用户网络行为)作为结构化数据存储在数据仓库中。现有数据仓库无法有效地响应大数据分析需求。1、目前，网络每日用户网络HTTP核对表达14亿个。每月汇总的记录组数也接近30亿个。随着移动互联网的迅猛增长，现有数据仓库将难以满足数据处理时间和事务处理要求。3，面对大量数据压力，大数据平台必须提供快速处理能力。9、大数据现有数据处理方法面临新问题，现有资料仓储联网将成为大数据分析的瓶颈，目前网络完善营销平台的数据库全部掌握着收集的远视数据，

6、还承担着所有数据处理任务，以及所有报表和业务应用程序的数据存储和计算。数据分层分类和生命周期缺乏有效的管理。系统核心体系结构是Oracle数据库小型外形规格表。数据存储在磁矩阵中，计算在数据库服务器中进行本地读取，然后进行计算。随着数据杨怡的增加，磁盘I/O、网络带宽、数据库服务器处理能力将成为瓶颈，处理延迟将变得很严重。现有体系结构的可扩展性不足，无法满足大数据计算的扩展要求。为了应对大量数据处理的要求，大数据将从中央数据库转变为分布式数据库。计算和存储资源均由x86服务器提供。10、移动物联网和网络需要新领域的突破，与传统的通信业务分析功能不同，传统的体系结构处理困难，因为需要有效分析内容

7、等大量非结构化信息。XML的关系数据库支持仍然无法有效处理。ETL、大数据、传统数据处理方法面临新的问题，传统数据仓库无法有效地处理新的业务数据，传统数据仓库无法有效地支持数据协作。由于原始订单数据周期短，协作操作无法跟踪历史原始数据。弦网传统主数据库的设计只能应用于上层既定的资料分析任务结果。向外部世界开放基础数据会极大地消耗系统资源，影响基础库的正常数据处理过程。同时，数据处理方式和结果也很难满足合作运营的要求。大数据平台的体系结构通过分层管理数据。在每一层提供数据开放接口，以满足各种数据要求。将更有效地支持数据协作。同时，历时的数据可以诱导合作在第一时刻展开。(威廉莎士比亚，温斯顿，精简

8、版)，11，目录，2，大数据平台总体规划，1，大数据应用趋势，12，大数据平台目标体系结构和市场定位，准实时收集，批量收集， 唱片详细数据、HBase、M/R、Hive、唱片摘要数据、数据集成服务和开放SQL、FTP、WS、MDX、API、分布式数据库(MPP):主资料仓储(与MPP结合) ，Hadoop云平台：存储大量流量清单数据，提供平行计算和非结构化数据处理功能，低成本存储和低延迟，以及高并发查询功能。数据开放介面：为大数据应用程序提供大数据平台的功能；数据采集(ETL):负责收集、清理、转换和加载源数据。1、将远视数据加载到Hadoop平台2、处理的数据加载分布式数据库和主资料仓储、应

9、用层、13、HDFS:可在分散式档案系统x86平台上运行的容错能力强、降低总体成本并可扩展、可构建大规模应用程序HBase:非结构化NoSQl分布式数据库分散式档案系统基于HDFS的数据安全热存储保证、存储空间提供大型数据存储类SQL的查询语句，提供大数据统计和分析任务，适用于大型数据的批处理任务MapReduce大型计划并行计算MapReduce:大型计划并行计算引擎可以在群集服务器Hadoop中并行运行任务分布，基于服务器本地计算和存储资源，Hadoop群集可以扩展到数千个服务器规模。 同时，Hadoop充分考虑了硬件设备的不稳定性，确保了数据和计算在软件级别的高可靠性。大数据平台：Had

10、oop主要功能，HBase，MapReduce，Hive，HDFS，快速数据读取，大数据存储统计，复杂计算并行处理，14，Shared Nothing支持Pb级数据存储，包括深入分析、复杂的查询、KPI计算、数据挖掘和各种自助分析应用程序。，大数据平台：分布式数据库，基于新MPP分布式数据库开放平台的x86服务器大规模并行处理能力无单点故障，线性可扩展多复制机制数据安全支持Pb级数据量SQL，开放式灵活性，15，数据分层存储原则，数据融合和分层存储实施，数据血缘，逻辑层，按业务类型列出的设备物理地址，同时考虑影响数据迁移机制的其他分级原则。基于生命周期、基于访问压力、基于业务用途、基于物理属性

11、、分类原则、高性能磁盘库、磁带光盘库、中低性能磁盘库、核心模型(中间摘要模型)转换为现有主数据仓库的核心模型，从而减少数据冗馀并提高数据质量。降低底层数据仓库中的历史和库存数据的低成本分布式数据库，降低底层数据仓库的计算和存储压力，并支持深度数据分析。数据、数据、数据、数据、1、将核心模型合并到主数据仓库中、主资料仓储、2、将历史数据分布式数据库、分布式数据库、1、将库存数据合并到MPP数据库、大数据平台：数据分层存储、16、摘要级别：摘要数据在信息子层提供，以节省计算信息低级数据的成本和计算时间。轻量级摘要层次：在专题域中，基于详细层次数据执行多维、用户级别的摘要。详细数据层：在专题域内进行

12、分区，根据连接ODS生产数据的专题域分区规则进行分区和合并。ODS层：数据源自每个生产系统，通过ETL工具对与介面档案的数据进行编码，并执行数据清洗转换。未来也可以用于准实时数据查询。详细数据级别(DW)、轻量摘要级别(MK)、高摘要级别(MK)、应用程序库、完善的营销、分布式数据库MPP、其他应用程序1、其他应用程序2，将基础数据加载到主数据仓库中，计划保留3年，清理，保留已转换的ODS加载分布式数据库计划1月，生成分布式数据库中的详细数据和轻微摘要数据处理，计划保留2年，将ODS数据和非结构化数据(如爬上爬下的网页数据FTP到Hadoop平台的器官保留)，非关键资料分析处理，Hadoop 详细数据级别(DW)、轻量级摘要级别(MW)数据采集E T L、网络、GN通信端口、非结构化数