大数据中心建设思路PPT幻灯片课件

Xi美林杨晓慧，1，国家网络数据中心概念，2，数据中心建设任务，3，4，数据中心目标架构，显示层，数据分析应用层，数据市场层，EDW，数据存储层，数据源层，跨学科综合分析，市场分析，财务分析，生产分析，设备分析，人力分析，计划分析，综合统计分析，电力市场分析，信息立方体，材料分析，项目分析，跨学科综合市场，企业门户，ODS，5，数据中心执行架构，批量服务，性能和可用性服务， 公共服务、数据提取、数据源、系统、非系统、数据存储、知识发现、在线分析、查询、数据访问、报告、报告、元数据管理服务、技术元数据、业务元数据、元数据存储库、数据仓库体系结构、数据访问、数据访问体系结构、门户系统、系统、数据全局服务、任务重启和恢复、任务调度、监控、拒绝数据、管理、错误处理、异常、日志记录和审计、跟踪、文件传输帮助、帮助、数据存档、线程管理、参数化、文档管理服务、数据注释、应用程序连接服务、中间件连接、处理器、提取、 转换、数据集市、数据仓库、加载、数据缓存、ODS、排序过滤、清理、提取、转换、关联、更新、加载、DSO、软件包业务、6、数据中心物理架构、磁带库、光纤交换机、光纤交换机、磁盘柜、存储、备份服务器、bi应用服务器集群、ETL/ETL/监控/分析、毕比应用服务器可由多服务器应用集群组成，数据中心建设的最终目标、7、企业统一数据模型、8、数据边界顶层信息模型、9、实现最终目标的困难电网和省内电力数据应用面临的挑战，数据中心的建设策略，短期效应，应用驱动的全局指标数据显示，早期结果，短期效应，应用驱动的非建设源数据直接导入，业务系统全局指标数据传递部分查询功能的改进，统计方法的切断，12，数据中心应用推广，数据中心建设最终服务于解决业务部门的专业分析能力。 在这一逐步推进、不断完善和成熟的过程中，我们应重点关注影响应用低实用性的以下几点：良好的经验、方法和操作程序是促进信任关系建立、解决互不信任局面的关键。在一套行之有效的方法指导下，遵循一个良好的流程，很容易得到领导的支持，业务人员的有效参与和技术人员的大力配合，解决长期项目中期无产出的现状，消除领导和业务人员对数据中心建设的疑虑，在建设期间的实施过程中获得业务人员的认可和支持，不断增强他们对项目的信心和对应用实用性的肯定。解决企业数据的“导入”和“导出”数据切断省级业务人员获取的其他统计数据来源的问题，并定义从数据中心获取切断的业务应用数据和统一与总部交换数据的其他方式。1、2、3、业务部门在流程中起主导作用并不断产生结果，切断了原有的数据统计和报告方法。13、数据中心的建设方法。1、自上而下(回溯法分析应用法)不仅分析报表中的指标数据，还根据指标的构成进行回溯分析，直到构建出最小的、不可分割的业务明细数据。这种方法有利于整理统计指标，分析企业统计指标的口径。关注垂直数据关联。2.自下而上构建的思想(数据集成方法)是先构建企业的概念模型，然后利用数据仓库和企业建模标准的思想进行全面的数据模型设计和物理模型设计。注重水平分析和标准建设。3.折衷构造，14。施工方法的比较。方法1。分析应用程序构建前的数据集成。方法2。在数据集成(或者没有全局集成)之前构建分析应用程序。方法3。构建分析应用程序时的数据集成。优势和挑战。适用于相对简单的业务或清晰的业务需求、较好的数据库、成熟的建模经验、复杂的业务线、不同层次的数据库和不同层次的应用需求。要有成熟的数据标准和数据模型，数据集成投资很大，短期内与分析应用收入不一致。可以实施有效的数据质量管理来快速扩展分析应用。分析应用程序可以快速获得结果，但数据质量无法保证。分析应用程序只能满足部门级别的使用。见效快、逐步深化的建设方式，兼顾效率和可扩展性，调动业务驱动力。工作方法是统一和一致的，以建立团队的有效分工和合作。建议数据中心数据集成建设采用方法3，分析应用演进、专业分析与建设方法、业务驱动力排序、分工合作模式确定、建设任务分工与实施验证、业务部门专业分析与建设驱动力调查按照专业分析与建设的指导思想进行，深化业务部门专业分析与需求调查。根据数据耦合程度，分工可分为源系统访问管理、数据集成管理和分析应用建设管理。可以组建一个专业的分析应用程序构建团队。可以与数据中心运维团队建立分工合作机制，有效促进数据集成。数据中心逐行建设策略的部署可以根据数据中心建设的试点、推广和验证过程迭代完成。18.可以选择合适的专业分析应用。为满足业务部门的需求，量身定制业务需求，生产分析实例典型日负荷曲线增长趋势分析峰谷差分析责任频率合格率分析电压合格率分析变压器负荷情况分析，安全生产分析实例人身事故分析设备事故分析电网事故分析电力设施保护分析设备障碍情况分析，避免全面统计查询建设覆盖面广的现象，集中显示指标集解决数据粒度粗放的问题。针对业务主题分析不够深入的问题，按照专业分析路线逐步完成数据集成，有利于集成平台数据中心的建立。专业分析深入，实施路径成熟。分析深入，需求定义严谨，专业分析内部耦合性强，设计结构严谨，专业分析19、数据中心共享演进，数据交换平台不断完善，交换效率和性能不断提高，足以支持大数据远距离传输的实现。在服务质量保证方面，应注意数据交换站点的安全性和可靠性。建立数据交换接口区的数据接口规范，并随着数据仓库建设的进展扩展接口区的数据规范。综合数据交换区、营销数据交换区、生产数据交换区、ERP数据交换区、共享数据区设计、总部深化数据采集日常数据、细化数据深度、提高数据共享性能、20层、21层、表示层、数据分析应用层、数据集市层、8大业务应用数据及其他外部数据、安全生产、财务绩效、设备生产、企业数据仓库(EDW)、数据仓库层、数据提取/清洗/集成、数据源层、安全生产分析、营销分析、财务绩效分析、 电网运行分析、设备生产分析、人力资源分析、项目分析、材料分析、综合统计分析、电网运行、电力市场分析、人力资源、项目、电力市场、营销、材料、综合统计、电网公司数据仓库的逻辑结构、数据应用分析通过企业级数据仓库和数据集市提供数据支持，并通过前端显示层以合适和直观的方式向终端用户显示分析结果。 22.数据仓库能力蓝图，22。数据仓库，22。集中集成、信息描述、数据移动、分析和显示、质量保证、高级应用和多维分析功能使用户能够将实体的多个重要属性定义为多个维度进行深入分析，并将数据与不同的维度值进行比较。同时，还需要具备数据挖掘能力，帮助业务分析师识别现有数据中的数据模式，对企业的整体情况和未来发展做出更加完整、合理和准确的分析和预测，从复杂和难以理解的数据中发现引导企业发展的路径，并提供标准的报表和图表功能，帮助不同的管理人员做出正确的决策。对于具体的分析应用，建立数据集市为前端提供高效的数据查询和分析服务，为了方便对整个数据仓库中存储的信息进行管理，需要强大的元数据管理功能来实现企业内部各种技术术语和流程的统一定义，通过数据仓库，按照业务主题存储数据，完成分散数据的整合，形成企业内部的“独特事实”。提供强大的数据提取、转换和加载能力：能够高效地将前端业务分析所需的各种数据移动到数据仓库中，根据预先建立的业务规则对数据进行处理和转换，使其符合目标数据格式，并根据前端展现需求提供高性能的数据加载机制。数据仓库应具有完善的数据质量管理机制，以确保企业内部数据的一致性和准确性。为了提高数据仓库分析结果的可信度，23。数据应用的业务目标。根据国际先进电力企业的研究，数据应用可以通过提高电网安全运行管理、电力营销与服务、财务绩效分析和资源规划与决策四项能力来促进电网业务发展。数据应用通过分析用电量、电费和电价来提高电力营销管理和服务能力，提高电力需求预测能力和定价能力，充分了解用电用户的用电量和支付情况，帮助制定相关用电政策和服务措施。分析营销方法和效果，提高营销策略的有效性，提高电网安全运行管理能力，提高设备和电网的监控和管理能力，通过及时准确地控制设备和电网运行状态、维护、缺陷和事故，科学管理电网设备资源；通过安全事故分析，提高事故管理和防范能力，提高财务绩效分析能力，反映企业财务成果；引导企业降低成本和费用，增加收入；充分利用资金，创造良好的员工绩效分析经济水平，从组织和个人层面为绩效管理提供支持依据。提高资源规划和决策能力通过对国家电网运行状况的分析和监测，提高了信息预测能力，为领导科学决策提供了保障，电网用户、前台业务人员、后台管理人员、决策领导和数据分析应用的业务目标为，通过四项能力建设，促进了电网省电力业务的发展。 数据分析应用基本覆盖了电网省的所有业务数据范围，25、项目管理人员、科学和信息管理人员、电网和省的各级用户受益于数据分析和应用，26、确保设备综合信息的完整性和历史性，并从水平方向确保完整性：设备的运行、设备消耗的水、煤和气体、设备的运行可靠性以及设备的测试信息。纵向确保历史性：本期前期的历史和同期往年的情况。设备管理和监控人员/后台管理人员、数据集成支持、统一设备视图、设备账户信息、设备维护、设备测试、设备故障、设备运行、设备消耗、设备事故、设备环境、设备可靠性、其他信息、(ODS)、数据仓库、确保数据实时可访问性的ODS、确保数据历史性的数据仓库、统一信息视图提供了快速访问主题综合信息的能力。一、电力设备27、数据仓库建设策略的比较、重复的ETL开发和数据集成、人力资源的浪费、重复的ETL工具、前端分析工具以及购买数据仓库平台软件。他们各自的数据模型设计，以及市场和集贸市场之间潜在的新一轮数据集成需求。没有丰富的企业综合业务数据支持，就不可能提供跨系统业务分析能力集市的相应指标定义。在企业层面，不符合集成平台建设要求的不一致性容易发生，形成全企业统一的信息视图，构建统一的、可重用的ETL流程ETL工具、前端分析工具和数据仓库平台，进行单一采购和开发，有效降低企业综合业务数据支持的总体拥有成本。领导者和业务人员可以获得更丰富的数据。每个业务部门可以根据自己的需要，在统一的数据仓库平台上构建更深层次的高级数据分析和应用。元数据管理机制的建立是为了实现企业内部对术语的一致理解。建立统一的数据管理机制以提高数据质量。提出建议。实施方法一业务部门独立建立自己的数据集市，无需在企业层面进行统一规划和协调。实施方法二信息部牵头的企业数据仓库统一建设，VS，28，29，当前成就，长期仍需做什么，数据模型构建流程，30，数据市场层，8个主要业务应用数据和其他外部数据，数据仓库层，数据源层，直接满足上层数据分析应用的高效、有针对性的高聚合查询。一般来说，没有细节。从技术上讲，它是一个星型模式，一个数据分析模型，主题1，主题2，主题N，基于主题域，它侧重于企业范围数据的集成和聚合数据的共享。从技术上讲，它是3NF模式、数据仓库模型、数据模型在数据仓库体系结构中的位置、31、企业级概念数据建模的目标、数据分类和企业级概念数据建模的目标是识别网络省电力业务的主要数据主题，并根据数据主题之间的逻辑关系划分其所属的数据主题域。数据主题字段反映某一方面的业务内容，通常是相似或密切相关的数据主题的集合(例如，设备主题包括多个数据主题，如设备账户和设备操作相关事件)。数据主题是存储信息的任何可区分的人、地点、事物、事件或概念。属性是属性企业级概念数据建模方法和数据主题排序通过对电网各种业务系统的详细描述进行仔细分析，信息技术咨询小组对电网业务产生和需要的主要数据进行排序，形成数据主题列表。这些数据主要包括两部分：主要数据是指客户、供应商、设备账户等。而交易数据是指电网具体业务操作产生的各种交易数据，如设备检查数据、调度交易数据等。数据主题域设计根据分析和排序得到的数据主题列表，结合这些数据的特点以及电网和省的具体业务关注点，可以对数据主题域进行总结和提取。主题域反映了与主题相关的所有业务内容，通常是类似或密切相关的数据主题集合，33、数据主题域划分、安全性、客户、产品、设备、电网、财务、资产、材料、项目、人员和组织、综合管理、基本产品信息、产品价格、产品质量保证、服务流程定义、服务质量评估、服务性能分析，34、数据主题域详细说明、安全性，安全主题域用于描述公司运营期间的个人事故、电网事故和安全损失。客户，客户主题字段主要包括客户的基本信息、计费和支付信息、客户服务信息等。产品，产品主题描述了国家电网公司提供的电能、热能和服务的描述和价格信息，以及与服务质量和服务效果相关的各种记录、设备。设备主数据用于描述企业发电、输电、配电和供电中的四大类设备资源、运行和调度信息、测试、破坏和环境。电网是电网的主题领域，包括市场电价、预测相关信息、网络和发电厂电网之间的交易信息以及电力调度中设备产生的相关数据、财务。财务主题字段描述财务会计、预算、固定资产、资本数据、会计账户和其他相关数据、资产，资产主题字段描述与郭旺公司各种有形/无形、财务/非财务资产相关的各种信息和资料。材料主题字段描述与郭旺公司的材料和材料管理相关的各种信息和项目。项目主数据表