汉动数据分析平台介绍.docVIP

汉动咨询数据采集及分析平台介绍汉动咨询数据采集及分析平台产品介绍北京汉动管理咨询有限公司 2008.04目 录第1章概述31.1数据采集及分析平台设计背景31.2平台设计目标41.3预期的读者51.4约束5第2章数据采集及分析平台架构62.1数据采集及分析平台基本架构62.2采集分析方法6第3章数据采集及分析平台的设计83.1数据分析展现83.2平台展现效果83.3平台设计思路10第4章系统技术应用及安全结构114.1技术应用114.2平台特点124.3基本建设原则134.4实现目标14第5章实施建议145.1双方精诚合作原则145.2实用原则145.3领导重视与相关人员参与的组织原则155.4分层、分类培训，实现“知识转移”155.5分阶段、循序渐进的原则15第1章 概述1.1 数据采集及分析平台设计背景随着市场竞争的日益激烈，各家企业纷纷把提高决策的科学性、合理性提高到一个新的认识高度。在此背景下，利用信息技术的最新手段，利用业务数据进行面向决策的分析这一方法纷纷被国内外许多企业所采用。通过有目的、有选择地采集业务数据，并将其转换为对决策有用的信息，用于智能化的分析、预测和模拟等目的，是数据平台应用的目标。是提高企业进行高效的业务分析和科学决策的有效手段。数据采集及分析平台的本质，是提取收集到的数据，进行智能化的分析，揭示企业运作和市场情况，帮助管理层做出正确明智的经营决定。一般现代化的业务操作，通常都会产生大量的数据，如库存、订单以及客户资料等，其中一部分是决策关键数据，但并不是所有的数据都对决策有决定意义。数据分析包括收集、清理、管理和分析这些数据，将数据转化为有用的信息，然后及时分发到企业各处，用于改善业务决策。企业可以利用它的信息和结论进行更加灵活的阶段性的决策：如采用什么产品、针对哪类客户、如何选择和有效地推出服务等等，也可以实现高效的财务分析、销售分析、风险管理、分销和后勤管理等等。这一切都是为了降低成本、提高利润率和扩大市场分额。随着IT技术的不断进步，各种管理应用系统的设计和应用逐渐趋于成熟。很多的企业已经积累了多种应用系统（ERP、CIMS、PDM、CAPP、财务系统）的使用经验。这些经验主要体现在业务流程制定、软件应用、报表制作等方面。在各种应用系统的使用过程中，积淀了大量的业务数据。但各种应用系统原有的报表分析无论是在报表构成、报表用途以及跨平台应用上，逐渐不能适应企业发展需求。当今，许多企业认识到只有靠充分利用，发掘其现有数据，才能实现更大的商业效益。日常的商务应用生成了大量的数据，这些数据若用于决策支持则会带来显著的附加值。若再加上市场分析报告、独立的市场调查、质量评测结果和顾问评估等外来数据时，上述处理过程产生的效益可进一步增强。而数据采集及分析平台正是汇总这些商用信息后，进而支持数据发掘、多维数据分析等当今尖端技术和传统的查询及表报功能，这些对于在当今激烈的商业竞争中保持领先是至关重要的。将大量的数据转换成可靠的、商用的信息以便于决策支持。1.2 平台设计目标在新的市场竞争环境下，为了保证企业的决策依据更加准确、及时，依据更加全面，需要对数据分析进行再思考。通过调研分析，以及对企业应用进行归纳总结，企业在业务数据采集及分析方面的需求主要体现在以下几方面：v 数据制作企业的业务数据要能实现从各种应用系统直接抓取并自动生成。保证数据的及时性和真实性。v 数据汇总及时要求新的数据平台要能够缩短数据采集的时间，提高数据报送、汇总、分析的效率，方便各个部门的关键业务指标的及时跟踪。v 数据分析根据企业的管理特点来设置，即分析指标能够按管理特性来划分并能及时的根据变化做出调整。v 信息共享、权限分明实现跨部门的数据信息传递和共享，同时各级之间、各个部门之间的权限分明，根据不同的使用需求划分不同的权限。v 灵活展现要求对各种数据报表、分析指标提供灵活的展现方式，包括图形化、报表化和图文并茂等等。v 数据分析能实现数据的深层分析和灵活展现，方便领导直观决策和业务管理。数据采集及分析平台系统的总体建设目标包括如下：充分利用计算机、网络技术，实现计划、业务、财务信息共享，建设智能化分析平台。从原来各单位单独应用的模式，实现信息透明化，并以提高工作效率、操作简洁化作为系统建设目标。信息互联互通，打破现有的信息孤岛，建设全面集成分析决策管理平台。涵盖业务数据、报表数据、预算数据、成本数据等内容，实现信息从应用流程上联动及监控。通过数据采集及分析平台的建立，建立起以业务为核心，面向不同角色（业务部门、职能部门、各级单位领导等）构建多层次分析决策管理平台，不仅满足日常业务操作需要，同时在信息准确、及时共享前提下，达到领导决策科学的目的。1.3 预期的读者本文档的使用对象主要针对数据采集及分析平台中的：双方项目经理；需求分析人员；系统设计人员；系统开发人员；系统测试人员；应用方业务领导应用方管理人员应用方IT部门技术及管理人员。1.4 约束本设计方案书未经北京汉动管理咨询有限公司同意不得转发、拷贝他人。第2章 数据采集及分析平台架构2.1 数据采集及分析平台基本架构如下图所示：管理层的数据分析体系，侧重于数据分析方面。业务部门的数据分析体系包括数据查询、数据分析。2.2 采集分析方法一个企业的信息往往分布在不同的部门和分支机构，管理者要综观全局、运筹帷幄，必须能迅速地找到能反映真实情况的数据，这些数据也许是当前的现实数据，也可能是过去的历史数据。因此，有必要把各个区域的数据集合起来，去其糟粕、取其精华，将真实的、对决策有用的数据保留下来，随时准备管理人员使用。因此，数据分析不仅仅是个数据的简单汇总，更重要的是它提供了丰富的工具来清洗、转换和从各地提取数据，使得数据分析结果有条有理，易于使用。在系统设计的过程中，不同的分析主题需要使用不同的分析方法，常用的分析方法有以下几种：v 跨越年度的超级查询跨年度：可以借助年度属性进行年度的选择，实现所有数据查询分析的跨年度处理能力。v 数据汇总查询数据汇总是最常用的数据分析方式，因此我们将提供最友好的实现方式提供给管理者使用，同时可以为需要进行复杂条件汇总的管理者提供实现工具。v 报表分析从多个不同的角度及其组合去分析数据，并用表格方式展现，通过对维度向上和向下钻取获得不同维度层次上的报表。v 趋势分析从时间序列分析同一结构随时间的变化趋势。在趋势分析中可以得到不同条件组合下某一指标的变化趋势，同时还可以得到不同条件取值时同一指标的变化趋势的比较结果，趋势分析的表现方式一般选用折线图或直方图。利用业务数据，通过时间序列模型可以对历史数据建立模型，同时将之外推，形成对未来时间段的预测。v 比较分析从相同的角度去对不同数据集合进行对比，找出差异所在，并可进一步深入挖掘差异原因。v 排名分析从大量数据中找出按某种分类方法的Top N或Bottom N数据，这些数据代表了需要特别关注的程度。v 例外分析从大量历史数据中找出过高、过低、变化幅度过大等异常情况数据。并可进一步进行相关影响原因的数据挖掘。第3章 数据采集及分析平台的设计3.1 数据分析展现v 多维分析，全方位决策支持管理人员往往希望从不同的角度来审视业务数值，比如从时间、地域、产品来看同一类业务的总额。每一个分析的角度可以叫作一个维，因此，我们把多角度分析方式称为多维分析。以前，每一个分析的角度需要制作一张报表。由此产生了在线多维分析工具，它的主要功能，是根据用户常用的多种分析角度，事先计算好一些辅助结构，以便在查询时能尽快抽取到所要的记录，并快速地从一维转变到另一维，将不同角度的信息以数字、直方图、饼图、曲线等等方式展现在您面前。v 图形化提供简单易用的图形化界面给管理人员，由他们自由选择要分析的数据、定义分析角度、显示分析结果。往往结合多维分析，作为多维分析服务器的展现界面。决策人员可以根据需要排序、分组数据并改变“图表”（Chart）的类型（直方图、饼形图、线图、堆积图）。图表中的元素可以被“钻取”到其他的细节层次。v 数据“钻取”针对特定数据实现从汇总到明细交易的数据“钻取”。如在进行例外分析时，可用于发现异常数据之异常原因。3.2 平台展现效果整个系统涉及的业务数据查询、业务数据分析、基本指标分析、账务数据查询、对比分析以及预算、成本等数据的分析报表和图形。由统一的报表信息门户来管理和生成这些展现成果。数据采集及分析平台可按照不同的角色分配不同的报表权限，定义个性化界面。管理报表多为表格的展现方式，辅以折线图、面积图、饼图、等图表类型; 通过图文并存的方式让决策者轻松、快捷的理解报表信息。3.3 平台设计思路总体架构分为四部分：v 第一部分数据采集平台以及基础数据的统一建设，从应用系统抓取数据，同时建立统一的基础数据。v 第二部分分析平台工具，借助分析工具为用户提供各种分析模型、分析报告以及汇总报表。v 第三部分模型的搭建，包括供应商分析、存货分析、成本分析、价格分析等应用分析模型。v 第四部分通过门户进行个性化的展现。第4章 系统技术应用及安全结构4.1 技术应用采用先进的、国际上成熟的商务智能平台框架以及设计思路，运用成熟的数据仓库技术、ETL技术，对数据进行清洗、转换、装载到数据仓库中，它是一个按照统一的逻辑数据模型通过数据清洗、转换及加载工具加载到数据仓库实现数据的“单一视图”，以及通过报表、查询及分析、OLAP等分析工具和手段访问数据仓库的过程，通过门户、图形化、个性化等技术手段直观地展现管理报表，并可按组织、时间、报表分类等多种方式更有效合理地管理这些报表，实现不同角色的安全访问。本数据采集及分析平台适用于多种应用环境，满足如下要求：v 支持多种操作系统v 支持多种数据库v 支持多种应用系统数据采集及分析平台主要技术处理：v 数据提取对数据的访问包括数据源和目标数据库两个方面。数据采集及分析平台中的数据可以来自如Oracle、MS SQL Server、Progress、Files、FoxPro等多种数据源。目标数据库目前多为Oracle、MS SQL Server。v 数据加工作为数据平台的源数据通常是以满足业务应用的为目的进行组织和存放，这种形式多数情况下不适用于最终用户的分析需求。因此数据在进入数据平台之前都要经历一定的清洗和转化的过程。确保可以满足客户的各种对数据进行净化、重组、关联、标准化和求和的需要，从而使数据更为准确和有用。v 数据导入数据采集及分析平台提供了进行数据加载的功能。它充分利用平台提供的数据导入功能，将数据（XLS、TXT等）导入到数据采集及分析平台中。4.2 平台特点v 统一的信息访问渠道通过将内部和外部各种相对分散独立的信息组成一个统一的整体，使用户能够从统一的渠道访问其所需的信息，从而实现优化企业运作和提高生产力的目的。v 强大的内容管理能力对企业各种类型信息的处理能力支持几乎各种结构化和非结构化的数据，能识别90多种关系型和OLAP数据库中的数据，并可以搜索和处理各种格式的文档。 v 个性化的应用服务信息门户的数据和应用可以根据每一个人的要求来设置和提供，定制出个性化的应用门户，提高了员工的工作效率，增强了对顾客的亲和力和吸引力。v 灵活的权限管理根据企业内部的需要，灵活的配置每个人的权限，解决了企业内部信息分配的问题。v 高度的集成性能将企业现有的数据和应用无缝地集成到一起，无需重新开发，保护了原有的投资。v 良好的可扩展性能适应企业新的人员和部门的调整的变化，满足企业业务调整和扩展的要求，解决企业与IT部门短时间内无法解决的技术需求问题。v 安全可靠的保障通过安全机制保证数据的机密性及完整性，保障企业业务的正常运转。可以提供的安全机制包括认证、角色分配、用户和组的特权。4.3 基本建设原则网络身份管理平台建设应以开放性、安全性、应用整合能力为核心，通过多层面的建设，构建健壮的身份管理平台，支撑广泛的应用开发和部署、安全管理等综合性的需求。v 基于开放标准的基础架构开放架构是保证企业网络身份管理体系可持续发展的基础，网络身份管理或单点登录解决方案不是一个孤立的系统，它为其上层的应用服务平台提供最基本的支撑环境。因此，在建设和发展的过程中必然会面临多方面、多层次的整合要求，需要能够把多种厂商的产品、多种技术架构的产品进行整合，为了保证整合过程不存在严重的技术风险、投资风险，基于开放架构的网络身份管理解决方案是企业优先考虑的方向。v 分布式体系目前企业网络环境伴随业务不断的增长，其复杂性越来越高，延伸的地理范围也越来越大，作为企业基础支撑环境的网络身份管理系统也必然面临分布式结构的部署需求。能够在系统的部署结构方面提供充足的灵活性，满足高性能、分布式网络环境的系统建设需求。v 跨平台支持能力与前面的叙述一致，网络身份管理系统作为企业最基本的支撑环境，在对服务层的支持方面也面临复杂的平台支持方面的要求。因此企业在选择一个网络身份管理的解决方案时，应该充分考虑企业网络环境中系统平台的复杂性，使单点登录解决方案可以广泛的部署在各种平台之上。v 易管理性和可操作性网络身份管理平台以策略管理、资源的授权管理为核心，因此其易管理和可操作性也是企业选择单点登录解决方案的重要指标之一。例如：在管理方面是否能够适应企业灵活多样的角色、用户管理能力。能否建立易于管理的分级委托管理模式，流程化的管理企业的用户、角色、资源和授权策略信息。v 强大的系统可扩充性和复用性网络身份管理系统应该能够满足企业网络发展的需要，能够按需进行功能、性能等多方面、多层次的扩充要求，能够伴随企业业务的增长实现平滑、无缝的升级。门户和信息发布平台则以提高信息、应用发布能力为重点，通过特有的信息频道技术将多种信息资源和应用资源整合于一体，以个性化的方式展现的不同的用户面前，提高企业信息系统的整体功能、保持各类信息、应用资源的一致性，几大程度的改善用户的使用体验。4.4 实现目标为了更好地满足企业对于安全授权管理系统的要求，以及我们在安全授权管理系统上的经验，基于用户对授权管理体系的具体要求，实现以下的目标：v 支持基于Web 应用的单点登录v 支持基于B/S 应用的单点登录v 支持基于角色的访问控制v 支持角色定义和角色分配功能v 支持针对网络实体（用户、资源、服务）的创建、维护和委托管理功能v 支持创建对资源进行保护的策略规则, 提供集中化的目录数据库，存储和管理用户、策略和服务信息v 支持目录服务器方式的用户信息和权限信息管理、在满足性能和可靠性的前提下，目录服务器支持多主服务器（Multi-Master）或者主从服务器（Master-Slave）的体系结构。v 提供灵活的结构扩展功能第5章 实施建议为确保数据采集及分析平台系统建设的成功，在整个项目实施建设过程中应遵循如下原则：5.1 双方精诚合作原则企业业务数据采集及分析建设项目实施采用项目经理负责制，实施项目组织分为项目领导小组和项目实施小组，成员由企业和汉动派人共同组成。这就要求参与