独立模块白皮书.docx

永洪科技独立模块白皮书2012Yonghong Technology CO.,Ltd永洪科技独立模块白皮书 V2.1Table of Contents1Z-SUITE 功能模块32OLAP模块42.1OLAP发展42.2Yonghong ROLAP43VPM模块64SCHEDULE模块75AUDIT模块8Abbreviations and DefinitionsAbbreviationDefinitionOLAPOn-Line Analytical Processing (联机分析处理)OLTPOn-Line Transaction Processing (联机事务处理)ROLAPRelationOn-line Analysis Processing (关系型联机分析处理)VPMVirtual Private Model (虚拟安全模式)1 Z-Suite功能模块Yonghong Z-Suite 有一些独立的小模块可以提供给用户使用。与其他基本模块是产品自带的不同，这些模块需要用户购买单独的注册码以便激活该功能。通过一些优化设置，方便用户使用产品，提高用户体验度，拓展产品的适用范围和自由度。2 OLAP模块作为联机分析处理（OLAP）的一种形式，Z-Suite支持关系型联机分析处理（ROLAP），对存储在关系数据库（而非多维数据库）中的数据作动态多维分析。数据处理可以发生在数据库系统内、中间层服务器，或客户端在三层结构中，用户提交请求进行多维分析，然后ROLAP引擎将请求转化为SQL语句提交给数据库。然后操作将反过来执行：在将结果传给用户前引擎先将结构从SQL转化为多维格式。一些请求会被创建，然后预先存好，关系型数据库常常是这么做的。2.1 OLAP发展60年代，关系数据库之父E.F.Cdd提出了关系模型，促进了联机事务处理(OLTP)的发展(数据以表格的形式而非文件方式存储)。1993年，E.F.Cdd提出了OLAP（联机分析处理）概念，认为OLTP已不能满足终端用户对数据库查询分析的需要，SQL对大型数据库进行的简单查询也不能满足终端用户分析的要求。用户的决策分析需要对关系数据库进行大量计算才能得到结果，而查询的结果并不能满足决策者提出的需求。因此，E.F.Cdd提出了多维数据库和多维分析的概念，即OLAP技术概念。 OLAP(联机分析处理) ：是使分析人员、管理人员或执行人员能够从多种角度对从原始数据中转化出来的、能够真正为用户所理解的、并真实反映企业维特性的信息进行快速、一致、交互地存取，从而获得对数据的更深入了解的一类软件技术OLAP委员会的定义（请特别注意，这是一类技术，而非特指某软件、或管理方法）。OLTP数据OLAP数据原始数据导出数据细节性数据综合性和提炼性数据当前值数据历史数据可更新不可更新，但周期性刷新一次处理的数据量小一次处理的数据量大面向应用，事务驱动面向分析，分析驱动面向操作人员，支持日常操作面向决策人员，支持管理需Table 1 OLTP与OLAP的不同点2.2 YonghongROLAPYonghong Z-Suite基于ROLAP的设计可以进行高速实时计算，摒弃传统OLAP技术的预先汇总，摒弃预定义分析路径，给整个联机分析处理带来极大的灵活性和扩展性。基于预先请求的结果已经临时保存在内存当中，用户可以随时进行实时分析而不用等待数据结果的二次计算（这是传统BI的一大特点，导致用户长时间等待分析结果）使用ROLAP定义Cube，快速方便；相对传统OLAP定义过程，保证了数据的实时性。不仅简单易用，而且节省了用户的费用和时间，使用户得到的实时数据更有分析的价值。在部署周期上，从传统OLAP产品的三个月到半年缩减到一周左右的时间。Yonghong Z-Suite基于ROLAP所建立的动态多维数据分析，打破传统OLAP对于数据类型和数据管理的束缚，使得快速响应，实时分析，动态管理成为了可能。在部署周期上，由于ROLAP本身的优势，使得系统部署时间从传统OLAP产品的三个月到半年缩减到一周左右的时间。Yonghong Z-OLAP产品基于ROLAP思想，支持以云计算方式进行部署，可以支持TB、PB级数据的OLAP实时分析。特有的跨粒度计算、内存计算、列计算等等技术让这款OLAP产品在支持大数据(Big Data)方面处于国际领先地位。Yonghong Z-OLAP产品可以高速实时计算，这种速度是传统商业智能产品的十倍以上。它不需要传统OLAP技术的预先汇总，也不需要预先定义分析路径，所以用户的OLAP分析在汇总函数、分析路径等等方面也就不再有限制，给整个OLAP分析带来极大的灵活性和扩展性。也就是说，基于数据模型，用户可以做任意的、实时的分析。3 VPM模块VPM是Yonghong Z-DataModeler中的一个独立的模块，提供管理用户信息和管理访问权限的功能。用户可以选择权限控制的类型，一种是不需要权限控制，一种是选择产品自带的文件系统权限控制，还有一种是用户自定义得权限控制系统。但是无论哪种类型的权限控制，都必须单独购买该模块的注册码用以激活VPM。在创建查询报表以及实现最终报表的时候，VPM经常会针对不同的用户，或者根据用户不同的角色（Role）来分配相应的权限，依据不同权限来控制数据操作的等级和类型。内容访问控制是目前流行的信息安全的一种基本要求，方便公司或者组织控制内容的分发和过滤。比如一个员工不应该看到另一个员工的个人信息，或者一个销售人员只能看到自己的订单，而销售经理需要看到所有的订单情况。根据角色定制数据的显示。它为数据设计人员提供了一个根据用户权限进行数据过滤和隐蔽的功能。权限控制模块可以实现控制对资源的认证访问。除了资源级别的权限控制，VPM还支持在数据级别的访问权限控制，用户能配置一个特定查询的列，或者一个特定的查询行对于指定用户是可见的。比如对于一个某一个区域的经营分析系统而言，只有本地区用户能看到本地区的数据，而不能跨区域访问。或者某一产品的销售额度只能让该产品的销售人员访问，其他人无权访问该数据。4 Schedule模块Schedule（调度器）是Yonghong Z-Suite一个独立的功能模块。内嵌的任务计划引擎给系统提供了自动化的支持，保持系统有足够的开放性，提升整个系统的适配性和用户体验。例如，当一个任务完成之后，任务计划可以通过邮件或者短信通知用户，虽然本系统可能不会提供所有的功能，但这种开放性将能够很好地支持用户的定制需求。常见的任务计划用法举例： 定期的按照某种条件导入数据， 定期的按照某种条件生成报表的PDF并分发邮件出来。 定期的按照某种条件生成报表的Excel并存档。 定期的按照某种条件检查一个KPI，如果KPI异常，及时通过邮件通知管理者。 除了默认支持的三种任务，用户可以实现我们定义的接口来实现定制的任务。5 Audit模块Audit是Yonghong Z-Suite一个独立的功能模块。它被用来监测系统的当前状态，包括JVM，Dashboard，Query，Cloud等。目前收集的监测数据都被直接记在内存里，以后可以考虑插入到用户配置的数据库中。收集的数据类型有两种，一种是隔一段时间采集一次信息，再清零，此类型会有很多条历史记录。另一种是只有一条记录的，例如只有当前的状态记录或是统计所有总数而生成的记录。当系统启动后，所有监控信息就开始收集，用户也可以通过Query Editor里面的Custom Query创建自定义的查询监控信息，然后通过Dashboard来展现数据。目前Audit支持的几种查询功能：4 监控JVM：包括服务器名，空闲内存数，总内存数，最大内存数4 监控云计算： 每个周期和所有周期内，扫描了多少row。 每个周期和所有周期内，执行了多少map任务，平均时间花费。 每个周期和所有周期内，执行了多少reduce任务，平均时间花费，返回多少rows。4 监控Query执行情况 每个周期和