SAS商业智能和数据整合应用概览.doc

SAS商业智能和数据整合应用概览SAS智能工作室概览3商业智能定义：3SAS商业智能包括：3SAS智能工作室的组织结构：3客户层：3Web层5服务器层5数据层5SAS应用程序概览6应用程序的分类6JAVA类应用程序：6Windows类应用程序6Web类应用程序6补充内容：培训内容的流程图：7基本模块使用流程图7关于本书应用实例的背景介绍：7职能角色同相关SAS功能模块的匹配：8各个相关模块基本简介9（1）SAS Management Console SAS管理控制台9主要功能：9举例：服务器管理9SMC插件介绍：10SMC教材示例：10（2）SAS Data Integration Studio SAS数据整合工作室11数据整合工作室的定义：11实现ETL的过程：12（3）SAS OLAP Cube Studio SAS在线分析处理立方体13在线分析处理立方体定义：13OLAP立方体13OLAP的经典结构：信息的分层次存储13（4）SAS Add-In Office SAS Office 插件14使用Office Add-in的原因14Office Add-in 可以做哪些事情15Stored Processes 存储过程15（5）SAS Stored Process SAS存储过程16关于存储过程的介绍16教材示例17（6）SAS Enterprise Guide SAS 企业导航18SEG的功能：18利用Project 功能创建一个Project18利用SEG 创建SAS存储过程18利用SEG 处理OLAP立方体18(7) SAS 信息映射工作室19应用背景：19SAS信息映射路线图19教材示例：20（8）建立Web报表20Web报表的功能20SAS报表模型20（9）SAS信息传递门户21SAS信息传递门户介绍21SAS信息传递门户的信息组织形式21 SAS智能工作室概览商业智能定义：商业智能利用知识管理、数据挖掘、数据仓库、业务分析等技术来认定、跟踪和开发关键业务流程和数据，同时也识别和监控公司、竞争者的市场表现SAS商业智能包括：一系列的客户端应用程序SAS服务器元数据集中管理SAS智能工作室的组织结构： 客户层 WEB层 服务器层 数据层客户层：主要客户端应用程序： SAS Management Console SAS 管理工作室 SAS Data Integration SAS 数据集成 SAS Information Map SAS 信息映射 SAS Enterprise Guide SAS 企业导航 SAS Office AddIN SAS Office 插件SAS客户端应用程序： JAVA 应用程序 Windows 应用程序 浏览器 应用程序 数据层WINDOWS,UNIX,LINUX,OS服务器层WINDOWS,UNIX,LINUX,OS 关系式数据库表格SAS数据OLAP立方体SPD文件ERP 数据结构其他数据源SAS/Connector系统互联程序SAS平台管理软件包SAS基础支持程序OLAP（在线分析处理）服务器Workspace (内存分配)服务器存储过程服务器包/分组处理服务器基于WINDOWS应用客户层基于WINDOWS和UNIX应用 WEB层JAVA Servlet ContainerWeb Report 网络报告工作室Info. Del. Portal SAS门户SAS Stored Process Web Application存储过程网络应用网络应用服务程序SAS应用程序组件 Management Console管理控制平台 Data Integration 数据集成工作室 Information Map 信息映射工作室 Office AddIn Office 插件 Enterprise Guide 企业导航 元数据服务器 元数据存储器Web层主要程序包括：SAS 网络报表服务程序SAS 存储过程网络应用程序J2SE SDKWebDAV Server支持WEB应用的JAVA组件JAVA Servlet ContainerSDKWebDAV ServerSAS 应用服务程序服务器层主要服务： SAS 系统互联服务 SAS 基础服务 存储过程服务 OLAP(在线分析处理)服务 工作空间（内存分配）服务 分组服务 SAS共享服务典型的SAS服务器 元数据服务器 工作空间服务器 存储过程服务器 OLAP服务器数据层主要数据来源关系式数据库表格SAS数据OLAP数据SPD文件ERP数据其他数据总结： 元数据服务器：提供SAS程序运行，及管理环境 工作空间服务器：为客户端执行程序分配内存 存储过程服务器：提供客户端执行自行开发的程序 SAS 互联服务器：SAS和SAS并行处理程序SAS应用程序概览应用程序的分类JAVA类应用程序：SAS Management Console SAS管理控制工作室SAS Data Integration Studio SAS数据整合工作室SAS OLAP Cube Studio SAS在线分析处理立方体SAS Information MAP SAS信息映射工作室Windows类应用程序SAS Add-In Office SAS Office 插件SAS Enterprise Guide SAS 企业导航Web类应用程序SAS Web Report Web 报表工作室SAS Information Del. Portal SAS门户补充内容：培训内容的流程图：基本模块使用流程图建立存储过程SAS 企业导航定义数据图书馆管理控制工作室元数据浏览分析数据SAS Office 插件注册源数据管理控制工作室建立信息映射SAS信息映射工作室定义目标表数据整合工作室建立ETL工作数据整合工作室建立报表Web 报表工作室建立OLAP立方体在线分析处理立方体利用信息门户Portal SAS门户JAVA类应用程序： SAS Management Console SAS管理控制工作室 SAS Data Integration Studio SAS数据整合工作室 SAS OLAP Cube Studio SAS在线分析处理立方体 SAS Information MAP SAS信息映射工作室Windows类应用程序 SAS Add-In Office SAS Office 插件 SAS Enterprise Guide SAS 企业导航Web类应用程序 SAS Web Report Web 报表工作室 SAS Information Del. Portal SAS门户关于本书应用实例的背景介绍：1、 Orion Star公司商业智能的使用者介绍IT部门： IT管理员：用户管理、报表管理、软件管理 数据建模人员：业务浏览管理、数据模型物理结构、SQL程序员 报表管理员：建立报表、计划报表、监控报表队列 程序开发员：Web应用程序构建、整合应用业务部门： 业务分析师：无编程基础、擅长于Excel，主要进行Ad-hoc查询、OLAP、发布报表、同时也了解商业矩阵 重要用户：具备基本编程基础、擅长于Excel、Ad-hoc 查询、客户报告、建模、分析、理解重要业务领域2、 信息的使用者 决策层：电子邮件、统计报告 中层管理者：数据下钻、数据运算和操作、数据注释说明 执行层管理者：销售、市场营销、客户服务、财务、技术支持职能角色同相关SAS功能模块的匹配：角色职能对应相应SAS模块AhmedIT管理员设置用户安全访问数据管理监控系统的稳定性和系统性能对企业查询和报表提供环境支持SAS Management Console SAS 管理控制工作室Marcel数据建模人员开发数据仓库建设并维护数据市场建设并维护数据的业务视角建设立方体定义层级关系SAS 管理控制工作室数据整合工作室在线分析处理立方体工作室信息映射工作室Gloria重要用户研究主要商业领域建立Ad-hoc查询基于基本数据的分析 SAS 企业导航模块Jacques业务分析师浏览销售数据认定并制定销售策略来提高销售位高层管理者提供演示内容Office 插件Robert报表管理者基于元数据生成企业级和部门报表使用统一的格式和方法生成报表创建互动报表、支持数据过滤、分类、排序 Web 报表工作室Henri中层管理者直接迅速的访问数据资源个性化的个人用户界面能够描述感兴趣的内容基于网络访问的报表Portal SAS门户Samantha高级开发人员开发易懂的各种应用程序实现其他软件应用和SAS的整合基于特殊需求创建应用程序支持Ad-hoc查询SAS App. Dev.SAS应用程序开发工作室 各个相关模块基本简介（1）SAS Management Console SAS管理控制台主要功能： 定义和管理服务器 定义和管理数据图书馆 定义和管理用户和用户组 管理对企业资源的访问控制 管理元数据 同工作时间表交互以上各个模块均需要安装SAS的插件才能实现其相关功能举例：服务器管理SAS智能工作室在元数据中定义SAS服务器的各种属性,包括：程序在何处执行，如何建立连接等每一个单独服务器的定义内容都是SAS应用服务器整体定义内容的一部分。也就是说，作为SAS整体服务器定义一部分的单一服务器，可以使用对于SAS整体服务器来说所有的可用资源如：图书馆、目录等其他资源 工作空间服务器1工作空间服务器工作空间服务器2SAS 应用服务器组定义工作空间服务器3OLAP服务器OLAP服务器存储过程服务器存储过程服务器1存储过程服务器2存储过程服务器3元数据服务器元数据服务器SMC插件介绍：SMC插件是由JAVA开发的程序，插件通过特殊的原数据定义提供相应的管理功能分类： 环境管理：用于配置SAS的资源如服务器、元数据、图书馆、用户等 应用管理：用于配置特殊的应用程序主要插件： 数据图书馆管理插件 用户管理插件 商业智能管理插件 服务器管理插件SMC教材示例：建立数据图书馆见P4-25图示使用的插件为： 数据图书馆管理插件在SMC中我们可以通过创建元数据来定义图书馆图书馆用于认定数据的物理存储地址并把数据从物理存储映射到SAS智能工作室上本书示例中我们应用新图书馆创建向导来创建一个新的图书馆通过此向导我们可以把SAS定义的信息数据同物理存储数据连接起来，同时通过SAS的数据图书馆我们可以对物理数据进行读写等操作成功的运行向导我们可以得到一个元数据登记信息，此元数据用来描述一个图书馆，即完成了数据由物理层向SAS层的映射示例中：新建数据图书馆名称为：Orion Star Gold Library 物理层数据为：Orgold 向导结束后物理层数据Orgold映射为SAS数据图书馆Orion Star Gold Library涉及的文件夹：图书馆Library和其子文件夹源数据Source Data 父目录：SMC/环境管理/数据图书馆管理建立存储过程SAS 企业导航定义数据图书馆管理控制工作室元数据浏览分析数据SAS Office 插件注册源数据管理控制工作室建立信息映射SAS信息映射工作室定义目标表数据整合工作室建立ETL工作数据整合工作室建立报表Web 报表工作室建立OLAP立方体在线分析处理立方体利用信息门户Portal SAS门户完成数据图书馆的定义，我们还需要定义数据图书馆所包含的表，因为在第一步我们仅仅定义了数据图书馆的属性而没有定义其包含的表。我们利用源数据设计器来定义数据图书馆所包含的表(4-35)。当这个过程完成后我们对物理层的表组和表都完成了元数据的定义元数据设计器向导完成后，我们就完成了整个物理层数据Orgold和其包含的表向SAS的对应转换SAS视图中的数据（来源于源数据，存储在Library即图书馆中）源数据（来自SAS可访问的数据源）原数据设计器Orion Star Gold Library Orgold本教材的示例，大部分操作基于Orion Star Gold Library（2）SAS Data Integration Studio SAS数据整合工作室数据整合工作室的定义：SAS数据工作室是一个JAVA应用，它主要管理ETL过程ETL: Extract 提取 Transformation 传输 Loading 上载SAS数据整合工作室支持企业应用可视化的工具来完成数据的快速提取、分析，同时在SAS条件下这个过程是透明的，即用户不必考虑底层数据的来源。ETL工具：过程设计器 为图形用户界面，把复杂的数据库操作过程和编程语言转化为简单的可视化点击-双击模式来实现数据的处理。ETL数据来源：PeopleSoft、SAP R/3、Siebel、Oracle如何定义目标表：利用目标设计器目标表是客户所需要的表，是经过表格运算后的最终表格，其所有的字段名（Field）均来自源数据表或于源数据表相关。因此，在设计目标表格时，其域名直接引用源数据的字段名，同时也可以新建字段名，但此字段的值可以由源表计算得出。实现ETL的过程：1、 建立数据图书馆，并建立子目录，源数据图户馆和目标数据图书馆，存储元数据2、 建立源数据表文件夹和目标数据表文件夹来存储映射数据3、 将源表Orders和 Order_items利用源设计器映射到原数据表文件夹4、 用目标设计器，创建Orderfact，并存储到目标数据表文件夹。关于OrderFact的字段名来源已作过说明5、 利用过程设计器将源表，目标表，运算规则联系起来，生成JOB6、 运行ETL过程，浏览结果建立存储过程SAS 企业导航定义数据图书馆管理控制工作室元数据浏览分析数据SAS Office 插件注册源数据管理控制工作室建立信息映射SAS信息映射工作室定义目标表数据整合工作室建立ETL工作数据整合工作室建立报表Web 报表工作室建立OLAP立方体在线分析处理立方体利用信息门户Portal SAS门户说明：A： 对于目标表格可以进行再设计和分析 对于教材的例子：将目标表添加4个新字段为年、季度、月、日 其新加字段有一个前提要求，即新字段的值应该可以从源表的数据中通过计算提取出来 B： 教材提供了2个例子，一个是JOIN，另外一个是数理统计 （3）SAS OLAP Cube Studio SAS在线分析处理立方体 在线分析处理立方体定义：在线分析处理立方体是一种软件技术，它支持用户动态的分析储存在多维数据库表里的信息，并支持实时交互处理。建立存储过程SAS 企业导航定义数据图书馆管理控制工作室元数据浏览分析数据SAS Office 插件注册源数据管理控制工作室建立信息映射SAS信息映射工作室定义目标表数据整合工作室建立ETL工作数据整合工作室建立报表Web 报表工作室建立OLAP立方体在线分析处理立方体利用信息门户Portal SAS门户OLAP立方体立方体的定义：立方体是一系列的被组织化、格式化、层级化的多维、多层数据。立方体的概念是OLAP存储过程的核心OLAP中的数据经常为汇总数据OLAP的经典结构：信息的分层次存储1） 数据被组织为-维-的形式2） -维-可以进一步组织为层级式的结构3） 层级式结构决定了-维-的层次逻辑关系：-维-、层级、层-维-：一组相近的层级结构层级：以父子结构形式排列的多层数据层：层级和维的组成部分，层描述了从最高级到最低级的-维- 教材示例：P6-19a) 利用立方体设计向导Cube Designer,新建立方体Orionstarb) 选取源数据表Orderfact, 导入立方体Orionstarc) 定义立方体的维度Dimension,为-时间维Timed) 定义维度的层：Order-year, Order-Qtr, Order-Month, 即年、季度、月3个层（Level）组成的层级结构(Hierarchy). 年、季度、月为层级的父子关系。e) 定义层级结构：即定义年、季度、月的层级结构。最高级Year应出现在层级树的顶端f) 增加立方体的第二个维度！产品维(2个维度的描述是针对同一表Orionstar)g) 设立维度的层Order-type和Product-IDh) 定义层的层级结构Order-type(父), Product-ID（子）i) 对立方体中的数据进行分析运算a) 每一个选入立方体的字段都可能成为分析的对象b) 对于每一个字段可能的分析方法系统已提供，如最大、最小、平均、求和等j) 指定或者设计数据的输出格式Formatk) 完成Cube立方体的设计 必要的说明可以浏览或操作Cube立方体的程序或工作室包括： SAS EG SAS Info. Del. Portal Web OLAP Viewer for Java OR .NET SAS Web Report Studio所以有必要对Cube浏览和操作权限的授权教材示例：用SAS Add-in For Office打开OLAP Cube P6-45（4）SAS Add-In Office SAS Office 插件使用Office Add-in的原因 许多商务人员，不论它们有没有编程基础，都可以借助SAS强大的分析工具来处理日常业务需求 商务人员已经习惯了OFFICE产品，Office Add-In 可以使商务人员利用SAS的强大分析功能，而不必学习新的软件 SAS Add-In把数据访问、数据分析、和SAS的计算功能整合到了Excel上 Office Add-in 可以做哪些事情 访问浏览SAS数据源 访问浏览SAS服务器可以访问的数据源 利用分析工具分析Excel和SAS数据 执行SAS应用程序Stored Processes 存储过程存储过程是SAS的应用程序，它储存在中央服务器，可以被多个不同的客户端调用和执行存储过程是由高级用户开发的，它只能有高级用户维护，作为客户端，不能修改存储过程，但是可以调用（映射）存储过程优点：代码维护和代码应用在物理上分开进行高级用户存储过程用户建立存储过程SAS 企业导航定义数据图书馆管理控制工作室元数据浏览分析数据SAS Office 插件注册源数据管理控制工作室建立信息映射SAS信息映射工作室定义目标表数据整合工作室建立ETL工作数据整合工作室建立报表Web 报表工作室建立OLAP立方体在线分析处理立方体利用信息门户Portal SAS门户SAS Office 插件提供了功能强大的分析工具-详见Office组件的SAS(S)-分析数据选项教材示例：a) 打开Excel-SAS-打开数据源-进入工作表b) 指定服务器为SASMAINc) 选择Orion Star Gold Library (在第三章创建的数据图书馆)d) 选择Customer Dimension表e) 选择要在Excel中显示的字段（本书示例为全部选定）f) 对数据的浏览操作如：至第一行数据、至最后一行数据、显示第5000至第10000行数据g) 利用SAS Add-In提供的工具进行操作。教材示例为过滤（从数据库角度来看即为 Select * from where conditions）即利用Filter功能实现数据的筛选。本书示例：原始表Customer Dimension，条件 国家=美国， 客户组=Orion Star, 排序=客户Last Name至此实现了数据的初步过滤，从内容上看原始表Customer-Dim转换为符合客户要求的初始表格h) 进行分析 路径：Excel-SAS-分析数据i) 选择单项频率分析，设置分析变量：客户性别、客户年龄组j) 运行结果本练习回答的问题：“请说明 Orion Star公司在美国的客户分布情况；其中包括不同性别和年龄段的客户分布，统计口径为频数”（5）SAS Stored Process SAS存储过程 关于存储过程的介绍 是SAS的程序 储存在服务器端：统一授权、统一管理、服务器一端更新所有人都更新 资源共享、集中维护、优化处理过程可以执行存储过程的SAS的组件： Office Add-In, SAS EG, SAS信息映射工作室，SAS门户，SAS Web 报表工作工作室建立存储过程SAS 企业导航定义数据图书馆管理控制工作室元数据浏览分析数据SAS Office 插件注册源数据管理控制工作室建立信息映射SAS信息映射工作室定义目标表数据整合工作室建立ETL工作数据整合工作室建立报表Web 报表工作室建立OLAP立方体在线分析处理立方体利用信息门户Portal SAS门户教材示例：1、 打开SMC2、 打开文件夹Orion Star Sports Outdoors3、 选择程序Orion Customer Counts说明：对于存储过程Orion Customer Counts，由高级用户开发和维护，前端人员一般只有调用（映射）的权限。存储过程后缀名 .SAS如何建立存储过程： 编写存储过程代码存储过程代码可以在 SAS Text Editor、SAS EG、SAS 数据整合工作室编写 创建存储过程元数据指定输入参数、输出设置、执行环境、描述语言、安全设置 测试存储过程SAS Office Add-In, SAS EG, SAS信息映射工作室, SAS门户, SAS Web报告工作室2、 存储过程经测试合格后存储在高级用户指定的文件夹，此文件夹具有相应得权限和授权，即前端人员要想调用（映射）此存储过程，需要具有相应的权限，并且被授权。之后才能把此存储过程，映射到自己的文件夹，并给予重新命名。前端人员，每次调用存储过程来自于自己的文件夹，存储过程的名字也是自己命名。这就实现了存储过程的开发、维护和应用的分离。对于前端用户此过程是透明的，即最终用户直接调用映射的存储过程，而不必担心编码的复杂性和维护。（6）SAS Enterprise Guide SAS 企业导航 SEG的功能： 通过点击双击实现绝大多数功能，易于操作 具有直观、可视化、客户化的用户接口 用户对于数据访问是透明的 任务和向导支持查询、分析、报表 提供将SAS数据导出的简便方式 SAS编程工作室 教材示例利用Project 功能创建一个Project 1、 建立一个New Project 在选项卡里面设置Project的元数据容器和服务器 -至此激活了一个新的Project2、导入数据 路径：LibrariesOrion Star Gold LibraryCUSTROMER DIMENSION3、对CUSTROMER DIMENSION运行汇总统计 设置分析变量：Customer Age 设置分组变量：Customer Country, Customer Gender4、运行结果利用SEG 创建SAS存储过程 利用创建兴存储过程向导：存储过程以宏的方式出现无需编程 依据已存在的存储过程创建新的存储过程 利用SEG 处理OLAP立方体教材示例：1、 新建Project2、 在Project中打开所需统计的原始表“Customer Dimension”3、 选择：描述/汇总统计4、 在人物角色中设置适当的参数和统计变量分析变量：客户年龄分类变量：客户国家，客户性别说明目标表格形式为：客户年龄汇总统计（最大、最小、平均）客户国家客户性别（男）客户性别（女）汇总统计系统默认指标：最大、最小、平均 5、执行Project(7) SAS 信息映射工作室 应用背景：在许多情况下，信息的使用者需要业务数据来生成各式