从经营分析到信息运营的转变--构建更开放、更草根化、更高性价比的BI系统.ppt

从经营分析到信息运营的转变 -构建更开放、更草根化、更高性价比的bi系统,让 中 国 软 件 影 响 世 界,bi研发中心 亚信科技(中国)有限公司 许颖 2009年10月,让 中 国 软 件 影 响 世 界,2,现在的亚信的经分架构-最核心目标：促进系统内的标准化和数据与应用解耦,基础数据,信令实时采集模块,vgop,ng-crm,知识库,ng-boss,配合4a 安全管理,应 用 层,获取层,源系统,客户分析 及运营,统一日志 管理功能,角色权限 管理,元数据 管理,数据质量 管理,运维 管理,门户集成框架,应用 子层,访 问 层,指标库,信息 子层,汇总数据,数据转换,数据加载,数据校验,dsmp,网管,个性化页面引擎,访问适配,应用门户访问接口层(portlet、ajax、mashup),多维数据,分析图形,统一信息搜索,信息推送,通知管理,规则引擎,olap 引擎,封装引擎,自定义 查询引擎,引擎层,基 础 组 件,数据管理域,经 营 服 务 域,信 息 服 务 域,客户群 筛选组件,效果评估 组件,计划管理 组件,业务指标 监控组件,工作流 引擎,产品分析 及运营,资源分析 监控,员工关系 管理,决策支持 应用,业务 组件,统一接触 组件,活动管理 组件,搜索引擎,角色适配 （角色）,应用适配（业务方案） 个人客户市场、集团客户市场、.,客户管理 功能,营销与产品 管理功能,资源分析 监控功能,基础管理 功能,功能 子层,etl,数据服务,数据接口层(jdbc、web service、file),桌面widget,数据采集,安全管理,适配层,调度引擎,用户及权限,应用日志,数据封装 服务管理,应用数据 安全管理,数 据 层,让 中 国 软 件 影 响 世 界,3,未来会怎样？(2个焦点和2个推动),焦点一： 不断增长的面向各个岗位的 精细化管理和精细化营销的需求 ，分析流程和执行流程相融合,焦点二： bi系统作为数据中心，信息 中心，数据和信息的价值还需要 进一步被挖掘，被其他应用使用,推动一： 互联网开放式运营模式的转变,推动二： 云计算带来的低成本 高性能海量数据的计算处理技术,信息运营,让 中 国 软 件 影 响 世 界,4,支撑系统的服务运营,物理平面,系统平面,展现平面,数据平面,对于着力于信息运营bi系统而言如下是着力点： 物理平面的数据存储 系统平面： 业务支撑服务：数据分析，营销支撑 服务交付：商业智能 数据平面： 客户，产品，渠道信息,让 中 国 软 件 影 响 世 界,5,信息运营对未来bi系统的要求,数据提取服务,数据加工服务,信息发布服务,信息展示服务,数据挖掘服务,营销活动服务,私有云,信息搜索服务,信息提问服务,客户标签查找服务,客户标签录入服务,信息订阅服务,公有云,元数据提取服务,让 中 国 软 件 影 响 世 界,6,构建开放的信息运营系统,bi作为一种能力，提供给整个支撑体系使用。技术平台作为承载这种能力的平台应当提供如下几种能力：,数据即服务 基础数据-业务对象数据的封装-业务标签对象的封装 数据的自描述,场景化的应用以业务组件为基础原子单位：业务分析型组件，任务型组件 业务分析组件以界面+数据服务形式封装，提供给外部调用 任务型组件以业务管理功能为基础封装并提供给外部调用,让 中 国 软 件 影 响 世 界,7,数据封装服务不仅仅是技术手段,让 中 国 软 件 影 响 世 界,8,而且是数据标准化的过程(例如金融行业，医疗行业）,数据标准化,针对较为成熟的基础 语音业务构建统一指标体系 和xml描述,针对客户统一视图部分在 业务特征的层次上统一 xml描述,业务数据 对象,客户统一视图,产品统一视图,让 中 国 软 件 影 响 世 界,9,从架构上看数据封装与整合,数据整合,基于 atom 1.0 和 rss 2.0 的数据格式定义,基于rest/rpc和atom 发布协议的数据发布api 按业务流程组织数据api,让 中 国 软 件 影 响 世 界,10,构建更草根化的信息运营系统,企业内部it人员的以场景为驱动的应用过程中，业务分析型组件与任务型组件的装配环境 面向一般使用人员的自助式数据组装和应用组装环境 分析型组件的dashboard组装环境,分布式对标签、信息、数据的查找 讨论与知识共享,让 中 国 软 件 影 响 世 界,11,专家式的装配能力,经分内部流程驱动,经分外部流程驱动,企业信息总线（内含流程引擎),经分系统,boss系统,crm系统,让 中 国 软 件 影 响 世 界,12,更草根式的装配能力(data mashup/web mashup),让 中 国 软 件 影 响 世 界,13,分析型组件的dashboard组装环境,用户在一个页面中 配置展示各个自定 义查询功能各种 查询结果的功能,让 中 国 软 件 影 响 世 界,14,查找,报表,元数据,互联网文本信息,通知短信,告警信息,标签，客户群,kpi指标,专题,被索引的数据,查找,搜索引擎,信息呈现,提问,标签式,搜索,搜索引擎实现,让 中 国 软 件 影 响 世 界,15,云计算技术在需要高性价比的信息运营系统中的应用,etl 客户标签处理，分析，及搜索服务 基于云平台的数据挖掘(与移动研究院部署在big cloud上的合作）,硬件的虚拟化场景,让 中 国 软 件 影 响 世 界,16,新系统上线需要部署独立的运行环境 经分系统扩容 利用虚拟化技术，定制一个vm+os+db的数据集市部署环境模板，即时根据业务需要进行简单的资源申请操作，从云计算的资源池中申请一块与模板匹配的资源，就可以实现快速搭建环境。 利用虚拟化技术，新购设备加入现有虚拟环境中，进行系统级的虚拟机拷贝和移植或者存储的导入导出，可以很方便的将应用和数据迁移到性能更好的机器上，实现快速扩容。 利用虚拟化技术，还可以充分利用现有设备的剩余资源，形成计算能力！,虚拟化应用场景及解决方案,让 中 国 软 件 影 响 世 界,17,etl云化之虚拟化方案,利用虚拟化技术，实现很多的etl slave机器;在slave上部署、配置etl工具; master主机将etl数据源分发到不同的slave上，控制众多slave同时运行；,让 中 国 软 件 影 响 世 界,18,etl云化之云平台方案,利用云平台提供的api将etl 改成基于云平台的并发计算模型,让 中 国 软 件 影 响 世 界,19,基于虚拟化的云计算etl方案 基于云平台的云计算开发方案,etl的云计算方案比较,让 中 国 软 件 影 响 世 界,20,客户标签处理，分析及提取云化实现 (从sql提取转换为搜索),传统做法,dw,客户统一视图,业务特征，标签定义,sql提取,云平台做法,标签索引1,标签索引1,标签索引文件1.,云平台dfs系统,客户属性文件1,客户属性文件,客户属性文件1,客户详单文件1,客户详单文件n,处理或者挖掘算法,类似于google的搜索,让 中 国 软 件 影 响 世 界,21,传统计算平台和云计算平台的混合架构,让 中 国 软 件 影 响 世 界,22,总结近阶段的系统架构,基础数据,信令实时采集模块,vgop,ng-crm,知识库,ng-boss,应 用 层,获取层,源系统,客户分析 及运营,门户集成框架,应用 子层,访 问 层,指标库,信息 子层,汇总数据,数据转换,数据加载,数据校验,dsmp,网管,个性化页面引擎,访问适配,应用门户访问接口层(portlet、ajax、mashup),多维数据,分析图形,统一信息搜索,信息推送,通知管理,规则引擎,olap 引擎,封装引擎,自定义 查询引擎,引擎层,基 础 组 件,经 营 服 务 域,信 息 服 务 域,客户群 筛选组件,效果评估 组件,计划管理 组件,业务指标 监控组件,工作流 引擎,产品分析 及运营,资源分析 监控,员工关系 管理,决策支持 应用,业务 组件,统一接触 组件,活动管理 组件,搜索引擎,角色适配 （角色）,应用适配（业务方案） 个人客户市场、集团客户市场、.,客户管理 功能,营销与产品 管理功能,资源分析 监控功能,基础管理 功能,功能 子层,etl,数据服务,数据接口层(jdbc、web service、file),桌面widget,数据采集,适配层,