ETHINK大数据解决方案

1、大数据平台及解决方案大数据平台及解决方案ETHINK产品1行业应用3解决方案2产业化目标4大数据领域分类树大数据领域分类树ETHINK的目标是在分析和加速计算领域做到国内的目标是在分析和加速计算领域做到国内 第第1 或或 第第2的位置的位置 快速整合和管理各类大数据，对信息进行高级分析。 可视化所有数据，对数据进行统计、挖掘、关联分析。 为构建报表、仪表板、图文报告、可视化分析、钻取分析、数据挖掘等应用提供了整套基于html5的设计开发环境ETHINKETHINK大数据平台大数据平台应用栈应用栈云云BIBI平台访问平台访问云云BIBI平台访问平台访问解决方案2行业应用3ETHINK产品1产业化

2、目标4方案一：交互式方案一：交互式SQL统计与数据挖掘统计与数据挖掘关系表关系表关系表交互界面SQL接口JDBC/ODBCETHINK并行算法库ETHINK内存分析库（Index,filters）Hadoop HDFSsqoopcacheCheckpoint数据挖掘内存分析引擎适合提供内存分析引擎适合提供高速在线分析服务，如高速在线分析服务，如按数据维度进行统计、按数据维度进行统计、聚合，根据历史数据进聚合，根据历史数据进行拟合和预测以及计算行拟合和预测以及计算数据之间的相关性和模数据之间的相关性和模式等式等方案二：实时在线处理方案二：实时在线处理关系数据库警告已有应用服务器应用Ethink

3、查询分析引擎HBase实时入库事件记录影像HTTP/REST接口接口接口搜索、统计、分析、图推理简单查询扫描交易记录、实时事件、电话清单等724不间断数据数据来源多、高并发以及数据来源多、高并发以及生成速度快，并且要在数生成速度快，并且要在数据流动的过程中进行分析据流动的过程中进行分析和计算。和计算。方案三：实时流处理方案三：实时流处理ETHINK流引擎流引擎在线模型训练时间窗口统计Stream Driver流驱动器转换、清洗实时查询StreamStreamApplicationsApplicationsStream QL统计Stream ML机器学习实时查询异常阀值对比报警传感器网络传感器日

4、志传感器日志消息队列Map/ReduceHadoop HDFS传感器日志/2013101/2013101/20130102/20130102/流式计算系统是针对其处理的数据是从流式计算系统是针对其处理的数据是从前端或者其他数据源持续不断地输入的，前端或者其他数据源持续不断地输入的，应用的处理逻辑由这些源源不断的数据应用的处理逻辑由这些源源不断的数据流驱动，持续对输入的数据进行计算。流驱动，持续对输入的数据进行计算。方案四：离线分析与挖掘方案四：离线分析与挖掘支持SQL统计，在数据量达到100TB规模时，是数据仓库的唯一解决方案Transwarp Manager安装、部署、管理、监控和告警Hiv

5、eQL-SQL翻译器JDBCCLIODBCR统计语言Web并行化REthink Manager安装、部署、管理、监控和告警MAPREDUCE2YARN资源管理框架HDFS2-分布式文件系统Erasure Code-纠错编码C/C+C/C+JavaJavaROBTextImageBinary FileLogsSqoopSqoopETLETL工具工具FlumeFlume日志采集日志采集多维统计预测，准实时分析以及对客户进行聚类、分类等数据挖掘应用.使用搜索引擎时，搜索同样的关键词时却让不同的用户看到不同的广告；在电子商务网站购物时，每次浏览同样的商品时，让用户得到不同的商品推荐。行业应用3ETHI

6、NK产品1解决方案2产业化目标4农业审计企业审计社保审计固定资产审计保险审计外资运用跨行业、跨区域数据中心税收审计海关审计财政审计金融审计银行证券专项审计经济责任审计 税收、海关、财政、金融、银行、证券、经济责任、保险、企业、社保、固定资产、农业、外资运用、专项审计13大行业数据源Hadoop大数据集群，大数据分布式内存计算大数据环境下知识学习引擎、推理引擎，数据挖掘与机器学习跨行业、跨区域的审计大数据数字化综合分析中心，指挥中心 国家金审工程需求国家金审工程需求数字化审计分析平台数字化审计分析平台审计数据中心平台审计数据中心平台电信行业应用电信行业应用门户层门户层数据源BSSOSSMSS业务

7、平台网站访问日志论坛.DSGETL_STEPDataXNutchETL层层服务管理数据服务层数据服务层自助取数平台数据应用层数据应用层智能分析平台模型管理程序管理维度管理指标管理需求管理元数理管理服务接入服务访问运行控制消息路由控制参与人产品事件EDM销售品客户竞争宽表宽表层层收入业务量竞争基础基础指标指标流量3G宽带业务业务指标指标EDA基础平台(oracle)详单GP计算平台结算基站位置客户特征家庭网关hadoop计算平台手机上网论坛微博业务监控业务网管智能调度业务配置分析评估每日关注客户洞察平台精确营销渠道全资源应用应用集市集市n数据存储处理云化使用GP对海量结构数据进行计算使用hado

8、op对非结构化数据整合、计算、查询n数据管理标准化 数据管理标准化 模型标准化 运营管理标准化 n 应用智能化自助取数 智能分析n 数据服务标准化提供ESB总线。电信行业应用HDFS（互联网大数据，数据文件）Node1(date)node2node3node4node5node6node7node8MASTER（NAMELODE）hivezookpeer大数据接口Wap上网详单用户资料终端注册数据信息库上网详单mapredurce用户特征分析汇总大数据装载、汇总、查询任务实现、执行与管理客户特征体系（GP）查询结果锁管理六大可视功能HBASE存放汇总后的数据自下而上的数据支持与应用，分为：接口

9、层、HADOOP分布式文件层、应用层。地方交通部门,设备724小时不间断捕获图像和视频数据，每月数据量达TB级.集中管理交通数据。优化海量数据利用改善交通.提升交通案件侦破能力增强交通警察对机动车辆的监管能力.交通部门大数据交通部门大数据实时视频监控大数据应用实时视频监控大数据应用依托大数据云端平台，开展基于大数据的无重叠视域跟踪技术研究，具体包括： 1）目标检测；2）运动目标跟踪；3）目标信息生成及存储；4）目标关联；5）合成视频回放，并构建相应的视频网络实验平台，利用大数据技术，实现移动目标在大范围区域中的实时检测与接力跟踪，进一步提高视频监控系统的实时性、准确性和可靠性。中国科学技术大学

10、仿真与智能控制实验室，本实验室在视频处理具有多年的研究经验，已经构建了5版视频监控平台，且开创了基于人类视觉智能的动态目标捕捉、跟踪和行为分析的研究，在国内外杂志、会议发表了多篇高水平论文，获得视频相关发明专利2项，申请7项。已获得项目有：1 国家自然科学基金项目（61075073）2 高等学校博士学科点专项科研基金资助课题（20093402110014）3 国家自然科学基金项目（61005091）4 与38所合作项目：基于视频的行人车辆检测和跟踪其中与其中与38所合作完成的所合作完成的“基于视频的行人车辆检测和跟踪基于视频的行人车辆检测和跟踪”项目，已经服务于项目，已经服务于“智慧黄山智慧黄

11、山”工程。工程。金融行业大数据应用金融行业大数据应用加强风险管控、精细化管理、业务创新等业务转型。大数据能够加强风险的可审性和管理力度，支持业务的精细化管理。利率市场化必然会对银行业提出精细化管理的新要求。其次，大数据支持服务创新，能够更好地 实现以客户为中心 理念，通过对客户消费行为模式进行分析（比如事件关联性分析），提高客户转化率，开发出不同的产品以满足不同客户的市场需求，实现差异化竞争。小额信贷，余额宝医疗卫生行业健康档案是个人全生命周期的医疗健康数据的管理。 例如，对于慢性病患者，以往病程的变化，治疗的过程都对医生诊断和处置有着重要的辅助作用。过敏史，不良反应这些数据对避免出现医疗差错

12、和事故也有着积极的作用。贷款税收评估数据担保建筑物数据p解决房地产行业风险控制、为调控政策、房地产税制定提供依据p为购房者、卖房者、租房者提供准确的市场信息p反映房地产供求关系，企业可根据需求“定制”房产开发，实现房地产企业精准营销价格租金买家卖家经纪人房地产公司银行政府房屋价值指数数据资产管理消费行为模型房地产大数据房地产大数据的价值房地产大数据的价值开发商开发商房地产大数据分析，可以帮助开发商完成投资区域规划、土地竞拍定价、房屋销售定价、客户精准营销的目的。个人购房个人购房改变现有房地产销售营销模式和提升产品服务质量。房地产管理局房地产管理局实现房地产价格、土地的审计和管控。针对开发商针对

13、开发商大数据分析挖掘实现全国房地产投资区域规划大数据分析挖掘实现全国房地产投资区域规划。全国各地房地产价格、涨势、潜力差异巨大，无法从主观经验信息上对全国各地的房地产现状进行全面了解。大数据分析挖掘助力开发商竞拍土地大数据分析挖掘助力开发商竞拍土地大数据将会使房企拿地变得更加精准，更加具有可分析性，更加有针对性。通过大数据挖掘建模，分析历史土地竞拍价格、土地周边配套环境及人群特点，分析土地升值空间，甚至预测竞争对手出价范围，建立决策树，达到合理标定竞拍价格范围的目的。实现住房科学定价实现住房科学定价通过搜集房地产微博数据、开盘用户对房屋关注数据、房屋周边配套价值数据、房屋自身成本、房屋设计等各

14、个维度数据，实现数值化的建模。大数据分析挖掘精确锁定客户，实现精准营销大数据分析挖掘精确锁定客户，实现精准营销产品销售会直接面临着用户群，一方面分析房屋自身设计、周边配套、周边现有人群特点，对用户进行全面描绘，形成潜在购买用户的画像。结合线下营销策略，针对不同人群，推荐不同区域的楼盘房型，实现差异化的营销。针对个人用户针对个人用户指导用户合理购房，理性投资互联网运营思路，将会对房地产行业进行重新布局。通过互联网缩短客户与房地产商之间的距离，房地产企业可以深入了解客户需求，改进投资区域规划，提高团队设计水平，以客户需求为核心，实现产品和服务水平的提升。产品服务上，分析房屋数据参数和房屋价格，结合

15、用户当前购买能力及生活现状，推荐合适楼盘及户型给用户。管理最终购买产品客户信息，做好回访，挖掘客户自身营销潜力，结合分销政策，拓展口碑传播渠道及市场营销渠道。房地产管理局、土地规划局等政府部门房地产管理局、土地规划局等政府部门大数据挖掘分析可以帮助实现房屋价格管控、土地价格合理评估、土地建设全局规划。一方面，根据现有房屋销售数据、房屋自身属性，建立房地产价格预测模型，以数据为基础，控制开发商对房屋的定价。另一方面，根据城市人口流动数据，房地产销售数据，预测各个地块发展潜力，挖掘具有商业价值地块，辅助政府部门进行城市规划。产业化目标4ETHINK产品1解决方案2行业应用3产业化目标1）大数据分析产品产业：打造大数据商业智能基础设施平台，并在大数据的分析工具、大数据加速计算、大数据数据挖掘、大数据开发平台等领域开展技术攻关、成果转化、产品沉淀，推进国产大数据分析产品的产业化。2）云BI产业：基于云计算实现大数据商业智能的服务模式，在国内新兴的SAAS BI市场，推动国内形成新的产业。3）行业大数据分析产业：基于ethink大数据技术