大数据分析技术架构解决方案PPT课件.ppt

1、大数据分析技术架构解决方案，技术基础研究方向，-技术基础研究方向，发起了基于人类视觉智能的动态目标捕捉、跟踪和行为分析研究，并在国内外杂志和会议上发表了多篇高水平论文。获得2项与视频识别、知识学习和推理相关的发明专利，申请7项发明专利。大数据环境下的非重叠视域跟踪，大数据技术，解决视频领域的知识识别、知识发现、知识集成与跟踪、推理等关键技术问题。多项国家自然科学基金、大数据技术实现了国家经济免疫系统、审计跨行业和跨地区数据源、审计行业大数据知识推理系统、房地产大数据，利用大数据建模技术实现了房地产价格指数、房地产评估模型和碳交易，并利用大数据建模技术建立了全省碳排放计量监测系统的数据系统、技术

2、系统、模型系统和评估系统。满足碳排放计量关系的方程、参数、目录和数据挖掘越来越多地应用于各个领域，主要包括与客户关系管理、风险控制和产销预测等相关的模型。数据挖掘的应用领域有：产品名称、产品、ETHINK可视化挖掘、摘要等。通过拖放鼠标，可以实现数据加载、转换、建模、评估、图形和结果输出。该界面可以通过可视化的工作模式轻松获得，保证了操作的灵活性，在最短的时间内形成最多样的模型。大数据挖掘是快速的、关系数据库、数据挖掘模型算法库/语义分析、Hbase/Hive/Hdfs、可视化数据挖掘平台、多维自助分析、调整管理、SQL接口JDBC/ODBC、内存计算服务Scala/Java/Python、O

3、LAP服务器、手机、平板电脑、计算机、批处理、实时流处理、交互式查询、统计分析平台、ETHINK产品架构、功能1、丰富的建模方法、拖放建模、JDBC Web Services Restful api、可扩展定制模型、扩展组件、功能)、列数据库(Hbase)、非结构化数据(Hdfs、文件系统)、大数据(Hbase、Hive)、特性2、大数据处理、开放平台、BS结构、一站式建模、评估和部署、基于Spark平台内存的快速计算速度、特性、GB、PB、因此，选择正确的方法非常重要。CRISP-DM方法是全球公认的数据挖掘标准实现方法，包括场景应用(实验室模拟实验项目)、目录和基于火花记忆的计算模型，支持

4、批处理、交互处理和流处理。技术架构解决方案-要解决的问题，技术架构解决方案-分布式内存计算，批处理应用程序(分钟级和小时级)，OLTP/在线事务处理应用程序(毫秒级)，OLAP/在线交互式分析应用程序(二级)，实时流处理(连续)，技术架构解决方案-交互式查询，通常，时间跨度从几十秒到几分钟不等，根据数据维度进行统计和聚合。根据历史数据进行拟合和预测适合于提供高速在线分析服务。典型应用场景：政府部门、证券交易银行、保险公司、企业资源规划/客户关系管理等数据。适用于数据量从GB到TB的高速数据分析，以及技术架构解决方案-实时在线处理。通常，时间跨度为数百毫秒至数秒，具有多数据源、高并发性、高数据处

5、理能力、对分析结果的快速响应、典型应用场景、社交网络分析、关联分析、用户分类、用户行为预测、高并发查询、多维二级检索、关键字二级检索、事件驱动计算模型，系统处于连续计算状态，事件响应延迟为毫秒级。流式计算系统的处理逻辑由稳定的数据流驱动。典型应用场景包括金融在线欺诈预警广告CTR推荐系统、技术架构解决方案实时流处理、技术架构解决方案批处理和离线挖掘，时间跨度从几十分钟到几个小时不等。离线挖掘主要用于多维统计预测、准实时分析、客户聚类和分类等数据挖掘应用。典型的应用场景：电子商务推荐引擎丢失客户预测保留日志清理、ETL用户行为分析、目录和项目需求。总行下发的数据和核心业务数据被分类加载到省级数据

6、中心，各项业务得到快速应用和发展。数据来源是一个省级公积金中心，近五年有大约10亿的运营和交易记录。系统环境中有四台基于X86的电脑服务器，共有128克内存和一台8核中央处理器服务器。32 G内存解决方案Hbase导入海量数据，支持大数据查询和可视化报表的可视化设计，实现实时数据分析。行业应用案例-金融、行业应用案例-金融，系统由企业客户综合积分子系统、展业通客户综合收益分析子系统、信贷客户资金结算子系统、企业柜台交易流程分析子系统等组成。行业应用案例金融，项目需要整合第三方支付数据资源，分析挖掘客户交易、反馈信息、交易银行等数据，实现精准营销，最大化产品价值数据源第三方支付平台的交易和反馈数

7、据，每月交易记录量1亿。系统环境平台是一个基于X86的个人电脑服务器，共有96G内存和一个服务器，8核中央处理器。16g内存解决方案Hbase导入海量数据，支持大数据查询Hive分析和可视化历史交易数据，通过可视化报表实现数据的实时分析，并基于ETHINK可视化挖掘平台完成精准营销建模。持卡人的多维分析：持卡人的人口学特征；持卡人交易行为模式分析：持卡人应用场景分析；商户多维分析：商户基本信息分析/商户业务收入分析；商人价值贡献的评估；获取商户订单的风险分析：对具有特定特征的客户进行双向分析；特定时间顾客分布与商家消费分析：行业应用案例财务、项目需求目前烟草行业企业已经积累了大量的数据信息，管理模式已经从粗放式管理转变为精细化管理，这就产生了利用大数据技术来收集、管理、显示和分析结构化和非结构化数据和信息的需求。因此，如何利用这些数据创造更大的价值，为领导决策和企业精益管理提供强有力的支持，已经成为一个重要的课题。数据存储数据将近一年，每秒钟有10，000个数据收集点。系统环境和硬件环境：1台数据库服务器、4台分布式pc服务器、1台单4核、16G内存解决方案、流量处理模块、处理设备、实时数据流事件预警开发平台，实现问题预警。基于ETHINK数据挖掘建模与分析平台，实