大数据深度挖掘技术与大数据应用课件

大数据深度挖掘技术与大数据应用目录联合实验室大数据分析平台产品技术架构典型行业应用案例技术基础研究方向研究方向关键任务制高点大数据可视化挖掘1）新型内存迭代数据挖掘算法2）数据挖掘可视化开发平台3）房地产、金融、电信等机器学习模型研究1）基于内存计算的机器学习算法2）行业大数据深度机器学习模型3）大数据可视化挖掘大数据内存计算1）基于内存的迭代算法研究2）内存大数据高速统计分析技术1）基于大数据内存的计算技术2）国内产品领先大数据语义分析1）大数据自然语言识别2）非结构化数据的知识发现、集成技术大数据平台的可视化集成目前是空白领域大数据云计算技术1）大数据云计算平台技术2）商业智能云平台技术1）云BI技术及大数据平台的核心技术研究2）大数据云BI在国内应用是未来趋势，有望建成国内第一家云BI平台实验室介绍-技术基础研究方向产学研合作项目合作成果大数据环境下的无重叠视域跟踪技术研究项目1）智慧城市合作2）9项大数据视频专利3）多项国家自然科学基金4）大数据视频分析平台审计行业大数据知识推理系统

（国家863项目）课题《大数据环境下基于案例的知识推理平台》申请国家863计划审计数据中心平台，全国推广中。房地产大数据分析建立房产数据开发服务平台，提供公众服务。房地产价值评估。建立房产评估模型，房地产指数等模型。制造业大数据信息挖掘云图制造业生产设备生命周期大数据分析。制造业信息云图。碳交易平台大数据碳金融算法与模型建立。碳交易与分析平台。实验室介绍-研究成果开创了基于人类视觉智能的动态目标捕捉、跟踪和行为分析的研究，在国内外杂志、会议发表了多篇高水平论文。获得视频识别，知识学习与推理相关发明专利2项，申请发明专利7项。大数据环境下的无重叠视域跟踪大数据技术，解决视频领域的知识识别，知识发现，知识集成与跟踪，推理等关键技术问题。多项国家自然科学基金大数据技术来实现国家经济免疫系统数据接口大数据知识推理系统疑点数据审计数据中心审计跨12个行业，跨地区数据源传统审计大数据审计无法跨地区、跨行业审计跨行业、跨区域审计事后审计、周期性审计连续审计复杂性隐蔽问题难以发现智能化，具有预测功能依据小样本经验地毯式排查大数据分析，建立抵御和预防手段审计行业大数据知识推理系统房地产大数据利用大数据建模技术，实现房地产价格指数、房地产评估模型碳交易利用大数据建模技术，建立全省碳排放计量监测体系的数据体系、技术体系、模型体系和评估体系，形成满足碳排放计量关系方程和参数目录联合实验室大数据分析平台产品技术架构典型行业应用案例数据挖掘越来越多的应用到了各个领域中，主要包括与客户关系管理相关的模型、与风险控制相关的模型、与生产销售预测相关的模型等数据挖掘应用领域产品名产品ETHINK可视化挖掘概要通过在浏览器内，鼠标拖拽形式实现加载数据、转换、建模、评估、图形以及结果输出特点通过视觉工作方式轻松获得此界面可以保障操作的灵活性在最短的时间内形成最多样的模型大数据挖掘，速度快关系型数据库数据挖掘模型算法库/语义分析Hbase/Hive/Hdfs

可视化数据挖掘平台多维自助分析调度管理SQL接口JDBC/ODBC内存计算服务Scala/Java/PythonOLAPServer手机平板电脑批处理实时流处理交互式查询统计分析平台ETHINK产品架构特点一丰富建模方法特点可拖拽式建模JDBCWebServicesRestfulapi可扩展性强自定义模型，扩充组件特点传统的关系型数据(mysql、Oracle等)列式数据库(Hbase)非结构化数据(Hdfs、文件系统)大数据（Hbase、Hive）特点二大数据处理特点开放型平台BS结构，一站式建模、评估、部署基于Spark平台内存计算运算速度快特点GBPB特点三大数据处理能力特点基于Spark平台内存计算执行数据挖掘时，方法论非常重要.因为准确的方法论能够提高作业速度,能系统地减少各种进展状况，所以选择正确的方法论是很重要的.CRISP-DM方法论是全球认可的数据挖掘的标准执行方法论.功能模块金融电信行业1.信用卡用户流失预测2.基于客户分群的精准智能营销3.基于公司价值评价的证券策略投资电力行业1.电力负荷预测2.自适应防窃漏电实时诊断互联网行业1.电子商务网站用户行为分析2.基于用户行为分析的定向广告投放3.企业信息系统用户服务感知评估

制造业行业1.制造设备生命周祺管理2.制造业投入产出预测公共服务业

1.空气质量预测2.卷烟消费者购买行为分析3.纳税人偷税漏税评估场景应用（实验室模拟实验课题）目录联合实验室大数据分析平台产品技术架构典型行业应用案例交互式查询实时在线处理实时流处理

批处理基于spark内存的计算模型，同时支持批处理、交互式处理、流处理。技术架构解决方案-要解决的问题技术架构解决方案-分布式内存计算批处理应用（分钟级别~小时级别）OLTP/在线事务处理应用（毫秒~秒级别）OLAP/在线交互式分析应用（秒级别）实时流处理（持续不断）技术架构解决方案-交互式查询通常的时间跨度在数十秒到数分钟之间按数据维度进行统计、聚合根据历史数据进行拟合和预测计算数据之间的相关性和模式等适合提供高速在线分析服典型应用场景政府各部门数据证券交易银行保险企业ERP/CRM等适用于数据量在GB到TB的高速数据分析技术架构解决方案-实时在线处理通常的时间跨度在数百毫秒到数秒之间数据来源多、高并发、数据处理量达分析结果快速响应典型应用场景社交网络分析、关联关系分析用户分类、用户行为预测高并发查询按主键毫秒级检索按多维度秒级检索按照关键字秒级检索事件驱动计算模型，系统处于持续不断计算之中，事件响应延迟在毫秒~秒级。流式计算系统处理应用的处理逻辑是由源源不断的数据流驱动。典型应用场景有金融在线欺诈预警广告CTR推荐系统技术架构解决方案-实时流处理技术架构解决方案-批处理及离线挖掘时间跨度在数十分钟到数小时之间。离线挖掘主要用于，多维统计预测，准实时分析以及对客户进行聚类、分类等数据挖掘应用。典型应用场景电子商务推荐引擎流失客户预测挽留日志清洗、ETL用户行为分析目录联合实验室大数据分析平台产品技术架构典型行业应用案例项目需求将总行下发的数据及核心业务数据，经过数据整理、加载到省级数据中心，并进行各项业务快速应用开发数据源某省公积金中心，近五年的操作、交易记录，共10亿条左右。系统环境4台X86架构的PC服务器，共128G内存单台服务器，8核CPU,32G内存解决方案Hbase导入海量数据，并支撑大数据查询可视化设计、可视化报表实现了数据的实时分析行业应用案例-金融

行业应用案例-金融系统由对公客户综合积分子系统、展业通客户综合收益分析子系统、授信客户资金结算子系统、对公柜面交易流水分析子系统等组成行业应用案例-金融项目需求整合第三方支付数据资源，分析挖掘客户交易、反馈信息、交易行等数据，实现精准营销，最大限度地提升产品价值数据源某第三方支付平台交易、反馈数据，月交易记录量1亿条。系统环境６台X86架构的PC服务器，共96G内存单台服务器，8核CPU,16G内存解决方案Hbase导入海量数据，并支撑大数据查询Hive对历史交易数据进行分析可视化设计、可视化报表实现数据的实时分析基于ETHINK可视化挖掘平台，完成精准营销建模持卡客户多维分析：持卡客户人口统计特征分析持卡客户交易行为模式分析持卡客户应用场景分析特约商户多维分析：商户基本信息分析/商户业务收益分析商户价值贡献度评估／商户收单风险分析持卡客户和特约商户双向分析特定特征客户特定时间消费商户分布分析特定时间在特定商户消费的客户特征分析行业应用案例-金融项目需求烟草工业企业目前积累了大量的数据信息，管理方式由粗放式管理转为精细化管理，产生了利用大数据技术收集、管理和展示分析结构化和非结构化的数据和信息的诉求，于是如何利用这些数据创造更大的价值、为领导决策和企业精益管理提供有力支撑成为重要的课题。数据存储近1年数据，每秒钟10000个数据采集点系统环境硬件环境：数据库服务器1台+4台分布式pcserver单台4核，16G内存解决方案流处理模块处理设备实时数据流事件预警开发平台，实现问题预警基于ETHINK数据挖掘建模分析平台,实现疑点挖掘建模可视化报表设计，完成大数据精益管理行业应用案例-烟草设备健康指数模型：利用数据聚类分析、特征分析、变化和偏差分析等数据挖掘方法分析工厂生产、质量、设备健康状况，实现指标关联分析及问题挖掘目的。行业应用案例-烟草谢谢！大数据数据的本质数据本质是生产资料和资产数据生产资料资产大数据的提出在1980年，著名未来学家阿尔文·托夫勒便在《第三次浪潮》一书中，明确提出“数据就是财富”，将大数据称为“第三次浪潮的华彩乐章”。第二次浪潮第三次浪潮第一次浪潮农业阶段，约1万年前开始工业阶段，17世纪末开始信息化阶段，20世纪50年代后期开始“如果说IBM的主机拉开了信息化革命的大幕，那么大数据才是第三次浪潮的华彩乐章。”从“数据”到“大数据”事件一事件二事件三时至今日，“数据”变身“大数据”，“开启了一次重大的时代转型”“大数据”这一概念的形成，有三个标志性事件：2008年9月，美国《自然》（Nature）杂志专刊——Thenextgoogle，第一次正式提出“大数据”概念。2011年2月1日，《科学》（Science）杂志专刊——Dealingwithdata，通过社会调查的方式，第一次综合分析了大数据对人们生活造成的影响，详细描述了人类面临的“数据困境”。2011年5月，麦肯锡研究院发布报告——Bigdata:Thenextfrontierforinnovation,competition,andproductivity,第一次给大数据做出相对清晰的定义：“大数据是指其大小超出了常规数据库工具获取、储存、管理和分析能力的数据集。”大数据的定义大数据（bigdata），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据的来源随着智能手机的普及，网民参与互联网产品和使用各种手机应用的程度越来越深，用户的行为、位置、甚至身体生理等每一点变化都成为了可被记录和分析的数据，数据量呈现爆炸式增长。地球上至今总共的数据量：在2006年，个人用户才刚刚迈进TB时代，全球一共新产生了约180EB的数据；据IDC研究机构预测：到2020年，整个世界的数据总量将会增长44倍，达到35.2ZB（1ZB=10亿TB）！1PB=2^50字节1EB=2^60字节1ZB=2^70字节TBPBEB ZB在2011年，这个数字达到了1.8ZB。GB数据大爆炸大数据的来源互联网每天产生的全部内容可以刻满6.4亿张DVDGoogle每天需要处理24PB的数据网民每天在Facebook上要花费234亿分钟，被移动互联网使用者发送和接收的数据高达44PB全球每秒发送290万封电子邮件，一分钟读一篇的话，足够一个人昼夜不停地读5.5年每天会有2.88万个小时的视频上传到YouTube，足够一个人昼夜不停地观看3.3年Twitter上每天发布5000万条消息，假设10秒就浏览一条消息，足够一个人昼夜不停地浏览16年大数据到底有多大？

以上一组互联网数据大数据的来源来自大量传感器的机器数据科学研究及行业多结构专业数据来自“大人群”泛互联网数据智能终端拍照、拍视频发微博、发微信其他互联网数据随着人类活动的进一步扩展，数据规模会急剧膨胀，包括金融、汽车、零售、餐饮、电信、能源、政务、医疗、体育、娱乐等在内的各行业累积的数据量越来越大，数据类型也越来越多、越来越复杂，已经超越了传统数据管理系统、处理模式的能力范围，于是“大数据”这样一个概念才会应运而生。大数据的构成大数据=海量数据（交易数据、交互数据）+针对海量数据处理的解决方案海量交易数据：企业内部的经营交易信息主要包括联机交易数据和联机分析数据，是结构化的、通过关系数据库进行管理和访问的静态、历史数据。通过这些数据，我们能了解过去发生了什么。海量交互数据：源于Facebook、Twitter、微博、及其他来源的社交媒体数据构成。它包括了呼叫详细记录CDR、设备和传感器信息、GPS和地理定位映射数据、通过管理文件传输ManageFileTransfer协议传送的海量图像文件、Web文本和点击流数据、科学信息、电子邮件等等。可以告诉我们未来会发生什么。海量数据处理：大数据的涌现已经催生出了设计用于数据密集型处理的架构。例如具有开放源码、在商品硬件群中运行的ApacheHadoop。注：大数据不仅仅指的是数据量庞大，更为重要的是数据类型复杂大交易数据大交互数据大数据处理大数据集成大数据4V特征4V特征种类多（Variety）速度快（Velocity）价值高（Value）体量大（Volume）大数据与传统数据相比，数据来源广、维度多、类型杂，各种机器仪表在自动产生数据的同时，人自身的生活行为也在不断创造数据；不仅有企业组织内部的业务数据，还有海量相关的外部数据。随着现代感测、互联网、计算机技术的发展，数据生成、储存、分析、处理的速度远远超出人们的想象力，这是大数据区别于传统数据或小数据的显著特征。大数据有巨大的潜在价值，但同其呈几何指数爆发式增长相比，某一对象或模块数据的价值密度较低，这无疑给我们开发海量数据增加了难度和成本。从2013年至2020年，人类的数据规模将扩大50倍，每年产生的数据量将增长到44万亿GB，相当于美国国家图书馆数据量的数百万倍，且每18个月翻一番。大数据4V特征—价值高（Value）大数据有巨大的潜在价值，但同其呈几何指数爆发式增长相比，某一对象或模块数据的价值密度较低，这无疑给我们开发海量数据增加了难度和成本。挖掘大数据的价值类似沙里淘金，从海量数据中挖掘稀疏但珍贵的信息；价值密度低，是大数据的一个典型特征；大数据4V特征—体量大（Volume）从2013年至2020年，人类的数据规模将扩大50倍，每年产生的数据量将增长到44万亿GB，相当于美国国家图书馆数据量的数百万倍，且每18个月翻一番。1Bity1KB1MB1GB1TB1PB1EB1ZB1YB1PB相当于50%的全美学术研究图书馆藏书信息内容5EB相当于至今全世界人类所讲过的话语1ZB如同全世界海滩上的沙子数量总和1YB相当于7000位人类体内的微细胞总和一般情况下，大数据是以PB、EB、ZB为单位进行计量的大数据4V特征—速度快（Velocity）82254132215327源自英国Coda研究咨询公司大数据的增长速度快大数据的处理速度快实时数据流处理的要求，是区别大数据引用和传统数据仓库技术，BI技术的关键差别之一；1s是临界点，对于大数据应用而言,必须要在1秒钟内形成答案，否则处理结果就是过时和无效的；现在及未来几年内美国的移动网络数据流量增长（PB/月）大数据4V特征—种类多（Variety）大数据与传统数据相比，数据来源广、维度多、类型杂，各种机器仪表在自动产生数据的同时，人自身的生活行为也在不断创造数据；不仅有企业组织内部的业务数据，还有海量相关的外部数据。数据来源多企业内部多个应用系统的数据、互联网和物联网的兴起，带来了微博、社交网站、传感器等多种来源。数据类型多保存在关系数据库中的结构化数据只占少数，70~80%的数据是如图片、音频、视频、模型、连接信息、文档等非结构化和半结构化数据。关联性强数据之间频繁交互，比如游客在旅行途中上传的图片和日志，就与游客的位置、行程等信息有了很强的关联性。物联网数据行业/企业内数据互联网数据大数据大数据带来的思维变革大数据大数据的核心代表着我们分析信息时的三个转变，这些转变将改变我们理解和组建社会的方法更多更杂更好更多不是随机样本，而是全体数据更好不是因果关系，而是相关关系更杂不是精确性，而是混杂性大数据带来的思维变革—更多人口大普查全数据模式随机采样样本模式大数据应用全数据模式是指在国家统一规定的时间内，按照统一的方法、统一的项目、统一的调查表和统一的标准时点，对全国人口普遍地、逐户逐人地进行的一次性调查登记；主要特点是调查组织高度集中性，普查对象的全面完整性；人口大普查耗时耗费，一般来讲是十年一次，新中国成立以来共进行了6次人口大普查；人口大普查是一种典型的全数据模式；大数据时代小数据时代大数据带来的思维变革—更多人口大普查全数据模式随机采样样本模式大数据应用全数据模式人口大普查是一种耗时耗费的工程，一般是以十年为单位；各国每年需要进行几百次的小规模人口调查，采取随机采样分析的方式，这是一种样本模式；源于实用并且很好的创新！随机采样分析是小数据时代的产物；大数据时代小数据时代大数据带来的思维变革—更多人口大普查全数据模式随机采样样本模式大数据应用全数据模式我们已具备了大数据的各种技术能力，思维需要转换到大数据的全数据模式：样本=全部；大数据不用随机分析法这样的捷径，而采用所有数据的方法；这里的“大”是相对的——相扑比赛所有数据存储还不需要一个TB，但是是所有的数据！在大数据时代采用随机采样法，就像在汽车时代骑马一样，虽然特定情况下仍可采样随机采样法，但是慢慢地我们会放弃它；大数据时代小数据时代大数据带来的思维变革—更好佛教《三世因果经》主要讲：一是人的命是自己造就的；二是怎样为自己造一个好命；三是行善积德与行凶作恶干坏事的因果循环报应规律。佛教关于因果报应的解释原因和结果是揭示客观世界中普遍联系着的事物具有先后相继、彼此制约的一对范畴。原因是指引起一定现象的现象，结果是指由于原因的作用而引起的现象。哲学范畴的因果关系大数据的相关关系，而不强调因果关系；（舍恩伯格），其实这个只是一种对无法探究因果的妥协，人类应该去探寻因果，因为世界存在客观的运转规律；舍恩伯格对大数据的相关性解释Kaggle，一个为所有人提供数据挖掘竞赛的公司，在一次