大数据简介-课件

汪灏2013.4.13大数据介绍分享汪灏大数据介绍分享什么是大数据？什么是大数据？大数据的定义Gartner的定义：“大数据”是需要新计算模式才能处理的，具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据的4V特点：Volume：数据规模巨大（TB-PB量级）；Velocity：数据产生速度快，数据响应处理速度快；Variety：数据形式多而杂乱。多渠道、多媒体、多用途；Value：数据价值分散。单体价值低，数据量越大，价值越明显。大数据的定义Gartner的定义：“大数据”是需要新计算模式数据的来源和去向AnalyticalSystemsReportingSystemsBusinessIntelligenceCorporatePerformanceManagementDataWarehouseDataMartsPortal/Dashboard建模识别置信级联监管集成同步通知共享Federate数据监管安全多源数据集关联匹配合并清洗数据交换

平台BI&Reporting数据仓库分析型系统操作型系统智能设备数据的来源和去向AnalyticalReportingB大数据兴起的原因海量信息的出现互联网的普及导致信息供应的社会化和即时化趋势智能控制和联网设备的增加提供了大量的实时控制信息多媒体技术的成熟导致信息形态的多元化呈现相关技术的成熟到位不断升级换代的网络技术保证了数据存取的响应速度日趋低廉的存储成本为大数据的保存提供了可能云计算等技术的出现极大提高了数据处理性能快速获取信息的需求个人和企业面对海量的数据面临选择困难数据而非经验越来越成为决策的重要依据信息获取的速度有时比质量更重要供应需求能力大数据兴起的原因海量信息的出现互联网的普及导致信息供应的社会大数据的产业链数据生产方数据保有方数据处理方数据消费方大数据的产业链数据生产方数据保有方数据处理方数据消费方大数据带来哪些变革？大数据带来哪些变革？思维变革关注数据的全体，而不是样本抽样样能节省分析时间，但也有无法预知的风险技术进步使得基于全体的分析成为可能关注数据的数量，而不是个体的质量规模化的数据可以抵消单一数据的低质量问题多来源、多媒体的数据提供了多样化的价值数据的非结构化恰恰是其自然形态的表现关注数据的量化关系，而不是逻辑关系存在即合理。事实比推理分析和专家建议更可靠。不是每一种关联性都能容易找到逻辑关系“知其然，而不知其所以然”也能提供巨大的商业价值思维变革关注数据的全体，而不是样本抽样样能节省分析时间，但也技术变革云计算：把集中的运算分散开来物联网：把分散的设备连在一起Hadoop：把大数据切成小模块技术变革云计算：把集中的运算分散开来物联网：把分散的设备连在大数据带来的风险和挑战数据隐私谁有权使用我们的个人信息？电信？淘宝？QQ？政府有权滥用个人信息吗？Bigdataisbigbrother?!如何适当有效地披露公众信息？数据安全数据量大，黑客就不容易找到攻击方向了吗？仅仅隐匿某些信息能够保证数据不被盗用吗？一切都在网上，谁来监督数据安全公司？数据暴力洞悉过去就可以预知未来吗？有意图就一定会去做吗？客观数据能完全替代人的主观感受吗？大数据带来的风险和挑战数据隐私如何应用大数据？如何应用大数据？MarketBasketAnalysisSupport(AB)=transactionscontainingeveryiteminAandBalltransactionsSupport(C->A)=2/5=0.4ABCACDBCDADEBCEFromBiMBAMISCoursePPTbyLeidaChenMarketBasketAnalysisABCACDBC推荐引擎示例基于年龄和性别的推荐基于内容的推荐基于用户的协同过滤的推荐基于项目的协同过滤推荐推荐引擎示例基于年龄和性别的推荐基于内容的推荐基于用户的协同京东通过大数据挖掘进行关联营销购物篮/协同过滤算法交叉购买规律

近邻聚类分析/预测模型个性化购买规律推荐页面区块的A/B测试京东后台系统（商品图片、

库存、价格、

促销信息）京东推荐系统ACNRulesJDRules跟踪指标ADO采用线上A/B测试的方式实际优化规则项目KPI:推荐所带来的平均客单价提升辅助KPI:推荐销售额/销售量的占比提升推荐商品转化率提升关联推荐是通过客户行为，分析算法导出推荐规则，在京东主商品页面进行实时的关联推荐，用以推动业务指标提升通过一系列数据挖掘算法挖掘客户的购买规律

再将推荐规则输入至现有推荐系统

持续优化业务指标数字营销京东通过大数据挖掘进行关联营销购物篮/协同过滤算法交叉汉莎航空提供多个维度让客户选择和打分基于客户偏好推荐汉莎航空基于客户偏好推荐航班汉莎航空提供多个维度让客户选择和打分基于客户偏好推荐汉莎航空Netflix在“纸牌屋”