大数据技术与应用第七课

1、大数据技术与应用与交换技术交换与智能研究中心2016年9月提纲-大数据应用1. 大数据在各行业的应用概述2. 实例-计算大数据系统搭建1. 大数据在各行业的应用概述1.11.21.31.41.5大数据在互联网行业的应用大数据在电信行业的应用 大数据在金融行业中的应用大数据在城市管理中的应用大数据在生物医学领域的应用1.1 大数据在互联网行业的应用互联网行业在大数据的积累和应用方面以阿里和腾讯最为值得关注。、大数据应用1.1.1大数据来源Ø大数据最重要的是来源是通过爬虫搜集的100多个的近万亿网页数据，数据量是在EB级的规模。的数据非常多样化，其收集的数据既有为非结构化的或者半结构化的

2、数据，包括网页数据、为数据，服务群体和图片等数据，也有结构化的数据，如用户的点击行客户的行为数据等。互联网网民，通过大数据和自然语言处理技术让网民的搜索更加准确；主，通过大数据让主的和搜索的匹配度更高，或者和网民正在看的网页内容匹配度更高；传统行业、拥有一定规模数据的企业，通过开放大数据引擎能力，将其包装为应用服务，助力传统行业、中小企业。大数据应用（续）1.1.1大数据引擎代表了互联网企业数据服务能力开放和合作的趋势，大数据引擎由以下面：开放云 数据工厂大脑大数据应用（续）1.1.1 开放云Ø的大规模分布式计算和超大规模云，开放云开放的是基础设施和硬件能力。过去的云主要面向开发者，

3、大数据引擎和处理需求的“大开发者”。的开放是面向有大数据大数据应用（续）1.1.1 数据工厂Ø 数据工厂提供将海量数据组织、管理的软件能力，与数据库作用类似，不同的是数据工厂是被用作处理TB级甚至更大的数据。百度数据工厂支持超大规模异构数据，支持SQL-like以及更复杂的语句，支持各种业务场景。大数据应用（续）1.1.1大脑大脑将Ø此前在人工智能方面的能力开放出来，主要是大规模学习能力和深度学习能力。此前它们被应用在语音、图像、文本识别，以及自然语言和语义理解方面，并通过Inside等平台开放给了智能硬件。现在这些能力将被用来对大数据进行智能化的分析、学习、处理、利用，并

4、对外开放。1.1.2 阿里大数据应用1.1.2 阿里大数据应用（续）1.1.2 阿里大数据应用（续）1.1.2 阿里大数据应用（续）1.1.2 阿里大数据应用（续）1.1.2 阿里大数据应用（续）1.1.2 阿里大数据应用（续）为什么要去IOE？集中式架构，制约服务能力Ø 无法快速扩容（双11快速扩容需求）Ø 稳定性差（一台服务器出现问题产生，严重影响服务质量）技术失控，创新潜力受限Ø 黑盒技术，只能依靠厂商解决问题Ø 黑盒技术压制了工程师的聪明才智设备难以规模化Ø 成本高昂Ø机架、电源1.1.2 阿里大数据应用（续）IBM小型机-&

5、gt;通用PC服务器集群Oracle数据库->MySQL，OceanBase，RDSEMC->TFS，Tair集中式架构->分布式架构1.1.2 阿里大数据应用（续）1.1.2 阿里大数据应用（续）1.1.3 腾讯大数据应用腾讯的月活跃用户8.77亿月活跃用户7.62亿 空间月活跃用户6.48亿月活跃用户过亿1.1.3 腾讯大数据应用（续）腾讯大数据平台有如下模块：TDW、TRC、TDBank、LZ和Gaia。简单来说，TDW用来做批量的离线计算，TRC负责做流式的算，TDBank则作为统一的，调度。而底层的LZ和Gaia分别负责集群的任务调度和1.1.3 腾讯大数据应用（续

6、）1.1.3 腾讯大数据应用（续）1.2 大数据在电信行业的应用运营商的问题1.2 大数据在电信行业的应用（续）运营商的数据优势1.2 大数据在电信行业的应用（续）国内外电信运营商已经在大数据应用方面做出了积极的探索，主要从以下五个方面运用大数据：管理和优化，包括基础设施建设优化、理和优化；运营管精准精准，包括客户画像、关系链研究、个性化推荐和投放；客户关系管理，包括理；中心优化以及客户生命周期管企业运营管理，包括业务运营和经营分析；数据变现，包括提供数据结果。API、直接发布数据或统计1.2 大数据在电信行业的应用（续）VerizonØ 美国Verizon成立了精准部门Precis

7、ion Marketing Division。该部门提供面的服务，首先是精准洞察(PrecisionMarket Insights)， 提供商业数据分析服务； 其次是精准(Precision Marketing)，提供投放支撑；最后是移动商务(Mobile Commerce)，主要面向移动支付系统。T-MobileØ 德国跨境运营商T-Mobile利用分析（Link Analytics）技术对用户社交进行分析，通过挖掘用户的社交关系、所在群体来提高用户的保有率。1.2 大数据在电信行业的应用（续）VodafoneØ 英国Vodafone通过开放API，向数据挖掘公司等合作方

8、提供部分用户地理位置数据，以掌握人群出行规律，有效地与一些LBS应用服务对接。西班牙电信Ø 西班牙电信成立了名为“动态洞察”（ Dynamic Insights ）的大数据业务部门，面向全球运营，将为客户提供数据分析打包服务。DynamicSteps）。该Insights推出的首款名为智慧足迹（ Smart基于完全和聚合的移动数据，可对某个时段、某个地点人流量的关键影响因素进行分析，并将洞察结果面向政企客户提供。1.2 大数据在电信行业的应用（续）中国移动Ø 基于“大云”开展大数据应用实践，对内支撑精细化运营，包括支撑客户体验提升、精准、优化、企业管理水平提升；对外寻求新业

9、务增长点，包括支撑行业大数据解决方案、数据变现及化洞察等对外服务模式。1.3 大数据在金融行业的应用Ø 风险管控与第大数据公司合作，获取除客户基本信息外的其他信息（例如，对于个人客户，获取其除基本信息以外的、活动区域、行业领域等信息），基于大数据技术，降低个人款风险。审批、个人或企业贷1.3 大数据在金融行业的应用（续）保险Ø 反利用客户度信息，结合保险行为历史数据，基于大数据技术，检测保险依托“机动车辆保险行为。例如，上海保监局”、“人身险综合信息平台”和“道路交通事故检验鉴定信息系统”，进行基于大数据的保险检测。1.3 大数据在金融行业的应用（续）Ø利用走势、

10、（包括、等）等非结构化的文本信息，结合技术面和基本面等信息，基于大数据技术，走势。例如，IBM使用大数据技术开发了“指标系统”。该系统通过走势。统计分析中出现的单词等信息来1.3 大数据在金融行业的应用（续）互联网金融Ø 资金流入流出互联网金（例如，余额宝）往往拥有大量会员并且每天都涉及大量的资金流入和流出。在既保证资金流动性风险最小，又满足日常业务运转的情况下，精准地资金的流入流出情况变得尤为重要。利用历史资金流入流出数据以及用户相关数据，基于大数据技术，预测资金流入流出。1.4 大数据在城市管理中的应用l 城市计算的基本框架包括： 城市感知及数据捕获、数据管理、城市数据分析和服务

11、提供。l城市计算是一个“多数据多任务”系统。城市计算中的任务包括改进城市、缓解交通拥堵、保护自然环境、减少能源消耗等。l一个任务又需要同时用到多种数据，例如，在城市的设计过程中，需要同时参结构、点分布、交通流等多种数据源。微软亚洲提出的基于大数据的城市管理框架-城市计算1.5 大数据在生物医学领域的应用生物医学大数据广泛涉及人类健康相关的各个领域：临床医疗、公共卫生、研发、医疗市场与费用、行为与情绪、人类遗传学与组会人口学、环境、健康网络与数据1.5 大数据在生物医学领域的应用（续）健康管理Ø 通过可穿戴设备对体征数据(心率、脉率、呼吸频率、体温、热消耗量、血压、血糖、血氧、体脂含量

12、等)的实时、连续监测，提供实时健康指导与建议，更好地实施健康管理。公共卫生监测Ø 通过覆盖社交的患者电子数据库进行监测，或通过监测或频繁检索的词条来某些传染病的流行。例如，Trends通过找寻“流感症状”和“流感治疗”等搜索词的峰值，在医院。流感患者增加之前就能对某些地区的流感做出2. 计算系统2.12.22.3概述与计算门户的展示面向系统概述-历史2.1出现的历史十分悠久，考古学家从古代废墟的遗址里，亦有发现的踪影。早期的以事务性为主，例如在古埃及的就有用莎草纸上制作销售推广或寻找失物的海报；在古，也有透过壁画的形式来达至商业宣传的效果。现代的出现，大约在17世纪的英国开始，当时的

13、是报章内的宣传，以书籍的销售为主，后来因为宣传效果良好，亦开始采用这个宣传途径。概述-历史2.1概述-历史2.1二十世纪早期，中国哈尔滨，俄式柱1890年，美国，可口可乐概述-定义2.1（advertising）是由已确定出资人通过各种媒介进行的有关（商品、服务和观点）的，通常是有偿的、有组织的、综合的、劝服性的活动。员的信息按照单 电视交通媒介划分，可以分为传、报纸、广播、车体、杂志、等等。、概述-参与者2.1用户、报纸、杂志电视、广播主与计算2.22.2.12.2.2计算-定义2.2.1，又被称作、互联网等。它主要是指利用计算机联结而形成的信息通讯网络作为，采用相关的电子多技术设形式。计制

14、作，并通过计算机的-主要形式2.2.1与用户接触的形式有多重多样的选择，并且随着互联网的发展变得越来越丰富。（1）横幅形式。横幅固定的版面。（banner ad）。这是展示一般是嵌入在页面中相对固中最传统也是最典型的置的图片，需要占据-主要形式2.2.1（2）文字链（textual ad）。这种的素材形式是一段到内容主落地页的文字，在搜索中为主流形式，一般穿插在大量条目中。搜索投放引擎可以灵活决定是否投出该文字链，以及投出的条目数。-主要形式（rich media ad）。这类2.2.1（3）富往往是利用视觉冲击力较强的表现形式，在不占用固定版面位置的情况下，向用户侵入式地投送素材。富常见的形

15、式有弹窗、对联、全屏等。它比较适合在高质量的做一些品牌性质比较强的投放，但是对用户的使用体验往往影响也较大。-主要形式2.2.1（4）的间隙位置的不同，（的ad）。随着也成为互联网的快速发展，在的一种重要形式。根据流又可以分为前插片、后插片、暂停等类型。视频视由于载体的独特性质，其效果和。创意比较类似于线下的电-主要形式2.2.1（5）社交（social ad）。社交的兴起给的和能力都赋予了新的空间。社交中最典型的形式是在社交”是两个不同信息流中的。“社交”与“社交中的的概念，如在社交并不因为处于社交通过用户的扩散式页面上竞价售卖的文字链或横幅，其本质中有太大的变化。社交获得更大的影响力和口碑

16、。希望达到的效果是-主要形式（mobile ad）。移动互联网在近几年爆发式地增长，2.2.1（6）移动并且大有取代桌面互联网之势。严格来说，移动互联网上的形式与桌面电脑上的没有本质的区别，不过由于移动设备上应用的大量普及，也由Web的页面上搬进了应用里。目前移动典型的形式有开屏、插屏、通知等等。-主要形式2.2.1（7）邮件定向（Direct Marketing，EDM）。这是通过电子邮件的方式向目标用户传递推广信息的一种。与上面各种形式都不同，EDM 是一种主动的形式，它不需要等到用户接触的机会出现时才地提供，而是可以随时向认为合适的用户推广信息。2.2.2 计算-定义定义1 “Findt

17、hebestmatchbetweenagivenuserinagivencontextandasuitableadvertisement.”定义2AndreiBroder “计算的，是列用户和环境的组合找到最合适的告活动的利润。”投放策略以优化整体广2.2.2 计算-形式化将计算问题转化为数学上可以优化的目标才能利用“计算技术” 来解决。把它用下面的最优化问题来表达：我们优化的目标就是在这T次展示上的总收入（r）与总成本（q）的差，即活动的利润。进一步考虑收入与成本具体依赖的因素，上面的优化问题可以写成：表达式中的a、u、c三个变量，分别代表、用户与环境，即活动的三个参与主体。2.2.2 计算

18、收入分解形态，我们能够主动优化-对于一个市场中具体的的往往是收入而非成本，因此主要关注收入优化的部分。在一次展现页展示产生后，有可能发生哪些后续行为呢？落地页转化页点击转化主üü点击率（ClickThroughRate，CTR）转化率（Conversion Rate，CVR）2.2.2 计算收入分解-按照和主上的行为回报r进行分解，是实践中比较合理且容易操作的方式：ååTi =1Ti =1m(a)n(a,u ) =,u,cr(a,u,c)iiiiiiii表达式中的表示点击率，表示点击价值，这两部分的乘积定量地表示了某次或若干次展示的期望，其中前一部分描述的是发生在上的行为，后一部分描述的是发生在