积极利用机器学习打造大数据杀手应用（大数据）-赵志刚-IT服务研讨会

积极利用机器学习

打造大数据杀手应用2017/02/05山东省计算中心（国家超级计算济南中心）赵志刚目录一、深度学习介绍二、以“数”为媒，融合业务三、以“智”为酶，催化创新四、总结五、推荐资源一、引言1、AlphaGo+Google大脑胜李世石（围棋）2、Master+Google大脑胜50余位顶级大师，无一败绩（围棋）3、小度+百度大脑胜最强大脑（图像识别）4、Libratus+Bridges胜4位顶级高手（德州扑克）5、星际争霸（进行中）人工智能典型应用德扑人机大战李开复观点1李开复观点2李开复观点3深度学习大数据云计算深度学习是云计算、大数据的杀手应用一、深度学习介绍深度学习概念深度学习类型-CNN、RNN、DQN、GAN等深度学习框架--TensorFlow、Caffe等深度学习硬件--GPU、FPGA等目录预备知识-深度神经网络XY函数f形式化：用形式的数据规则来描述问题易形式化问题：如计算等，对人类困难，但对机器相对简单难形式化问题：如识别语音、图像等，人类能自动的靠直观解决问题，但对机器困难如何解决难形式化问题？形式化层次化概念体系与深度学习让计算机从经验中学习，并通过层次化概念体系来理解世界，其中每个概念通过与较简单概念之间的联系来定义。人工智能、机器学习与深度学习关系深度学习类型图像识别-CNN（卷积神经网络）自然语言处理-RNN（循环神经网络）、LSTM（长短时记忆模型）深度强化学习-DQN（DeepQ-Network）生成对抗网络-GAN、

DCGAN

(深度卷积对抗生成网络)CNN场景：手写数字识别数据集（MINST）：60000+图像（32*32）卷积计算示意CNN

场景：图像识别数据集（ImageNet）：含约120万张训练图像（227*227）、5万张验证图像和10万张测试图像，分为1000个类别模型：AlexNet日益减低的错误率RNNLSTM我们试着去预测“IgrewupinFrance…IspeakfluentFrench”最后的词LSTMRNN应用场景：机器翻译、语音识别、文本生成、图像描述生成Google神经机器翻译(GNMT:GoogleNeuralMachineTranslation)系统DQN深度增强学习DeepReinforcementLearning是将深度学习与增强学习结合起来从而实现从Perception感知到Action动作的端对端学习End-to-EndLearning的一种全新的算法。DQN场景：使用DQN来实现通过屏幕学习玩FlappyBird，实现端到端学习玩Atari游戏，即只有像素输入，看着屏幕玩游戏GANs生成对抗网络GenerativeAdversarialNetworks基本原理是它有两个模型：一个生成器，一个判别器。判别器的任务是判断给定图像是否看起来‘自然’，换句话说，是否像是人为（机器）生成的。而生成器的任务是，顾名思义，生成看起来‘自然’的图像，要求与原始数据分布尽可能一致GANs-应用在LSUN卧室数据集上训练DCGAN，生成的图像非常逼真GANs-应用和毕加索、梵高、莫奈的画作相结合GANs图像加减法深度学习框架TensorFlowKerasMxnetCaffe……操作步骤（以Keras为例）步骤：配置环境安装Keras导入库和模块从MNIST导入图片数据预处理输入数据预处理类标签定义模型架构编译模型用训练数据拟合模型用测试数据评估模型操作步骤（以Keras为例）操作步骤（以Keras为例）操作步骤（以Keras为例）深度学习硬件GPU（NVIDIA

GeForceGTXTITANX）深度学习硬件FPGA（FieldProgrammableGateArray），中文为场效可编程逻辑闸阵列。深度学习硬件TPU（Google

TensorProcessingUnit），针对机器学习的专用ASIC芯片当前人工智能典型应用颠覆性影响：如果人类进行一项思考时间少于一秒的任务，那么不远的将来或许我们能用人工智能自动化完成这项任务

A→B问题深度强化学习迁移学习非监督学习解决“黑箱”问题（加入常识数据）深度学习发展趋势Ai应用需要五条件二、以“数”为媒，融合业务信息化理念变迁面向业务（2005年以前）面向服务（2005年至今）面向数据（2015年萌芽）以业务为核心分拆业务为服务以数据为核心业务线1业务线2业务线3以业务为主线数据孤岛林立面向业务业务线1业务线2业务线3共享服务解决了功能复用数据孤岛仍突出面向服务业务线1业务线2业务线3共享服务共享数据以数据为核心建立数据一张图消除数据孤岛面向数据数据范围不断扩大多种融合手段遗留系统ETL整合产业链系统API调用互联网精准爬取物联设备实时采集传统机房：以应用为中心数据中心：以数据为中心统一的数据蓝图，支持数据动态更新资源目录、数据标准等强大的数据管理和应用能力多源异构数据整合能力、高效存储能力、数据可视化能力、复杂分析与机器学习能力、数据开放能力等强大的数据安全保障能力完整性保护、隐私保护等构建真正“数据”中心三、以“智”为酶，催化创新智能产品智能设计智能生产智能营销智能售后以“智”为酶智库深度学习使得图像及音视频处理能力显著增强在产品中加入图像及音视频处理能力，是当前打造智能产品的热点案例自动驾驶医学图像解读智能产品医学图像解读案例1：智能液压修井机设计验证智能设计借助基于超级计算机的CAE平台对设计方案进行模拟验证，节省时间，降低成本案例2：某飞行器下落过程模拟智能设计高超声速再入跨流区绕流流场密度与马赫数流线结构使用资源：上亿CPU核小时，最大并行规模80750核对营销决策数据进行更好的优化对目标对象进行更完整的深度分析实现点对点智能广告模式更好地进行顾问式营销案例：商品推荐、舆情分析等智能营销产品跟踪、智能诊断由被动售后升级为主动售后智能客服助理智能检索答案提供给人工客服智能语音客服类似Siri，可用语音与客户交流，回答各类问题智能售后电池全生命周期信息远程诊断（实时）深度利用（历史）服务于电池保养电池研发

物联大数据平台专家厂商用户1用户2用户n整车监控位置监控电源监控国家超算济南中心山东云计算中心案例：某新能源汽车电池智能跟踪系统智能售后数据交易，产生效益案例1：将汽车电池数据、操控数据、行驶数据提供给保险公司，对驾驶习惯、车况进行智能评估，支持个性化保险案例2：Tesla不单纯是汽车公司，更是数据公司数据资产化人员组成：大数据科学家，辅以行业业务专家、信息技术专家、政府主管领导研讨会：形成行业大数据顶层设计大数据工程院：配合大数据科学家，打造大数据落地案例智库既要顶天，也要落地大数据智库四、总结用大数据、机器学习打造智慧单位/行业/区域，做好三点：打造数据一张图，建造真正“数据”中心将人工智能融入产品设计、生产、营销及售后各环节组建大数据工程院，由大数据科学家牵头，辅以行业、IT人员，打造行业大数据应用典型案例总结Coursera吴恩达机器学习Udacity机器学习（纳米学位）深度学习斯坦福CS231n

CNN推荐学习资料YannLeCun（facebook）、Geoffrey

Hi