AI机器学习的应用

1、AI机器学习的应用技术创新，变革未来目录AI应用背景介绍AI for everyone效果成本总结从图灵测试说起？目标：判断机器是否表现出与人等价或无法区分的智能两个基本问题：充分性：通过图灵测试就是智能？必要性：通过图灵测试才是智能？两个著名变种：Feigenbaum testNicholas Negroponte Test2017/9/243Alan Turing“人工” 智能发展历史推理期1956-1960s逻辑推理举例：自动定理证明系统知识期1970s-1980s知识工程举例：专家系统学习期1990s-现在机器学习举例：AlphaGoZhi-Hua Zhou2017/9/244机器学习

2、的经典定义利用经验改善系统性能经验 数据机器学习被广泛应用搜索与推荐生物特征识别自动驾驶军事决策助手（DARPA）2017/9/245机器学习的成功应用和成本成就战胜人类围棋世界冠军柯洁、李世石成本DeepMind顶级科学家团队10年以上研究2000 CPUs + 300GPUs2017/9/246机器学习的成功应用和成本提升虽然互联网用户增长缓慢2009-2015收入提升10倍+成本线上线下数万台机器60+机器学习专家团队近十年分析调研412108620200720082009201020112012201320142015Annual RevenueInternet Users智能广告系统

3、上线2017/9/247目录2017/9/248AI应用背景介绍AI for everyone效果成本总结典型的机器学习过程2017/9/249定义问题收集数据特征工程模型训练模型评估模型应用机器学习专家反复选择模型反复选择特征反复选择数据模型应用到实际环境机器学习的效果门槛2017/9/2410建模门槛数据门槛特征门槛算法门槛模型应用门槛适应性门槛信任门槛数据安全和隐私门槛建模门槛：实际应用中数据和维度的趋势有效数据的增长数据量： 数据维度的增长宏观维度（） 微观维度（ ）宏观维度（比如：年龄、性别等）微观维度（比如用户ID等）频 度2017/9/2411建模门槛：机器学习模型的趋势宏观特征

4、 复杂模型微观特征 复杂模型宏观特征简单模型微观特征简单模型机器学习模型在工业应用中的四个象限2017/9/2412建模门槛：没有免费的午餐2017/9/2413No Free Lunch定理：Wolpert and Macready 1997任意两个算法1和2， ( |, , 1) = ( |, , 2)任意算法（包括随机算法）在所有问题上的期望性能一样不存在通用算法但在具体的实际问题上，有可能存在比其他算法好的算法需要针对不同的实际问题，研究开发不同的机器学习算法适应性门槛：面对开放世界数据分布变化迁移学习Importance Sampling与环境交互、新训练样本强化学习新训练目标迁移学

5、习样本属性含义变化World War II, Abraham Wald强化学习2017/9/2414降低适应性门槛：鲁棒机器学习2017/9/2415训练阶段对噪声数据的鲁棒性应用阶段模型对未知样本的鲁棒性置信度估计对关键性高风险应用的鲁棒性增加数据、Safe Machine Learning算法信任门槛：黑箱模型比如医疗应用：只给出诊断，不给出原因无法给出治疗方案可解释机器学习Twice Learning Zhou, 2004LIME Ribeiro, 2016Influence Functions InterpretationPang Wei Koh, 2017Tensorflow DNN

6、2017/9/2416Decision TreeZhi-Hua Zhou, 2004数据安全和隐私门槛保护用户隐私，同时保持数据的有效性解决方案保留数据隐私的机器学习方法Differential Privacy模型交易取代数据交易2017/9/2417Differ in one entryIndistinguishable to any adversary.Dwork 2006目录2017/9/2418AI应用背景介绍AI for everyone效果成本总结机器学习应用的成本2017/9/2419计算成本专家成本编程门槛机器学习专业门槛数据成本降低计算成本：计算效率优化2017/9/2420

7、计算存储通讯容错分布式并行计算摩尔定律失效能耗墙（Power Wall）延迟墙（Latency Wall）单机能力有限IO、存储、计算有限目前提升计算能力的主流方式并行化：降低执行延迟提升吞吐但是，Amdahl定律Power WallLatency WallAmdahl定律2017/9/2421分布式并行模型训练Large Scale Distributed Deep Networks, Google数据分布式和模型分布式模型参数训练数据2017/9/2422典型计算模型：数据流典型机器学习模型优化过程：查取原模型根据原模型计算更新更新模型 = + 问题模型参数是一个所有计算共享的中间状态20

8、17/9/2423模型参数典型计算模型：参数服务器2017/9/2424ASPSSP, Xing一致性模型BSP趋势：数据流 + 参数服务器2017/9/2425其他计算效率优化计算异构计算优化异步，合理地计算调度存储不同存储设备共存：Hard Disk / SSD / NVMe / RAM / L2 Cache多级缓存通讯提升网络吞吐、降低网络延迟软件：请求合并、缓存硬件：多网卡、InfiniBand灾备Data Lineage VS. Checkpointing2017/9/2426机器学习应用的成本2017/9/2427计算成本专家成本编程门槛机器学习专业门槛数据成本降低编程门槛：机器学

9、习平台The Fourth Paradigm2017/9/2428降低专业门槛：从“人工”智能到机器智能2017/9/2429定义问题收集数据特征工程模型训练模型评估模型应用机器学习专家反复选择模型反复选择特征 反复选择数据模型应用到实际环境AutoML自动机器学习（AUTOML）自动数据清洗自动数据类型推断自动特征工程自动模型和参数选择自学习2017/9/2430自动组合特征自动化特征组合：FeatureGo问题空间22 = 20, 10315652AlphaGo空间10171TOWARDS AI FOR EVERYONE 涂威威31FeatureGo VS. IJCAI20172017/9

10、/24The Fourth Paradigm自动时序特征2017/9/2432自动时序嵌入HE-TreeNetHE-DeepNetX AUC improvement：2%The Fourth Paradigm自动模型和超参数选择Bayes方法演化计算方法迁移学习方法2017/9/2433模型训练模型模型评估超参数列表训练数据验证数据自动超参数方法模型效果迁移学习超参数选择方法Bayes、演化计算超参数选择方法自动模型和参数选择：工程优化2017/9/2434Dynamic GraphCross Parameter SharingThe Fourth ParadigmSpeed Up：210 x机器学习应用的成本计算成本专家成本编程门槛机器学习专业门槛数据成本2017/9/2435降低数据成本：学件、迁移学习学件 = 模型（ Model ）+ 规约（ Specification）可重用可演进可了解迁移学习Pan & Yang,TKDE 2