人工智能与机器学习概述

人

工

智

能

与

机

器

学

习

概

述

人工智能基本概念人工智能基本原理人工智能前沿技术探究人工智能典型技术方案人工智能典型应用场景目

录CONTENTS123451chapter人工智能基本概念ü概念介绍ü模型分类ü原理理解1.1人工智能、机器学习概念

概念介绍什么是人工智能？

什么是机器学习？人工智能(英语

：ArtificialIntelligence,AI)亦称机器智能，

是指利用计算机来对人的意识、思维信息过程、智能行为进行模拟(如学习、推理、

思考、规划等)和延伸，使计算机能实现更高层次的应用。从数据中学习的AI叫做机器学习。机

器学习是指从一系列的原始数据中提取人

们可以识别的特征，然后通过学习这些特征，最终产生一个模型。1.1人工智能、机器学习概念机器学习、数据挖掘、数据分析以及人工智能俨然已经成为时下最流行的高新技术代名词，那么，其中最火的人工智能和机器学习分别又是什么呢？他们之间有什么关系呢？接下来，我们就一起来探究下其中的奥秘：那么，为什么又叫人工智能，而不直接叫智能呢？因为说到底，它还是模拟的人类，以人为基准来衍生出的智能。那么人工智能之所以智能，她的关键之处又表现在哪里呢？其实，人工智能最核心的地方，还是在其所拥有的模型，就类似于，人最核心的地方在于人的大脑一样。那么这个模型又是怎么来的呢？我们一般的说法是，训练来的，

。概念介绍1.1人工智能、机器学习概念我们再来看看机器学习的定义，其实是有几个重要组成部分的：。原始数据一般来自于各个不同的业务系统，真识别的特征也就是人们所说的特征工程，构成了机器学习成功与否的关键；学习这些特征，需要依赖一些规则，也就是我们经常所说的机器学习算法，最终会产出一个模型，比如我们常见的回归模型、分类模型以及神经网络模型等。我们再总结一下，即实性的数据质量就成为了关键；提取人们可以概念介绍。1.2人工智能发展历程1980s~present学习期归纳学习机器学习1970s~1990s知识期专家系统决策树(小规模)统计机器学习SVM

(结构化)1950s~1970s推理期(图灵测试)1990s神经网络(黑箱)2000s~深度学习强化学习迁移学习1990s~2000s1980sBP-ANN概念介绍抱有极大的期待。但是一方面由于当时的创立初期，我们称之为的方法，就是。说是1.2人工智能发展历程说起人工智能，那就要追溯到20世纪50年代了，那时候处于人工智能这么一个创世的举动，激发了大量学者以及政府投资机构的极大兴趣，大量的社会资源涌向人工智能，同时也对其太高，难免会让人有所失望，但是谁也没有想到到的是，人们的热情来得快，去的也快。很快，人工智能进入了第一个低谷期。提出，，那时候有一个重要的检验人工智能，以及人们期望概念介绍。面进入了以1.2人工智能发展历程直到专家系统的出现，重新唤起了人们的热情，人工智能重新迎来的一次高潮，，

无

法大范围推广和使用，这时候，人们就开始思考，这样一个专家系统，

能不能，以此来扩大自己的使用领域和使用范围，至此，人工智能全80年代，决策树用场景。虽然效果有了很大提升，但是其中的原理人们始终无从得知，训练出来的模型更是无法解释。算法开始被人们广泛接受，但是终究只能应对小规模数据集和一些相对简单的应进入了知识期，但是很快人们就发现，和为代表的学习期，紧接着，到了概念介绍，据中挖掘一些价值，于是，一些1.2人工智能发展历程于是，人们又把注意力转向统计机器学习，得益于的出现，极大的提高了机器学习算传统的机器学习算法也逐渐走向分布式化，法的数据处理和数据计算能力，模型效果也得到了长足的提高。虽然，机器学习算法可处理的数据量在不断增多，但是源源不断的引起人们的注意，人们越来越希望能从这类数法逐渐进入了人们的视野，在整个人工智能和机器学习领域扮演着越来越重要的角色。概念介绍算1.3

概念介绍人工智能系统技术架构1.3人工智能系统技术架构业界普遍将其分为三层架构，从底向上依次是，在基础层，主要提供了强大的计算能力和丰富的数据资源，其技术方向已经提供了丰富的高质量数据资源，并且过了可靠的基础保障。拥有了数据资源和计算能力之后，就需要有特定的技术来处理这些数据，那么以保证数据能在这一层得到充分的加工和处理。，为上层的技术层和应用层听概念介绍，，1.3人工智能系统技术架构当即与数据和机器学习算法训练出来一个模型之后，怎么发挥其价值呢？自然需要不同领域的业务系统来做支撑。并且以应用系统的形式展现给用户，发挥其业务价值。基于上述的三层架构，我们可以将人工智能项目的建设过程分为几个阶段：以下概念介绍，。1.4人工智能应用领域概念介绍1.4人工智能应用领域

比如2017年Google

I/OLens的新相机产品，Google

lens如拍一张花朵的照片，可以快速提示用户这是什么花，对花粉过敏的用户群体来说，这是一件很有意义的事情。具有一些最基本的AI识别功能，大会上发布了一款名叫Google概念介绍比1.4人工智能应用领域大家也知道，包括人类在内的生物体都是具有一定的生物特征的，我们将其分为，比如人的指纹、人脸、视网膜、虹膜都属于人的静态特征。在比如，人说话的语调，走路的姿势，声音和音色都属于人的行为特征。人工智能和生物遗传基因学结合起来，人们可以充分对人类基因序列进行探索发现，以此可以进行。相传苹果公司的创始人乔布斯当年患了癌症，由于其利用人工智能技术对自身的基因序列进行分析改造，将其寿命延长了好几年。现在也有大量的科学家和生物基因学家在这方面不

断努力。研究方向有，等。概念介绍1.4人工智能应用领域机器人是一个综合性的人工智能产品，来承担人类的一些工作，比如，端茶倒水，扫地叫起床等，当然还有一些非机器人不可的工作，比如。最后一个就是专家系统，这块的专家系统不同于70年代的专家系统，创建应用场景，比如电商证券系统的智能客服，医院的在线诊断分析等。总之，人工智能作为一项技术，与不同的领域知识结合，在工业界和生活中扮演越来越重要的角色。概念介绍等。1.4人工智能应用领域概念介绍1.5人工智能模型分类模型分类学习算法包括1.5人工智能模型分类常见的机器学习算法主要分为两大阵营，包括预测，流失预警。而比如图像识别、自然语言处理等。而传统机器学习算法进一步细分为

常见的监督。非传统机器学习算法，也称之为高级算法，主要是以传统机器学习算法为基础衍，逐渐在一些复杂的业务场景下扮演着越来越重要的角色。等算法，非监督学习算法包括生得来的，比如，，比如房价概念介绍等，。1.5人工智能原理理解1：卖房子一套房子有很多属性，比如面积，楼层，朝向，年代，交通便利程度，是否学区房等。出色的的房产中介会基于经验或者调查周围类似房子的价格来给你

定价。而利用机器学习，基于已卖房子的数据，

可以训练出一个房价和房子众多属性之间的关联函数，这样你只需要在估价时输入这些参数到模型中，就可以输出你的房子可以卖多少钱。。2：买苹果比如第一次买苹果你没有经验，

各种品牌的都买了几个，回来后你发现B品牌的最好吃，第

二次你就全买B品牌的，发现大的比小的好吃，然后第三次你都是买的B品牌大苹果，又发现红的比青的好吃，这样几次之后你就知道B品牌的大、红苹果最合你的口味。。原理理解http://sucai.redocn.com/tupian/568841.html1.6人工智能学科结构原理理解2chapter人工智能基本原理ü业务沟通与业务目标确认ü业务问题转换为机器学习问题ü常规建模流程ü模型/业务解释2.1项目角色-甲方乙方人工智能基本原理2.1项目角色-甲方乙方对于在人工智能项目中，需要明确自身的角色，即甲方还是乙方，不同的角色需求不一样，要求不一样。项目进行的过程中，甲方乙方需要反复的沟通，不断确认业务目标，确保每一步的进展都和预期的偏差不大。。对于人工智能基本原理。在2.2业务沟通与业务确认有哪些数据之前的结之前是怎么做的做法与思路如何转换为机器学习问题以及优先级期望达到什么样的效果能不能用

机器学习

方法来做果有什么不满意的地方训练出来的模型怎么用人工智能基本原理想做什么

事情应用与评估数据与目标机器学习问题的话，他们的2.2业务沟通与业务确认在和客户进行业务沟通的时候一般从以下三个方面进行入手，包括。具体包括客户，这个项目开始之前是怎么做的，统的结果有什么不满意的地方需要改进和完善，当前的问题能不能用机器学习的，如果能转化为做，哪个需求是高级需求，需要在项目二期来做，训练出来的模型用在什么系统上，怎么用，测试数据的形式是什么样子，期望达到什么效果，包括机器学习模型评估的效果和业务上达到的效果。，哪个需求是基础需求需要优先来方法来做，如果能做的话，，之前系人工智能基本原理2.3业务问题转换为机器学习问题l

在真正用人工智能技术解决真实业务问题之前，需要仔细回答以下问题：•沟通业务需求与业务目标•明确是否是机器学习的范畴以及是哪种问题•明确人工智能建模流程•预设各阶段的开发周期和检验标准•确定最终模型使用方式•明确最终模型的效果评估方式1.是否可以用机

器学习方法来做2.如何设计开发节奏3.最终产品的检验标准人工智能基本原理2.4人工智能建模流程数据处理与特征工程机器学习建模模型形成模型好模型迭代模型不好理想参数选取模型业务解释不理想特征工程不好数据反馈初步特征重要性分析业务沟通及需

求边界确认人工智能基本原理业务目标模型输出模型上线加载测试数据描述算法选取数据整理数据清洗数据获取综合评估目标反馈好2.4人工智能建模流程人工智能建模流程一般需要分为以下三个阶段，包括数据在数据处理阶段，首先我们需要进行数据获取，一般数据获这时候相对比较容易一些，所以我们需要尽可能的多获取一些数据，一方面防止以需要用一些数据的时候没有数据的不利情况。另一方面，在项目已经全面开展的时候再跟客户申请数据会比较麻烦，同时申请流程也会比较复杂，会严重影响项目进度。在获得比较多数据之后，需要际情况进行数据清洗，以提升数据质量，具体数据怎么清洗，怎么预处理，我们再后面的课程会详细介绍。。以上工作做完以后，就可以开始结合数据的实取发生在项目初期，人工智能基本原理。2.4人工智能建模流程我们需要进行特征提取，也就是所谓的，需要基于原始数据提取人们可以识别的衍生特征，提升训练的模型效果，最后需要将加工的不同维度的特征进行整合形成一张大宽表，为下一步的模型训练做准备。至此，我们的数据预处理阶段就告一段落。接下来，我们加载测试数据进行测试，防止发生过拟合问题二全然不知的情况。在模型经过评估且效果能达到预期之后，我们需要将模型进行部署上线，并且，之后要人工智能基本原理2.5人工智能模型/业务解释真实结果流失1未流失0流失且预测为流失TP未流失却预测为

流失FP流失却预测为

未流失FN未流失预测为

未流失TN流失1未流失0预测结果人工智能基本原理3chapter人工智能技术发展趋势3.1人工智能发展趋势深度神经网络揭开神经网络的工作原理强化深度学习与环境交互以解决业务问题混合学习模式模型融合，提高模型准确性模糊计算以模糊集理论为基础，它可以模拟人脑非精确、非线性的信息处理能力生成对抗网络配对神经网络刺激学

习，减轻处理负担自动化机器学习自动化建模，让AI

更智能人工智能技术发展趋势0204060103053.1人工智能发展趋势人工智能技术从上个世纪50年代开始兴起，经历过兴盛，经理过低谷，至此，也得到了长足的发展。前面我们已经了解目前人工智能技术的发展现状，那么人工智能技术未来会有一个什么样的发展趋势呢？经过一些学者和工业界的研究和探索，普遍认为，人工智能技术在未来会有以下六大发展趋势，包括接下来，我们将一一探索其中的奥秘。它是模仿人类大脑从图像、音频和文本数据“学习”的能力，将深度学习思想和神经网络结合起来，解开神经网络的工作原理。人工智能技术发展趋势。等3.1人工智能发展趋势，举个例子，加入你不幸在沙漠中迷路，而且几天没喝过水，这时候你见到的两瓶水，其中一瓶贴有标签：“纯净水的概率为0.91”，另一瓶标着“纯净水的纯度是0.91”。你选哪一瓶呢？相信会是后者。因为后者的水虽然不太干净，但肯定没有毒，这里的0.91表现的是水的纯净程度而非“是不是纯净水”，而前者标明有9%可能不是纯净水，再比如“人到中年”，就是一个模糊事件，人们对“中年”的理解并不是一个精确的岁数。人工智能技术发展趋势3.1人工智能发展趋势强化深度学习其实是一种神经网络，比如著名的AlphaGo程序，击败了人类围棋冠军。生成对抗网络是一种，比如两个AlphaGO程序互相训练和测试，随着时间的推移，两个神经网络的效果都会得到提升。可以用来指定学习游戏策略，人工智能技术发展趋势。3.1人工智能发展趋势现在机器学习面临的业务问题越来越复杂，有时候单一的算法或者模型无法应对，可能需要起来提升业务效果。比如，交易反欺诈检测，可能需要先经过黑名单筛选、再经过评分卡模型、再经过分类模型预测并且得到特征的权重以及一些衍生特征、最后再经过异常检测模型才能得到一个比较好的反欺诈模型。开发机器学习模型需要一个耗时和专家驱动的工作流程，其中包括数据准备、特征选择、模型或者技术选择、培训和调优。AutoML(自动机器学习)旨在使用一些不同的统计和深度学习技术来自动化这个工作流，包括自动数据清理，模，自动模型优化等等。人工智能技术发展趋势自动建4chapter人工智能典型技术方案ü星环人工智能解决方案ü其他技术方案4.1

星环：

人工智能产品系列人脸对比人工智能……人工智能平台Sophon大数据平台深度学习一体机A知识图谱智能识别智能标签Mirror流失预警风险管理NLP分词图像分类B硬件工具+解决方案人工智能技术方案智能识别终端C项目积累物联网数仓视频图像存储管理API接口传统数仓实时数仓文本搜索反洗钱……4.1星环人工智能解决方案在人工智能方面，星环提供了一个完整的解决方案，涵盖了我们之前提到的基础层和技术层。的需求。基础上，会结合不同行业，不同领域对应不同的业务子模块，比如互联网模块、知识图谱模块、图像识别模块等。同事，提供的一些高级模块，能够满足用于对模型管理、特征管理以及服务管理的特殊需求。。另外，在大数据平台中提供的丰富数仓能满足技术层对各种数据源人工智能技术方案在此4.1星环：Sophon用户界面人工智能技术方案4.2微软：Microsoft

AzureMLMicrosoft

Azure4.2微软：Microsoft

AzureMLMicrosoft

Azure5chapter人工智能应用场景ü典型应用场景5.1关联分析基于关联分析的案例

：沃尔玛的啤酒尿布典型应用场景关联分析说起人工智能的应用场景，相信大家对这个啤酒与尿布的故事不会太陌生，其实找个故事是一个典型的超市购物篮分析案例，用的是典型的“啤酒与尿布”的故事必须具有技术方面的支持。1993艾格拉沃从数学及计算机算法角度提出了商品关联关系的计算方法Aprior算法。沃尔玛从上世纪年代尝试将Aprior算法引入到Pos机数据分析中，并获得了成功，于是产生了“啤酒与尿布”的故事，最终由于啤酒和尿片关联性比较高，放在相邻的货架进行出售，两者销量都有所提升。提出——

90年美国学者Agrawal典型应用场景当然5.1。5.2回归预测美国零售连锁超市Target和怀孕预测指数典型应用场景回归预测，比如房价预测、交通流量预测等。故事是这样的，美国一名男子闯入她家附近的一家美国零售连锁超市Target店铺(美国第三大零售商塔吉特)进行抗议：“你们竟然给我17岁的女儿发婴儿尿片和童车的优惠券。”店铺经理立刻向来者承认错误，但是其实经理并不知道这一行为是总公司运行数据挖掘的结果。如图所示。一个月后，这位父亲来道歉，因为这时他才知道他的女儿的确怀孕了。Target比这位父亲知道他女儿怀孕的时间了一个月。“猜出”哪些是孕妇。。比如他们发现女性会在怀孕四个