《人工智能基础及应用（Python 微课版）》课件 第1 人工智能

人工智能基础及应用（Python微课版）人工智能数据分析数据可视化机器学习深度学习大模型01人工智能《牛津英语词典》对智能的定义为“获取和应用知识与技能的能力”。也许人工智能已经影响了我们对智力的一般性认识，人们会根据对实际情况的指导作用来判断知识的重要程度。人工智能的一个重要领域就是储存知识以供计算机使用。棋局是程序员研究的早期问题。1997年，IBM机器深蓝击败了人类象棋大师，但深蓝并没有显示出任何人类特质，仅仅只是对这一任务快速有效的编程而已。人工智能概述人工智能研究领域的一个较早流行的定义，是由约翰·麦卡锡在1956年的达特茅斯会议上提出的，即：人工智能就是要让机器的行为看起来像是人类所表现出的智能行为一样。另一个定义指出：人工智能是人造机器所表现出来的智能性。总体来讲，对人工智能的定义大多可划分为四类，即机器“像人一样思考”“像人一样行动”“理性地思考”和“理性地行动”。这里“行动”应广义地理解为采取行动，或制定行动的决策，而不是肢体动作。人工智能定义尼尔逊教授对人工智能下了这样一个定义：“人工智能是关于知识的学科――怎样表示知识以及怎样获得知识并使用知识的科学。”而温斯顿教授认为：“人工智能就是研究如何使计算机去做过去只有人才能做的智能工作。”这些说法反映了人工智能学科的基本思想和基本内容。即人工智能是研究人类智能活动的规律，构造具有一定智能的人工系统，研究如何让计算机去完成以往需要人的智力才能胜任的工作，也就是研究如何应用计算机的软/硬件来模拟人类某些智能行为的基本理论、方法和技术。人工智能不是人的智能，但能像人那样思考，甚至也可能超过人的智能。人工智能定义人工智能目前还没有统一的定义。麦卡锡（McCarthy）认为，人工智能就是要让机器的行为看起来像是人所表现出的智能行为一样。尼尔逊（Nilsson）认为，人工智能是关于人造物的智能行为，包括知觉、推理、学习、交流和在复杂环境中的行为。人工智能发展历程110年黄金时代第二阶段从1973年到1980年。1960年代，AI开始在简单的逻辑推理和问题解决方面取得进展，但受限于计算能力不足。1970年代，AI进入“寒冬期”，由于技术瓶颈和资金削减，发展陷入低谷。著名数学拉特希尔家对当时的机器人技术、语言处理技术和图像识别技术进行批评，认为人工智能宏伟的目标根本无法实现，此时的研究已经完全失败。虽然很多难题理论上可以解决，但由于计算量惊人增长，实际上根本无法解决相关问题人工智能发展历程2第一次寒冬第三阶段从1980年到1987年。在1980年，卡耐基梅隆大学研发的XCON专家系统投入使用，成为这一个时期的里程碑。由于专家系统限定解决特定问题，避免了通用人工智能的各种难题，从而解决许多领域问题。人工智能发展历程3繁荣期第四阶段从1987年到1993年。由于专家系统无法自我学习、更新知识库，而且维护麻烦，被迫放弃，从而人工智能进入到理论研究的迷茫之中。人工智能发展历程4第二次寒冬

第五阶段从1994年到2010年。机器学习（MachineLearning，简称ML）成为AI的核心技术，AI开始从数据中学习模式和规律。由于计算机硬件提供了强大的计算能力，使得人工智能取得突破性的成果。1997年，IBM的“深蓝”（DeepBlue）击败国际象棋世界冠军卡斯帕罗夫，标志着AI在特定领域超越人类。2010年代，深度学习（DeepLearning）兴起，基于人工神经网络的算法在图像识别、语音识别等领域取得重大突破。人工智能发展历程5稳健时代

2010年代，AI在自然语言处理、计算机视觉、医疗、金融等领域广泛应用，成为推动社会变革的重要力量。2014年，AI技术继续快速发展，生成式AI（如ChatGPT）和推理式AI成为研究热点。至此，人工智能在专家系统、机器学习、进化计算、模糊逻辑、计算机视觉、自然语言处理、推荐系统等各个领域蓬勃发展。人工智能发展历程6当代发展与应用对于人的思维模拟的研究可以从两个方向进行，一是结构模拟，仿照人脑的结构机制，制造出“类人脑”的机器；二是功能模拟，从人脑的功能过程进行模拟。现代电子计算机的产生便是对人脑思维功能的模拟，是对人脑思维的信息过程的模拟。实现人工智能有三种途径，即强人工智能、弱人工智能和实用型人工智能。人工智能分类强人工智能，又称多元智能。研究人员希望人工智能最终能成为多元智能并且超越大部分人类的能力。有些人认为要达成以上目标，可能需要拟人化的特性，如人工意识或人工大脑，这被认为是人工智能的完整性：为了解决其中一个问题，你必须解决全部的问题。即使一个简单和特定的任务，如机器翻译，要求机器按照作者的论点（推理），知道什么是被人谈论（知识），忠实地再现作者的意图（情感计算）。因此，机器翻译被认为是具有人工智能完整性。人工智能的实现途径强人工智能的观点认为有可能制造出真正能推理和解决问题的智能机器，并且这样的机器将被认为是有知觉的，有自我意识的。强人工智能可以有两类：（1）类人的人工智能，即机器的思考和推理就像人的思维一样；（2）非类人的人工智能，即机器产生了和人完全不一样的知觉和意识，使用和人完全不一样的推理方式。强人工智能即便可以实现也很难被证实。为了创建具备强人工智能的计算机程序，我们首先必须清楚了解人类思维的工作原理，而想要实现这样的目标，还有很长的路要走。人工智能的实现途径弱人工智能，认为不可能制造出能真正地推理和解决问题的智能机器，这些机器只不过看起来像是智能的，但是并不真正拥有智能，也不会有自主意识。弱人工智能只要求机器能够拥有智能行为，具体的实施细节并不重要。深蓝就是在这样的理念下产生的，它没有试图模仿国际象棋大师的思维，仅仅遵循既定的操作步骤。倘若人类和计算机遵照同样的步骤，那么比赛时间将会大大延长，因为计算机每秒验算的可能走位就高达2亿个，就算思维惊人的象棋大师也不太可能达到这样的速度。人工智能的实现途径第三种途径称为实用型人工智能，又称通用人工智能。研究者们将目标放低，不再试图创造出像人类一般智慧的机器。眼下我们已经知道如何创造出能模拟昆虫行为的机器人。机械家蝇看起来似乎并没有什么用，但即使是这样的机器人，在完成某些特定任务时也是大有裨益的。比如，一群如狗大小，具备蚂蚁智商的机器人在清理碎石和在灾区找寻幸存者时就能够发挥很大的作用。

人工智能的实现途径数据算力算法人工智能三要素数据是人工智能的“燃料”，用来训练、测试和验证人工智能模型。在AI领域，数据是训练模型的基础，就像食材对于烹饪一样重要。数据可以是文本、图像、音频、视频等多种形式。数据算力是指硬件设备（如CPU（CentralProcessingUnit，中央处理单元）、GPU（GraphicsProcessingUnit，图形处理单元）、TPU（TensorProcessingUnit，张量处理器）处理数据和运行算法的能力。简单来说，算力就像是烹饪的火力，火力越大，烹饪的速度就越快。在AI训练过程中，强大的算力可以加速模型的训练，使模型更快地学习数据中的规律。算力AI算法简单可以分为机器学习和深度学习等。机器学习包括监督学习、无监督学习和强化学习。算法当前，全世界差不多有600多种计算机编程语言，但流行的编程语言也就10来种。其中，C语言适合开发涉及硬件性能的程序；Java语言适合编写网络应用程序；Basic语言适合初学者；JavaScript脚本语言适合网页编程等。Python是一种高级、解释型的编程语言，由荷兰程序员吉多·范罗苏姆（GuidovanRossum）在1989年底发明，并于1991年首次发布。Python具有语法简单、跨平台、拥有海量第三方库，适合Web、数据分析、AI、自动化脚本等各种领域。Python语言（1）简洁易学语法Python作为代表简单主义思想的语言，语法简捷而清晰，结构简单,易于快速上手学习。由于Python在学习过程中不过多计较程序语言在形式上的诸多细节和规则，从而便于专注程序本身的逻辑和算法。其代码可读性强，便于理解和修改，提高了开发效率。Python语言特性（2）活跃的社区支持Python拥有庞大且活跃的开发者社区，提供了丰富的文档、教程和示例代码，方便开发者解决问题和快速学习，促进了人工智能技术的迭代和共享。Python语言特性（3）良好的跨平台性计算机并不能直接接收和执行用高级语言编写的源程序，源程序在输入计算机时，通过“翻译程序”翻译成机器语言形式的目标程序，计算机才能识别和执行。这种“翻译”通常有两种方式：一种是编译执行；另一种是解释执行。编译执行是指源程序代码先由编译器编译成可执行的机器码，然后再执行；解释执行是指源代码程序被解释器直接读取执行。编译执行和解释执行各有优缺点，编译执行可一次性将高级语言源程序编译成二进制的可执行指令，通常执行效率高。解释执行是指将该语言的源程序转变成二进制指令交给计算机执行，通常可以灵活的跨平台。Python作为解释型语言，支持Windows、macOS和Linux等操作系统，便于在不同环境中部署AI应用，具有良好的跨平台性。Python语言特性（4）优秀的集成和扩展性Python称为胶水语言，与其他语言（特别是c或c++)联结在一起，其具有丰富的API和标准库，通过调用底层算法提高性能，同时允许开发者编写C/C++代码来扩展Python功能，实现更高效的计算。另外，Python与大数据（Hadoop、Spark）、云计算（AWS、GoogleCloud）和物联网（IoT）等集成，为构建复杂AI系统提供了便利。Python语言特性1.数据获取与清洗•requests/aiohttp/scrapy：抓取网络数据•pandas/polars：表格数据清洗、聚合、缺失值处理•numpy：向量化数值计算，与张量库无缝对接•pillow/opencv-python/scikit-image：图像解码、增强•librosa/soundfile/scipy.io.wavfile：音频读取•h5py/zarr/parquet：大规模数据格式Python支撑AI2.核心数值&深度学习框架•TensorFlow/PyTorch/JAX：自动微分、GPU/TPU加速、分布式训练•MindSpore/PaddlePaddle：国产框架，兼容ONNX与昇腾/昆仑芯•MXNet/Chainer：早期框架，仍有存量项目•ONNXRuntime：跨框架推理加速Python支撑AI3.经典机器学习•scikit-learn：传统ML全流程（预处理→特征工程→模型→评估→调参）•xgboost/lightgbm/catboost：梯度提升树，表格赛事实战利器•statsmodels：统计检验、ARIMA、假设检验•imbalanced-learn：样本不平衡处理•optuna/hyperopt：超参优化Python支撑AI4.自然语言处理•HuggingFacetransformers：10万+预训练模型（BERT/GPT/T5）•spaCy/nltk：工业级/教学级NLP工具•tokenizers：多线程字节级分词器•sentence-transformers：句向量、语义搜索•langchain/llama-index：大模型应用编排Python支撑AI5.计算机视觉•torchvision/opencv-python：图像I/O、增强、常用模型•mmcv/mmdetection：检测、分割、姿态估计统一框架•timm：1000+SOTA视觉Transformer模型库•albumentations：高效数据增强Python支撑AI6.强化学习•gym/gymnasium：环境接口规范•stable-baselines3：经典RL算法（PPO、SAC、DQN）•ray[rllib]：分布式RL训练•pettingzoo：多智能体环境Python支撑AI人工智能三大技术

人工智能技术的三大结合领域分别是大数据、物联网和边缘计算（云计算）。大数据为AI提供了丰富的数据资源；物联网为AI提供了广泛的应用场景和实时数据；云计算和边缘计算为AI提供了强大的计算支持。传统思维方式大数据时代需要新的思维方式大数据思维方式运用大数据思维具体实例大数据思维大数据时代需要新的思维方式不确定性在我们生活的世界里无处不在，由于不确定性是这个世界的重要特征，以至于我们按照传统的方法——机械论的方法，很难做出准确的预测01世界的不确定性，折射出在信息时代的方法论：获得更多的信息，有助于消除不确定性，因此，谁掌握了信息，谁就能够获取财富，这就如同在工业时代，谁掌握了资本谁就能获取财富一样02数据学家认为，世界的本质是数据。通过采集、量化、计算、分析各种事物，来重新解释和定义这个世界，并通过数据来消除不确定性，对未来加以预测03转变思维方式，努力把身边的事物量化，以数据的形式加以对待，这是实现大数据时代思维方式转变的“核心”04大数据思维方式全样而非抽样过去，由于数据采集、数据存储和处理能力的限制，在科学分析中，通常采用抽样的方法，即从全集数据中抽取一部分样本数据，通过对样本数据的分析，来推断全集数据的总体特征大数据技术提供了理论上近乎无限的数据存储空间和强大的海量数据并行处理能力，可以直接针对全集数据而不是抽样数据，并且可以在短时间内得到分析结果大数据思维方式效率而非精确过去，我们在科学分析中采用抽样分析方法，就必须追求分析方法的精确性，因为，抽样分析只是针对部分样本的分析，其分析结果被应用到全集数据以后，误差会被放大现在，大数据时代采用全样分析而不是抽样分析，全样分析结果就不存在误差被放大的问题，因此，追求高精确性已经不是其首要目标，数据分析需要秒级响应，因此，效率成为关注的核心追求效率不是追求精确大数据思维方式相关而非因果在大数据时代，因果关系不再那么重要，人们转而追求“相关性”而非“因果性”相关性用户在网店购买一本书网店自动推荐相关的另一本书大数据思维方式以数据为中心数据驱动方法从20世纪70年代开始起步，在八九十年代得到缓慢但稳步的发展。进入21世纪后，由于互联网的出现，使得可用的数据量剧增，数据驱动方法的优势越来越明显，最终完成了从量变到质变的飞跃。如今很多需要类似人类智能才能做的事情，计算机已经可以胜任了，这得益于数据量的增加01全世界各个领域数据不断向外扩展，渐渐形成了另外一个特点，那就是很多数据开始出现交叉，各个维度的数据从点和线渐渐连成了网，或者说，数据之间的关联性极大地增强，在这样的背景下，就出现了大数据，使得“以数据为中心”的思考解决问题的方式优势逐渐得到显现02大数据在互联网领域的应用互联网的飞速发展使我们进入了信息过载的时代，搜索引擎可以帮助我们查找内容，但只能解决明确的需求为了让用户从海量信息中高效地获得自己所需的信息，推荐系统应运而生推荐系统是大数据在互联网领域的典型应用，它可以通过分析用户的历史记录来了解用户的喜好，从而主动为用户推荐其感兴趣的信息，满足用户的个性化推荐需求推荐系统是自动联系用户和物品的一种工具，和搜索引擎相比，推荐系统通过研究用户的兴趣偏好，进行个性化计算。推荐系统可发现用户的兴趣点，帮助用户从海量信息中去发掘自己潜在的需求大数据在生物医学领域的应用从谷歌流感趋势看大数据的应用价值：“谷歌流感趋势”，通过跟踪搜索词相关数据来判断全美地区的流感情况1.流行病预测大数据在生物医学领域的应用促进优质医疗资源共享促进医疗智能化避免患者重复检查2.智慧医疗大数据在生物医学领域的应用生物信息学是研究生物信息的采集、处理、存储、传播、分析和解释等方面的学科，也是随着生命科学和计算机科学的迅猛发展、生命科学和计算机科学相结合形成的一门新学科，它通过综合利用生物学、计算机科学和信息技术，揭示大量而复杂的生物数据所蕴含的生物学奥秘和互联网数据相比，生物信息学领域的数据更是典型的大数据生物大数据使得我们可以利用先进的数据科学知识，更加深入地了解生物学过程、作物表型、疾病致病基因等用大数据分析技术，可以从个人健康档案中有效预测个人健康趋势，并为其提供疾病预防建议，达到“治未病”的目的3.生物信息学大数据在物流领域的应用智能物流,又称智慧物流，是利用集成智能化技术，使物流系统能模仿人的智能，具有思维、感知、学习、推理判断和自行解决物流中某些问题的能力，从而实现物流资源优化调度和有效配置、物流系统效率提升的现代化物流管理模式1.智能物流的概念大数据在物流领域的应用在物流领域有两个著名的理论——“黑大陆说”和“物流冰山说”。这两个理论都旨在说明物流活动的模糊性和巨大潜力，发现隐藏在海量数据背后的有价值的信息，是大数据的重要商业价值。大数据是打开物流领域这块神秘的“黑大陆”的一把金钥匙大数据将推动物流行业从粗放式服务到个性化服务的转变，颠覆整个物流行业的商业模式“黑大陆”理论提出者美国管理学权威彼得F.德鲁克2

大数据是智能物流的关键大数据在城市管理领域的应用智能交通将先进的信息技术、数据通信传输技术、电子传感技术、控制技术以及计算机技术等，有效集成并运用于整个地面交通管理，同时可以利用城市实时交通信息、社交网络和天气数据来优化最新的交通情况1.

智能交通大数据在城市管理领域的应用森林监视近年来，人们开始把大数据应用于森林监视，其中，谷歌森林监视就是一项具有代表性的研究成果谷歌森林监视系统采用谷歌搜索引擎提供时间分辨率，采用NASA和美国地质勘探局的地球资源卫星提供空间分辨率。系统利用卫星的可见光和红外数据画出某个地点的森林卫星图像。在卫星图像中，每个像素都包含了颜色和红外信号特征等信息，如果某个区域的森林被破坏，该区域对应的卫星图像像素信息就会发生变化；因此，通过跟踪监测森林卫星图像上像素信息的变化，就可以有效监测到森林变化情况，当大片森林被砍伐破坏时，系统就会自动发出警报2.环保监测大数据在城市管理领域的应用环境保护大数据已经被广泛应用于污染监测领域，借助大数据技术，采集各项环境质量指标信息，集成整合到数据中心进行数据分析，并把分析结果用于指导下一步环境治理方案的制定，可以有效提升环境整治的效果中国水污染地图中国空气污染地图中国固废污染地图汽车尾气污染治理2.环保监测大数据在城市管理领域的应用地理数据利用地理数据可以研究全国城市扩张模拟、城市建成区识别公交IC卡数据手机通话数据社交网络数据住房数据利用搜房网的住房销售和出租数据，同时结合网络爬虫获取的居民住房地理位置和周边设施条件数据，就可以评价一个城区的住房分布和质量情况利用公交IC卡数据，可以开展城市居民通勤分析、职住分析、人的行为分析、人的识别、重大事件影响分析、规划项目实施评估分析​等利用移动手机通话数据，可以研究城市联系、居民属性、活动关系及其对城市交通的影响利用社交网络数据，可以研究城市功能分区、城市网络活动与等级、城市社会网络体系等。利用出租车定位数据，可以开展城市交通研究3.城市规划大数据在城市管理领域的应用中国的很多城市都在开展平安城市建设，在城市的各个角落密布成千上万个摄像头，7×24小时不间断采集各个位置的视频监控数据，数据量之大，超乎想象除了视频监控数据，安防领域还包含大量其他类型的数据，包括结构化、半结构化和非结构化数据4.安防领域大数据在金融领域的应用高频交易（High-FrequencyTrading，HFT）是指从那些人们无法利用的极为短暂的市场变化中寻求获利的计算机化交易，比如，某种证券买入价和卖出价差价的微小变化，或者某只股票在不同交易所之间的微小价差为了从高频交易中获得更高的利润，一些金融机构开始引入大数据技术来决定交易1.高频交易大数据在金融领域的应用市场情绪分析是交易者在日常交易工作中不可或缺的一环，根据市场情绪分析、技术分析和基本面分析，可以帮助交易者做出更好的决策。大数据技术在市场情绪分析中大有用武之地2.市场情绪分析大数据在金融领域的应用大数据分析技术已经能够为企业信贷风险分析助一臂之力。通过收集和分析大量中小微企业用户日常交易行为的数据，判断其业务范畴、经营状况、信用状况、用户定位、资金需求和行业发展趋势，解决由于其财务制度的不健全而无法真正了解其真实经营状况的难题，让金融机构放贷有信心、管理有保障收集和分析大量中小微企业用户日常交易行为的数据解决由于其财务制度的不健全而无法真正了解其真实经营状况的难题，让金融机构放贷有信心、管理有保障判断业务范畴经营状况信用状况用户定位资金需求行业发展趋势3.信贷风险分析大数据在金融领域的应用大数据征信就是利用信息技术优势，将不同信贷机构、消费场景、支离破碎的海量数据整合起来，经过数据清洗、模型分析、校验等一系列流程后，加工融合成真正有用的信息4.大数据征信大数据在汽车领域的应用为了实现无人驾驶的功能，谷歌无人驾驶汽车上配备了大量传感器，包括雷达、车道保持系统、激光测距系统、红外摄像头、立体视觉、GPS导航系统、车轮角度编码器等，这些传感器每秒产生1GB数据，每年产生的数据量将达到约2PB大数据分析技术将帮助无人驾驶系统做出更加智能的驾驶动作决策，比人类驾车更加安全、舒适、节能、环保大数据在电信领域的应用预测客户行为，发现行为趋势，并找出公司服务过程中存在缺陷的环节，从而帮助公司及时采取措施保留客户电信客户离网分析大数据在能源领域的应用智能电网的发展，离不开大数据技术的发展和应用，大数据技术是组成整个智能电网的技术基石物联网物联网（InternetofThings，IoT）是一个基于互联网、传统电信网等信息承载体的网络，通过各种信息传感设备（如传感器、射频识别技术RFID、全球定位系统等），让所有能够被独立寻址的普通物理对象实现互联互通。其核心在于实现物与物、人与物之间的信息交互，具有整体感知、可靠传输和智能处理的基本特征。物联网技术（1）感知技术传感器：传感器是物联网感知外界信息的关键部件。例如，温度传感器可以感知环境温度，将其转换为电信号传输给系统。在智能家居中，温湿度传感器可以实时监测室内温湿度，当温度过高或湿度过大时，自动启动空调或除湿器。射频识别（RFID）：RFID技术利用无线电波进行非接触式通信，实现对物体的识别和数据读取。在物流领域，通过在货物上贴上RFID标签，仓库管理系统可以快速识别货物信息，包括货物名称、数量、生产日期等，大大提高了货物管理的效率。物联网技术（2）网络通信技术有线通信：如以太网，它能够提供稳定的高速数据传输。在工业物联网中，工厂的自动化设备通过以太网连接到控制中心，实现设备的远程监控和指令下达。无线通信：包括Wi-Fi、蓝牙、ZigBee、NB-IoT等。Wi-Fi适用于近距离高速数据传输，如智能家居设备通过Wi-Fi连接到家庭路由器，实现与手机等终端设备的通信。ZigBee是一种低功耗、低速率的无线通信技术，适合用于传感器网络，例如在智能农业中，多个分布在农田中的传感器节点通过ZigBee组网，将土壤湿度、光照强度等数据传输给中心节点。物联网技术（3）数据处理技术云计算：云计算为物联网提供了强大的数据存储和计算能力。物联网设备产生的大量数据可以上传到云端进行分析和处理。例如，智能交通系统中，车辆路况信息等海量数据存储在云端，通过云计算技术进行交通流量分析，为交通管理部门提供决策支持。大数据分析：通过对物联网设备产生的海量数据进行