《人工智能基础及应用（Python 微课版）》课件 第4、5章 数据社交网、机器学习

04数据社交网数据社交网（DataSocialNetwork，简称DSN）是中文语境里对“社交网络（SocialNetwork）数据”的口语化简称，强调“把社交关系当成数据、用图结构来存储和分析”数据社交网本质是把“谁与谁有关系”抽象成一张图（Graph）。节点（vertices）：人、账号、组织等实体。边（edges）：好友、点赞、转账、通话等关系数据社交网主要包含两层含义：(1)业务/研究对象把社交平台上的“人-人、人-内容、人-事件”抽象成节点和边，形成一张可计算的网络图，用来解决好友推荐、社群发现、影响力评估、信息扩散等问题。(2)技术落地形态数据社交网的存储与计算通常用图数据库（NebulaGraph、Neo4j等）或Python图分析库（NetworkX、igraph、graph-tool等）来实现。NetworkX

定义：NetworkX是一个用于创建、操作和研究复杂网络结构的Python库，基于图论提供了丰富的数据结构和算法.特点：灵活的数据结构，支持无向图、有向图、加权图等，节点和边可带属性.大量的图论算法，如遍历、最短路径、社区发现、中心性等.简单易用的可视化工具.

安装：使用pipinstallnetworkx命令进行安装

.导入：在Python脚本中通过importnetworkxasnx导入NetworkX库

.无向图：使用nx.Graph()创建，如G=nx.Graph().【例】无向图importnetworkxasnximportmatplotlib.pyplotaspltG=nx.Graph()#创建一个空的无向图G.add_edge(1,2

,weight=4.2)#添加一个从节点1到节点2的边，权重为4.2G.add_nodes_from([3,4])#添加多个节点nx.draw(G,with_labels=True)plt.show()有向图：使用nx.DiGraph()创建，如DG=nx.DiGraph().

【例】有向图importnetworkxasnximportmatplotlib.pyplotaspltDG=nx.DiGraph()#创建一个空的有向图DG.add_edge(1,2)#添加一个从节点1到节点2的边DG.add_edge(3,4)#添加一个从节点3到节点4的边nx.draw(DG,with_labels=True)plt.show()节点（Node）：可以是任意可哈希的对象，通过add_node()或add_nodes_from()方法添加节点.

（1）标量属性1）节点权重：可以为节点设置权重，权重可以是整数、浮点数等。例如，在一个物流配送网络中，节点代表配送点，可以为节点设置“库存量”属性作为权重。权重高的节点表示该配送点库存量大，可能在物流调度中需要优先考虑。在图算法中，节点权重可以影响节点的选择和路径的计算，如在某些最短路径算法变体中，会考虑节点权重来优化路径。2）节点标签：可以给节点添加标签，标签可以是字符串等类型。例如，在一个社交网络中，节点代表用户，可以为节点添加“用户类型（普通用户、VIP用户等）”的标签。在分析用户行为或者进行个性化推荐时，可以根据节点标签来区分不同类型的用户。

节点（Node）：可以是任意可哈希的对象，通过add_node()或add_nodes_from()方法添加节点.（2）向量属性1）节点位置：在一些需要空间布局的场景中，可以为节点设置位置属性，通常是一个二维或三维坐标。例如，在地理信息系统（GIS）相关的网络中，节点代表地理实体（如城市、监测站点等），位置属性可以用于在地图上准确地绘制节点。在图的可视化中，根据节点位置属性可以生成更符合实际地理分布的图形。2）节点特征向量：在机器学习和数据挖掘中，节点特征向量是很重要的属性。例如，在一个社交网络中，节点特征向量可以包括用户的年龄、性别、兴趣爱好等多个维度的信息。这些特征向量可以用于节点分类、社区发现等任务。在图神经网络中，节点特征向量是网络学习的重要输入，通过学习节点特征向量的表示，可以挖掘图中的复杂模式。边（Edge）：表示节点之间的关系，使用add_edge()或add_edges_from()方法添加边.（1）标量属性1）边权重：边权重是最常见的边属性之一。它可以表示边的重要性、成本、距离等多种含义。例如，在一个交通网络中，边权重可以表示道路的长度；在通信网络中，边权重可以表示链路的带宽。在最短路径算法（如Dijkstra算法）中，边权重是关键因素，算法会根据边权重来计算从起点到终点的最短路径。权重高的边在某些情况下可能表示优先选择的路径（如带宽大的链路），在其他情况下可能表示需要避免的路径（如距离长的道路）。2）边容量：在流网络中，边容量是一个重要的属性。它表示边能够承载的最大流量。例如，在一个供水网络中，边代表管道，边容量可以表示管道的最大供水量。在网络流算法（如最大流最小割算法）中，边容量用于计算网络的最大流量，通过合理分配流量在各条边上的分布，可以实现资源的最优利用。

边（Edge）：表示节点之间的关系，使用add_edge()或add_edges_from()方法添加边.（2）向量属性1）边标签：可以为边添加标签，用于区分不同类型的边。例如，在一个语义网络中，节点代表概念，边代表概念之间的关系，边标签可以表示关系的类型（如“属于”“包含”“相似于”等）。在知识图谱中，边标签是构建知识体系的关键，通过分析边标签可以理解概念之间的语义联系。2）边特征向量：类似于节点特征向量，边特征向量可以包含多个维度的信息。例如，在一个电力传输网络中，边特征向量可以包括电压等级、传输线路类型（架空线、电缆等）、建设年代等多个属性。这些特征向量可以用于边的分类、故障诊断等任务。在图数据挖掘中，边特征向量可以和节点特征向量一起，为图的分析提供更丰富的信息。图的遍历：深度优先搜索（DFS）：nx.dfs_edges()等函数。广度优先搜索（BFS）：nx.bfs_edges()等函数。最短路径：nx.shortest_path()函数可计算两个节点之间的最短路径.中心性度量：度中心性：nx.degree_centrality()函数计算节点的度中心性，衡量节点的连接数量.中介中心性：nx.betweenness_centrality()函数计算节点的中介中心性，衡量节点在最短路径中的重要程度.社区发现：如munity.greedy_modularity_communities()函数可用于发现图中的社区结构。可视化展示基本绘图：使用nx.draw()函数进行简单绘图，可设置节点大小、颜色、标签等参数.布局调整：spring_layout：类似多中心放射状排列节点.circular_layout：节点在圆环上均匀分布.random_layout：节点随机分布.shell_layout：节点在同心圆上分布.spectral_layout：根据图的拉普拉斯特征向量排列节点.社交网络分析：分析社交网络中的用户关系、社区结构、信息传播等，如查找好友关系、发现社交圈子.生物网络分析：研究蛋白质相互作用网络、基因调控网络等，了解生物分子之间的相互作用和功能.交通网络分析：对道路网络、铁路网络等进行分析，优化路径规划、流量分配等.机器学习机器学习是使计算机具有智能的根本途径，它涉及到多学科知识，专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习的历史可以追溯到17世纪，贝叶斯、拉普拉斯关于最小二乘法的推导和马尔可夫链构成了机器学习广泛使用的工具和基础。从1950年图灵提议建立一个学习机器，到2000年初深度学习的实际应用及进展，机器学习有了很大的进展。机器学习机器学习最早的发展可以追溯到英国数学家贝叶斯（1702年~1761年）在1763年发表的贝叶斯定理，这是关于随机事件A和B的条件概率（或边缘概率）的一则数学定理，是机器学习的基本思想。其中，P(A|B)是指在B发生的情况下A发生的可能性，即根据以前的信息寻找最可能发生的事件。机器学习的发展从20世纪50年代研究机器学习以来，不同时期的研究途径和目标并不相同，大体上可以划分为四个阶段。第一阶段是20世纪50年代中叶到60年代中叶，属于热烈时期。主要研究“有无知识的学习”。这个时期最具代表性的研究是塞缪特的下棋程序。第二阶段从20世纪60年代中叶到70年代中叶，被称为机器学习的冷静时期。主要研究将各领域的知识植入到系统里，通过机器模拟人类学习的过程。第三阶段从20世纪70年代中叶到80年代中叶，称为复兴时期。在此期间，人们从学习单个概念扩展到学习多个概念，探索不同的学习策略和方法。机器学习的发展第四阶段起步于20世纪80年代中叶，机器学习的这个新阶段具有如下特点：（1）机器学习成为新的边缘学科，它综合应用了心理学、生物学、神经生理学、数学、自动化和计算机科学等形成了机器学习理论基础。（2）融合各种学习方法，且形式多样的集成学习系统研究正在兴起。特别是连接符号的学习耦合可以更好地解决连续性信号处理中知识与技能的获取与求精问题而受到重视。机器学习的发展（3）机器学习与人工智能各种基础问题的统一性观点正在形成。例如学习与问题求解结合进行、知识表达便于学习的观点产生了通用智能系统的组块学习。类比学习与问题求解结合的基于案例方法已成为经验学习的重要方向。（4）各种学习方法应用范围不断扩大。归纳学习知识获取工具在诊断专家系统中广泛使用，连接学习在声图文识别中占优势，分析学习用于设计型专家系统，遗传算法与强化学习在工程控制中有较好应用，与符号系统耦合的深度学习在智能管理与智能机器人运动规划中发挥作用。机器学习的发展机器学习在1997年达到巅峰，当时，IBM深蓝电脑在一场国际象棋比赛中击败了世界冠军加里·卡斯帕罗夫。之后，谷歌开发专注于围棋游戏的AlphaGo（阿尔法狗），尽管围棋被认为过于复杂，2016年AlphaGo终于获得胜利，在一场五局比赛中击败世界冠军李世石。机器学习的发展学习是人类具有的一种重要的智能行为。兰利（1996）的定义是：“机器学习是一门人工智能的科学，该领域的主要研究对象是人工智能，特别是如何在经验学习中改善具体算法的性能。”汤姆·米切尔（1997）对信息论中的一些概念有详细的解释，其中定义机器学习时提到：“机器学习是对能通过经验自动改进的计算机算法的研究。”阿尔帕丁（2004）对机器学习的定义：“机器学习是用数据或以往的经验，以此优化计算机程序的性能标准。”机器学习的定义机器学习的研究主要分为两个方向。1.传统机器学习的研究：主要研究学习机制，注重探索模拟人的学习机制，研究内容包括决策树、随机森林、人工神经网络、贝叶斯学习等方面。2.大数据环境下机器学习的研究：主要研究如何有效利用信息，注重从巨量数据中获取隐藏的、有效的、可理解的知识。大数据的价值体现主要集中在数据的转向以及数据的信息处理能力。在大数据产业发展的今天，对数据的转换、处理、存储等带来了更好的技术支持，实现人类用户与计算机信息之间的协调。机器学习的研究机器学习的核心是“使用算法解析数据，从中学习，然后对世界上的某件事情做出决定或预测”。这意味着，与其显式地编写程序来执行某些任务，不如教计算机学会如何开发一个算法来完成任务。

机器学习有三种主要类型

监督学习非监督学习强化学习

12.2基于