向量计算-第01章-走进向量计算的世界

清华大学出版社《向量计算》配套课件·课堂讲义第1章走进向量计算的世界换个角度学AI，打通任督二脉刘鹏著·清华大学出版社从标量到张量：推开人工智能底层逻辑的大门《向量计算》配套课件第1章走进向量计算的世界第1章走进向量计算的世界2/40教学目标1理解标量、向量、矩阵、张量的概念与维度进阶关系2掌握向量加法、数乘、点积、范数的定义与几何意义3会用欧氏距离与余弦相似度度量向量的相似程度4了解向量计算在搜索、推荐、大语言模型中的核心地位重点与难点1重点：点积的几何意义与相似度度量（推荐、检索的数学基础）2难点：高维向量的直觉建立与张量“阶”的概念3挑战：维度灾难与海量向量的快速检索（引出后续章节）《向量计算》配套课件第1章走进向量计算的世界第1章走进向量计算的世界3/40本章内容导航1.1为什么AI的核心是向量计算？1.2从标量、向量、矩阵到张量1.3向量计算的数学基础《向量计算》配套课件·第1章走进向量计算的世界1.1为什么AI的核心是向量计算？万物皆可向量化·向量计算无处不在·重要性·挑战《向量计算》配套课件1.1为什么AI的核心是向量计算？第1章走进向量计算的世界5/40万物皆可向量化：什么是向量●向量（Vector）：一组有顺序的数字，用来表示事物的特征–大白话：“一串排好队的数字”——计算机眼里万物皆数字–标量：单个数字，如身高175cm–向量：[身高175,体重65,年龄20,年收入]●神奇特性：两个向量“距离”近→事物相似、合得来图1-1简单四维向量代表个人特征《向量计算》配套课件1.1为什么AI的核心是向量计算？第1章走进向量计算的世界6/40文本、图像、声音都能变向量●计算机眼中“苹果”=[0.32,-0.15,0.67,…,0.23]–每个数字代表一个特征：水果属性、颜色、味道……●run与jump（动作）相近；dog、rabbit、cat聚集；tree、flower相邻●语义相似→向量距离近：WordEmbedding的核心思想●224×224彩色图片=150528个数字的向量；10秒音频可提取声学特征向量图1-2词向量空间示意图《向量计算》配套课件1.1为什么AI的核心是向量计算？第1章走进向量计算的世界7/40搜索：找相似的东西●甜度×脆度坐标系：两个苹果距离近（相似），苹果与西瓜距离远●以图搜图四步：①上传图片转成向量–②库中所有图片也转成向量–③计算与你的图片向量的相似度–④找出相似度最高的几张图片●整个过程本质就是向量相似度计算图1-3向量距离与相似性的关系《向量计算》配套课件1.1为什么AI的核心是向量计算？第1章走进向量计算的世界8/40图像检索系统●流程：查询图像→向量→在向量库中相似度匹配→返回相似图●现代AI（卷积神经网络、视觉Transformer）能提取更表达内容的向量–猫照片与狗照片的向量表示有明显区别图1-4图像检索系统《向量计算》配套课件1.1为什么AI的核心是向量计算？第1章走进向量计算的世界9/40推荐：猜你喜欢●用户行为（浏览、点赞、购买）→用户向量●商品的特征→商品向量●计算用户向量与商品向量的相似度，推荐相似度高的商品–从浏览历史生成用户向量，在商品库中做相似度匹配图1-5推荐系统的向量计算《向量计算》配套课件1.1为什么AI的核心是向量计算？第1章走进向量计算的世界10/40大语言模型：理解上下文●输入一句话：每个词先转换成向量●通过复杂的向量运算理解词与词之间的关系●注意力机制是ChatGPT等模型的核心计算–理解上下文，才能给出合适的回答图1-6注意力机制通过向量计算理解句子中词与词的关系《向量计算》配套课件1.1为什么AI的核心是向量计算？第1章走进向量计算的世界11/40为什么向量计算如此重要●统一的表示方法：文本/图像/声音/视频都向量化，共享数学工具●高效的计算方式：CPU/GPU针对向量运算专门优化，可并行处理●强大的表达能力：768维词向量承载含义、语法属性、上下文关系●可度量的相似性：精确计算相似度，支撑搜索、聚类、分类任务图1-7向量计算是AI的核心《向量计算》配套课件1.1为什么AI的核心是向量计算？第1章走进向量计算的世界12/40向量计算面临的挑战●维度灾难：维度越来越高，占用大量存储，还拖慢计算效率●海量数据检索：在数以亿计的向量中快速找相似——近似最近邻搜索●实时性要求：在线搜索、实时推荐要在快与准之间取得平衡–这些挑战正是本书后续章节的主线《向量计算》配套课件·第1章走进向量计算的世界1.2从标量、向量、矩阵到张量标量·向量·矩阵·张量·维度直觉·AI应用《向量计算》配套课件1.2从标量、向量、矩阵到张量第1章走进向量计算的世界14/40标量与向量●标量（Scalar）：零维的量，只有大小、没有方向–例：温度36.5℃、身高175cm、年龄20岁、成绩90分●向量（Vector）：按顺序排列的一串数字，像每节车厢装一个数字的火车–例：[1,2,3,4,5]是一个5维向量–身边例子：平面点[x,y]、空间点[x,y,z]、颜色[R,G,B]、五科成绩《向量计算》配套课件1.2从标量、向量、矩阵到张量第1章走进向量计算的世界15/40矩阵与张量●矩阵（Matrix）：二维数字排列，像一张Excel表格，m×n表示m行n列–灰度图就是一个矩阵，每个数字是一个像素的亮度–矩阵可表示旋转、缩放等线性变换；神经网络的权重用矩阵存储●张量（Tensor）：向量与矩阵向任意维度的推广，维度称为“阶”（rank）–彩色图片3阶（高×宽×通道）；一个批次图片4阶；视频5阶《向量计算》配套课件1.2从标量、向量、矩阵到张量第1章走进向量计算的世界16/40维度的直观理解●标量=单个数字；向量=一列数字；矩阵=二维表格；张量=高维集合–一个人的身高175cm→标量（0维）–一个人的各项指标[175,65,20]→向量（1维）●一个班10人指标→矩阵（2维）；一个年级10个班→3阶张量●维度增加，能表示的信息越来越丰富图1-8标量、向量、矩阵、张量对比《向量计算》配套课件1.2从标量、向量、矩阵到张量第1章走进向量计算的世界17/40张量在AI中的应用●计算机视觉：单图[高度,宽度,通道数]3阶；一个batch图像4阶●自然语言处理：句子的词向量[序列长度,向量维度]2阶；batch句子3阶●推荐系统：用户行为矩阵[用户数,商品数]2阶；加时间窗口3阶●PyTorch/TensorFlow对张量运算高度优化，支持GPU加速●掌握了张量，就掌握了AI的“语言”《向量计算》配套课件·第1章走进向量计算的世界1.3向量计算的数学基础表示·可视化·加法与点积·范数与距离·矩阵乘法·向量化·实战推荐《向量计算》配套课件1.3向量计算的数学基础第1章走进向量计算的世界19/40编程中的向量表示（NumPy/PyTorch）importnumpyasnp#创建一个向量v1=np.array([1,2,3,4,5])print(v1)#输出:[12345]#查看向量的形状print(v1.shape)#输出:(5,)表示这是一个5维向量#查看向量的维度print(v1.ndim)#输出:1表示这是一个一维数组注：PyTorch中用v2=torch.tensor([1.0,2.0,3.0,4.0,5.0])创建向量，v2.shape输出torch.Size([5])，v2.ndim为1。《向量计算》配套课件1.3向量计算的数学基础第1章走进向量计算的世界20/40向量的可视化：带箭头的线段●在二维平面上，2维向量用一个带箭头的线段表示●方向：箭头指向的方向●大小（模长）：箭头的长度图1-9二维向量在坐标系中的表示《向量计算》配套课件1.3向量计算的数学基础第1章走进向量计算的世界21/40向量的加法与数乘●加法：两个向量对应位置的元素相加–[1,2,3]+[4,5,6]=[1+4,2+5,3+6]=[5,7,9]●数乘：用一个数字（标量）乘向量的每个元素–2×[1,2,3]=[2×1,2×2,2×3]=[2,4,6]●数乘改变向量长度但不变方向；乘负数则方向相反《向量计算》配套课件1.3向量计算的数学基础第1章走进向量计算的世界22/40向量运算的几何法则●左图加法z=u+v：平行四边形法则，z是从原点出发的对角线●右图减法z=u−v：三角形法则（共尾法）–减法连接两个向量的头部：从减数指向被减数（终点减起点）图1-10向量运算的几何法则《向量计算》配套课件1.3向量计算的数学基础第1章走进向量计算的世界23/40点积（内积）：最重要的向量运算a·b=|a|×|b|×cos(θ)|a|、|b|：两个向量的长度（模长）θ：两个向量的夹角坐标算法：a·b=Σaᵢbᵢ（对应位置乘积之和）●例：[1,2,3]·[4,5,6]=1×4+2×5+3×6=4+10+18=32●点积可计算夹角余弦值，是判断向量相似度的关键《向量计算》配套课件1.3向量计算的数学基础第1章走进向量计算的世界24/40点积的代码实现importnumpyasnpv1=np.array([1,2,3])v2=np.array([4,5,6])#计算点积dot_product=np.dot(v1,v2)print(dot_product)#输出:32#或者使用@运算符（Python3.5+）dot_product2=v1@v2print(dot_product2)#输出:32注：PyTorch中用torch.dot(v1,v2)计算点积，输出tensor(32.)。《向量计算》配套课件1.3向量计算的数学基础第1章走进向量计算的世界25/40点积的几何意义●点积=向量长度×夹角余弦–方向越一致，cos(θ)越大，点积越大图1-11点积的几何意义《向量计算》配套课件1.3向量计算的数学基础第1章走进向量计算的世界26/40用点积判断方向关系●方向相同（θ=0°）：cos(θ)=1，点积最大，表示最相似●垂直（θ=90°）：cos(θ)=0，点积为0，表示不相关●方向相反（θ=180°）：cos(θ)=−1，点积最小，表示最不相似●推荐系统、搜索常用点积（或余弦相似度）计算相似度图1-12点积判断方向《向量计算》配套课件1.3向量计算的数学基础第1章走进向量计算的世界27/40向量的范数（长度）‖v‖₂=√(v₁²+v₂²+…+vₙ²)‖v‖₁=|v₁|+|v₂|+…+|vₙ|L2范数（欧氏范数）：最常用，即欧几里得距离L1范数（曼哈顿范数）：各分量绝对值之和●范数：衡量向量“长度”或“大小”的指标–例：v=[3,4]的L2范数=5.0；np.linalg.norm(v)；L1范数=7《向量计算》配套课件1.3向量计算的数学基础第1章走进向量计算的世界28/40两种范数的直观理解●L2范数：“直线距离”，像地图上两点间的直线●L1范数：“城市街区距离”，只能沿街道走、不能走直线图1-13两种范数的直观理解《向量计算》配套课件1.3向量计算的数学基础第1章走进向量计算的世界29/40向量距离的度量d(v1,v2)=‖v1−v2‖₂=√((v1₁−v2₁)²+(v1₂−v2₂)²+…+(v1ₙ−v2ₙ)²)欧氏距离：两个向量端点之间的直线距离例：[1,2,3]与[4,5,6]的欧氏距离≈5.196●余弦相似度=(v1·v2)/(‖v1‖×‖v2‖)，只看方向、不看大小–例：[1,2,3]与[4,5,6]的余弦相似度≈0.975–取值范围[−1,1]：1同向最相似、0垂直不相关、−1反向最不相似《向量计算》配套课件1.3向量计算的数学基础第1章走进向量计算的世界30/40表1-1不同距离度量的对比距离度量计算复杂度关注点适用场景欧氏距离O(n)绝对距离需要考虑向量大小差异的场景余弦相似度O(n)方向相似文本、推荐等关注语义相似的场景曼哈顿距离O(n)累积差异特征稀疏的场景点积O(n)综合相似归一化向量的快速检索《向量计算》配套课件1.3向量计算的数学基础第1章走进向量计算的世界31/40矩阵乘法：规则与计算过程●规则：A(m×n)×B(n×p)→结果C是m×p的矩阵●关键点：第一个矩阵的列数必须等于第二个矩阵的行数–结果每个元素=行与列对应元素相乘再求和–例：C[0,0]=[1,2]·[5,8]=1×5+2×8=21●应用：全连接层=输入×权重+偏置；注意力机制=Query×Key的转置图1-14矩阵乘法可视化《向量计算》配套课件1.3向量计算的数学基础第1章走进向量计算的世界32/40矩阵乘法的代码实现importnumpyasnpA=np.array([[1,2],[3,4],[5,6]])B=np.array([[5,6,7],[8,9,10]])#矩阵乘法C=np.dot(A,B)#或者使用@运算符C=A@Bprint(C)#输出:#[[212427]#[475461]#[738495]]注：PyTorch中用torch.matmul(A,B)或A@B，得到同样的结果。《向量计算》配套课件1.3向量计算的数学基础第1章走进向量计算的世界33/40向量化与循环：两种编码风格importnumpyasnp#两个长度为100万的向量v1=np.random.randn(1000000)v2=np.random.randn(1000000)#使用循环计算点积result=0foriinrange(len(v1)):result+=v1[i]*v2[i]注：向量化写法只需一行：result=np.dot(v1,v2)——对数组/矩阵整体运算，不写显式循环。《向量计算》配套课件1.3向量计算的数学基础第1章走进向量计算的世界34/40向量化计算的优势与GPU并行●向量化版本通常比循环版本快几十倍甚至上百倍–原因一：底层用C/C++实现，经过高度优化–原因二：并行计算，利用CPU/GPU的并行能力–原因三：对CPU缓存更友好，减少内存访问延迟●GPU众核并行处理向量运算，数秒内处理数百万乃至数亿向量图1-15GPU并行加速向量计算《向量计算》配套课件1.3向量计算的数学基础第1章走进向量计算的世界35/40实战：基于向量的简单推荐系统●场景：5个用户×4部电影（动作/爱情/喜剧/科幻）●用户向量：记录用户对各类电影的偏好打分●电影向量：记录电影的类型特征●核心：用点积计算用户与所有电影的相似度–输出：按相似度排序，返回Top-K推荐《向量计算》配套课件1.3向量计算的数学基础第1章走进向量计算的世界36/40实战（一）：用户向量与电影向量importnumpyasnp#假设我们有5个用户和4部电影#用户向量表示用户对不同类型电影的偏好users=np.array([[5,0,4,1],#用户A：喜欢动作片和喜剧片[3,1,2,3],#用户B：喜好比较均衡[0,5,0,4],#用户C：喜欢爱情片和科幻片[4,2,3,2],#用户D：喜好比较均衡，偏动作片[2,0,5,1]#用户E：喜欢喜剧片])#电影向量表示电影的特征movies=np.array([[5,0,3,1],#电影1：动作片[0,5,0,4],#电影2：爱情片[4,1,5,0],#电影3：喜剧片[2,3,1,5]#电影4：科幻片])《向量计算》配套课件1.3向量计算的数学基础第1章走进向量计算的世界37/40实战（二）：相似度计算与Top-K推荐#计算用户与所有电影的相似度（使用点积）defrecommend(user_id,top_k=3):user_vector=users[user_id]similarities=[]fori,movie_vectorinenumerate(movies):#计算用户向量和电影向量的点积similarity=np.dot(user_vector,movie_vector)similarities.append((i,similarity))#按相似度排序similarities.sort(key=la