向量计算-第03章-向量相似度度量

清华大学出版社《向量计算》配套课件·课堂讲义第3章向量相似度度量换个角度学AI，打通任督二脉刘鹏著·清华大学出版社欧氏距离、余弦相似度与内积：AI如何“理解”相似《向量计算》配套课件第3章向量相似度度量第3章向量相似度度量2/38教学目标1掌握欧氏距离、余弦相似度、内积的公式与几何意义2理解度量空间四条公理与余弦距离的转换3掌握归一化后三种度量之间的相互关系4能依据数据特征、计算效率与业务目标选择合适度量5了解三种度量在文本、图像、推荐、异常检测中的应用重点与难点1重点：三种度量的公式、优缺点与适用场景2重点：归一化后内积=余弦、距离²=2×(1−余弦)及其加速意义3难点：内积的投影几何意义与长度归一化问题4难点：尺度差异与流形结构对度量选择的影响《向量计算》配套课件第3章向量相似度度量第3章向量相似度度量3/38本章内容导航3.1距离算法详解：欧氏距离、余弦相似度、内积3.2距离度量的选择与应用场景差异3.3本章小结《向量计算》配套课件·第3章向量相似度度量3.1距离算法详解：欧氏距离、余弦相似度、内积3.1.1欧氏距离·3.1.2余弦相似度·3.1.3内积·3.1.4度量的数学性质与实现《向量计算》配套课件3.1距离算法详解：欧氏距离、余弦相似度、内积第3章向量相似度度量5/38从以图搜图与短视频推荐说起●淘宝搜索工程师：用户上传猫照片，要从亿级商品库找到最适配的猫粮、猫窝●抖音算法工程师：判断“这个短视频和用户最近喜欢看的内容像不像”●这些问题核心相同：如何衡量两个向量的相似程度？–三大法则决定AI系统“懂不懂”你的需求：选对如装慧眼，选错南辕北辙《向量计算》配套课件3.1距离算法详解：欧氏距离、余弦相似度、内积第3章向量相似度度量6/38欧氏距离：最直观的“物理距离”●最古老的距离度量，源于古希腊数学家欧几里得的几何体系●核心思想：两点之间直线距离最短●二维平面中P1(x1,y1)与P2(x2,y2)的距离＝连接两点的直线长度–图中两个蓝色点之间的黑色线段即为欧氏距离图3-1欧氏距离示意图《向量计算》配套课件3.1距离算法详解：欧氏距离、余弦相似度、内积第3章向量相似度度量7/38欧氏距离：从勾股定理到n维推广d(x,y)=√(Σᵢ₌₁ⁿ(xᵢ−yᵢ)²)二维（勾股定理）：d=√((x₁−x₂)²+(y₁−y₂)²)高维自然推广：如1000维特征向量先算各维度差距，再平方求和、开根号●通俗地说：两个向量有多像，看它们在每一个维度上的差距加起来有多大●优点：直观易懂，符合人类“距离”直觉；对绝对位置敏感，能捕捉“整体差异”●缺点：易受向量长度（模）影响；高维空间可能遇到“维度灾难”（第4章详述）《向量计算》配套课件3.1距离算法详解：欧氏距离、余弦相似度、内积第3章向量相似度度量8/38案例：用户购物行为的欧氏距离●4维用户向量：(购买频次,消费金额,商品种类数,收藏数量)–用户A：(5次,1000元,10类,20个)；用户B：(50次,10000元,100类,200个)–用户C：(5次,1100元,11类,21个)●d(A,B)≈9002，d(A,C)≈100——显然A和C更相似●暴露问题：对量级差异非常敏感——B只是A的“10倍放大版”，行为模式其实很像《向量计算》配套课件3.1距离算法详解：欧氏距离、余弦相似度、内积第3章向量相似度度量9/38余弦相似度：关注“方向”而非“长度”●核心思想：相似度取决于方向是否一致，而不是长度是否相等●两向量夹角θ越小，余弦值越大，向量越相似–同向θ=0°，cosθ=1；反向θ=180°，cosθ=−1；垂直θ=90°，cosθ=0–好比让两个向量“站在同一起跑线上”，只看方向，不管谁长多少图3-2余弦相似度示意图《向量计算》配套课件3.1距离算法详解：欧氏距离、余弦相似度、内积第3章向量相似度度量10/38余弦相似度公式cosθ=(x·y)/(‖x‖×‖y‖)=Σᵢxᵢyᵢ/(√Σᵢxᵢ²×√Σᵢyᵢ²)x·y：向量的内积（点积）‖x‖、‖y‖：向量的模（长度）取值范围[−1,1]●本质是在计算两个向量夹角的余弦值《向量计算》配套课件3.1距离算法详解：欧氏距离、余弦相似度、内积第3章向量相似度度量11/38重看购物案例：余弦相似度解决量级问题●对A(5,1000,10,20)与B(50,10000,100,200)计算余弦相似度●结果cosθ≈0.999999，非常接近1–结论：B的频次与金额虽是A的10倍，但行为模式高度相似，只是活跃度不同●适用：文本相似度判断、用户行为分析、推荐系统（喜好方向而非喜好强度）●局限：忽略向量长度信息；无法区分“方向相似但距离很远”与“方向相似且很近”《向量计算》配套课件3.1距离算法详解：欧氏距离、余弦相似度、内积第3章向量相似度度量12/38内积：最基础也最重要的向量运算x·y=Σᵢ(xᵢ×yᵢ)也叫点积：对应位置的数字相乘，再把所有乘积相加例：x=(1,2,3)，y=(4,5,6)，x·y=4+10+18=32●几何意义：x·y=‖x‖×‖y‖×cosθ–内积=x的长度×y的长度×夹角的余弦值，同时综合方向与长度两类信息《向量计算》配套课件3.1距离算法详解：欧氏距离、余弦相似度、内积第3章向量相似度度量13/38内积的几何解释：投影●内积=一个向量在另一个向量上的投影长度×另一个向量的长度●综合两个信息：方向（cosθ）与长度（‖x‖、‖y‖）●本质：衡量两个向量的“对齐程度”，内积越大越“同向”图3-3向量内积示意图《向量计算》配套课件3.1距离算法详解：欧氏距离、余弦相似度、内积第3章向量相似度度量14/38内积案例与典型应用●例1：A(5,1000,10,20)·B(50,10000,100,200)=10,004,500●例2：A·D(1000,5,200,10)=5000+5000+2000+200=12,200●A·B很大主要源于向量长度——直接用内积作度量要考虑长度归一化–注意力机制：计算Query向量与Key向量的相似度–推荐系统矩阵分解：User向量与Item向量匹配–大规模向量检索：通过内积快速筛选候选《向量计算》配套课件3.1距离算法详解：欧氏距离、余弦相似度、内积第3章向量相似度度量15/38关键联系：归一化之后的三种度量若‖x‖=‖y‖=1：内积=余弦相似度，d(x,y)²=2×(1−cosθ)归一化：让每个向量的长度都为1归一化后的空间中，距离最小化＝相似度最大化–由d²=‖x‖²+‖y‖²−2x·y可推得：欧氏距离²=2×(1−余弦相似度)●内积无须开方、无须除法，计算最快——大规模向量检索常选用内积《向量计算》配套课件3.1距离算法详解：欧氏距离、余弦相似度、内积第3章向量相似度度量16/38度量的数学性质：度量空间四条公理●非负性：d(x,y)≥0，距离不能为负●同一性：d(x,y)=0当且仅当x=y●对称性：d(x,y)=d(y,x)，往返距离相等●三角不等式：d(x,z)≤d(x,y)+d(y,z)，两点间直线最短●欧氏距离完美满足四条公理；余弦相似度不满足非负性与同一性，严格说是“相似度”●转换：余弦距离=1−余弦相似度，即得到合理的距离度量《向量计算》配套课件3.1距离算法详解：欧氏距离、余弦相似度、内积第3章向量相似度度量17/38代码实现：三种度量（Python）importnumpyasnpdefeuclidean_distance(x,y):"""计算欧氏距离"""returnnp.sqrt(np.sum((x-y)**2))defcosine_similarity(x,y):"""计算余弦相似度"""dot_product=np.dot(x,y)norm_x=np.linalg.norm(x)norm_y=np.linalg.norm(y)returndot_product/(norm_x*norm_y)definner_product(x,y):"""计算内积"""returnnp.dot(x,y)#示例x=np.array([1,2,3])y=np.array([4,5,6])print(f"欧氏距离:{euclidean_distance(x,y):.4f}")print(f"余弦相似度:{cosine_similarity(x,y):.4f}")print(f"内积:{inner_product(x,y)}")注：代码摘自原书3.1.4节，一字未改；实践中常再用SIMD指令集、GPU加速《向量计算》配套课件·第3章向量相似度度量3.2距离度量的选择与应用场景差异全面对比·典型场景·数据特征·计算效率·案例分析·混合策略《向量计算》配套课件3.2距离度量的选择与应用场景差异第3章向量相似度度量19/38表3-1三种向量相似度度量的全面对比维度欧氏距离余弦相似度内积核心关注点绝对距离方向一致性对齐程度对长度的敏感性高低高取值范围[0,+∞)[-1,1](-∞,+∞)是否为度量✓✗✗计算复杂度O(n)O(n)O(n)归一化后表现与余弦相关=内积=余弦相似度适用数据特征各维度尺度相近各维度尺度差异大已归一化的向量最适用场景空间位置相关方向/语义相关深度学习内积检索《向量计算》配套课件3.2距离度量的选择与应用场景差异第3章向量相似度度量20/38场景1文本相似度匹配：首选余弦相似度–图中给出各句子与查询句之间的余弦距离●文档长度差异大：新闻稿500字、微博140字，却可能讨论同一件事●语义方向更重要：关注“文章在说什么”，而非“文章有多长”●词频向量特性：TF-IDF生成的向量，长度本身并不携带重要信息●例：sim(“今天天气真好”,“今天天气真的很好”)≈0.85，高度相似–sim(“今天天气真好”,“人工智能正在改变世界”)≈0.02，几乎不相关图3-4文本相似度匹配《向量计算》配套课件3.2距离度量的选择与应用场景差异第3章向量相似度度量21/38场景2图像检索与识别：以图搜图–用户上传图片即可找到相似内容●特征向量已归一化：用余弦相似度或内积（此时两者等价）●关注图像整体相似度：用欧氏距离●关注“风格”而非“亮度/对比度”：用余弦相似度图3-5以图搜图示例《向量计算》配套课件3.2距离度量的选择与应用场景差异第3章向量相似度度量22/38场景2人脸识别：特征向量化图3-6人脸识别中的特征点定位和几何建模《向量计算》配套课件3.2距离度量的选择与应用场景差异第3章向量相似度度量23/38场景3推荐系统：不同路线不同度量●User-Based协同过滤：用户间行为模式的相似→余弦相似度●Item-Based协同过滤：被共同购买的频率→余弦相似度或Jaccard相似度●双塔模型：User向量与Item向量的内积（神经网络输出往往已归一化）●矩阵分解：User隐向量与Item隐向量的内积《向量计算》配套课件3.2距离度量的选择与应用场景差异第3章向量相似度度量24/38场景4异常检测：欧氏距离更常用●原理：正常数据会聚集成簇，异常数据远离簇中心●方法：计算点到簇中心的欧氏距离，超过阈值即判定为异常●原因：异常检测关注“偏离程度”，而非“方向是否一致”《向量计算》配套课件3.2距离度量的选择与应用场景差异第3章向量相似度度量25/38数据特征①各维度尺度是否一致？●例：用户行为向量(购买频次,消费金额)，A(10次,1000元)、B(5次,5000元)●欧氏距离d≈4000.006：“消费金额”的差异完全主导计算，“购买频次”被忽略–物理意义不同、尺度差异大的维度直接算欧氏距离会失真●解决方案：归一化（缩放到[0,1]）；标准化（均值0、标准差1）；改用余弦相似度《向量计算》配套课件3.2距离度量的选择与应用场景差异第3章向量相似度度量26/38数据特征②③归一化状态与流形结构–选择度量取决于业务场景、数据特征与优化目标●若已是单位向量：内积=余弦相似度，距离²=2×(1−余弦)●内积无须开方、计算最快——大规模向量检索系统的常见选择●流形结构数据（图像、文本等高维语义数据）：余弦相似度通常表现更好–流形局部线性、全局非线性；欧氏距离可能穿过“不可能存在”的区域，给出不合理距离《向量计算》配套课件3.2距离度量的选择与应用场景差异第3章向量相似度度量27/38表3-2三种度量的运算次数对比（向量维度为n）度量乘法次数加法次数开方除法欧氏距离nn10余弦相似度2n+12n-202内积nn-100《向量计算》配套课件3.2距离度量的选择与应用场景差异第3章向量相似度度量28/38计算效率：结论与工程优化技巧●时间复杂度均为O(n)，但实际速度有差异：内积最快、余弦最慢、欧氏居中–余弦最慢因需计算向量模长（开方）；欧氏需开方但无除法●预归一化：全部归一化为单位向量后，用内积代替余弦相似度●避免开方：比较距离时直接比较平方距离●批量化计算：用矩阵运算同时计算多个向量的相似度●硬件加速：利用GPU并行计算能力与SIMD指令集优化《向量计算》配套课件3.2距离度量的选择与应用场景差异第3章向量相似度度量29/38案例1抖音视频推荐：选择内积–场景：给用户推荐他可能喜欢的短视频；散点图为视频的二维向量分布●数据：512维视频特征（CNN+Transformer）与512维用户兴趣向量，已L2归一化●选择：内积–原因：归一化后内积=余弦；内积计算最快；关注兴趣方向一致性而非兴趣强度图3-7向量相似度应用场景《向量计算》配套课件3.2距离度量的选择与应用场景差异第3章向量相似度度量30/38案例2电商商品搜索：选择余弦相似度●场景：用户上传商品图片，搜索相似商品●数据：ResNet提取的2048维图片特征，未归一化，不同商品特征模长差异大–原因1：图片清晰度、背景、拍摄角度都会影响特征模长–原因2：关注“商品本身是否相似”，而非“图片拍摄质量”●选择：余弦相似度消除模长影响，聚焦语义相似性《向量计算》配套课件3.2距离度量的选择与应用场景差异第3章向量相似度度量31/38案例3网络入侵检测：标准化后的欧氏距离●场景：检测网络流量中的异常行为–数据：100维流量统计特征（数量、字节数、连接时长等）●各维度尺度差异巨大：包数量约10⁴级别，连接时长约10⁻²级别●选择：先标准化消除尺度影响，再用欧氏距离捕捉“整体偏离”的异常模式《向量计算》配套课件3.2距离度量的选择与应用场景差异第3章向量相似度度量32/38混合策略①：混合检索综合得分=α×余弦相似度+β×(1−归一化欧氏距离)+γ×其他指标复杂场景中单一度量往往不够用，可融合多种度量α、β、γ为权重，按业务调整●推荐系统示例：余弦衡量兴趣匹配度；时间衰减让最近行为权重更高；多样性惩罚避免内容过于相似《向量计算》配套课件3.2距离度量的选择与应用场景差异第3章向量相似度度量33/38混合策略②③：多阶段检索与动态选择●多阶段：第一阶段快速粗略筛候选，第二阶段精细慢度量精确排序–流程：候选集→粗排（内积，top1000）→精排（更复杂的模型，top10）●动态选择：向量模长差异大→余弦相似度；差异小→内积–关注空间聚集→欧氏距离《向量计算》配套课件3.2距离度量的选择与应用场景差异第3章向量相似度度量3