向量计算-第02章-万物皆向量-Embedding技术

清华大学出版社《向量计算》配套课件·课堂讲义第2章万物皆向量：Embedding技术换个角度学AI，打通任督二脉刘鹏著·清华大学出版社Embedding：文字、图像与跨模态的向量表达《向量计算》配套课件第2章万物皆向量：Embedding技术第2章万物皆向量：Embedding技术2/40教学目标1理解词向量从One-Hot到BERT的演进逻辑2掌握CNN与ViT提取图像向量的两条路线3理解CLIP对比学习实现跨模态对齐的机制4会用PCA与t-SNE对高维向量降维可视化5能独立完成以文搜图与图像向量提取的实战代码重点与难点1重点：Word2Vec语义关系、BERT上下文向量、CLIP双编码器2难点：InfoNCE损失与温度参数的作用机理3难点：PCA保全局方差与t-SNE保局部结构的取舍《向量计算》配套课件第2章万物皆向量：Embedding技术第2章万物皆向量：Embedding技术3/40本章内容导航2.1文本向量化：从Word2Vec到Transformer/BERT2.2图像向量化：CNN与ViT特征提取2.3多模态对齐：CLIP模型与跨模态向量空间2.4向量的降维与可视化（PCA,t-SNE）2.5本章小结《向量计算》配套课件·第2章万物皆向量：Embedding技术2.1文本向量化：从Word2Vec到Transformer/BERTOne-Hot→Word2Vec→BERT：向量表示的进化史《向量计算》配套课件2.1文本向量化：从Word2Vec到Transformer/BERT第2章万物皆向量：Embedding技术5/40One-Hot到分布式表示●One-Hot：5000个词就用5000维，只有自身位置为1–“桌子”=[0,1,0,…]、“猫”=[0,0,1,…]、“狗”=[0,0,0,1,…]●致命问题：任意两个词的相似度都是0，猫与狗、猫与桌子无差别●2013年Google提出Word2Vec：改用稠密向量（DenseVector）–词不再是孤立编号，而是多维空间中的一个“点”–向量本身学会了语义与语法关系《向量计算》配套课件2.1文本向量化：从Word2Vec到Transformer/BERT第2章万物皆向量：Embedding技术6/40向量空间里的几何运算king−man+woman≈queenWord2Vec学到的最著名的语义关系这不是魔法，而是向量空间中的几何运算●语义关系被编码成数学空间中的方向与距离–动物词（dog、cat）聚在一起–速度词（slow、fast）靠得很近–国家名（Italy、England）自成一簇《向量计算》配套课件2.1文本向量化：从Word2Vec到Transformer/BERT第2章万物皆向量：Embedding技术7/40词向量为什么会“聚类”●点并非随机分布，而按语义相似性聚簇●把复杂语义编码为几何关系图2-1Word2Vec词向量空间中的语义关系《向量计算》配套课件2.1文本向量化：从Word2Vec到Transformer/BERT第2章万物皆向量：Embedding技术8/40Word2Vec的两种训练方式●CBOW：用上下文预测中心词，像“完形填空”–“那只__正在睡觉”→猜出“猫”“狗”●Skip-Gram：用中心词预测上下文，像“关键词联想”–“猫”→那只/正在/睡觉/可爱●CBOW训练快、适合常用词；Skip-Gram对低频词更精细–2025年实践中Skip-Gram更受欢迎，尤其专业领域文本《向量计算》配套课件2.1文本向量化：从Word2Vec到Transformer/BERT第2章万物皆向量：Embedding技术9/40负采样：百万分之一的计算变二选一●难题：100万词表意味着每步要算100万次相似度●思路：多分类→多个二分类（这对不对？）–正样本：真实词对（“猫”，“睡觉”）–负样本：随机不相关词对（“猫”，“汽车”）–目标：相关趋近1，不相关趋近0●按词频0.75次幂采样，让低频词也有机会被选中《向量计算》配套课件2.1文本向量化：从Word2Vec到Transformer/BERT第2章万物皆向量：Embedding技术10/40BERT：从静态向量到动态向量●Word2Vec缺陷：一个词只有一个固定向量–“苹果”在水果/公司/颜色三种语境下含义不同●2018年BERT用注意力+双向编码生成上下文相关向量●嵌入向量=词嵌入+位置嵌入+分段嵌入●预训练用MLM：随机挖掉15%的词让模型填空–中文BERT-wwm用全词掩码，“北京大学”整词一起遮蔽《向量计算》配套课件2.1文本向量化：从Word2Vec到Transformer/BERT第2章万物皆向量：Embedding技术11/40表2-1词向量技术对比技术向量类型优点缺点One-Hot稀疏向量实现简单，唯一表示无法计算相似度，维度灾难Word2Vec静态稠密向量计算高效，捕捉语义关系一词多义问题，上下文无关BERT动态上下文向量解决一词多义，双向理解计算复杂度高，参数量大《向量计算》配套课件·第2章万物皆向量：Embedding技术2.2图像向量化：CNN与ViT特征提取从卷积核扫描，到把图像切成“词”《向量计算》配套课件2.2图像向量化：CNN与ViT特征提取第2章万物皆向量：Embedding技术13/40一个“边缘检测”卷积核[-101][-101][-101]注：3×3卷积核共9个权重；滑过有明暗突变的区域输出大，均匀区域输出接近0《向量计算》配套课件2.2图像向量化：CNN与ViT特征提取第2章万物皆向量：Embedding技术14/40CNN的完整工作流程●卷积核=小窗口，在图上滑动算加权和●层层“卷积+池化”提取边缘→纹理→形状–最大池化：2×2窗口只留最大值–好处：减少计算量–好处：对微小位置变化不敏感图2-2CNN的完整工作流程《向量计算》配套课件2.2图像向量化：CNN与ViT特征提取第2章万物皆向量：Embedding技术15/40CNN为什么有效●局部连接：神经元只连一小块区域●参数共享：同一卷积核全图用同一组权重–两者共同大幅减少可学习参数图2-3CNN层间数据流转示意图《向量计算》配套课件2.2图像向量化：CNN与ViT特征提取第2章万物皆向量：Embedding技术16/40ViT：把图像切成“词”●2020年Google：用Transformer处理图像●左：图像块→线性投影→位置嵌入→编码器→MLPHead–右：编码器=多头注意力+MLP–外加残差连接与层归一化，重复L次图2-4ViT整体流程与Transformer编码器详细结构《向量计算》配套课件2.2图像向量化：CNN与ViT特征提取第2章万物皆向量：Embedding技术17/40ViT的五个步骤●①图像分块：224×224切16×16→196个块，每块768维●②线性投影：768维降到512/1024维●③位置嵌入：显式告诉模型每个块的上下左右●④[CLS]令牌：借鉴BERT，其输出即整图表示●⑤编码器处理：所有块一起做多头自注意力《向量计算》配套课件2.2图像向量化：CNN与ViT特征提取第2章万物皆向量：Embedding技术18/40选CNN还是ViT？●ViT优势：全局感受野、架构统一易扩展、天然适合多模态●ViT劣势：需要上亿级图像预训练，小数据易过拟合●选CNN：小数据集、边缘设备部署、医学与工业缺陷检测●选ViT：百万级数据、场景分类与图像描述、多模态应用–混合架构：SwinTransformer、MambaVision兼顾局部与全局《向量计算》配套课件2.2图像向量化：CNN与ViT特征提取第2章万物皆向量：Embedding技术19/40实战：用ViT提取图像向量model=ViTModel.from_pretrained('google/vit-base-patch16-224')#加载一张图像image=Image.open('cat.jpg')#预处理（调整大小、归一化等）inputs=processor(images=image,return_tensors="pt")#前向传播withtorch.no_grad():outputs=model(**inputs)#获取图像向量#outputs.last_hidden_state的形状是(batch_size,num_patches+1,hidden_dim)#我们通常取[CLS]标记（第一个位置）的输出作为图像表示image_vector=outputs.last_hidden_state[:,0,:]#形状:(batch_size,hidden_dim)print(f"图像向量维度:{image_vector.shape}")#通常输出:(1,768)注：输出768维向量，可用于以图搜图、分类、相似度计算与文本对齐《向量计算》配套课件·第2章万物皆向量：Embedding技术2.3多模态对齐：CLIP模型与跨模态向量空间让文字与图像在同一空间里相遇《向量计算》配套课件2.3多模态对齐：CLIP模型与跨模态向量空间第2章万物皆向量：Embedding技术21/40为什么需要跨模态对齐●文本向量在“语言空间”，图像向量在“视觉空间”●两个空间彼此分离，向量之间没有可比性●对齐后即可：用“一只橙色的猫”检索图片●看到图片即可生成准确的描述文字–模糊查询如“类似这张图的颜色”也能命中●CLIP（2021，OpenAI）：把图文嵌入同一向量空间《向量计算》配套课件2.3多模态对齐：CLIP模型与跨模态向量空间第2章万物皆向量：Embedding技术22/40CLIP的核心思想：对比学习●训练数据是大规模图像—文本对●图像编码器与文本编码器各自出向量●拉近匹配的图文对，推远不匹配的–批次内N图N文：对角为正样本，其余为负样本图2-5CLIP模型图文对齐流程《向量计算》配套课件2.3多模态对齐：CLIP模型与跨模态向量空间第2章万物皆向量：Embedding技术23/40CLIP的双编码器架构●图像编码器：基于CNN（ResNet-50）或ViT（ViT-B/16）–2025年实践更偏向ViT版本●文本编码器：Transformer架构，从零训练而非继承BERT●两路输出投影到同一维度（如512维）才能比较●相似度用余弦：sim(A,B)=A·B/(‖A‖×‖B‖)–取值范围[-1,1]，越大表示夹角越小越相似《向量计算》配套课件2.3多模态对齐：CLIP模型与跨模态向量空间第2章万物皆向量：Embedding技术24/40InfoNCE损失：让正确答案脱颖而出L=−Σᵢlog[exp(sim(Iᵢ,Tᵢ)/τ)/Σⱼexp(sim(Iᵢ,Tⱼ)/τ)]Iᵢ：第i张图像的特征向量Tᵢ：第i条文本的特征向量sim(·,·)：其余弦相似度τ：温度参数，控制概率分布的平滑度●本质是分类：分子除以分母=匹配到正确文本的概率●最小化L⇔正样本相似度更大、负样本相似度更小《向量计算》配套课件2.3多模态对齐：CLIP模型与跨模态向量空间第2章万物皆向量：Embedding技术25/40零样本图像分类：未见即能识●不需要训练分类器，也不需要标注数据●①为每个类别写提示文本，如"Aphotoofacat"●②文本编码器把提示变成向量●③图像编码器把待分类图片变成向量●④计算图片向量与各类别文本向量的相似度●⑤取相似度最高的类别作为结果《向量计算》配套课件2.3多模态对齐：CLIP模型与跨模态向量空间第2章万物皆向量：Embedding技术26/40图文匹配如何完成一次分类●4条文本×2张图像做交叉匹配●绿色对角线为正确图文对，相似度应最高●2025年许多视觉—语言任务以CLIP为起点图2-6CLIP图文匹配过程示例《向量计算》配套课件2.3多模态对齐：CLIP模型与跨模态向量空间第2章万物皆向量：Embedding技术27/402025年CLIP的局限与进化●局限：复杂场景理解不足、长文本能力有限、全局压缩丢细节●LLM2CLIP（同济+微软）：用LLM当教师教CLIP理解文本–仅用英文数据训练，中文图文检索即超过专用中文CLIP●统一VLM（Jinav4、GME-Qwen2-VL）：视觉Token与文本Token同格式–可直接定位产品参数表中的数据，而非模糊匹配整体●迟交互（ColPali、ColQwen）：每区域留一个向量，检索时细粒度匹配《向量计算》配套课件·第2章万物皆向量：Embedding技术2.4向量的降维与可视化（PCA,t-SNE）把768维的世界，摊到一张纸上《向量计算》配套课件2.4向量的降维与可视化（PCA,t-SNE）第2章万物皆向量：Embedding技术29/40为什么要降维●Embedding动辄768/1024维，人只能理解二维三维●麻烦一：可视化困难，看不出数据长什么样●麻烦二：高维距离计算与相似度匹配都很慢●麻烦三：维度灾难——数据稀疏，算法效果变差●麻烦四：存储开销大●目标：尽量保留原有结构与关系，映射到低维《向量计算》配套课件2.4向量的降维与可视化（PCA,t-SNE）第2章万物皆向量：Embedding技术30/40PCA：找到数据的主轴●核心思想：找方差最大的方向并投影上去–类比：用一张纸“托住”歪斜钢管，怎样放误差最小●第1步标准化：X′=(X−μ)/σ，防止大量纲特征霸占主成分●第2步协方差矩阵：Σ=X′ᵀX′/(n−1)●第3步特征值分解Σv=λv，λ越大该主成分越重要●第4、5步取累计贡献率≥85%~95%的k个方向投影《向量计算》配套课件2.4向量的降维与可视化（PCA,t-SNE）第2章万物皆向量：Embedding技术31/40PCA降维效果●4个特征压到2维，三个品种清晰成簇●优点：计算高效、原理清晰、结果可解释●缺点：只能捕捉线性关系图2-7PCA降维后的鸢尾花数据分布《向量计算》配套课件2.4向量的降维与可视化（PCA,t-SNE）第2章万物皆向量：Embedding技术32/40t-SNE：保住“邻居”的降维●核心：高维里相似的样本，低维里也要靠近●高维用高斯分布算相似度p(j|i)，带宽由困惑度决定–困惑度≈有效邻居数，通常取5～50●低维用自由度为1的t分布（柯西分布）算qᵢ●t分布尾巴更肥：重罚“该近却远”，少管“该远却近”●优化KL散度，梯度下降更新低维坐标yᵢ《向量计算》配套课件2.4向量的降维与可视化（PCA,t-SNE）第2章万物皆向量：Embedding技术33/40t-SNE降维效果●0～9各成独立簇，簇形反映书写变体–“1”的簇紧凑（变化小），“4”的簇复杂（差异大）●缺点：计算量大、新数据需重算、结果带随机性图2-8t-SNE降维后的MNIST数字分布《向量计算》配套课件2.4向量的降维与可视化（PCA,t-SNE）第2章万物皆向量：Embedding技术34/40表2-2PCA与t-SNE的对比特性PCAt-SNE变换类型线性变换非线性变换保留信息保留全局方差保留局部邻接关系计算效率高，快速低，慢（通常<1万点）可解释性主成分是特征的线性组合低维坐标无明确意义新数据处理可直接应用变换矩阵通常需要重新计算稳定性确定性算法，结果稳定随机初始化，结果有波动《向量计算》配套课件2.4向量的降维与可视化（PCA,t-SNE）第2章万物皆向量：Embedding技术35/40实战：scikit-learn降维对比//pythonimportnumpyasnpimportmatplotlib.pyplotaspltfromsklearn.datasetsimportload_digitsfromsklearn.decompositionimportPCAfromsklearn.manifoldimportTSNE#加载MNIST手写数字数据集digits=load_digits()X=digits.data#形状:(1797,64)，64是因为图片是8×8的y=digits.target#数字标签0-9print(f"原始数据维度:{X.shape}")#=====PCA降维=====pca=PCA(n_components=2)X_pca=pca.fit_transform(X)print(f"PCA降维后维度:{X_pca.shape}")print(f"前2个主成分累计方差贡献率:{sum(pca.explained_variance_ratio_):.2%}")#=====t-SNE降维=====tsne=TSNE(n_components=2,perplexity=30,n_iter=1000,random_state=42)X_tsne=tsne.fit_transform(X)print(f"t-SNE降维后维度:{X_tsne.shape}")注：同一份MNIST（1797×64）分别用PCA与t-SNE降到2维再对比可视化《向量计算》配套课件2.4向量的降维与可视化（PCA,t-SNE）第2章万物皆向量：Embedding技术36/40两种降维，两种视角●左PCA：数字混杂，但保留整体分布模式●右t-SNE：每个数字形成清晰独立的簇●实践常配合：PCA1000→50维去噪，t-SNE50→2维看图●注意：信息必然丢失；t-SNE超参易产生误导–超10万样本时可用更快的UMAP图2-9PCA与t-SNE降维效果对比《向量计算》配套课件2.4向量的降维与可视化（PCA,t-SNE）第2章万物皆向量：Embedding技术37/40表2-3Embedding的四类核心应用应用场景核心能力实