向量计算-第07章-视觉向量计算

清华大学出版社《向量计算》配套课件·课堂讲义第7章视觉向量计算换个角度学AI，打通任督二脉刘鹏著·清华大学出版社让AI学会把像素变成有语义的高维向量《向量计算》配套课件第7章视觉向量计算第7章视觉向量计算2/38教学目标1理解人脸图像如何转化为向量并完成比对2掌握人脸识别系统的完整流程与向量聚类3比较CNN与ViT两大特征提取流派4理解CLIP对比学习与多模态检索原理5了解视频检索挑战与性能优化策略重点与难点1重点：余弦相似度/欧氏距离与人脸比对阈值2重点：CLIP跨模态统一向量空间与零样本3难点：ViT全局建模与大规模检索索引选型《向量计算》配套课件第7章视觉向量计算第7章视觉向量计算3/38本章内容导航7.1超大规模人脸识别与聚类7.2以图搜图与视频内容检索7.3本章小结《向量计算》配套课件·第7章视觉向量计算7.1超大规模人脸识别与聚类人脸向量化·系统流程·相似度度量·聚类·应用与趋势《向量计算》配套课件7.1超大规模人脸识别与聚类第7章视觉向量计算5/38人脸向量化：从像素到数字身份证●人脸向量：深度学习将人脸映射为固定维度向量●相当于人的“数字身份证”，含全部关键特征●区别于手工特征（眼距/鼻宽），由神经网络自动学习●CNN经卷积→池化→全连接，二维图转一维向量图7-1从原始图像到特征向量的转换过程《向量计算》配套课件7.1超大规模人脸识别与聚类第7章视觉向量计算6/38主流人脸向量提取模型●现代系统多用海量数据预训练模型●经典模型：FaceNet、ArcFace、CosFace●输出维度通常为128/512/1024维●预训练特征鲁棒性极强《向量计算》配套课件7.1超大规模人脸识别与聚类第7章视觉向量计算7/38人脸识别系统完整工作流程●采集视频流→人脸检测定位●关键点定位：眼、鼻、嘴精确坐标●对齐归一化，消除姿态变化影响●特征提取得向量，与底库比对出结果图7-2人脸识别系统标准架构流程《向量计算》配套课件7.1超大规模人脸识别与聚类第7章视觉向量计算8/38相似度计算：余弦相似度与欧氏距离cos(A,B)=ΣᵢAᵢBᵢ/(‖A‖·‖B‖)=ΣᵢAᵢBᵢ/(√ΣᵢAᵢ²·√ΣᵢBᵢ²)分子为向量点积，分母为两向量范数之积取值范围[-1,1]，值越大方向越一致●欧氏距离d(A,B)=√Σᵢ(Aᵢ−Bᵢ)²●人脸比对阈值常取0.5～0.8《向量计算》配套课件7.1超大规模人脸识别与聚类第7章视觉向量计算9/38余弦相似度的几何意义●两向量夹角越小，余弦值越接近1●余弦只看方向，不受向量长度影响●实践中更常用，对光照/表情更鲁棒图7-3余弦相似度几何图解《向量计算》配套课件7.1超大规模人脸识别与聚类第7章视觉向量计算10/38表7-1余弦相似度与欧氏距离的对比度量方式计算复杂度对尺度敏感度人脸识别适用场景余弦相似度O(n)不敏感广泛使用，鲁棒性强欧氏距离O(n)敏感向量归一化后可使用《向量计算》配套课件7.1超大规模人脸识别与聚类第7章视觉向量计算11/38向量聚类：从个体到群体●聚类自动发现群体结构，聚合相似人脸●重复人员检测：监控找反复出现者●人群结构分析/照片库自动归档●先做L2归一化，余弦与欧氏距离等价《向量计算》配套课件7.1超大规模人脸识别与聚类第7章视觉向量计算12/38聚类算法与大规模策略●不同颜色代表不同的人●同一人多个样本（角度/光照）聚到一起●常用：K-Means、DBSCAN、层次聚类●大规模库用层次聚类结合ANN提效●DBSCAN可发现任意形状并处理噪声图7-4向量空间聚类示意图《向量计算》配套课件7.1超大规模人脸识别与聚类第7章视觉向量计算13/38应用案例：智慧社区门禁系统●摄像头采集→检测→特征提取→生成向量●与云端人脸库比对，成功则开闸●通行记录送物业；陌生人触发警报●用第4章HNSW索引，百万库检索几毫秒●多模型融合，兼顾实时性与准确性图7-5智慧社区门禁系统《向量计算》配套课件7.1超大规模人脸识别与聚类第7章视觉向量计算14/38大规模人脸识别的挑战与方案●挑战：数据巨大、精度要求高、实时性强●环境复杂：光照/角度/表情/年龄●方案：向量压缩（PCA/量化）降存储●方案：分布式检索+粗/细两层索引●方案：多模态融合（人脸/声音/步态）《向量计算》配套课件7.1超大规模人脸识别与聚类第7章视觉向量计算15/38表7-2不同规模人脸识别系统的特征系统规模人脸库大小向量维度索引算法典型应用场景小型<10万512暴力搜索企业门禁、手机解锁中型10万～1000万512HNSW校园安防、社区管理大型1000万至1亿256IVF+PQ城市安防、机场通关超大型>1亿128分层索引国家级身份识别系统《向量计算》配套课件7.1超大规模人脸识别与聚类第7章视觉向量计算16/38代码示例：人脸特征提取与比对importnumpyasnpfromsklearn.metrics.pairwiseimportcosine_similarity#假设这是从人脸识别模型提取到的人脸向量(512维)person_a_vector=np.array([0.234,0.567,-0.123,...,0.890])#512维person_b_vector=np.array([0.231,0.570,-0.119,...,0.887])#512维person_c_vector=np.array([0.789,0.456,0.321,...,-0.123])#512维#计算余弦相似度similarity_ab=cosine_similarity([person_a_vector],[person_b_vector])[0][0]similarity_ac=cosine_similarity([person_a_vector],[person_c_vector])[0][0]print(f"人物A和人物B的相似度:{similarity_ab:.3f}")print(f"人物A和人物C的相似度:{similarity_ac:.3f}")#判断是否为同一人(阈值设为0.6)threshold=0.6ifsimilarity_ab>threshold:print("A和B是同一人!")else:print("A和B不是同一人")注：核心逻辑：提取向量→计算余弦相似度→按阈值判断；实际向量来自FaceNet、ArcFace等预训练模型《向量计算》配套课件7.1超大规模人脸识别与聚类第7章视觉向量计算17/38面向未来的趋势●隐私保护计算：联邦学习、同态加密●边缘计算：部署终端，减少传输提速●生成式AI：GAN生成虚拟人脸做增强●多模态生物识别：人脸+声音+虹膜●FaceNet等已能处理复杂姿态与光照图7-6FaceNet人脸识别效果《向量计算》配套课件·第7章视觉向量计算7.2以图搜图与视频内容检索基本原理·特征演进·CNNvsViT·CLIP多模态·视频检索·案例与优化《向量计算》配套课件7.2以图搜图与视频内容检索第7章视觉向量计算19/38以图搜图基本原理与流程●上传查询图，找视觉上相似的图片●呼应“万物皆向量”：图像转向量再匹配●特征提取（CNN/ViT）→向量库相似度搜索●结果按相似度排序返回给用户●工程要点：特征选择/度量/索引/排序图7-7以图搜图流程图《向量计算》配套课件7.2以图搜图与视频内容检索第7章视觉向量计算20/38特征提取演进：从手工到深度学习●早期（1990s—2010s）：SIFT/SURF/HOG手工特征●解释性强，但表达能力有限、复杂场景差●2012AlexNet夺冠，CNN自动学特征●VGG、GoogLeNet、ResNet表达力渐强图7-8ResNet架构特点《向量计算》配套课件7.2以图搜图与视频内容检索第7章视觉向量计算21/38ResNet残差块的核心创新H(x)=F(x)+x，其中残差映射F(x)=H(x)−xx为输入，F(x)为残差，H(x)为目标映射●学残差F(x)比直接学H(x)更易训练●梯度更易传播，可训练上百乃至上千层《向量计算》配套课件7.2以图搜图与视频内容检索第7章视觉向量计算22/38CNN：局部特征提取流派●局部连接+权重共享，卷积核滑动提特征●擅长捕捉局部特征与纹理信息●多层堆叠逐步得到更高级语义特征●经典模型：ResNet、EfficientNet、DenseNet图7-9CNN结构示意《向量计算》配套课件7.2以图搜图与视频内容检索第7章视觉向量计算23/38ViT：用全局视角理解图像●图像切成16×16patch，展平为向量●线性投影+位置编码后输入Transformer编码器●全局注意力捕捉长距离依赖关系●大规模数据预训练后表现优异图7-10ViT工作原理《向量计算》配套课件7.2以图搜图与视频内容检索第7章视觉向量计算24/38表7-3CNN和ViT的各类特性对比特性CNNViT归纳偏置强（局部性、平移不变性）弱数据需求中等大规模计算效率较高较低（注意力机制计算量大）全局建模弱强预训练友好中等非常适合应用成熟度成熟新兴但发展迅速《向量计算》配套课件7.2以图搜图与视频内容检索第7章视觉向量计算25/38相似度度量与索引构建●余弦相似度最常用，对光照/尺度更鲁棒●归一化后余弦等于点积，计算非常高效●亿级图像库，暴力搜索显然不现实●HNSW图索引：高召回同时毫秒级查询图7-11视觉相似度检索结果《向量计算》配套课件7.2以图搜图与视频内容检索第7章视觉向量计算26/38多模态检索：CLIP的突破●对比学习，将图文映射到同一向量空间●语义相关的图像与文本距离更近●训练数据约4亿对（图像-文本）●批内算N×N相似度，拉近正样本推开负样本●可用文本搜图，也可用图搜图/搜文本图7-12CLIP实现图像和文本的跨模态对齐《向量计算》配套课件7.2以图搜图与视频内容检索第7章视觉向量计算27/38CLIP的零样本学习能力●零样本：无需针对特定任务微调●计算查询图像与候选文本描述的相似度●取相似度最高的文本作为结果●文本“一张狗的照片”能匹配到狗的图图7-13CLIP的图文匹配过程《向量计算》配套课件7.2以图搜图与视频内容检索第7章视觉向量计算28/38视频内容检索的挑战与方案●数据量巨大：一个视频成千上万帧●相邻帧差异小、冗余信息多●时序依赖强；含视觉/音频/字幕多模态●关键帧提取+帧向量聚合（均值/最大值）●3DCNN、TimeSformer直接建模时空●多模态对齐进一步提高检索准确率《向量计算》配套课件7.2以图搜图与视频内容检索第7章视觉向量计算29/38多模态融合的视频理解●将文本、图像与3D视频特征融合●实现更强大的视频理解与检索能力图7-14基于CLIP的增强模型《向量计算》配套课件7.2以图搜图与视频内容检索第7章视觉向量计算30/38实际应用案例●电商“拍立淘”：上传图找同款/相似商品●流程：质量判断→类目识别→主体检测→检索排序●社交：Instagram/Pinterest推荐与违规识别●版权：建索引定期扫描疑似盗版图●医学：以病灶图找相似病例辅助诊断图7-15拍立淘以图搜图在线搜索流程《向量计算》配套课件7.2以图搜图与视频内容检索第7章视觉向量计算31/38表7-4不同应用场景的特点和技术选择应用场景图像库规模实时性要求特点推荐技术电商商品检索亿级高（<1秒）商品外观变化小ResNet+HNSW社交媒体推荐亿级中（<5秒）内容多样性强CLIP+IVF版权保护亿级低（离线）需要高召回率多模型融合医学影像检索百万级中专业性强，样本少专用CNN+度量学习《向量计算》配套课件7.2以图搜图与视频内容检索第7章视觉向量计算32/38以图搜图的性能优化策略●特征降维：512→128维，存储减75%，精度降<1%●索引调优：HNSW参数efConstruction、M需调●批量查询用GPU并行计算提升吞吐●缓存热门查询，基于图像哈希/内容指纹●分布式部署+一致性哈希做负载均衡《向量计算》配套课件7.2以图搜图与视频内容检索第7章视觉向量计算33/38表7-5不同优化策略的效果优化策略优化维度实现难度效果提升PCA降维存储成本中4～10倍压缩向量量化(PQ)检索速度高10～100倍加速HNSW索引检索效率中100～1000倍加速分布式部署系统吞吐高线性扩展《向量计算》配套课件7.2以图搜图与视频内容检索第7章视觉向量计算34/38代码示例：基于CLIP的以图搜图importtorchimportclipfromPILimportImage#加载CLIP模型device="cuda"iftorch.cuda.is_available()else"cpu"model,preprocess=clip.load("ViT-B/32",device=device)#准备图像和文本image=preprocess(Image.open("dog.jpg")).unsqueeze(0).to(device)text=clip.tokenize(["adog","acat","abird"]).to(device)#提取特征withtorch.no_grad():image_features=model.encode_image(image)text_features=model.encode_text(text)#计算相似度logits_per_image,logits_per_text=model(image,text)probs=logits_per_image.softmax(dim=-1).cpu().numpy()print("标签概率:",probs)#应该显示[0.9,0.05,0.05]左右注：实际系统会