2025亚马逊云科技中国峰会：Amazon OpenSearch：面向生成式 AI 的智能搜索

面向生成式AI的智能搜索李俊欣(资深产品经理亚马逊云科技*前述特定亚马逊云科技生成式人工智能相关的服务仅在亚马逊云科技海外搜到你想找的内容了吗?文本查询:“文本查询:“Blueshoes”满意吗?搜索结果感到失望?满意吗?搜索结果终于找到了放弃搜索*前述特定亚马逊云科技生成式人工智能相关的服务仅在亚马逊云科技海外发展趋势未来信息查找和交互将更加长期化,更多地依赖人机之间的对话交流未来信息查找和交互将更加长期化,更多地依赖人机之间的对话交流搜索引擎结果仍然有价值,尤其是当您有确切的搜索词时基础模型*前述特定亚马逊云科技生成式人工智能相关的服务仅在亚马逊云科技海外基础模型局限性响应时长产生幻觉专业不足调用响应时长产生幻觉专业不足调用成本*前述特定亚马逊云科技生成式人工智能相关的服务仅在亚马逊云科技海外检索增强生成(基础模型基础模型向量向量数据存储向量嵌入*前述特定亚马逊云科技生成式人工智能相关的服务仅在亚马逊云科技海外什么是向量嵌入?政策培训退货产品政策培训退货产品网球鞋雨鞋雨鞋*前述特定亚马逊云科技生成式人工智能相关的服务仅在亚马逊云科技海外向量空间*前述特定亚马逊云科技生成式人工智能相关的服务仅在亚马逊云科技海外向量相似度搜索生成式AI模型将非结构化数据(文本,图像,音频,视频)表示为向量embeddingsEmbeddings捕捉语义含义和内容关系通过比较向量距离,根据向量接近度提供相你最爱的歌曲可能喜欢的歌曲AmazonAmazonMusic:推荐歌曲*前述特定亚马逊云科技生成式人工智能相关的服务仅在亚马逊云科技海外向量搜索工作流原始数据生成向量embeddings加载搜索结果通过关键词(元数据)检索最相关内容…检索与部分内容最相似的内容:提问上下文、图像、音乐片段…*前述特定亚马逊云科技生成式人工智能相关的服务仅在亚马逊云科技海外*前述特定亚马逊云科技生成式人工智能相关的服务仅在亚马逊云科技海外⃞0pen⃞0pen500,000+*前述特定亚马逊云科技生成式人工智能相关的服务仅在亚马逊云科技海外•支持文本检索•支持稀疏向量高性能可存储数十亿向量并提供毫秒级延时查询高可用可跨AZ部署,且不额外收取跨AZ数据传输费用自动替换坏节点多路召回结合传统文本搜索,提升准确率*前述特定亚马逊云科技生成式人工智能相关的服务仅在亚马逊云科技海外CC•支持文本检索•支持稀疏向量高性能可存储数十亿向量并提供毫秒级延时查询无服务器化用户无需关心节点选择和分片策略高可用性,且无需担心底层节点运维易于扩展,按需付费多路召回结合传统文本搜索,提升准确率*前述特定亚马逊云科技生成式人工智能相关的服务仅在亚马逊云科技海外工作原理11式数据22数据建立索引–所有字段均可搜索,包括嵌套JSON33布尔表达式、排序和分析2 12 1*前述特定亚马逊云科技生成式人工智能相关的服务仅在亚马逊云科技海外数据准备 源文档包含实体的文档包含规范化实体和包含规范化实体、文本分块1*前述特定亚马逊云科技生成式人工智能相关的服务仅在亚马逊云科技海外通过离线处理进行数据摄取源文档存储桶嵌入文档存储桶AmazonBedrock离线处理可以提供较大限度的灵活性,整合*前述特定亚马逊云科技生成式人工智能相关的服务仅在亚马逊云科技海外刀职PUT_ingest/pipeline/remote-neural-pipeline{"description":"SemanticSearchpipeline",{"field_map":{"description":"desc_v"name":"name_v"}}}]}{"settings":{"default_pipeline":"remote-neural-pipeline",},"mappings":{"properties":{"dimension":384,"method":{"name":"hnsw","engine":"nmslib","space_type":"cosi}}}}}*前述特定亚马逊云科技生成式人工智能相关的服务仅在亚马逊云科技海外查询{"query":{"query":{"range":{"price":{ "lte":100}}},"script":{"lang":"knn","params":{"query_value":[-0.12926292,0.11163,…],{"query":{"knn":{”embedding":{"vector":"filter":{}}}]}search_pipeline=hybrid-pipeline{"query":{"hybrid":{"match":{"text":{"query":"redshirt"}}},{"neural":{"query_text":"redshirt","model_id":}}}]}}}*前述特定亚马逊云科技生成式人工智能相关的服务仅在亚马逊云科技海外知识召回*前述特定亚马逊云科技生成式人工智能相关的服务仅在亚马逊云科技海外简化聊天工作流AI聊天机器人应用大语言模型[5,3,2,4,3][1,2,4,3,5][1,2,4,3,5][9,3,2,4,3][0,2,4,3,5][1,2,4,3,5]*前述特定亚马逊云科技生成式人工智能相关的服务仅在亚马逊云科技海外成本必要的职舍:性能调优能力成本$$高召回率下成本降低磁盘模式:高召回率下成本降低磁盘模式:至原来的三分之—至原来的三分之—●$$$-二进制量化(压缩率达32倍)$$$-采用磁盘经过优化的布局进行全精度采样和重新评分延迟(速度)5-20毫秒<0.50召回率(质量)>0.951.00*前述特定亚马逊云科技生成式人工智能相关的服务仅在亚马逊云科技海外纯向量数据库局限性专业不足同义词?专业名词同义词??*前述特定亚马逊云科技生成式人工智能相关的服务仅在亚马逊云科技海外多路召回(混合搜索)*前述特定亚马逊云科技生成式人工智能相关的服务仅在亚马逊云科技海外个性化推荐(亚马逊音乐)1亿首存放的歌曲,根据用户选择记录进行推荐10亿条在OpenSearch中存放的向量,用于近似向量检索高峰访问期的QPS(每秒检索次数)来源:/blogs/big-data/amazon-opensearch-services-vector-database-capabilities-explained/*前述特定亚马逊云科技生成式人工智能相关的服务仅在亚马逊云科技海外知识产权侵权发现(亚马逊品牌保护计划)680亿OpenSearch中存放的产品信息向量条数80亿每天被检索的记录数99%自动发现的侵权比例来源:/blogs/big-data/amazon-opensearch-services-vector-database-capabilities-explained/*前述特定亚马逊云科技生成式人工智能相关的服务仅在亚马逊云科技海外