【FFA 2026】多模态与向量计算 百炼知识库：全模态知识库能力构建与实践落地

全模态知识库能力构建与实践落地02阿里云百炼全模态知识库产品能力03Flink+DLF(Paimon)：高吞吐索引构建与高可靠实践l长尾知识l复杂数据：多模态l复杂问题：多跳问题知识整理难、海量高吞吐数据导入稳定性难、高准确低延迟在线问答难，阿里云百炼企业级知识库RAG全面解决文档智能解析索引构建文件来源、格式、模态众多多模态海量数据导入混合检索切片检索模型生成检索精度差模型幻觉控制高性能、高准确在线问答系统RAG基本流程挑战百炼企业级RAG多源异构数据离线索引构建在线检索生成分类标签管理复杂知识解析不准确多模态文档管理与解析高吞吐、高可用的离线索引构建优化数据供给，轻松打通企业内外部数据系统，为知识库和Agent提供实时、高质量、安全稳定的数知识库中使用知识库中使用Agent应用中使用Agent应用中使用数据源数据消费者数据连接器Connector文档智能解析PNG、JPG、JPEG、BMP、GIF…数据上传方式：本地上传(支持OpenAPI)、OSS导入(支持自动同步)、RDS导入(支持自动同步、增量同步)标签Tag多样化过滤策略标签Tag标签Tag多样化过滤策略标签Tag和文档Meta信息，结构化Filter。在线检索时过滤，极大提高检索效率与准确率。通过标签体系可以实现业务上的权限管理依托先进的OCR依托先进的OCR技术和大模型算法，精准识别并提取各类复杂格式文档中版面结构，还原排版逻同时支持音视频解析，输出丰富的帧/音频解析结果以及能分析视频内容得出语音机器人话术检索低延迟用户说话极速搜索在4G与5G的关键指标对比中，5G的连接密度更为更直观地展示这一对比，可以参考以下图表：从图中可以看出语音机器人话术检索低延迟用户说话极速搜索在4G与5G的关键指标对比中，5G的连接密度更为更直观地展示这一对比，可以参考以下图表：从图中可以看出，5G技术在连接密度上显著优于4G技术，这使得5G能够更好地支持大规模物联网设备的接入和管理。视觉丰富型文档PPT阅读顺序理解不同于word、PPT阅读顺序理解不同于word、PDF等顺序理解文档，PPT文档通常具有二维的空间理解顺序。阅读顺序的正确理解对文档内容理解query纯VL向量召回權益性質股東姓名/名稱實益擁有人權益性質股東姓名/名稱實益擁有人佔本公司已發行股份之百分比於受控法團之權益權益合計复杂表格理解复杂的表头关系、无线表格分割、表格合并、表格跨页等VLM…基于高精度多模态数据解析、行业领先的通义向量模型，语义化知识检索，全面满足企业多模态知识的加工、搜索、企业会议助手电商图搜监控检索媒体素材智能检索关键帧解析剧情解析音频解析企业会议助手电商图搜监控检索媒体素材智能检索关键帧解析剧情解析音频解析视频搜索商品图搜视频搜索秒级同步开放网络支持：公网自建、阿里云私网Nl2sql支持：数据聚合分析能力全量公网私网增量接入网络索引构建在线引擎批量更新批量导入切片方式切片方式智能较好embedding向量模型最终召回数最终召回数topK最终召回切片相似度阈值rewrite开启多轮对话改写切片1切片2切片3切片nRagRagAgent多渠道接入：阿里云百炼智能体、多渠道接入：阿里云百炼智能体、工作流应用API能力：丰富的知识库管控和检索API原子能力API/MCPRagAgent：扩展切片向量索引，多轮搜索规划解决传统切片检索问题，让知识找得更准/cn-beijing?tab=app#/knowledge-base高吞吐计算：海量文档的低延迟、高吞吐索引构建索引可靠备份：索引数据持久化，多版本可回溯可恢复引擎容灾互备高吞吐计算：海量文档的低延迟、高吞吐索引构建索引可靠备份：索引数据持久化，多版本可回溯可恢复引擎容灾互备：保障在线检索稳定性，引擎互备秒级容灾切换计算资源成本：保证高吞吐的前提下，降低计算成本在线引擎计算资源成本高吞吐计算引擎容灾互备索引可靠备份特征抽取文档流多阶段流程编排文件解析特征提取特征提取文件解析特征提取特征提取文档离线索引构建特点：•工作流：多阶段特征算子编排的流式数据处理文档离线索引构建特点：•工作流：多阶段特征算子编排的流式数据处理•性能：需要高吞吐、低时延实时处理挑战：•海量文档、大文档的高吞吐、稳定导入•分布式处理下的文档状态一致性和准确性•高可靠、可重入、可观测迁移•天然适配Pipeline流式处理•高吞吐、低时延的实时流处理能力•灵活的特征算子UDF与SQL编排•完备的反压机制•完善的运维管控chunkingchunkingembeddingembeddingembeddingsinksinksinksplitchunkingchunkingchunking专家模式资源配灵活扩展embeddingembeddingsinksinkembeddingembeddingsinksinkembeddingsink在线引擎）：全量索引备份选型思考：全量索引备份选型思考：•高并发写入：能匹配支撑日均亿级文档索引写入量•写入后快速可查：支持有时效性要求的索引复制需求•支持主键表更新：切片修改场景需要更新数据•易集成，运维简单：集成flink计算平台，统一运维管理•高吞吐实时更新：基于LSM-Tree高效实时Upsert•海量数据存储：底层基于OSS，支持PB级规模•分钟级新鲜度，高效查询…）：知识库A知识库B知识库A知识库B知识库C…知识库E知识库F知识库维分区横向扩表Partition=APartition=BPartition=CPartition=EPartition=FPaimon