LLM的新技术与新实践-王元

新实践王元CEngnatGPT游ENmpk游·ChatGPT技术内核：生成式Al时代下的新方法和新实践聊技术前，先捋捋场景UI->交互式；后台->多轮UI->交互式；后台->多轮UI->线性执行；后台->单/多轮新的技术栈多模态语义缓存多模态问题：如何接入私域数据?·全量放入context可能不是最优方式·私域数据的分割，存入向量数据库；·向量数据库召回，召回结果作为LLM的context;私域数据-分割M个文件数据接入数据接入√分隔符√均匀分割√树结构私域数据-召回√重排序拼接LLM私域数据-召回检索私域数据-评估传统检索指标：端到端：私域数据-经验·向量空间的语义搜索，有时会有不靠谱的情况同时放在召回数据前和后，有助于LLM回答·召回可以有更多的考量维度，不仅限于语义相似度角色框架任务拆分，逐个击破行动(感知和改变环境)角色框架-优势Agent机制的好处：提升LLM处理复杂任务的能力，扩大了应用范围角色框架anwser召回anwser角色框架r角色框架-规划角色框架-规划角色框架-规划一些代表性的闭环系统：群体智能雏形(3个LLM)Self-reflection(LM)textEvaluator(LM)Experience(long-termmemory)ActorActor(LM)(short-termmemory)Obs/RewardEnvironmentAction角色框架力内存种类：短期记忆(上下文),长期记忆(向量数据库)内存形式：向量，字符串(text/json/list),数据库内存召回指标：相关性，时效性，重要性角色框架行动角色框架-性能评估迭代轮次(耗时)角色框架-经验Plan-n-Execute>ReAct>Self-Ask工具选择有时会错-工具最好不要固定一个顺序中间结果生成有时会错-GPT4turbo会改善角色框架-挑战·Agent多次调用LLM,除了能力边界提升，成本也提高了·Agent自主创建子目标并执行，可能会有潜在安全风险·Agent机制会激发Al产生自我意识吗?角色框架-推荐·COT(/abs/2201.11903)Reflextion:/noahshinn024/reflexion/tree/mainLangchain:/langchain-ai/langchainMarvin:/PrefectH四Source:Barnoramaattachedtotheroofofa场景不同：自然图片->文字密集型文档问题：对于多模态LLM,OCR是否需要?ItemsAmountAverageItemsAmountTicket难点-text序列化非常难以泛化，错误的排序直接影响LLM做QA或KIEserializationBaselineonsteroids:模型越堆越多，系统越搞越复杂，泛化性依旧成问题多模态-方案1adaptervisionadapterencoder微调形式：高效微调适用，闭源不适用(没API)·预训练的visionencoder多数分辨率低，且不是multi-scale·微调不是端到端的，是2-stage微调多模态方案1 RegularIrregularOccludedOthersCT80COCOCTWTTBLIP-2FlanT5xxL48.0048.8942.1976.0448.6861.7063.5257.0080.9050.1064.5065.7457.1667.7145.5253.9457.8448.1861.1141.7150.8952.4347.3957.2926.2541.8640.5734.5241.0674.2638.0073.7940.5060.6245.5362.6150.4051.4228.90000081.9450.4268.6468.1147.8172.7342.530Supervised-SOTA96.6393.0496.7385.7089.3089.9364.4278.5780.1373.1081.5872.4991.2494.7795.5385.54MethodSTVQAOCRVQATextVQADocVQAInfoVQAChartQAESTVQA(En)ESTVQA(Ch)BLIP-2OPT6.7b8.82BLIP-2FlanT5xxL21.7030.7432.184.8642.460.04OpenFlamingo27.8229.089.1228.200.26LLaVA22.0828.864.4933.480.16MiniGPT44.320.100.00mPLUG-Owl29.2628.6240.286.889.520.440.18Supervised-SOTASource:/abs/2305.07895期待更多开源高分辨率多模态原生大模型的出现!多模态-方案2·预训练Seq2seq模型分辨率高，模型小，只需微调Seq2Seq模型语义缓存LLM服务很贵，以GPT4为例：GPT4接口调用成本很高，千万美元/年接口平均响应时间为3-6秒语义缓存技术可以有效缓解上述挑战语义缓存answersanswerssimilar语义缓存·高速实现attributefiltering,推荐支持hybridsearch的向量数据库并行化支持-evictionmanager的进程安全统一缓存设计