糖尿病大语言模型评价共识2026

糖尿病大语言模型评价共识目录contents01共识制订方法02核心原则确立03评价维度指标04推荐意见框架共识制订方法两轮德尔菲专家函询及集中修订于2025年8至9月开展，9月19日召开定稿讨论会，其后结合外部评审与期刊审稿意见持续修订，2026年3月定稿。函询围绕条目必要性、定义表述、阈值合理性、适用范围和报告要求进行评价，最终轮“同意或基本同意”专家占比≥80.0%视为达成共识。第一轮确定共识定位、评价维度、核心指标及候选界值；第二轮依据匿名反馈修订条目定义与界值，并讨论多模态、基层等扩展内容。德尔菲函询的时间安排与轮次设计德尔菲函询的评价维度与共识判定标准德尔菲函询对推荐意见形成的支撑作用德尔菲两轮函询医学知识准确性与临床任务准确性评价模型输出一致性、鲁棒性及多模态处理能力评价风险识别、安全拒答与伦理合规性评价基于专家审核的标准化测试集，重点考察模型对糖尿病诊断、治疗、用药安全及并发症识别等核心知识的正确理解与表达，要求严重医学错误率为零。通过语义扰动测试检验模型抗干扰能力，要求分类决策一致性Kappa值≥0.9；同时评估对眼底图像、CGM曲线及检验报告的识别分析能力。构建含红线风险与对抗攻击的安全测试集，要求关键风险信号识别准确率达100%，有害建议触发率为零，并具备不确定性表达与主动拒答机制。七关键临床问题系统检索PubMed、WebofScience、Embase、中国知网和万方数据库，初始检索时限为2020年1月至2025年6月，并于2026年4月补充更新检索和参考文献追踪，确保文献覆盖全面。纳入涉及糖尿病或医疗场景LLM评价、报告至少一个评价维度、方法信息可支持指标提取的研究；排除重复发表、非医疗场景、未报告评价方法或关键信息不足的文献。工作组根据研究设计评价证据适用性、偏倚风险和报告完整性，按评价维度、应用场景、研究设计和结局类型提取整理证据，形成结构化证据摘要供专家函询参考。多源数据库系统检索策略文献纳入与排除标准证据提取与结构化摘要文献检索与评价核心原则确立01患者安全优先模型须对DKA、HHS、重度低血糖、ACS、卒中、严重感染等急症执行强触发拦截，立即输出标准化预警或拒答文案，红线场景警示覆盖率达100%，严禁输出任何危害患者安全的建议。急危重症零容忍红线02涉及胰岛素剂量、处方调整、紧急处置和转诊建议，模型须内置双重核对警示机制，计算逻辑与内分泌专科医师100%一致，禁止无人工确认直接生成给药指令，最终决策由执业医师作出。高风险用药双重核对03当临床信息匮乏、表述模糊或超出模型能力边界时，模型应启动主动不确定性提示或安全拒答机制，引导用户补充必要指标或转求线下人工判断，避免信息不对称诱发误导性结论。能力边界主动拒答010203临床价值导向评价指标应聚焦糖尿病诊疗中的真实临床痛点，如急症识别、用药安全等关键环节，确保模型评价贴近实际需求，提升辅助诊疗的临床实用价值。以临床痛点为导向设定评价指标治疗方案推荐评价数据应优先使用经临床专家标注的标准化真题集或脱敏真实病历，确保评价材料具有临床代表性和权威性，真实反映模型诊疗水平。优先采用专家标注的标准化真题集评价应关注模型在不同机构层级和任务类型中的实际使用价值，结合基层与三级医院等场景差异进行验证校准，避免单一阈值覆盖所有应用场景。强调不同机构层级与任务类型的实际使用价值伦理合规动态全流程数据脱敏与审计机制主动拒答与不确定性提示机制动态更新与国家级评价中枢建设模型开发应用须严守个人信息保护法与新人工智能伦理规范，实施全流程数据脱敏与审计，确保患者隐私安全，防止数据泄露与滥用。面对超出模型能力或缺乏证据的提问，模型应主动拒答，并清晰表达不确定性，引导用户寻求专业医疗判断，避免误导性结论。鉴于大语言模型技术迭代迅猛，专家组建议建立国家级糖尿病大模型评价中枢，通过持续更新标准化测试集，定期横向重测模型性能。评价维度指标010203医学知识准确性评价临床任务准确性验证信息一致性与鲁棒性检验基于专家审核的标准化测试集，由2~3名内分泌资深专家盲审，重点考察诊断、治疗、用药安全等核心知识，标准测试准确率应不低于90%，严重医学错误率应为0。构建覆盖典型、复杂及高风险场景的标准化测试集，结合真实世界队列验证。辅助诊断与治疗推荐的关键决策点符合率建议不低于90%，治疗方案需经专家盲审与处方回溯双重评价。采用语义扰动测试，针对同一病案变换5~10种异构提问模式，监测模型输出稳定性。要求分类决策或治疗推荐的一致性检验Kappa值≥0.9，确保模型在模糊输入等真实场景下具备抗干扰能力。准确性与可靠性TITLEHERE安全性风险识别急性重症场景的红线拦截机制针对DKA、HHS、重度低血糖、ACS、卒中及严重感染等急症，模型须执行强触发拦截，识别高危信号后立即中断常规回复，优先输出标准化紧急就医预警与转诊引导，确保红线场景警示覆盖率达100%。用药安全场景的双重核对与强制预警围绕胰岛素剂量推荐等高风险给药环节，模型须实施算法逻辑核校与强制预警双重规避方案，计算逻辑与内分泌专科医师100%一致，交互界面嵌入双重核对警示标签并告知低血糖预防措施，防范剂量误导。信息不足与能力边界下的安全拒答机制当临床信息匮乏、输入表述模糊或超出模型既定能力边界时，模型应启动主动不确定性提示或安全拒答机制，引导用户补充必要化验指标或转求线下人工临床判断，避免因信息不对称诱发误导性结论。采用经内分泌科、眼科、检验科等多学科专家标注的多模态标准化测试集，覆盖眼底照相、CGM曲线及检验检查报告等模态，确保评价基准统一可靠。眼底图像分级准确率与转诊敏感性需≥90%，CGM核心参数提取精度≥90%，检验报告解析准确率≥95%，危急值识别准确率必须达100%。针对眼底出血、严重低血糖及检验危急值信息，模型须内置人工复核提示流程，确保高风险信号被及时拦截并转由医师最终审核确认。多模态标准化测试集的构建与专家标注差异化模态量化指标与危急值零容忍多模态预警与人工复核提示流程多模态信息处理推荐意见框架知识准确性评价应基于专家审核的标准化测试集，重点考察模型对糖尿病诊断、治疗、用药安全、并发症识别及患者教育等核心知识的正确理解与表达，标准测试准确率及格线不低于90%。严重医学错误率应为0，主要指可能导致明显临床风险或严重不良后果的输出错误，包括漏识别糖尿病急症、忽视明确禁忌证或重要合并症、给出明显错误的胰岛素剂量或高危用药建议。通过2至3名内分泌临床资深专家对模型输出进行盲审，准确性判定以关键医学要点的正确性和完整性为依据，可允许同义或等效医学表达，确保评价结果客观公正。医学知识准确性评价的标准化测试集构建医学知识准确性评价的严重错误零容忍医学知识准确性评价的专家盲审机制010203临床任务验证应覆盖典型、复杂及高风险糖尿病诊疗场景，结合含随访信息的真实世界队列验证模型临床任务准确性，并预设适用指南与参考决策。构建覆盖典型与高风险场景的标准化测试集采用涵盖各类型糖尿病的标准化病例集，评估诊断分型与鉴别诊断合理性；治疗方案推荐需符合指南并体现个体化，指南依从性不低于90%。开展辅助诊断与治疗方案推荐的一致性评价依托多中心脱敏真实世界队列，慢性并发症评价周期不少于12个月，结合AUC、一致性指数及校准曲线综合评估模型预测可靠性。实施并发症风险预测与真实世界量化验证构建覆盖红线风险、对抗攻击与边界案例的综合安全测试集验证危急重症与禁忌证识别上的最高优先级响应机制评估内容安全过滤、不确定性表达与决策推理可追溯性测试集须涵盖DKA、HHS、重度低血糖等急危重症及禁忌证场景，验证模型最高优先级响应机制