预训练大模型与医疗从算法研究到应用

预训练大模型与医疗：从算法研究到应用闾

|

清华大学自动化系预训练大模型概述理解大模型的内在机理赋予模型精准性与可解释性医疗领域应用清华探索：数基生命CHIMA20Pag2e

2

3Tsinghua

|

.eduCONTENTS预训练：从大数据到小数据③

精准可解释

④医疗应

用②

剖析大模型

①

关于预训练

预训练大模型（学习共性）大数据（低成本无标注）少量特定领域标注数据（成本高）微调小模型（学习特性）⑤数基生

命模型角度：模型参数不再是随机初始化，而是通过一些任务（如语言模型）进行预训练；数据角度：将训练任务拆解成共性学习和特性学习两个步骤。CHIMA20Pag2e

3

3Tsinghua

|

.edu以英文电子病历后结构化为示例③

精准可解释

④医疗应

用⑤数基生

命②

剖析大模型

①

关于预训练

英文CHIMA20Pag2e

4

3Tsinghua

|

.edu英文英文电子病历后结构化电子病历后结构化电子病历后结构化A不懂英文B懂英文C懂英文的医生Transformer架构：预训练的基石③

精准可解释

④医疗应

用⑤数基生

命②

剖析大模型

①

关于预训练

从word2vec到

Transformer从context-free到

context-awareCHIMA20Pag2e

5

3Tsinghua

|

.eduBERT和GPT③

精准可解释

④医疗应

用⑤数基生

命②

剖析大模型

①

关于预训练

两类典型的大语言模型BERT：BidirectionalEncoderRepresentationsfromTransformers双向模型，同时考虑前文和后文采用掩码语言模型（masked

language

model）和下一句预测任务（next

sentence

prediction）进行预训练，使得模型能够学习到上下文关系和词汇语义通常用于文本分类、序列标注、问答等任务GPT：GenerativePre-trained

Transformer单向模型，只考虑前文，不考虑后文采用自回归（autoregressive）的方式生成文本，即逐个生成下一个词通常用于生成文本、对话、问答等任务CHIMA20Pag2e

6

3Tsinghua

|

.eduBERT训练③

精准可解释

④医疗应

用⑤数基生

命②

剖析大模型

①

关于预训练

BERT主要采用掩码语言模型（masked

language

model，对应图Mask

LM）和下一句预测任务（next

sentenceprediction，对应图NSP）进行预训练，使得模型能够学习到上下文关系和词汇语义。预训练好的BERT可以用于对输入文本进行编码，得到具有语义的向量表示。预训练好的BERT也可以通过微调（fine-tuning）方式适配各类NLP任务：The

Stanford

Question

AnsweringDataset问答（SQuAD）、命名实体识别（NER）、MNLI任务（大规模分类任务，目标是预测第二个句子相对于第一个句子是包含，矛盾还是中立）CHIMA20Pag2e

7

3Tsinghua

|

.eduBERT表示能力③

精准可解释

④医疗应

用⑤数基生

命②

剖析大模型

①

关于预训练

Represented

IntoSymbolic

SpaceLatent

SpaceCHIMA20Pag2e

8

3Tsinghua

|

.eduBERT类模型③

精准可解释

④医疗应

用⑤数基生

命②

剖析大模型

①

关于预训练

2018年10月Google

AI提出BERT模型参数量1.15

亿,

3.4亿数据量约

16GB.2020年2月Google

AI提出的轻量化BERT模型参数量0.2亿，0.61亿，2.4亿数据量约

16GB2019年7月Facebook

AI基于BERT模型的扩展参数量1.15

亿,

3.4亿数据量约

160GB2021年10月Microsoft

AI在BERT模型上引入解码与注意力解耦参数量3.4亿数据量约

78GBCHIMA20Pag2e

9

3Tsinghua

|

.edu2019年8月清华大学提出知识注入BERT模型，后由Baidu

AI

更新迭代到3.0版本参数量1.15亿，1.25亿，100亿数据量约

12GB，22.9G，4TB2020年3月Google

AI在BERT模型引入GAN参数量3.4亿数据量约

16GBGPT发展史③

精准可解释

④医疗应

用⑤数基生

命②

剖析大模型

①

关于预训练

解码器部分为GPT发展奠定基础2017年6月Google提出Transformer模型2017年6月OpenAI提出Few-shot

GPT-1模型参数量1.17

亿数据量约

5GB赋予GPT预测下一个字符串能力2019年2月OpenAI提出One-shot

GPT-2模型参数量15亿数据量40GB增加GPT解释翻译能力2020年5月OpenAI提出Zero-shot

GPT-3模型参数量1750亿数据量40TB赋予GPT处理多任务的能力2022年1月OpenAI提出GPT-3.5模型参数量13亿,

60亿，1750亿数据量40TB赋予GPT推理能力多模态生成CHIMA20Pag2e

103Tsinghua

|

.edu2023年第一季度OpenAI提出GPT-4模型百万亿级别参数量GPT训练过程③

精准可解释

④医疗应

用⑤数基生

命②

剖析大模型

①

关于预训练

Unsupervised

Pre-trainingExpensivetrainingonmassive

datasetsDatasets:300billiontokensoftextObjective:PredictthenextwordExample:arobotmust?GPTUntrainedGPTCHIMA20Pag2e

113Tsinghua

|

.eduGPT应用③

精准可解释

④医疗应

用⑤数基生

命②

剖析大模型

①

关于预训练

GPT具有搜索引擎的功能2021年12月赋予GPT理解人类

指令的能力2022年2月CHIMA20Pag2e

123Tsinghua

|

.eduGPT在编写代码上的应用2021年12月使GPT具有与人类对话的能力2022年11月模型本质上是基于统计的文字生成器③

精准可解释

④医疗应

用⑤数基生

命②

剖析大模型

①

关于预训练

CHIMA20Pag2e

133Tsinghua

|

.edu通过对海量文本的学习，自动构建了一个含有1750

亿参数的大模型，建立了对这个世界基本的逻辑认知，由此产生了基于逻辑的推理能力实际上是根据对话中的最近

4095

个记号，算出紧接着最可能是哪个记号但，ChatGPT

≠模型模型负责把最近的对话内容翻译为一表ChatGPT

负责根据这出下一个记号，再让模型算再下一个记号的概率表可以理解为高阶的夫链③

精准可解释

④医疗应

用⑤数基生

命②

剖析大模型

ChatGPT根据前

4095

个记号猜下一个记号，所以是一个

4095

阶的夫链后续状态按一定概率取决于过去状态的随机过程，被称为夫链m

阶夫链模型可以根据前

m

个记号算出下一个记号的概率分布①

关于预训练

如果ChatGPT遇到它在训练时从没见过的记号串怎么办？1

阶夫链3

阶夫链CHIMA20Pag2e

143Tsinghua

|

.edu——神经网络能很好解决这个问题概念：嵌入向量（embedding

vector）③

精准可解释

④医疗应

用⑤数基生

命②

剖析大模型

①

关于预训练

CHIMA20Pag2e

153Tsinghua

|

.edu嵌入向量：在GPT里面，把一个记号作为一个

N

维浮点数向量来表示。这种用一个向量来表示一个单词或记号的方法按神经网络的术语就叫做嵌入一个单词对应的向量叫这个单词的嵌入向量把每个单词或记号（token）在

GPT

都会通过一层简单的神经网络映射层对应到一个嵌入向量，这个向量代表了记号的语言特征GPT-3

是

1600

维，GPT-3.5

2048

维位置信息的引入③

精准可解释

④医疗应

用⑤数基生

命②

剖析大模型

第一步：将离散的顺序号转换成一个与嵌入向量长度相同的向量，称为位置编码（positional

encoding）第二步：将位置编码与嵌入向量相加（即对应的元素相加），结果作为后续处理的输入向量第三步：输入向量会被送到多层Transformer进行后续处理，每层Transformer的参数不同，但都会让输入先经过一个线性投影层第四步：线性投影层将输入向量投影到另一个维度空间，剔除不重要的维度，将高维向量简化为低维向量使用Transformer摆脱了人工标注数据集的缺陷，模型在质量上更优、更行化，所需训练时间明显更少①

关于预训练

CHIMA20Pag2e

163Tsinghua

|

.eduChatGPT待优化的部分③

精准可解释

④医疗应

用⑤数基生

命②

剖析大模型

①

关于预训练

可信性无法保证，还不能提供合理的证据进行可信性验证01

成本高、部署困难、每次调用花费不菲，对工程能力有很高的要求，GPT-3

模型的训练成本在875万

-1093.75万美元之间03

因为数据的偏见性，很可能生成有害内容05

时效性差，无法实时地融入新知识，知识范围局限于基础大规模语言模型使用的预训练数据时间之前02

反映的是标注人员的偏好，在标注人员分布不均的情况下，可能会引入新的偏见问题06

CHIMA20Pag2e

173Tsinghua

|

.edu在特定的专业领域上表现欠佳，训练数据是通用数据，没有领域专业数据04

如何让ChatGPT更靠谱③

精准可解释

④医疗应

用⑤数基生

命②

剖析大模型

①

关于预训练

CHIMA20Pag2e

183Tsinghua

|

.edu两个关键参数：temperature

参数top_p参数ChatGPT

不是每次都选概率最大的记号temperature参数③

精准可解释

④医疗应

用⑤数基生

命②

剖析大模型

①

关于预训练

CHIMA20Pag2e

193Tsinghua

|

.edu控制语言模型输出的随机性或创造性的参数temperature

参数=

0，模型每次都挑最佳候选字，从不偏离temperature

参数越大，生僻的选择变得更容中openAI

试验场（playground）限制

temperature

参数在

0

到

1的区间t=0t=0.4t=2top_p参数③

精准可解释

④医疗应

用⑤数基生

命②

剖析大模型

限制

top_p

参数在

0到

1的区间拿到候选字的原始概率分布后，先把这些字按概率从高到低排序，按顺序依次选取，选到总概率超过

top_p值的时候即停止，剩下的候选字彻底放弃①

关于预训练

top_p=0，只保留最高频的一个字top_p=0.5，考虑总概率占

50%

的那些最高频的字top_p=1，全部候选字都考虑top_p=0CHIMA20Pag2e

203Tsinghua

|

.edutop_p=0.1top_p=1大模型精确性提升思路：知识嵌入③

精准可解释

④医疗应

用⑤数基生

命②

剖析大模型

①

关于预训练

大模型语言本身具有很强的语言理解或生成能力，然而为了提高其叙述内容的真实性和严谨性，需要采用特定的技术路线，例如将知识图谱中的事实描述融入大模型的训练过程中。知识嵌入：Zhang等人通过将知识图谱的表示向量加入到BERT中对应的tokens编码内，从而使得模型学习到与知识相关的事实信息，增强了模型在相应知识领域的准确性。[1]相关模型在FewRel和TACRED上的表现参考：CHIMA20Pag2e

213Tsinghua

|

.edu[1]Zhang,Zhengyan,etal."ERNIE:Enhancedlanguagerepresentationwithinformativeentities."arXivpreprintarXiv:1905.07129

(2019).大模型精确性提升思路：知识预测③

精准可解释

④医疗应

用⑤数基生

命②

剖析大模型

①

关于预训练

参考：[1]Liu,Jiacheng,etal."Generatedknowledgepromptingformonsensereasoning."arXivpreprintarXiv:2110.08387

(2021)知识图谱应用于大模型训练后阶段：Liu等人提出了知识生成式大模型提示方法，让模型进行知识预测，通过将知识图谱的三元组形式转化成Question

andanswer的形式，让模型生成一些知识，然后将这些知识进行聚合，从而得到最终的更为精确靠谱的结果。模型在数值常识（NumerSense）、一般常识monsenseQA

2.0）和科学常识（QASC）基准测试中进行实验，得出了将外部知识融入到大模型中能够提升其常识推理任务的精度的结论。[1]CHIMA20Pag2e

223Tsinghua

|

.edu大模型精确性提升思路：少样本提示③

精准可解释

④医疗应

用⑤数基生

命②

剖析大模型

①

关于预训练

参考：ChatGPT作为一种生成模型，存在一些问题。其中最主要的问题是不确定性和预训练语料库中存在的某些局限性，这可能导致ChatGPT在回答一些问题时存在时效性、事实性以及内容不合规等情况。[1]少样本提示：尽管大型语言模型展现出惊人的零样本能力（泛化能力），但在复杂的任务中使用零样本设置时仍然表现不佳。为了提高模型的性能，我们可以采用少样本提示技术来启发上下文学习。这种技术可以通过给模型提供示例演示来引导其生成更好的响应。演示作为后续示例的条件，可以有效地提高模型的准确性和可靠性。[2]CHIMA20Pag2e

233Tsinghua

|

.edu大模型精确性提升思路：自我一致性③

精准可解释

④医疗应

用⑤数基生

命②

剖析大模型

①

关于预训练

参考：由于ChatGPT的训练机制主要专注于“单字接龙”，其在涉及算术和常识推理的任务中的精确性仍有待提升。自我一致性：由Wang等人提出，其核心思想是在链式思考的prompt

[1]基础上，通过采样适量的多个不同推理路径，根据这些方案的一致性情况得出最合理的结果，从而提高模型的准确性和可靠性。[2]CHIMA20Pag2e

243Tsinghua

|

.edu大模型精确性提升思路：提示语工程③

精准可解释

④医疗应

用⑤数基生

命②

剖析大模型

①

关于预训练

参考：Ma,Chong,etal."ImpressionGPT:AnIterativeOptimizingFrameworkforRadiologyReportSummarizationwithChatGPT."arXivpreprintarXiv:2304.08448

(2023).Wang,Sheng,etal."Chatcad:Interactiveputer-aideddiagnosisonmedicalimageusinglargelanguagemodels."arXivpreprintarXiv:2302.07257

(2023).通过适当的Prompt

engineering，可以提升ChatGPT在相应任务上的精确性。ImpressionGPT：使用“动态prompt”

来构建具有相似诊断报告的“动态上下文”

环境；对生成的报告进行评估，利用评估结果来指导ChatGPT

生成增强的响应，让ChatGPT能够从好样本和坏样本中学习到相关内容。[1]ChatCAD

：设计了三种不同的Prompt，将视觉模型得到的结果通过Prompt更好的让语言模型理解，通过ChatGPT与CAD结合，得到了诊断的性能提升。[2]CHIMA20Pag2e

253Tsinghua

|

.edu大模型可解释性③

精准可解释

④医疗应

用⑤数基生

命②

剖析大模型

①

关于预训练

CHIMA20Pag2e

263Tsinghua

|

.edu机器学习模型的可解释性传统模型的可解释性思路模型相关模型无关大模型的可解释性思路基于attention机制：大模型如BERT和ChatGPT等大都基于attention机制构建，但随着模型参数量不断增大，通过attention机制也无法进行模型的解释Prompt

Engineering思路：对话中的post-hoc（事后）可解释性传统可解释性思路③

精准可解释

④医疗应

用⑤数基生

命②

剖析大模型

①

关于预训练

参考：Wang,Junlin,etal."Gradient-basedanalysisofNLPmodelsismanipulable."arXivpreprintarXiv:2010.05419

(2020).Meng,Kevin,etal."Locatingandeditingfactualknowledgeingpt."arXivpreprintarXiv:2202.05262

(2022).[2]Clark,Kevin,etal."Whatdoesbertlookat?ananalysisofbert'sattention."arXivpreprintarXiv:1906.04341

(2019).[4]Dai,Damai,etal."Knowledgeneuronsinpretrainedtransformers."arXivpreprintarXiv:2104.08696

(2021).白箱算法的可解释性与模型构造本身高度相关，因此对于大模型可以根据相关思路设计更具有针对性的可解释性方法。主流的模型相关可解释性方法：基于梯度显著性[1]基于因果启发[2]基于注意力机制[3]基于神经元分析[4]CHIMA20Pag2e

273Tsinghua

|

.edu针对大模型的可解释性思路：多层注意力机制③

精准可解释

④医疗应

用⑤数基生

命②

剖析大模型

①

关于预训练

参考：[1]Clark,Kevin,etal."Whatdoesbertlookat?ananalysisofbert'sattention."arXivpreprintarXiv:1906.04341

(2019).BERT、GPT等大预言模型的基础框架为transformer，因此对于此类大模型的可解释性多与transformer

模型的架构与机制有关。多层注意力机制：在Transformer模型中，通常包含大量的attention层。因此，每个attention层对于模型最终输出的影响很难用单层的热力图来解释。如果想要探究这类大型模型的可解释性，就必须从多层注意机制入手，并深入探究多个层之间以及同一层中不同multi-head之间的关系，以及它们对最终结果的影响。[1]注意力中的表层模式注意力模块的相对位置分隔符标记集中注意力与广泛注意力CHIMA20Pag2e

283Tsinghua

|

.edu注意力头探查探查个别注意力头探查注意力头组合注意力聚类针对大模型的可解释性思路：信息流解析③

精准可解释

④医疗应

用⑤数基生

命②

剖析大模型

①

关于预训练

参考：[1]Lu,K.,etal."InfluencePatternsforExplainingInformationFlowinBERT."

(2020).信息流解析：注重模型处理过程中，过程信息流的可视化，这样做的意义和价值在于模型的使用者能够非常清晰的找出模型的输出结果与哪些输入有关，以及这些关联机制在模型的是怎样提现的。由于Transformer中注意力层的数量众多，其黑箱特性使得信息在其中的传递变得错综复杂。通过追踪tokens在Transformer结构中的信息流向，能够帮助追溯预测结果的依据来源，从而增加模型的透明度并提高其可信度。

[1]CHIMA20Pag2e

293Tsinghua

|

.edu针对大模型的可解释性思路：Prompt

Engineering（ChatGPT时代）③

精准可解释

④医疗应

用⑤数基生

命②

剖析大模型

①

关于预训练

参考：[1]

通过Prompt

engineering，ChatGPT能够对相关的结果做出一定的事后解释，这样的解释以自然语言的形式给出，让人更。链式思考：Wei等人引入链式思考（CoT）提示通过中间推理步骤实现了复杂的推理能力，这样的方法不仅可以提升任务结果的准确性，同时也能使得模型的推理过程一定程度上透明化，从而平衡其黑箱特性带来的过程不可见性，增加结果的可行度。CHIMA20Pag2e

303Tsinghua

|

.edu针对大模型的可解释性思路：

Prompt

Engineering思路③

精准可解释

④医疗应

用⑤数基生

命②

剖析大模型

①

关于预训练

参考：[1]Liu,Jiacheng,etal."Generatedknowledgepromptingformonsensereasoning."arXivpreprintarXiv:2110.08387

(2021)背景生成知识提示：大模型精准性的板块所讲到的生成式知识大模型提示方法，实际上，这种方法类似于链式思考方法，它让大模型针对一个问题生成特定的知识，并以这些知识作为其思考过程的基础。然后将这些知识进行聚合，最终得出一个答案。这样的过程也是一种可解释性。通过生成式知识提示，我们可以了解大模型在推理和生成答案时所参考的具体知识，从而更好地理解其决策过程。这种方法可以帮助我们发现模型可能存在的偏见或错误，并进一步优化模型性能。同时，由于知识的结构化特点，它还可以为人们提供更加结构化的模型解释，增强模型的可解释性。CHIMA20Pag2e

313Tsinghua

|

.edu医疗领域应用场景③

精准可解释

④医疗应

用⑤数基生

命②

剖析大模型

①

关于预训练

CHIMA20Pag2e

323Tsinghua

|

.edu参考：[1]Qiu,Jianing,etal."LargeAIModelsinHealthInformatics:Applications,Challenges,andtheFuture."arXivpreprintarXiv:2303.11568

(2023).ChatGPT应用于自动印象生成③

精准可解释

④医疗应

用⑤数基生

命②

剖析大模型

①

关于预训练

参考：[1]Ma,Chong,etal."ImpressionGPT:AnIterativeOptimizingFrameworkforRadiologyReportSummarizationwithChatGPT."arXivpreprintarXiv:2304.08448

(2023).背景在标准的放射学报告中，印象部分是对整个报告描述的总结。自动印象生成（Automaticimpressiongeneration，AIG）成为医学领域NLP研究的重点。挑战：对放射科医生来说，写下大量“印象”既费力又容。尽管最近的研究中基于预训练和微调预训练模型在医学文本领域中的自动印象生成方面取得了不错的效果，但此类模型通常需要大量的医学文本数据并且泛化性能较差。思路：

ImpressionGPT[1]使用动态提示（dynamicprompt）和迭代优化（iterative

optimization）来增强ChatGPT对放射学报告摘要的适应性。ImpressionGPT技术流程图CHIMA20Pag2e

333Tsinghua

|

.eduChatGPT应用于自动印象生成③

精准可解释

④医疗应

用⑤数基生

命②

剖析大模型

最近的研究表明，设计prompt以引导模型关注输入的相关方面，可以产生更精确和一致的输出。因此prompt

engineering对自动印象生成非常重要。①

关于预训练

首先使用标签器对报告的“发现”部分进行分类并提取疾病标签，然后基于疾病类别，在现有的诊断报告语料库中搜索相似的报告。使用“动态提示”

来构建具有相似诊断报告的“动态上下文”

环境，以便

ChatGPT

可以学结与当前疾病相关的诊断报告。CHIMA20Pag2e

343Tsinghua

|

.eduChatGPT应用于自动印象生成③

精准可解释

④医疗应

用⑤数基生

命②

剖析大模型

①

关于预训练

CHIMA20Pag2e

353Tsinghua

|

.edu参考：[1]Qiu,Jianing,etal."LargeAIModelsinHealthInformatics:Applications,Challenges,andtheFuture."arXivpreprintarXiv:2303.11568

(2023).ImpressionGPT在AIG任务的两个经典数据集MIMIC-CXR和OpenI上取得了不少的性能提升。对生成的报告进行评估，利用评估结果来指导ChatGPT

生成增强的响应：采用“Instruction

+Response”的形式，让ChatGPT能够从好样本和坏样本中学习到相关内容。ChatGPT应用于医学图像辅助诊断③

精准可解释

④医疗应

用⑤数基生

命②

剖析大模型

①

关于预训练

参考：[1]Wang,Sheng,etal."Chatcad:Interactiveputer-aideddiagnosisonmedicalimageusinglargelanguagemodels."arXivpreprintarXiv:2302.07257

(2023).背景用于医学图像的计算机辅助诊断

(CAD)

网络通过使用先进的深度学习算法来支持临床决策，在医学领域取得了重大成功。大型语言模型

(LLM)

最近展示了在临床应用中的潜力，其提供了宝贵的医学知识和建议。挑战：LLM目前难以从这些医学图像中解释和提取信息，从而限制了他们全面支持临床决策过程的能力。思路：

ChatCAD[1]将

LLM

的医学领域知识和逻辑推理的优势与现有医学图像

CAD

模型的视觉理解能力相结合，为患者提供了一个更加用户友好和易于理解的系统。ChatCAD技术流程图CAD与ChatGPT结合后的交互式问答系统示例CHIMA20Pag2e

363Tsinghua

|

.eduChatGPT应用于医学图像辅助诊断③

精准可解释

④医疗应

用⑤数基生

命②

剖析大模型

①

关于预训练

使用了三种不同的prompt设计，prompt作为tensor到text的纽带从医学图像得到prompt的策略：将检查图像（例如X射线）输入经过训练的CAD

模型以获得输出Prompt#1

将这些输出（通常是Output

tensor）翻译成自然语言（LLM的提示句）Prompt#2

将使用评分系统设计，将Output

tensor中的分数分为四类，并用每类对应的自然语言描述五个观察值中每一个的可能性Prompt#3

是一个简洁的prompt，报告在Output

tensor中诊断分数高于0.5的疾病，如果五种疾病都没有预测，则提示“未发现”CHIMA20Pag2e

373Tsinghua

|

.eduChatGPT应用于医学图像辅助诊断③

精准可解释

④医疗应

用⑤数基生

命②

剖析大模型

①

关于预训练

CHIMA20Pag2e

383Tsinghua

|

.eduChatGPT应用于医学图像辅助诊断③

精准可解释

④医疗应

用⑤数基生

命②

剖析大模型

①

关于预训练

CHIMA20Pag2e

393Tsinghua

|

.edu基于视觉模型的结果和语言模型中预训练的医学知识，交互式ChatCAD可以进行有关症状、诊断和治疗的对话交互式ChatCAD的两个示例ChatCAD利用ChatGPT与三种不同的prompt设计生成的报告团队目前在医疗领域的探索与工作③

精准可解释

④医疗应

用②

剖析大模型

①

关于预训练

医学影像报告中的所见->影像学报告中的印象1）构建并融合知识图谱

+

LLaMa（Meta公司开源的生成式大模型）利用知识图谱直接显式的进行形式化拼接，引入预训练语料，通过微调的开源大模型，得到精确性与可解释性更好的模型。2）知识图谱在prompt

engineering中的应用方法知识图谱的引入可以使其上下文环境更符合现有领域知识，比如用知识图谱来构建不同疾病之间的关系。通过知识图谱引入专家知识，在prompt前进行一定约束，可以提供更可靠、有效的prompt。大模型：参数化的知识库CHIMA20Pag2e

403Tsinghua

|

.eduprompt知识图谱：形式化的知识库Prompt是两类知识相互融合的桥梁⑤数基生

命知识图谱本身具有可读性和一定可解释性，在大模型中引入知识图谱使得模型的输入更可靠提出了新的模型架构：EnhancedBERT③

精准可解释

④医疗应

用⑤数基生

命②

剖析大模型

①

关于预训练

CHIMA20Pag2e

413Tsinghua

|

.edu使用密集连接的方式可以连接不同层的表示到最顶层，有助于增强BERT表示的能力。融合图结构，一方面可以使大模型编码图结构信息，另一方面有助于提升大模型建模序列中的精确语义信息。使用BookCorpus和WikiPedia训练4层的tinyBERT和tiny

EnhancedBERT，结果显示EnhancedBERT相较于原始BERT有较大的提升。医疗领域应用实践与探索③

精准可解释

④医疗应

用⑤数基生

命②

剖析大模型

①

关于预训练

参考：[1]Qiu,Jianing,etal."LargeAIModelsinHealthInformatics:Applications,Challenges,andtheFuture."arXivpreprintarXiv:2303.11568

(2023).一些问题仍待探索在多机构场景中所涉及的数据隐私和安全问题知识图谱（KG）在prompt

design中的使用，以使其更符合现有领域知识（如不同疾病之间的关系）“人在回路”在prompt优化迭代的过程中的重要作用更丰富的数据集和基准（如包含患者主诉信息的基准数据集）多模态数据6）……CHIMA20Pag2e

423Tsinghua

|

.edu清华大学数基生命交叉创新群体④医疗应

用⑤数基生

命①

关于预训练

群体顾问戴琼海中国工程院院士中国科学院院士董家鸿中国工程院院士WingH.

Wong美国科学院院士②

剖析大模型

群体骨干③

精准可解释

群体带头人生物信息与机器学习专家清华大学自动化系算生物学学会会士魏磊闾海荣古槿江瑞CHIMA20Pag2e

433Tsinghua

|

.edu智能医疗的关键：信息获取、理解与呈递③

精准可解释

④医疗应

用⑤数基生

命②

剖析大模型

①

关于预训练

科学发现生命机理科学发现未能转化为应用临床患者可用技术错失的机会、浪费的资源CHIMA20Pag2e

443Tsinghua

|

.edu损失的生命解决思路：数基生命

-

医疗行业研究与产业发展的新范式③

精准可解释

④医疗应

用⑤数基生

命②

剖析大模型

①

关于预训练

机理模型化在数字化实体中，实现贯穿人体分子、细胞、组织、器官和系统的数学模型，让数字实体“活起来”，模拟生老病死各种生命过程，形成人体“数字孪生”。通过模拟个体健康演化和疾病发生发展过程,推演各种因素作用,定量评估重要生命过程,提供精准的动态健康指导和疾病治疗方案。通过全方位、多尺度、多模态生物医学数据感知，把人体表征为数字化实体。应用智能化CHIMA20Pag2e

453Tsinghua

|

.edu生命数字化通过模型化重构应用生态③

精准可解释

④医疗应

用⑤数基生

命②

剖析大模型

①

关于预训练

应用智能化全场景智能化精准医健机理模型化数据-知识双驱动构建大模型智能健康管理智能精准医疗智能公共健康数基生命实验数基设计靶向治疗数碳耦合组织工程生命机理数基重现生命数字化全方位跨尺度数据感知群体-个体-系统-器官-组织-细胞-分子宏观-----------微观共性平台技术CHIMA20Pag2e

463Tsinghua

|

.edu数据-知识双驱动的数基生命大模型③

精准可解释

④医疗应

用⑤数基生

命②

剖析大模型

①

关于预训练

人体全方位定量数据感知数基生命大模型从基因、细胞到系统的数字画像数基-碳基融合生命系统调控数基智能精准医健数基孪生推演优化医健全场景数字化CHIMA20Pag2e

473Tsinghua

|

.edu临床预训练模型与知识图谱③

精准可解释

④医疗应

用⑤数基生

命②

剖析大模型

①

关于预训练

医学知识图谱百万级医学知识图谱海量医学文献/数据积累（10TB+）多家顶级医院合作构建权威知识图谱智能交互机器人语音识别/合成全自研语音技术基于GPT的语言模型高精度医疗语音识别高噪声低采样率语音识别语言大模型+NLP预训练语言大模型垂直场景小模型深度优化迁移学习+提示学习快速落地复杂多轮对话推理技术智能外呼机器人可视化运维医学知识管理百万级基础知识图谱+专科知识图谱

图谱定制，全面赋能院内外各类场景算法落地覆盖2000+疾病/50+科室导诊数据

精准关联推荐/清晰图文释义，诊断学知识能力导入集结湘雅50+权威专家问诊问诊数据

路径3000+症状/病史要点遵循诊断学逻辑800+疾病管理知识库疾病管理

疾病数据覆盖84个科室1200+健康宣教知识库55

套疾病全病程管理计划以多项专利技术、GPT和海量数据为支撑建立面向专业医学场景的识别模型，识别准确率高达97.5%;应用GAN网络技术，对高噪声低采样率信号进行了优化，场景测试准确率领先其它厂商5%;知识谱图与语音识别技术相结合，内嵌百万级医学专有名词，支持符号、单等自定义格式输出利用迁移学习技术实现对垂直场景术语2-3天快速训练迭代，及时满足各类语音识别需求支持基于用户真人语音快速训练语音合成音色模型10万