ChatGPT背景下的医药行业数字化转型新范式研究报告

ChatGPTChatGPT背景下的医药行业数字化转型新范式研究报告CMACCMAC天士力国际基因网络药物创新中心南京柯基数据科技有限公司 5 6 6 7 8 8 9 1.2.5.基于人工反馈的强化学习（ReinforcementLearningfromHuman 15 15 15 16 17 17 17 18 20 20 20 20 21 21 21 21 23 23 23 23 23 24 242.5.2.医学文献检索、摘要 24 24 25 25 25 27 28 28 293.2.1.总结权威信息（标 30 31 313.2.4.挖掘药品说明书信息（如适应症、药 33 33 35 35 36 37 37 39 39 39 41 41 47第四章现状总结及展望 52 524.1.1.数据合规性及知识产权: 524.1.2.数据安全性及私有化部署: 534.1.3.药物警戒&不良事件监测: 534.1.4.启动成本和运维成本: 534.2.未来展望 53前言化程度相比现有的搜索引擎和智能对话Chatbot等产品在多轮对话、上下文语义理解及推开启了人工智能的新纪元。随着ChatGPT的火爆，作为典型的知识密集型行业，很多医药企业近期也很关注ChatGPT在医药行业的落地应用以及对研发、临床试验、学术推广和患者教育等业务的影可行性的分析及建议。CMAC牵头联合国内和跨国生物制药企业研发及医学专家、医药认知智能数字化转型提供参考。第一章ChatGPT大模型技术及通用应用综述的知识表示及存储基础，对提升系统的智能化程度有至关重要的作用，ChatGPT依赖的是），自然语言处理带入“预训练”时代。然而，GPT模型当时并没有引起人们太多的关注，反GPT家族是OpenAI公司推出的相关产品，这是一种生成式语言模型，可用于对话、问答、机器翻译、写代码等一系列自然语言任务。每一代GPT相较于上一代模型的参数量积淀下来的恐怖的数据量。可以说大规模的参数与海量的训练数据为GPT系列模型赋能，是__”，那么GPT-3就能够直接输出结果“褒义”。如果在输入中再给不过，通过对GPT-3模型能力的仔细评估发现，大模型并不能真正克服深度学习模型GPT模型家族的发展从GPT-3开始分成了两个技术路径并行发展，一个路径是以Codex为代表的代码预训练技术，另一个路径是以InstructGPT为代表的文本指令（Instruction）预训练技术。但这两个技术路径不是始终并行发展的，而是到了一定阶段后进入了融合式预训练的过程，并通过指令学习（InstructionTuning）、有监督精调（SupervisedFine-tuning）以及基于人类反馈的强化学习（ReinforcementLearningChatGPT是现象级应用，标志着语言大模型已经具备了一些通用人工智纳入训练过程中，使模型的输出与用户的意图更好地结合，如下图所示。标注人员根据提示（prompts）写一个适当的回复，然后使用这个有监督的新数据集对第三步是强化学习，基于随机的输入或提示（prompts）生成答案，由奖励模型计算得分，将得分反馈到强化学习模型中以演变策略。了优异泛化能力的模型，去针对性地对下游任务进行微调。在GPT被提出之前，大多数深度学习方法都需要大量人工标注的高质量数据，但是标masked-language-modeling（其输入句子中的一些词被替换为[MASK]，模型被要求预测应该插入到[MASK]位置的正确的词），如下数，将生成内容匹配到某一分类标签。下的语境学习（In-contextlearning），即在提示中加入几个完整的例子，如“美国的首都是华盛顿，法国的首都是巴黎，英国的首都是____”，以及在推理任务上的思维链1.2.3.指令精调（Instructi希望通过构造“指令（Instruction）”并微调的方式，学习人类交互模式的分布，使模型匹配的正确回复。的API后的真实人机交互数据，这些数据在使用之前都经过了信息去重和敏感信息过滤；另一部分数据则来自于人工标注。为了使标注人员能够标注出高质量的数据集，OpenAI通过前期的审核和面试，聘请了一个由40人组成的其二是小样本（Few-shot）数据，由标注人员写出“指令”和一些对应的问答对，用于训人类在解决数学应用题这类复杂推理任务的过程中，通常会将问题分解为多个中间步操作等任务，而且可能适用任何需要通过语言解决的问题。1.2.5.基于人工反馈的强化学习（ReinforcementLearningfromHumanRLHF是ChatGPT/InstrcutGPT实现与人负面影响结果的重要技术。该算法在强化学习框架生成策略优化阶段，给定习得的奖励模型，ChatGPT/Instru），经典的AI技术应用范式分为四个步骤：定义问题、收集数据、模型训进入大模型时代后，AI技术的应用范式变为少数有能力的机构完成大模型训练，并以极低的成本提供给其他AI开发人员使用，AI应用的开发过程仅包含定义任务、ChatGPT和知识图谱是两种不同的技术，它们有各自的优缺点和应用如下图所示是一个典型的医学知识图谱，建立了“疾病-症状-药品-特殊人群”等非常结构能领域符号派的代表。ChatGPT是一种基于深度神经网络的语言模型，可以理解自然语言的输入库中，而ChatGPT是将知识隐性的存储ChatGPT在自然语言处理领域取得了很大的成功，但是目前仍没有解言的方式提供给ChatGPT，可以有效提升ChatGPT对领域知识的准确性。可力，可通过设计特殊的知识抽取prompt富。这样可以加速知识图谱的构建过程，并且ChatGPT还可以对数据进行预标注，在一些ChatGPT对数据进行预标注，再将得到的标注数据引入特殊场所进行小模型的训练，可以因此，ChatGPT和知识图谱是相互补充的技术，它们可以优势，为人工智能应用提供更加丰富、多样化的解决方案。代码翻译、bug修复等。微软在2023年3月发布了基于GPT-4的编程助手创作会逐步形成全新的创意产业生态价值链。做好问答式搜索还需要很多提升。主”生成一些原本不存在的新点子，基于这一特点，教师可以使用ChatGPT来寻找课程设计中的灵感。ChatGPT还能为教师提供个性化、针对性、新颖而贴切的教案内容，引发学生兴趣。当学生遇到相应问题时，可以先使用ChatGPT获取回答，在此基础上仍存在华为盘古。华为在2021年基于昇腾AI与鹏城实验室联合发布了鹏程盘古大模型。盘大模型。腾讯混元。腾讯在2022年发布混元AI大模型，其中包含NLP、CV和多模态等基础模型和众多行业/领域模型。到今年2月初，腾讯混元AI大模型团队再推出万亿中文NLP360搜索。在360主办的2023数字安全与发展高峰论商汤商量。商汤在2023年4月10日发布了自研类ChatGPT产品，名曰商量这个体系中还包括秒画（AI作画）、如影（AI数字人生成）。——中英双语对话模型ChatGLM-6B，支持在单张消费级显卡上进行推理使用。这是继此谷歌Bard。谷歌在2023年2月7日发布了其下一代对话AI系统，名为Bard，迎战），型化、平民化研究。LLaMA130亿参数版本的表现，在大多数测试上优于GPT-31750亿大模型。第二章ChatGPT大模型在医药领域国内外的应用情况需要花费大量人力物力，确保药物研发的严谨、科学和安全性。其研发团队已在其靶点发现平台PandaOmi基于自然语言的问答，促进更便捷发现潜在靶点和生物标志物。注释①有希望的药物靶点和生物标志物。更高效、准确和个性化的方式来访问有关分子生物学、治疗靶点发现和药物开发的信息。注之后，以大模型为基础的生成式人工智能已经在直接模拟合成及预测从未发现的结构，极大扩展初始蛋白结构库。注释②命科学版ChatGPT”，由生命科学大模型驱动的AI生成图生科在过去2年多时间内、近300位AI+BioTe直致力于打造的生命科学大模型xTrimo。该模型拥有千亿参数，从跨物种药效团限制的分子生成模型，通过百万活性化合物小分子与其药效团的对应关系进行GPT自回归学习；PharGPT不依赖于靶点结构，即架苗头分子。循证资料中公布的临床试验结果进行解析，并推荐合适的临床试验中心及PI，为中心筛选提供科学参考，提高效率。提高整体效率。2.2.3.药物选择、患者入组工厂、AzureSQL数据库等子模块，开发了一个能将辅助更精准的药物选择、缩短入组时间，从而更快地为患者带来新疗法。网络、大数据处理技术与生态化的健康产业平台，打造“基于文心大模型的AI临在线。该回复时间无法满足一线千变万化的问询需求。此外用户的问题集中，70%左右是重复问题，仍需要人工逐一回复，导致浪费表、外部医生、护士、药师、患者等内外部不同类型用户的医学Chatbot，旨在提供更加高效、智能的医学学术服务。医学Chatbot学术问答机器人就能够较好的解决以上提及的解决更加个性化，难度较高的问题，降低人工成本。的能力相结合。一方面，ChatGPT可以辅助内容自动拆解与生成，提升医学内容拆打标签的工作，又确保符合药企的合规性。了信息来源。最近，国外一篇研究《ChatGPT在辅助测试结论：100个高阶推理问题，平均回答时间为45.31±7），题中，具备80%以上的可靠性了。注释③功能，目前医院科室都有较多的医患沟通群，医务疗效率。些长难句ChatGPT也能按照中文的表达方式做相应处理，专业内容也基本维持原意。英语文章润色是医学从业人员的一个重要需求，由于有大量的英语语料作为支撑，让Ferma.AI实现了理解和分析生物制药数据源的能力，成为了医学会议大模型产品。目前这家公司已提供了一个基于佛罗里达奥兰多举行的语音识别子公司NuanceCommunications发布一款AI临床笔记软件，即DragonAmbienteXperience（DAX™)Express。这是一个集成到工作流程中的自动化临床文和自然语言功能相结合的应用程序。DAXExpress扩展了久经考验的DragonMedical行政负担，使临床医生能够花更多的时间照顾患者，减少文书工作的时间。缝集成到医生的工作流程中，重塑护理服务，减少临床医生的倦怠。或通过远程医疗患者对话立即用于临床审查和完成。临床医生将受益于DragonMedical诊后，减轻认知负担。注释④第三章ChatGPT在生物医药场景测试及对比分析备一定的理解和分析能力。点评：读文献，提炼关键信息，做总结是研究人员最基本工作。ChatGPT总结起来，符合提问需求，可为研究人员提供了参考。新靶点，给出预测活性值和预测方法。果可以看出，ChatGPT只是列举了二甲双胍的部分靶点，而非最完整的答案。为避免提问多方挖掘和验证。要信息。ChatGPT系统给出了5大领域药物，然而这些内容不具有提问：蛋白网络互作分析网站点评：ChatGPT汇总了常用的网站，总结的比较好，说明基本的数据挖掘和逻辑总结），还提及两个其他的评估标准，但是否为最全答案，还需要专业人员进行深入挖掘和分析。3.2.2.挖掘和理解中国指南内容议第1次检测应在治疗后4周左右，然后每3个月疗后两年以内，建议每3~4个月检测一次。治疗两年以后，如果病毒载艾滋病患者开始治疗后什么时候检测病毒载量？多久复测？点评：ChatGTP无法捕捉这段文字来自指南，更没有该指南的相关信息，中肯的结论。提问：关于瑞新托与善思答疗效、安全性等方面对比点评：药品信息比对是重要信息。ChatGPT虽然给出了答案，但显然都是错误3.2.4.挖掘药品说明书信息（如适应症、药理机制等）提问：芍麻止痉颗粒的适应症有哪些？点评：ChatGPT的结论逻辑性很强，但是内容跟药物说明书有很大出第一轮提问：现在获批用于mHSPC治疗的药物有多少？点评：ChatGPT实现了简单的多轮问答，对替代性的简述语义有一定的理解能力，输），提问：病理分期为Ⅱ期的结肠癌，如何选择辅助化疗方案？的答案，我们可以看出，ChatGPT有一定的学习能力，通过与人类对话答案的质量。点评：以医生角色做提问，ChatGPT有一定的语义理解和信息挖掘，能站在医生的角度进行专业阐述，口语化较高。提问：筛选差异表达基因方法点评：ChatGPT可以根据医患不同角色给出响应需求的答案。但是，由于患者的提问常常更具有口语化和不规范性，其内容对于语义理解的要求更高。目前阶段，ChatGPT对ChatGPT不仅仅应用与问答与文献总结、对比，在医学信息抽取的能力上也别任务上已经可以胜任基本的业务需求，只要提示（prompt）使用得当ChatGPT在生物医药领域的实体识别能力较强，可以从识别生物医药调控机制，诱导肿瘤干细胞分化、逆转肿瘤细胞的上皮间充质表型转化（EMT）等作用，ChatGPT在生物医药领域的实体识别精确率非常高，极少出现识别错ChatGPT可以完成复杂的实体识别任务，例如非连续实体识别，在系统肿瘤细胞”中准确提取了“血液系统”和“淋巴系统”。结论不严谨，可能是提示使用不正确导致。ChatGPT不能保证稳定的实体抽取结果，同样的问题且不改变任何字符，ChatGPT在生物医药领域有很强的关系抽取能力，可以从文本中但该问题的难点在于如何正确的向ChatGPT提问题，也就是如何有效的向ChatGPT描述并诱导细胞凋亡；诱导和激活自然杀伤细胞（NK）和抗原特异性细胞毒T细胞（CTL）介控机制，诱导肿瘤干细胞分化、逆转肿瘤细胞的上皮间充质表型转化（EMT）等作用，进而在恢复耐药肿瘤细胞对药物的敏感性和抑制肿瘤转移、复发等方面发挥潜在作用。关的，对此ChatGPT的解释是“因为句子的主语和再看一个例子，ChatGPT仍然无法理解“治疗关系”，没有抽取出“前哨淋巴结活组织检查，治疗，早期乳腺癌”的关系。4）抽取结果不稳定ChatGPT不能保证稳定的关系抽取结果，同样的问题且不改变任何字符，和激活自然杀伤细胞（NK）和抗原特异性细胞毒T细胞（CTL）介导的肿瘤杀伤效果。例如增加了样本三元组“（ALND，治疗，早期乳腺癌）”,ChatGPT可以学习并输