人工智能技术在医学领域的应用课件

人工智能技术在医学领域的应用PPT人工智能技术在医学领域的应用PPT1目录1、AI人工智能医疗建设背景2、AI人工智能医疗需求分析3、AI人工智能医疗规划设计4、AI人工智能医疗建设运营目录1、AI人工智能医疗建设背景2DNN在语音识别上的成功CNN在图像识别上的成功深度学习（Hinton2006）第三次浪潮60年历经2次起伏，现在已经进入美国《AI产业发展规划》AI首次写入《政府工作报告》2000第二次AI冬天1990第二次黄金期第五代计算机失败，DARPA削减投入Hopfield网络&BP算法第五代计算机兴起1956Dartmouth会议1970第一次黄金期LogicTheorist第一款人工智能软件Perceptron第一款神经网络软件1980第一次AI冬天人工智能的第三次高速发展建立在信息化的普及和行业大数据的积累的基础上因此更有可能在一定的领域内解决实际问题并获得前所未有的成功。人工智能的三次浪潮DNNCNN深度学习（Hinton2006）60年历经2次3人工智能几大类符号学派联结学派行为学派神经网络知识表示机器人模拟人的心智模拟脑的结构模拟人的行为聪明的AI有学识的AI深度学习知识图谱感知识别判断思考语言推理贝叶斯学派进化学派类推学派人工智能几大类符号学派联结学派行为学派神经网络知识表示机器人4人工智能几大类人工智能产业生态的三层基本架构基础资源层：主要是计算平台和数据中心，属于计算智能；技术层：通过机器学习建模，开发面向不同领域的算法和技术，包含感知智能和认知智能；应用层：主要实现人工智能在不同场景下的应用。基础资源支撑人工智能几大类人工智能产业生态的三层基本架构基础资源支撑5人工智能几大类智能云平台人工智能几大类智能云平台6人工智能几大类语义理解智能检索与问答数据关联探索业务动态扩展非结构化数据计算机难以理解数据使用专业程度过高多元异构数据难以融合数据模式动态变迁困难结构化数据数据融合自由扩展数据模式行业智能问答业务需求技术方案数据挑战人工智能几大类语义理解智能检索与问答数据关联探索业务动态扩展7空间变化带来了认知的新门类、新通道、新计算P物理空间C信息空间H人类社会自然科学工程技术多媒体与传感信息大数据自主装备大数据、互联网社区VRAR人机交互学习、预测、创造社会科学新认知新门类：认识复杂巨系统：城市运行系统、环境生态系统、健康医疗系统（科学+工程+社会+影响）新通道：给自然科学、工程技术、社会科学提供了新途径、新方法新计算：AI2.0：建立在新老空间的互动CH、CP之上的AI空间变化带来了认知的新门类、新通道、新计算PCH自然科8浅层次动因：需求、环境和技术浅层次动因：需求、环境和技术社会新需求爆发：智能城市、智能医疗、智能交通、智能游戏、无人驾驶、智能制造等等AI的基础和目标巨变：大数据、多媒体、传感器网、增强实现（AR）、虚拟实现（VR）等等计算机模拟人的智能人机智能群体智能信息环境巨变：互联网、移动计算、超级计算、穿戴设备、物联网、云计算、网上社区、万维网、搜索引擎等等人工智能迈向新一代浅层次动因：需求、环境和技术浅层次动因：需求、环境和技术9运算智能能存会算感知智能能听会说，能看会认认知智能能理解会思考人工智能的三个阶段运算智能感知智能认知智能人工智能的三个阶段10智能语音交互：使信息时代各种信息机器像人一样“能听会说”的技术，包括语音合成、语音识别和自然语言理解等可以将任意的文字信息转化为自然流畅的语音,相当于给机器装上了人工嘴巴可以将语音中内容、说话人、语种等信息识别出来，相当于给机器装上了人工耳朵可以对自然语言进行语义理解给出适合的指令集合，相当于给机器赋予人工的大脑语音合成技术语音识别技术自然语言理解感知智能：语音交互技术智能语音交互：使信息时代各种信息机器像人一样“能听会说”的技11目录1、AI人工智能医疗建设背景2、AI人工智能医疗需求分析3、AI人工智能医疗规划设计4、AI人工智能医疗建设运营目录1、AI人工智能医疗建设背景12三甲医院影像检查数量多可用阅片时间短医师工作压力大基层医院医师数量不足阅片经验欠缺诊断质量不高辅助诊疗中心三甲医院影像检查数量多基层医院医师数量不足辅助诊疗中心13患者超声检查需要记录大量检查内容，例如产科、心脏超声检查等至少需要记录10几项数据，医生在检查过程中没有时间和空间进行记录。轮转及进修医生不足的情况时有发生，在夜班及轮转进修医生不足情况下医生一个人独立完成超声在效率和质量上肯定会有所舍弃，然而转录员的招聘无疑会增加医院的各项成本和管理难度。超声科智能语音助理主要以下功能实现：（1）超声检查过程实时录音；（2）语音调出超声检查模板；（3）录音实时识别并填充结构化模板；（4）将模板引入到电子病历系统中进行保存。通过语音识别+超声科模板的方式真正改变传统超声科病历录入模式智能超声语音助理患者超声检查需要记录大量检查内容，例如产科、心脏超声检查等至14缺点：查房过程中医嘱或病程关键信息无法录入或者录入非常麻烦；移动查房安全认证机制在便捷性和安全性无法平衡；平板PAD等设备数量有限，医生需交接设备。传统临床医生查房移动查房时代缺点：需携带病历夹，非常麻烦；患者诊疗及检查检验信息获取效率低；查房记录信息重复录入电脑人工智能查房时代对接医院HIS、EMR、RIS、LIS、PACS等信息系统资源；支持手机、PAD终端的IOS、Android系统；查房过程中医嘱或病程关键信息语音直接录入最高效，终端和工作站同步；声纹人脸融合安全认证机制，易用安全。云医声移动医护工作站缺点：查房过程中医嘱或病程关键信息无法录入或者录入非常麻烦；15病人全景数据实时呈现智能语音交互自然语言搜索患者记录语音录入查房记录，医嘱，处方等根据病人信息推送相关指南、文献云医声移动医护工作站病人全景数据实时呈现云医声移动医护工作站16目录1、AI人工智能医疗建设背景2、AI人工智能医疗需求分析3、AI人工智能医疗规划设计4、AI人工智能医疗建设运营目录1、AI人工智能医疗建设背景17人工智能辅助诊疗中心智慧医院智医助理基于医疗人工智能云人工智能辅助诊疗中心智慧医院智医助理基于医疗人工智能云181个医学人工智能平台，诊前、诊中、诊后3个场景，门诊、住院、移动等7个核心应用产品，能力互享、业务互通。智慧医院●医学人工智能平台导诊导医机器人智能病史采集门诊/住院语音电子病历医疗语音录入系统移动医护平台影像辅助诊断院后智能随访诊前诊中诊后智慧医院整体解决方案1个医学人工智能平台，诊前、诊中、诊后3个场景，门诊、住院、19医学人工智能平台智能语音识别智能语音合成自然语言理解医学图像识别医疗大数据分析OCR识别等医

•学

•知

•识提供语音识别、自然语言理解、OCR、医疗影像辅助诊断算法及模型、基于认知智能的辅助诊疗算法及模型医学人工智能平台智能语音识别医•学•知•识提供语20使用数据集学习肺癌阳性数据学习，不到半年时间：达到普通三甲医院影像科专家水平VS系统检测+人工核对，避免疲劳、疏忽造成的漏诊、误诊系统快速稳定处理高精度影像，有效降低漏检率，提升工作效率机器+人工工作强度高，长期疲劳工作：平均100-150例/天，病情复杂时超过200张/例，平均阅片每例<5min观察粗略，细小病灶易漏诊：受限于时间，普遍观察厚层图像，细节信息丢失，造成小结节等漏诊人工阅片人工智能辅助诊疗中心使用数据集学习肺癌阳性数据学习，不到半年时间：达到普通三甲医21人工智能辅助诊疗中心影像科医生专家诊断经验专家标注数据海量医疗数据有效降低漏检，提升效率海量影像数据海量临床信息医学专家知识影像中心体检机构CNN医学图像识别RNN良恶性预测良恶性判断病灶分析……基于深度学习的医学影像处理技术人工智能辅助诊疗中心影像科医生专家诊断经验海量医疗数据有效22电子病历患者主诉/疾病史/检验检查……可能的疾病建议及置信度深度学习决策器海量医学资源医学知识证据读取器证据海量医学资源疾病资源疾病读取器疾病知识候选疾病相似病例推荐诊疗方案建议语音识别语义解析主诉问诊患者症状检查等信息智医助理-人工智能诊疗新模式电子病历患者主诉/疾病史/检验检查可能的疾病建议及置信度深度23智医助理减负提升获得感签约居民居民健康管理健康评估指导移动语音建档智能随访辅助诊疗辅助诊断分析家庭医生赋能，增效语音电子病历HIS系统双向转诊公卫系统电子病历妇幼保健数据互通辅助影像诊断医生培训临床思维培训临床指南智医助理减负提升获得感签约居民居民健康管理健康评估指导移动语24慢性病随访预约体检统计计免接种提醒语音交互语音识别数据分析归类通话录音统计分析语义理解

合肥市庐阳区杏林社区服务中心每日需随访重点人群60人次左右，每通电话平均时长3分钟，整理档案平均每人2分钟。人工操作随访助手拨打电话3小时10分钟档案整理2小时自动整理接通率65%（1次拨打）75%（2次重播）有效对话92%83%4倍随访能力提升20%家庭医生履约率提升20倍工作时间节省智医助理-家庭医生随访考核与满意度调查慢性病随访预约体检统计计免接种提醒语音交互语音识别数据分析归25人工智能辅助诊疗中心人工智能辅助诊疗中心重大项目建设影像云建设第三方机构对接心电分析眼部筛查皮肤肺部疾病乳腺癌病理阿兹海默症心血管骨科胃癌甲状腺探索常态化使用模式人工智能辅助诊疗中心人工智能重大项目建设影像云建设第三方机构26导诊导医机器人导诊人员配备有限护理人员的短缺是全球护理工作的一个难题；部分医院护士编制有限，导诊服务人员并不全由护士担任；部分医院只在门诊大厅设有导诊咨询台，更难满足病人的需要；医院扩容后，导诊人员需求量大增。导诊人员水平有限存在非护士专业人员担任，缺乏专业知识和岗位经验；部分医院缺乏对导诊导医岗位的专业培训；就诊人数日益增多，对导诊人员的要求大大提高。导诊工作缺乏统一工作标准导诊、分诊和咨询工作缺乏具体的工作标准和工作流程；导诊服务人员服务质量考核标准也需进一步完善。导诊导医机器人导诊人员配备有限护理人员的短缺是全球护理工作的27麦克风：7+1麦克风阵列1300万像素高清摄像头工业滑轮底盘，行走速度20cm/s，最快可达60cm/s13.3寸1080P高清显示屏语音交互决策、智能应答触屏点击路线指引医学常识问答智能分诊便捷业务办理满意度调查院内导航指引报告单查询…….手势识别人脸识别语音识别语音合成语音理解医学知识库导诊导医机器人麦克风：7+1麦克风阵列1300万像素高清摄像头工业滑轮底盘28检查+记录2人合作检查后记录2倍时间病历模板不能涵盖患者情况纸质病历，信息极少，医院没存无法管理科门诊医生，针对每个患者需要记录患者的主诉、病史、检查、诊断等内容，并编写病历。诊疗过程中门诊医生在牙椅旁边没有时间和空间进行病历记录。诊疗结束后，医生再撰写病历耗费大量时间，也存在遗忘患者病情信息的可能。门诊语音电子病历检查+记录检查后记录病历模板不能涵盖患者情况纸质病历，信息极29定制领夹式麦克风接收器发射器麦克风门诊电子病历系统主要功能患者列表病历录入患者预约历史患者既往病历模板管理统计分析病历检索+门诊语音电子病历定制领夹式麦克风接收器发射器麦克风门诊电子病历系统患者列表病30多麦克风阵列，超低功耗，续航>12H超心形波束指向，降噪>20dB医生诊治过程全程录音实时语音识别返回识别结果、结构化电子病历调用自然语言理解服务院内医疗语音云医学术语识别准确率超过98%效率提升400%门诊语音电子病历多麦克风阵列，超低功耗，续航超心形波束指向，降噪医生诊治过31门诊电子病历系统现场使用情况门诊语音电子病历门诊电子病历系统现场使用情况门诊语音电子病历32医疗语音录入系统医疗语音录入系统33医疗语音录入系统语音输入拼音功能专用符号语音输入专业定制麦克风

一分钟400字，字准确率95%以上。在医学文本数据方面，积累了数百万的医学专有名词、几百G的语料文本、覆盖各科室病历等术语和各类医学文献资料。

核心引擎运算优化技术，持续提升响应时间，基于云服务，在保障快速响应的同时又节约了建设和运维成本。采用智能拼音引擎，内置百万词库，覆盖海量日常用语，并且针对医疗领域加入也加入了80万常用词库。

10mltid36.4℃120次/分124/80

mmHg77.9%；100ng/mL；g/L专业级定制麦克风，具备定向、识音和主动降噪功能、优化医生声音采集，能够自动屏蔽无关语音信息并实现全语音交互控制下的语音病历高质量录入。医疗语音录入系统语音输入拼音功能专用符号语音输入专业定制麦克34医疗人工智能应用效果97%医学语音识别率达识别率95%病历结构化比例结构化率平均病历书写效率提升效率4X100%电子病历使用率增加使用率医疗人工智能应用效果97%医学语音识别率达识别率95%病历结35导诊导医机器人交互次数统计8月20号开始每周交互次数4215次增加到每周30000，最近一周单台机器人日均1089次每周在周三、周四使用最多12点~13：00时段机器人交互达到最高峰(排除闲聊的数据)导诊导医机器人交互次数统计8月20号开始每周交互次数421536门诊语音电子病历数据统计8月20日之后，使用量提升43倍（8月1日-9月30日电子病历书写份数共计：145份，常用医生仅4个。10月一整个月使用量314份，使用医生数量已增加为6位常用医生。11月1日-11月17日仅13天使用量为1124份门诊语音电子病历数据统计8月20日之后，使用量提升43倍（837智能超声语音助理8月20号至今，超声科从120份/周左右使用量，增加到460份/周左右使用语音报告，截止昨天共完成2540份语音报告，其中心动科全科室已可常态化使用；现场持续优化完善心动及B超医生使用的模板，更新6个版本，截止今日共计增加知识词条超过150多个，增加模板20多个，使得医生日常使用过程中更便捷。智能超声语音助理8月20号至今，超声科从120份/周左右使38云医声移动医护工作站注：数据截止9月底目前已全院上线，累计注册用户1238，日活跃用户约340，每日启动次数超1500次较8月20日之前总体使用量提升40%对比使用用户活跃用户平均每天启动次数过去七天活跃用户语音病历提交数量10/16-10/2011443011338.26261510/23-10/2711663141374.26281710/30-11/0311683141366.66351511/06-11/1012083341451.46691511/13-11/1712383401536.8673云医声移动医护工作站注：数据截止9月底目前已全院上线，累计注39人工智能已经学习到：53本医学院教科书（覆盖“十二五”普通高等教育本科国家级规划所有教材）200万去标识化真实电子病历6000多篇中英文临床指南40万医疗文献及病历报告人工智能在首次通过执业医师资格考试笔试8月26—27日，在国家卫生计生委、省卫计委的指导下，与清华大学联合研发的人工智能“智医助理”机器人在国家医学考试中心监管下参加了2017年临床执业医师综合笔试测试，并以456分通过此次考试。利用此技术基础研发基于人工智能技术的辅助诊疗应用解决基层医生技术水平不足的问题，真正达到分级诊疗、双向转诊的目标智医助理人工智能已经学习到：人工智能在首次通过执业医师资格考试笔试智40目录1、AI人工智能医疗建设背景2、AI人工智能医疗需求分析3、AI人工智能医疗规划设计4、AI人工智能医疗建设运营目录1、AI人工智能医疗建设背景41医院投入产出分析从经济效益角度来看，医疗人工智能的投入产出比高。只需要相对较小的投入，即可为医院节省大量隐性成本，创造可观的经济效益。投入产出比高医院投入产出分析从经济效益角度来看，医疗人工智能的投入产出比4243平台维护任务平台日常维护平台定期维护平台升级维护平台扩展维护平台紧急维护制定平台维护方案手册监控日志平台的异常警报监控各服务器的平台参数监控平台的运行状况7X24小时维护监控定期现场设备和网络维护状况定期数据库和日志备份软件和防火墙升级维护操作平台漏洞补丁升级维护业务功能升级维护网络流量扩展维护平台访问量负载扩展维护平台数据库负载扩展维护网络故障紧急维护断电故障紧急维护硬件故障紧急维护软件和防火墙故障紧急维护业务应用程序故障紧急维护数据库故障紧急维护.运维与交接管理43平台维护任务平台日常维护平台定期维护平台升级维护平台扩展4344平台维护任务.运维与交接管理交接准备期：维护部门为了加深对信息化平台的业务和技术了解，可以在平台建设、上线试运行阶段，按照主管部门要求安排人员参与信息化平台建设阶段的工作内容。启动交接的前提：平台必须上线后投入试运行三个月以上，且运行稳定无重大事故，幷通过主管部门和最终客户的认可。交接过程：主管部门组织交接双方及业务部门共同召开维护交接启动会，协商确定交接内容、步骤和时间，形成维护交接计划表，明确维护交接各阶段职责分工、工作要求。交接工作具体分为“文档资料与物品交接”、“技术转移”、“账户权限交接”三方面。交接确认：召开交接确认会，确认平台功能、文档资料交接、技术转移培训、账户权限交接完毕幷达到要求，形成平台交接备忘录，签字确认。44平台维护任务.运维与交接管理交接准备期：维护部门为了加深4445培训方案之对象、方式和流程为了使医院各方参与人员都能更加深入了解项目的产品性能及应用，帮助参与人员学会使用平台，掌握相关技巧，避免错误的使用方式，幷解答学员疑惑，我方将针对本项目提供技术培训。人员注意包括：领导决策人员业务操作人员开发技术人员平台维护人员本项目培训方式：集中专题培训：与大平台建设、项目管理以及平台运行管理相关的培训平台建设管理方法培训：专业技术培训，分为平台管理员培训和平台操作员培训。项目现场培训：派遣安装调试工程师在安装现场负责完成平台培训任务。培训地点根据情况与用户共同商议确定。培训流程：首先，项目需求调研完成之后，根据计划展开用户的分层培训，分层培训可幷行展开。其次，遵循定制培训计划、明确培训用户、确认培训安排和培训环境、展开培训、培训考核、二次培训考核、模拟环境演练、最终考核评价的流程。45培训方案之对象、方式和流程为了使医院各方参与人员都能更加4546培训对象应用平台的全体操作使用人员培训对象作用平台正常运行的最基本和最关键的参与者学时数X天内容计算机基础知识和操作技能以及应用软件的操作技能的培训授课人员培训讲师培训效果（1）目标：操作人员熟悉产品的日常操作操作人员能够操作软件，幷按照标准操作软件操作人员能够报告幷描述异常错误或操作（2）考核：上机操作。培训人数需求调研时予以确认培训地点以当地集中培训为主，结合部分现场培训培训方式交互式教学培训时间程序开发测试确认、基础数据准备完成之后备注以上计划在需求调研之后可能进行部分调整培训方案之对象、方式和流程46培训对象应用平台的全体操作使用人员培训对象作用平台正常运4647技术转移结果检验转移结果检验需从转移方和接收方，两方面的成效进行判定。即我方的转移工作检验和医院用户的学习检验，这两个方面。我方技能转移工作检验：检验方式通过《培训满意度调查表》，检验每次集中授课培训成效；通过《知识转移验收表》，认同我方最终技能转移成效。评价人员所有需接受培训人员项目领导委员会结果处理满意度或最终验收不合格，我方需调整培训计划，进行再培训或补充转移知识，直至满意。检验方式考试：笔试+上机检验对象/内容平台最终用户本岗业务流程及规范、本岗平台功能操作平台管理员总体业务流程及规范、全平台功能操作、维护开发技术平台维护人员企业管理人员总体业务流程及规范、决策支持功能操作评价人员我方拟定考核内容及搭建上机考试环境，评判考核结果医院审核考核内容及考核结果检验时间平台实施阶段培训完成后，平台上线试运行之前结果处理考试合格人员可以上岗操作；考试不合格人员进行再培训，若补考仍不合格，建议转岗。医院用户技能实际学习检验，根据以往实施项目的经验和本项目技能转移目标，我方建议对转移结果的检验方式如下：47技术转移结果检验转移结果检验需从转移方和接收方，两方面的47建设运营建维结合，持续完善医院数字化是一个长期的过程，需要全盘的规划，有利的组织，保障的资金，逐步建成较为完备的数字化医院体系，扩大信息系统应用范围。数字化逐步深入，信息系统规模扩大，业务对信息系统依赖变强，运行维护管理工作要规范，确保建好的系统可用医院信息化建设应在应用中持续改进、稳步推进流程改造，优化医院运作模式，使医院数字化不断完善、提高建设运营建维结合，持续完善医院数字化是一个长期的过程，需要全48售后服务体制双轨服务体制由技术工程师和服务人员组成双轨售后服务三层服务体制从服务规划、服务实施和突发问题三个层面提供技术服务售后服务理念以最优的产品和最佳的服务是我们的服务理念7×24小时双轨三层服务体制售后服务体制双轨服务体制由技术工程师和服务人员组成双轨售后服49用人工智能服务健康中国用人工智能服务健康中国人工智能技术在医学领域的应用PPT人工智能技术在医学领域的应用PPT51目录1、AI人工智能医疗建设背景2、AI人工智能医疗需求分析3、AI人工智能医疗规划设计4、AI人工智能医疗建设运营目录1、AI人工智能医疗建设背景52DNN在语音识别上的成功CNN在图像识别上的成功深度学习（Hinton2006）第三次浪潮60年历经2次起伏，现在已经进入美国《AI产业发展规划》AI首次写入《政府工作报告》2000第二次AI冬天1990第二次黄金期第五代计算机失败，DARPA削减投入Hopfield网络&BP算法第五代计算机兴起1956Dartmouth会议1970第一次黄金期LogicTheorist第一款人工智能软件Perceptron第一款神经网络软件1980第一次AI冬天人工智能的第三次高速发展建立在信息化的普及和行业大数据的积累的基础上因此更有可能在一定的领域内解决实际问题并获得前所未有的成功。人工智能的三次浪潮DNNCNN深度学习（Hinton2006）60年历经2次53人工智能几大类符号学派联结学派行为学派神经网络知识表示机器人模拟人的心智模拟脑的结构模拟人的行为聪明的AI有学识的AI深度学习知识图谱感知识别判断思考语言推理贝叶斯学派进化学派类推学派人工智能几大类符号学派联结学派行为学派神经网络知识表示机器人54人工智能几大类人工智能产业生态的三层基本架构基础资源层：主要是计算平台和数据中心，属于计算智能；技术层：通过机器学习建模，开发面向不同领域的算法和技术，包含感知智能和认知智能；应用层：主要实现人工智能在不同场景下的应用。基础资源支撑人工智能几大类人工智能产业生态的三层基本架构基础资源支撑55人工智能几大类智能云平台人工智能几大类智能云平台56人工智能几大类语义理解智能检索与问答数据关联探索业务动态扩展非结构化数据计算机难以理解数据使用专业程度过高多元异构数据难以融合数据模式动态变迁困难结构化数据数据融合自由扩展数据模式行业智能问答业务需求技术方案数据挑战人工智能几大类语义理解智能检索与问答数据关联探索业务动态扩展57空间变化带来了认知的新门类、新通道、新计算P物理空间C信息空间H人类社会自然科学工程技术多媒体与传感信息大数据自主装备大数据、互联网社区VRAR人机交互学习、预测、创造社会科学新认知新门类：认识复杂巨系统：城市运行系统、环境生态系统、健康医疗系统（科学+工程+社会+影响）新通道：给自然科学、工程技术、社会科学提供了新途径、新方法新计算：AI2.0：建立在新老空间的互动CH、CP之上的AI空间变化带来了认知的新门类、新通道、新计算PCH自然科58浅层次动因：需求、环境和技术浅层次动因：需求、环境和技术社会新需求爆发：智能城市、智能医疗、智能交通、智能游戏、无人驾驶、智能制造等等AI的基础和目标巨变：大数据、多媒体、传感器网、增强实现（AR）、虚拟实现（VR）等等计算机模拟人的智能人机智能群体智能信息环境巨变：互联网、移动计算、超级计算、穿戴设备、物联网、云计算、网上社区、万维网、搜索引擎等等人工智能迈向新一代浅层次动因：需求、环境和技术浅层次动因：需求、环境和技术59运算智能能存会算感知智能能听会说，能看会认认知智能能理解会思考人工智能的三个阶段运算智能感知智能认知智能人工智能的三个阶段60智能语音交互：使信息时代各种信息机器像人一样“能听会说”的技术，包括语音合成、语音识别和自然语言理解等可以将任意的文字信息转化为自然流畅的语音,相当于给机器装上了人工嘴巴可以将语音中内容、说话人、语种等信息识别出来，相当于给机器装上了人工耳朵可以对自然语言进行语义理解给出适合的指令集合，相当于给机器赋予人工的大脑语音合成技术语音识别技术自然语言理解感知智能：语音交互技术智能语音交互：使信息时代各种信息机器像人一样“能听会说”的技61目录1、AI人工智能医疗建设背景2、AI人工智能医疗需求分析3、AI人工智能医疗规划设计4、AI人工智能医疗建设运营目录1、AI人工智能医疗建设背景62三甲医院影像检查数量多可用阅片时间短医师工作压力大基层医院医师数量不足阅片经验欠缺诊断质量不高辅助诊疗中心三甲医院影像检查数量多基层医院医师数量不足辅助诊疗中心63患者超声检查需要记录大量检查内容，例如产科、心脏超声检查等至少需要记录10几项数据，医生在检查过程中没有时间和空间进行记录。轮转及进修医生不足的情况时有发生，在夜班及轮转进修医生不足情况下医生一个人独立完成超声在效率和质量上肯定会有所舍弃，然而转录员的招聘无疑会增加医院的各项成本和管理难度。超声科智能语音助理主要以下功能实现：（1）超声检查过程实时录音；（2）语音调出超声检查模板；（3）录音实时识别并填充结构化模板；（4）将模板引入到电子病历系统中进行保存。通过语音识别+超声科模板的方式真正改变传统超声科病历录入模式智能超声语音助理患者超声检查需要记录大量检查内容，例如产科、心脏超声检查等至64缺点：查房过程中医嘱或病程关键信息无法录入或者录入非常麻烦；移动查房安全认证机制在便捷性和安全性无法平衡；平板PAD等设备数量有限，医生需交接设备。传统临床医生查房移动查房时代缺点：需携带病历夹，非常麻烦；患者诊疗及检查检验信息获取效率低；查房记录信息重复录入电脑人工智能查房时代对接医院HIS、EMR、RIS、LIS、PACS等信息系统资源；支持手机、PAD终端的IOS、Android系统；查房过程中医嘱或病程关键信息语音直接录入最高效，终端和工作站同步；声纹人脸融合安全认证机制，易用安全。云医声移动医护工作站缺点：查房过程中医嘱或病程关键信息无法录入或者录入非常麻烦；65病人全景数据实时呈现智能语音交互自然语言搜索患者记录语音录入查房记录，医嘱，处方等根据病人信息推送相关指南、文献云医声移动医护工作站病人全景数据实时呈现云医声移动医护工作站66目录1、AI人工智能医疗建设背景2、AI人工智能医疗需求分析3、AI人工智能医疗规划设计4、AI人工智能医疗建设运营目录1、AI人工智能医疗建设背景67人工智能辅助诊疗中心智慧医院智医助理基于医疗人工智能云人工智能辅助诊疗中心智慧医院智医助理基于医疗人工智能云681个医学人工智能平台，诊前、诊中、诊后3个场景，门诊、住院、移动等7个核心应用产品，能力互享、业务互通。智慧医院●医学人工智能平台导诊导医机器人智能病史采集门诊/住院语音电子病历医疗语音录入系统移动医护平台影像辅助诊断院后智能随访诊前诊中诊后智慧医院整体解决方案1个医学人工智能平台，诊前、诊中、诊后3个场景，门诊、住院、69医学人工智能平台智能语音识别智能语音合成自然语言理解医学图像识别医疗大数据分析OCR识别等医

•学

•知

•识提供语音识别、自然语言理解、OCR、医疗影像辅助诊断算法及模型、基于认知智能的辅助诊疗算法及模型医学人工智能平台智能语音识别医•学•知•识提供语70使用数据集学习肺癌阳性数据学习，不到半年时间：达到普通三甲医院影像科专家水平VS系统检测+人工核对，避免疲劳、疏忽造成的漏诊、误诊系统快速稳定处理高精度影像，有效降低漏检率，提升工作效率机器+人工工作强度高，长期疲劳工作：平均100-150例/天，病情复杂时超过200张/例，平均阅片每例<5min观察粗略，细小病灶易漏诊：受限于时间，普遍观察厚层图像，细节信息丢失，造成小结节等漏诊人工阅片人工智能辅助诊疗中心使用数据集学习肺癌阳性数据学习，不到半年时间：达到普通三甲医71人工智能辅助诊疗中心影像科医生专家诊断经验专家标注数据海量医疗数据有效降低漏检，提升效率海量影像数据海量临床信息医学专家知识影像中心体检机构CNN医学图像识别RNN良恶性预测良恶性判断病灶分析……基于深度学习的医学影像处理技术人工智能辅助诊疗中心影像科医生专家诊断经验海量医疗数据有效72电子病历患者主诉/疾病史/检验检查……可能的疾病建议及置信度深度学习决策器海量医学资源医学知识证据读取器证据海量医学资源疾病资源疾病读取器疾病知识候选疾病相似病例推荐诊疗方案建议语音识别语义解析主诉问诊患者症状检查等信息智医助理-人工智能诊疗新模式电子病历患者主诉/疾病史/检验检查可能的疾病建议及置信度深度73智医助理减负提升获得感签约居民居民健康管理健康评估指导移动语音建档智能随访辅助诊疗辅助诊断分析家庭医生赋能，增效语音电子病历HIS系统双向转诊公卫系统电子病历妇幼保健数据互通辅助影像诊断医生培训临床思维培训临床指南智医助理减负提升获得感签约居民居民健康管理健康评估指导移动语74慢性病随访预约体检统计计免接种提醒语音交互语音识别数据分析归类通话录音统计分析语义理解

合肥市庐阳区杏林社区服务中心每日需随访重点人群60人次左右，每通电话平均时长3分钟，整理档案平均每人2分钟。人工操作随访助手拨打电话3小时10分钟档案整理2小时自动整理接通率65%（1次拨打）75%（2次重播）有效对话92%83%4倍随访能力提升20%家庭医生履约率提升20倍工作时间节省智医助理-家庭医生随访考核与满意度调查慢性病随访预约体检统计计免接种提醒语音交互语音识别数据分析归75人工智能辅助诊疗中心人工智能辅助诊疗中心重大项目建设影像云建设第三方机构对接心电分析眼部筛查皮肤肺部疾病乳腺癌病理阿兹海默症心血管骨科胃癌甲状腺探索常态化使用模式人工智能辅助诊疗中心人工智能重大项目建设影像云建设第三方机构76导诊导医机器人导诊人员配备有限护理人员的短缺是全球护理工作的一个难题；部分医院护士编制有限，导诊服务人员并不全由护士担任；部分医院只在门诊大厅设有导诊咨询台，更难满足病人的需要；医院扩容后，导诊人员需求量大增。导诊人员水平有限存在非护士专业人员担任，缺乏专业知识和岗位经验；部分医院缺乏对导诊导医岗位的专业培训；就诊人数日益增多，对导诊人员的要求大大提高。导诊工作缺乏统一工作标准导诊、分诊和咨询工作缺乏具体的工作标准和工作流程；导诊服务人员服务质量考核标准也需进一步完善。导诊导医机器人导诊人员配备有限护理人员的短缺是全球护理工作的77麦克风：7+1麦克风阵列1300万像素高清摄像头工业滑轮底盘，行走速度20cm/s，最快可达60cm/s13.3寸1080P高清显示屏语音交互决策、智能应答触屏点击路线指引医学常识问答智能分诊便捷业务办理满意度调查院内导航指引报告单查询…….手势识别人脸识别语音识别语音合成语音理解医学知识库导诊导医机器人麦克风：7+1麦克风阵列1300万像素高清摄像头工业滑轮底盘78检查+记录2人合作检查后记录2倍时间病历模板不能涵盖患者情况纸质病历，信息极少，医院没存无法管理科门诊医生，针对每个患者需要记录患者的主诉、病史、检查、诊断等内容，并编写病历。诊疗过程中门诊医生在牙椅旁边没有时间和空间进行病历记录。诊疗结束后，医生再撰写病历耗费大量时间，也存在遗忘患者病情信息的可能。门诊语音电子病历检查+记录检查后记录病历模板不能涵盖患者情况纸质病历，信息极79定制领夹式麦克风接收器发射器麦克风门诊电子病历系统主要功能患者列表病历录入患者预约历史患者既往病历模板管理统计分析病历检索+门诊语音电子病历定制领夹式麦克风接收器发射器麦克风门诊电子病历系统患者列表病80多麦克风阵列，超低功耗，续航>12H超心形波束指向，降噪>20dB医生诊治过程全程录音实时语音识别返回识别结果、结构化电子病历调用自然语言理解服务院内医疗语音云医学术语识别准确率超过98%效率提升400%门诊语音电子病历多麦克风阵列，超低功耗，续航超心形波束指向，降噪医生诊治过81门诊电子病历系统现场使用情况门诊语音电子病历门诊电子病历系统现场使用情况门诊语音电子病历82医疗语音录入系统医疗语音录入系统83医疗语音录入系统语音输入拼音功能专用符号语音输入专业定制麦克风

一分钟400字，字准确率95%以上。在医学文本数据方面，积累了数百万的医学专有名词、几百G的语料文本、覆盖各科室病历等术语和各类医学文献资料。

核心引擎运算优化技术，持续提升响应时间，基于云服务，在保障快速响应的同时又节约了建设和运维成本。采用智能拼音引擎，内置百万词库，覆盖海量日常用语，并且针对医疗领域加入也加入了80万常用词库。

10mltid36.4℃120次/分124/80

mmHg77.9%；100ng/mL；g/L专业级定制麦克风，具备定向、识音和主动降噪功能、优化医生声音采集，能够自动屏蔽无关语音信息并实现全语音交互控制下的语音病历高质量录入。医疗语音录入系统语音输入拼音功能专用符号语音输入专业定制麦克84医疗人工智能应用效果97%医学语音识别率达识别率95%病历结构化比例结构化率平均病历书写效率提升效率4X100%电子病历使用率增加使用率医疗人工智能应用效果97%医学语音识别率达识别率95%病历结85导诊导医机器人交互次数统计8月20号开始每周交互次数4215次增加到每周30000，最近一周单台机器人日均1089次每周在周三、周四使用最多12点~13：00时段机器人交互达到最高峰(排除闲聊的数据)导诊导医机器人交互次数统计8月20号开始每周交互次数421586门诊语音电子病历数据统计8月20日之后，使用量提升43倍（8月1日-9月30日电子病历书写份数共计：145份，常用医生仅4个。10月一整个月使用量314份，使用医生数量已增加为6位常用医生。11月1日-11月17日仅13天使用量为1124份门诊语音电子病历数据统计8月20日之后，使用量提升43倍（887智能超声语音助理8月20号至今，超声科从120份/周左右使用量，增加到460份/周左右使用语音报告，截止昨天共完成2540份语音报告，其中心动科全科室已可常态化使用；现场持续优化完善心动及B超医生使用的模板，更新6个版本，截止今日共计增加知识词条超过150多个，增加模板20多个，使得医生日常使用过程中更便捷。智能超声语音助理8月20号至今，超声科从120份/周左右使88云医声移动医护工作站注：数据截止9月底目前已全院上线，累计注册用户1238，日活跃用户约340，每日启动次数超1500次较8月20日之前总体使用量提升40%对比使用用户活跃用户平均每天启动次数过去七天活跃用户语音病历提交数量10/16-10/2011443011338.26261510/23-10/2711663141374.26281710/30-11/0311683141366.66351511/06-11/1012083341451.46691511/13-11/1712383401536.8673云医声移动医护工作站注：数据截止9月底目前已全院上线，累计注89人工智能已经学习到：53本医学院教科书（覆盖“十二五”普通高等教育本科国家级规划所有教材）200万去标识化真实电子病历6000多篇中英文临床指南40万医疗文献及病历报告人工智能在首次通过执业医师资格考试笔试8月26—27日，在国家卫生计生委、省卫计委的指导下，与清华大学联合研发的人工智能“智医助理”机器人在国家医学考试中心监管下参加了2017年临床执业医师综合笔试测试，并以456分通过此次考试。利用此技术基础研发基于人工智能技术的辅助诊疗应用解决基层医生技术水平不足的问题，真正达到分级诊疗、双向转诊的目标智医助理人工智能已经学习到：人工智能在首次通过执业医师资格考试笔试智90目录1、AI人工智能医疗建设背景2、AI人工智能医疗需求分析3、AI人工智能医疗规划设计4、AI人工智能医疗建设运营目录1、AI人工智能医疗建设背景91医院投入产出分析从经济效益角度来看，医疗人工智能的投入产出比高。只需要相对较小的投入，即可为医院节省大量隐性成本，创造可观的经济效益。投入产出比高医院投入产出分析从经济效益角度来看，医疗人工智能的投入产出比9293平台维护任务平台日常维护平台定期维护平台升级维护平台扩展维护平台紧急维护制定平台维护方案手册监控日志平台的异常警报监控各服务器的平台参数监控平台的运行状况7X24小时维护监控定期现场设备和网络维护状况定期数据库和日志备份软件和防火墙升级维护操作平台漏洞补丁升级维护业务功能升级维护网络流量扩展维护平台访问量负载扩展维护平台数据库负载扩展维护网络故障紧急维护断电故障紧急维护硬件故障紧急维护软件和防火墙故障紧急维护业务应用程序故障紧急维护数据库故障紧急维护.运维与交接管理43平台维护任务平台日常维护平台定期维护平台升级维护平台扩展9394平台维护任务.运维与交接管理交接准备期：维护部门为了加深对信