医疗语音识别——协和探索与实践课件

1、 医疗语音识别协和探索与实践 中文医疗语音识别技术难点 医疗语音识别技术突破我院语音识别探索实践医疗语音识别应用价值语音识别应用展望中文医疗语音识别技术难点01地方方言口音多音字多音词背景环境嘈杂汽车鸣笛电话信道多人说话中文语音识别技术难点中文的发音和字是独立的，仅仅是中国大陆地区就有很多的方言，口音问题非常严重。中文有415个基本的无调音节来构成7000多个基本汉字的发音医疗语音识别技术难点医疗专业术语特殊单位切开阔筋膜并钝性分离阔筋膜张肌Cells/l个细胞每微升cmH2O厘米水柱难点特殊符号呈（-）呈阴性叁点五乘五点二厘米3.5*5.2cm医疗语音识别技术突破02语音识别（ Automa

2、tic Speech Recognition ）是将人类自然语音转换为可供计算机识别的文本信息的过程。语音识别引擎可智能识别客户语言并与其他应用系统进行匹配，是人机交互的重要接口。特征提取噪音消除端点检测编码器匹配度语法编译程序语音结果自定义语法词汇音素系统程序库语音内容语言包声学模型语法库语音识别过程语义处理语音识别技术语音识别底层算法统计学习GMM/HMM,N-Gram, SVM, CRF深度学习+大数据DNN, CNN, RNN/LSTMLSTM-CTC, Seq2Seq 1.02013年1月工业界首先把深度学习引入到智能语音交互领域深度学习 2.0 3.0通用语音识别医疗语音识别跟人一

3、样，机器需要学习学习的数据越多越精确智商越高（模型）越精确记忆力（模型复杂度）越好越精确模型：机器的知识库通用领域模型医学领域模型语言模型声学模型mpmwchfdxtb0aiuneai声母韵母利用声学模型自适应和大数据语音建模技术，解决不同地区口音/噪声对语音识别的干扰，增强声学模型的鲁棒性研究医生说话口音统计医生说话习惯收集噪声环境数据效果优化声学模型针对性结合医疗领域的大量文本术语语义知识，构建统计医疗语言模型，减少解码搜索范围，降低医疗语言识别的错误率。研究医疗术语表述收集医生常用说法构造字词关联算法效果优化语言模型Kai1tong1Cai3ling2Hua4fei4Qing3wen4f

4、ei1xing4Qu3xiao1Wo3xiang3根据医疗专业常用英文术语，精心定制医疗发音字典，提高医疗专业英文术语识别准确率效果优化英文术语效果优化个性化词库 医生的说出的医疗特殊单位、特殊符号，按照医疗行业要求进行识别和转写。已收集整理300多个。微米m微克每升g/L 微克每千克g/kg 微克每毫升g/ml 微克每分升g/dl 微克g 微国际单位每毫升IU/mL 升每分钟L/min 摄氏度千克kg 千单位每升KU/L 千单位KU 皮克每升pg/L 皮克每毫升pg/ml 皮克pg 效果优化专业硬件医疗领域语音识别效果对比项目协和专业定制科大讯飞中文识别准确率96%96%医疗词汇识别准确率9

5、3%81%医疗特殊符号识别准确率95%几乎无法识别部署方式支持私有云和公有云仅公有云基于医院专门定制支持不支持命令词控制简单回车等10个命令无我院语音识别探索实践03我院医疗语音识别应用app移动查房医技科电子病历语音输入医疗语音识别应用场景应用场景门诊电子病历语音录入病房电子病历语音录入手术休息室病历录入应用方式实时病历录入：医生通过麦克风口述病历内容，实时将语音转换为文字，并记录到电子病历系统中。电子病历应用应用场景超声科语音录入影像科语音录入病理科语音录入应用方式光标定位功能影像专用语音控制模板功能医技科室应用应用场景医生使用app语音录入患者使用app语音录入应用方式语音录入：病历录入

6、语音交互：“前面还几个人”语音搜索：“昨天胆囊手术后复用阿司匹林患者”院内app应用多方式客户端语音数据数据层语音识别服务语义理解服务接口服务数据加密服务版本管理服务院外WLAN3G4GAI层应用层网络层应用层影像、超声等报告录入技师手术记录录入护理文书录入护士生命体征录入入院宣教病历录入医生病情交代后结构化分析查房记录录入识别转写数据个性化信息数据日志数据模型管理服务个性化信息服务院内WLAN多渠道互联互通部署方式医疗语音识别应用价值04HIMSS EUROPE调查显示：语音识别的应用可提高医生录入工作20%40%效率语音识别录入方案主要集中应用在工作量高、 时间压力较大的科室。越复杂的报告

7、就越能体现语音识别录入的优点国外医疗语音识别应用效果BelgiumFinlandUKFranceAustria医疗语音录入系统已在我院病房、医技科室、手术休息区进行了一段时间的使用。为了更好的测试语音识别的效果，2015年3月到2016年3月之间我院组织医生进行了语音识别系统测试和主观体验，其中随机抽取了135个样本进行精确统计。下表为医疗领域语音识别系统的测试准确率。环境测试文本总字数错误字数准确率每百字需要医生手动修改的次数安静25690128495%2噪音25690205592%3我院医疗语音录入使用效果医生使用语音录入解决方案，医疗领域语音识别准确率超过90%针对影像科专有名词进行语音

8、识别效果优化，影像科语音识别准确率超过95%超过90%的大夫希望使用语音录入方式，以提高工作效率你愿意尝试使用语音识别技术以提高工作效率么？我院医疗语音录入实践成果国内首家提供医疗领域语音交互解决方案并有落地项目的厂商国内成长最快的智能语音交互公司专注医疗领域智能语音交互研究超过10年北京协和医院是集医疗、教学、科研于一体的大型三级甲等综合医院协和三大宝：图书馆、教授、病历初步科研成果医疗语音识别应用展望05生产智能语音录入结构化语义化数据挖掘与分析知识问答辅助决策语义搜索临床服务与科研医疗管理医疗产品医疗保险消费应用大数据大数据生产大数据消费大数据应用智慧医疗方案医生个性化针对医生口音，语言

9、习惯优化根据医生已书写的病历，训练个人语言模型科室个性化不同科室构建不同的语言模型识别结果后处理自动转换口语化的输入，使其符合书面化的病历书写规范利用上下文信息检查申请单中的诊断云端新词更新自动挖掘医疗领域新词大数据生产智能语音录入结构化基于模板关系数据模型语义化基于知识本体RDF或图模型基于自然语言处理技术的病历自动语义抽取大数据生产结构化语义化分类数据挖掘与分析方法聚类回归溯因关联规则发现时间序列分析序列模式发现偏差分析患者分群分析模型疗效分析模型疾病相似度分析模型疾病转归分析模型疾病风险预测模型回顾性人群分析模型前瞻性人群分析模型慢性病跟踪预测模型医疗数据分析模型大数据消费数据挖掘分析我眼睛不舒服，左眼疼，肿了4天，这是什么病疑似结膜炎，该种病处置方式问题应答语音大数据消费知识问答病历合规检查药品配伍分析临床路径合规检查临床指南合规检查合规检查：降低医疗事故风险用药方案推荐检查检验推荐影像辅助诊断服务医学教育辅助诊疗：提高诊疗质量大数据消费辅助决策 在患者信息库中，可以通过自然语言理解技术，多维度交叉条件搜索所需要的患者信息。昨天胆囊手术后服用了阿司匹林的患者昨天time 胆囊手术operation 后 服用 了 阿司匹林medication 的 患者时间：2016年6月15日操作：胆囊手术用药：阿司匹林