091016-cslt介绍ppt - 清华大学信息技术研究院语音和语言技术中心

清华大学 信息技术研究院 师资力量 辅助教学 研究方向 历史沿革 中心定位 机构组成 近期的科研成果 历史沿革 1979年，计算机科学与技术系 语音实验室 1999年，智能技术与系统国家重点实验室语音技术中心 1986年，电子工程系 语音实验室 994年，电子工程系 语音芯片研发组 003年，清华信息科学技术国家实验室 计算机与人工智能研究部 2007年 2003年，信息技术研究院 4 中心定位 面向应用 推进创新 突出重点 厚积薄发 5 机构组成 语音识别实验室声纹识别实验室语音芯片实验室智能搜索实验室语言理解实验室资源与标准实验室金融工程研究所主 任科 研 副 主 任 教 学 副 主 任 行 政 副 主 任顾 问 委 员 会主 任 助 理信息无障碍实验室信息无障碍研究中心6 师资力量 首席科学家 张 中国科学院院士 主任 郑 方 研究员 副主任 徐明星 副教授、 夏云庆 副研究员 主任助理 邬晓钧 博士 教师队伍 教授 /研究员 /博导： 1名 副教授 /副研究员： 6名 讲师 /助理研究员： 2名 7 顾问委员会 ( 方棣棠 (清华大学计算机科学与技术系 ) 吴文虎 (清华大学计算机科学与技术系 ) 刘润生 (清华大学电子工程系 ) 客座研究员 香港科技大学 ) 8 辅助教学 本科生课程： 信号处理原理 、 数学与工程应用 、 程序设计基础 、 C程序设计与训练 研究生课程： 语音数字信号处理 、 语音信号处理 、 自然语言处理 （英文授课）、 概率图模型理论与应用 指导清华大学 9 已培养 (88名 )： 博士后： 3名 博士生： 22名 硕士生： 63名 正在培养 (32名 )： 博士生： 11名 硕士生： 21名 10 近期学生的各类获奖 优秀 /优良毕业生 (牟晓隆 1996 & 1998, 武健 1998); 系学术新秀 (武健 2000); 最佳学生论文奖 (曹文晓 009，鲍焕军 007，张欣研和吴根清 001，王帆 000，牟晓隆和徐明星 998); 微软学者奖学金 (宋战江 1999); 优秀毕业设计奖 (张欣研 2001); 清华 (刘智博 2006); 11 研究方向 共同特征声学模型语言模型语音识别音字”的转换文本挖掘语义计算智能搜索语言处理字意”的转换个 性 特 征声 纹 辨 认声 纹 确 认声 纹 识 别 V P R 这 是 谁 的 声 音 ?12 语音识别、音频处理与嵌入式系统 声纹辨认和确认 自然语言处理 标准化与资源建设 13 语音识别、音频处理与嵌入式系统 大词汇连续语音识别技术 带方言背景的语音识别技术 随意发音的语音识别技术 音频检索 嵌入式语音识别技术 14 大词汇连续语音识别技术 非特定人大词汇连续语音识别技术最具挑战性 以听写机应用研究为背景，应用前景广阔 研究内容涵盖了声学模型和语言模型，体现综合研究实力 积累了 1,000多小时的语音库 研制成功基于中文拼音理解的语言模型 研制成功了听写机原型系统，实现了将普通话朗读的语音转变为文本内容 15 带方言背景的语音识别技术 面向中国方言众多但以普通话为主要交流语言的需求；是语音识别产业化应用必须解决的核心问题之一； 方言背景（不是方言）的普通话识别为重点研究方向； 构建一个能同时支持多种口音 /方言背景和普通话输入的识别器， 通过相应的开发数据和方法，可方便地扩展到其他语言或方言 此项目部分得到美国 。 16 随意发音的语音识别技术 近年的研究重点和热点； 面向产业应用和用户的实际需求 以对话语音、电话交互语音、讲座语音等为重点研究方向； 相对于传统的朗读语音识别，难度更大，挑战更高 需要联合声学层，字典层，语言模型层，识别器层和超音段特征层综合进行处理 HU 并得到美国 17 音频检索 基于内容的音频检索 使用关键词语音识别技术，在语音流中检索包含关键词的音频内容 基于音频片断的音频检索 同源音频检索 非同源音频检索 在研项目 广播电台音频资源库管理系统 18 嵌入式语音识别技术 基于连接词的语音识别技术已经相对成熟 识别率可以达到 99%以上 程序容易移植到迁入式系统 对计算能力和硬件内存资源要求不高，成本低 开发成功专用的语音识别集成电路芯片 低功耗语音处理专用 开发研制成功嵌入式语音识别系统 基于 基于 19 各类语音识别软件 1998，汉语语音听写机 1999，关键词识别和 语音命令 20 语言学习软件 1997，大嘴英语 1998，随心所欲说英语 1999，汉语学习 21 嵌入式系统 1997，快译通 2005， 2003，嵌入式语音识别芯片 22 声纹辨认和确认 声纹识别的应用领域 声纹辨认 ( 声纹确认 ( 11 声纹识别的特点 网络应用所特有的不可接触的特点，以及声纹特征容易被获取（甚至可能是唯一可获取的）、其采集易被用户接受、所需设备成本低廉、语音可蕴涵说话人真实意图等特点， 使其可以广泛地应用于公共安全、国防安全、反恐防恐、出入境控制、金融交易、电子商务，以及个性化服务等领域。 声纹识别研究重点 噪音鲁棒性、跨信道鲁棒性、多说话人鲁棒性、短语音鲁棒性、防假冒鲁棒性、情感鲁棒性等。 23 功能强大的 24 2004，公安部鉴定 2008，北京市科技计划项目 25 由刑警学院、得意公司（ 语音技术中心（ 合承担的“司法语音自动分析和鉴别系统的研制”，于2004年 5月 29日通过了公安部科技成果鉴定会，该项技术“ 是一项创新的、国内领先的研究成果 ”。 用声纹识别身份认证系统引擎的研制”项目 2005年被北京市科委批准列入北京市科技计划项目，并于 2008年 2月28日通过了验收。“ 该课题完成了任务书中规定的各项考核指标，创新性强，达到了国际先进水平，具有广泛的应用前景 。” 26 2006，鹦鹉学舌 2007，声纹护照 27 自然语言处理 研究内容： 面向中文信息处理的核心技术探索和基础资源开发，逐步建成支撑汉语文本自动分析和内容理解的语言资源和计算处理 平台。 面向大规模 取统计和浅层语言分析相结合的机器学习方法，研制基于语义概念的智能信息检索系统。 现有的国家项目： 融合多种语言资源的汉语语义内容计算研究， 国家 863计划(2007 2008年 2010年； 搭配驱动意见挖掘， 国家自然科学基金 (60703051)， 2008年2010年。 28 文本挖掘 研究内容： 文本内涵分析 ：文本内涵特征提取和向量空间表示，基于机器学习的文本内涵分析 博客文本挖掘 ：文本主题挖掘，文本情感挖掘，文本观点倾向性挖掘 博客舆情分析 ：博客热点话题跟踪，博客敏感信息检测，博客情感检测，博客网络舆情分析，博客社会网络分析 应用成果： 数码产品和服务业评价挖掘和搜索 音乐智能搜索和推荐 博客舆情分析和博客社会网络挖掘 29 智能搜索 研究内容： 基于自然语言理解技术 ，集成了基于主题森林的对话管理技术，文本自动分析、分类和索引技术，用户输入容错理解技术 集成化开发环境 ，使得开发人员可以快速、方便地开发面向 “垂直搜索 /智能信息检索 ”的系统 应用成果： 在旅游、酒店、票务、招聘、租房、歌曲、汽车、金融以及电子产品等领域提供快速、准确地智能信息检索服务 30 语义计算 汉语句子的句法块自动分析工具 可针对经过切分和词性标注处理的汉语句子，自动分析出其中双层次的句法块边界和句法标记信息 汉语句子的事件目标动词自动义项排歧工具 可自动确定这些目标动词反映的客观事件内容和相应的语义角色框架信息 汉语句子的语义块自动识别工具 根据上面确定的事件目标动词语义框架信息，分析确定与该目标动词相关联的各个句法块的语义角色标记，得到句子的完整事件内容描述 汉语段落的事件关系网络分析工具 利用上面工具识别出的各个句子的事件内容描述，进行基于情境网络和语义公理的知识推理，建立段落中各个事件及其描述单元之间的内在联系，形成局部事件关系网络，据此可以完成对段落中描述的各个事件内容的初步理解 31 对话系统 1999，校园导航 2002，航班订票 2004，对话系统集成开发环境 32 领域、多模态 2009，搜多多综合智能信息服务平台（已在广州全面上线） 33 文本挖掘系统 2006，电子产品评价搜索 2008，歌曲搜索与推荐 34 标准化与资源建设 关注语音和语言技术领域的标准化动态，积极参与并推动相关标准的制修订与实施。 作为中文语音交互技术标准工作组成员，负责制定原国家信产部 自动声纹识别（说话人识别）技术规范 行业标准，并已颁布；参与语音识别和语音合成标准的制定。 负责全国安全防范报警系统标准化技术委员会人体生物特征识别应用分技术委员会（ 关生物特征识别应用标准的制修订工作。 语音标准工作组研讨会在清华召开 35 建设并管理多种语音和语言资源，为语音技术和语言技术 的研发提供支持。 发起建立了国际中文语言资源联盟（ )，与国内外知名大学、研究机构、企业等完成了面向语音和语言、音频和视频等数据库资源，提供数据资源，创造数据资源的共享平台，促进中文语音语言技术的发展。 与美国约翰霍普金斯大学合作，建立了全球第一套完成的中文自发式语音数据库和标注系统，及面向语音应用的汉语吴方言语音、文本和字典资源。 36 由 自动声纹识别（说话人识别）技术规范 标准，已于 2008年 3月 10日正式颁布， 11380这是我国第一个关于“声纹识别”的标准 。