




已阅读5页,还剩3页未读, 继续免费阅读
版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
媒体认知实验课程改革与实践 杨毅1,徐淑正1,乔飞1,王靖淇2,王生进1 (1.清华大学电子工程系,北京100084;2.英特尔(中国)有限公司,北京100013) 摘?要:作为实现人机交互技术的必要途径,媒体认知技术及其领域受到越来越多的关注,媒体认知实验课程是清华大学电子信息学科在课程体系改革过程中创立的一门全新课程。文章通过阐述覆盖软件姿势操控、安卓平台人脸识别等媒体信息交互基本内容的基本项目,以及由学生自主提出与英特尔RealSense等许多国际一流技术接轨的实际项目如音乐节奏控制交互、手势模拟电脑键盘等,旨在激发学生对相关研究领域的热情与兴趣,进一步培养高层次人才的创新能力。 关键词:媒体认知;智能感知;realsense;学生自主项目 基金项目:英特尔清华xx年媒体与认知实验教学项目。 第一作者简介:杨毅,女,高级工程师,研究方向为数字信号处理,yangyymail.tsinghua.。 1媒体认知实验课程简介 信息一词在我国由来已久,但迄今为止尚未得到普遍接受的有关广义信息的定义,信息作为一个可以用严格数学公式定义的科学名词,首先出现在统计数学中,随后又出现在通信技术中1。文中的信息指的是通信系统中用于传输和处理的对象,特指消息和信号的具体内容和含义。电子信息科学与技术是以物理和数学为基础,研究通过电学形式表达操控信息的基本规律以及运用这些基本规律实现各种电子系统的方法。在进入电子时代和信息社会的今天,电子信息科学技术已渗透到各个领域2。 xx年,BillGates首次提出“自然用户界面”(naturaluserinterface)的概念并预言人机交互在未来几年会有很大的改观,键盘和鼠标将会逐渐被更自然的触摸式、视觉型以及语音控制界面所替代。与此同时,“有机用户界面”(organicuserinterface)也开始悄然兴起,其包括生物识别传感器、皮肤显示器乃至大脑与计算机直接对接,这些技术无疑都给人类的生活带来重大影响。随着计算机技术和传感器的普遍应用,现实世界也逐渐出现其“数字版”的一面,而自然人机交互技术正是现实与虚拟世界之间的桥梁。现存的或已经比较成熟的人机交互技术主要有3-4虚拟现实、增强现实、多点触控、语音识别、眼球追踪、人脸识别、体感操作、脑机界面等。 当遇到一个人的时候,大脑立即将注意力集中在对方身上并根据经验辨识出他的身份,这一过程并不是通过数百层的决策树实现,而是人脑就是知道。婴儿很难区分出两个人的不同,但我们通过多年的学习和训练可以在几分之一秒内做到。事实上,人脑也许还能准确地估摸出他们的年龄、性别、心情甚至个性,这也是让我们成就为人类的原因之一。媒体认知技术的目的就是创造类似的设备和方法,主动观察身边的世界并与人类用户操作和互动,进行自主学习,甚至可以影响人类产生新的文化和艺术,彻底改变人类从外界学习知识和与外界及其他人类互动的手段和方式。 媒体认知实验课程从媒体认知技术出发,面向电子信息学科学生设立多个全新的媒体认知实践项目与环节,通过大量实践与实验训练,帮助学生深刻理解基于数字信号处理的媒体认知基本理论,培养学生在真实环境下建模和解决问题的能力。此外,自主研究环节还可极大地激发学生的学习热情,在课内外投入大量时间进行媒体认知技术相关领域的科学探索和研究。连续几年的学生调查反馈数据表明,媒体认知实验课程提高了学生的创新能力,对进一步培养高层次人才具有很大的意义。 2媒体认知实验基本项目 人机交互的实质是媒体信息的交互。虚拟现实技术是20世纪末兴起的一种综合性信息媒体处理前沿技术,该技术作为新媒体和新一代人机交互技术,给人类带来了全新的认知体验。虚拟现实技术采用多通道媒体界面技术,显示出未来人机交互的发展趋势,即追求“人机和谐”的多维信息空间交互和自然人机交互。为了实现以上目标,机器需要通过多种媒体识别人的身体姿态、手势及语音等,判断出人的意图。 2.1软件姿势操控项目 英特尔的RealSense设备5是一种能通过采集视觉、深度、音频等多种媒体信息获得手势、语音等表征意图的智能感知设备,可以广泛应用于自然互动、沉浸式协作与创作等创新应用,能够帮助开发人员在游戏、娱乐和内容创建交互方面实现新的突破。通过设计基于RealSense的一系列媒体认知系统项目,学生可以对媒体与认知相互作用的内涵有更深入的理解。该项目的目标是利用RealSense的骨骼节点跟踪功能控制幻灯片的播放,免去演讲者按键进行幻灯片切换的过程;同时根据同样的原理,预定义一些动作实现幻灯片播放过程中需要的其他功能。实现RealSense控制幻灯片播放的主要方法包括姿势(pose)识别和手势(gesture)识别,这两种方法的本质都是通过骨骼数据的分析识别出已经定义好的动作,并根据不同的动作触发向前、向后、首页、尾页等按键的事件,使得幻灯片能够切换。不同之处在于姿势识别主要对单帧数据进行动作识别,其流程如图1所示;手势识别需要对连续多帧数据进行动作识别,其流程如图2所示。 2.2安卓平台人脸识别项目 该项目基于主成分分析(PCA)算法6,利用剑桥大学AT&T实验室的ORL人脸数据库7中的40个人、每个人10种姿态的图片样本作为训练集,将二维人脸灰度图像变换为一向量矩阵,随后计算出特征集,将矩阵规范化后,求出样本的协方差矩阵的特征值与向量,选出主成分特征向量,得到样本的特征矩阵。安卓平台人脸识别的流程如图3所示。 在训练阶段,经过预处理规范化后的图像矩阵每一列向量被投影到特征子空间,形成特征库。在识别阶段,待识别人脸图像经过预处理规范化后,同样被投影到特征子空间,使用最近邻法分类器欧几里得距离作为判决分类,将距离最小的训练图像与测试图像进行匹配。 在具体教学中,基础项目环节每一层中的实践项目都按照知识点的深度分解为多个基础题目,帮助学生从实现基础题目的角度出发主动寻找解决问题需要的各个知识点,逐步形成知识体系结构。广泛的题材和前沿的题目也激发了学生对相关领域继续深入研究的兴趣。 3媒体认知实验自主项目 自主项目是由学生提出研究题目并全部独立设计完成的一种教学方式,在媒体认知实验中作为选修环节,在设计之初主要考虑和面向部分优秀学生,但在实际教学过程中,全部学生均主动积极参与完成了自主项目环节。事实上,在学生的参与和建议下,部分学生提出的自主项目的成熟内容正在逐步转化为基本项目,这种教学相长的方式极大地调动了学生的参与性、主观能动性和创造性。完成该实验课程后,许多学生在研究生阶段继续从事该媒体认知方向的研究工作,部分自主项目如下。 3.1音乐节奏控制交互 音乐节奏控制交互类应用的目的是根据音乐节奏与其提示按下不同的键模拟敲打鼓面或者敲打鼓边,系统根据敲打鼓面或鼓边的时机判断该次击打的得分并综合得出最终评价。通过PC端进行音乐节奏控制交互的主要问题是通过键盘无法很好地进行“击鼓”这一类型的人机交互,人通过按下某个键模仿击鼓这一动作的真实感太低,不能形成很好的人机交互的用户体验。通过RealSense设备实现手势操作则可以极大提升该游戏的体验度,用户可以直接通过做出模仿击鼓的手势进行操作,增强游戏体验的同时还能开发该游戏锻炼身体的功效。音乐节奏控制交互项目界面如图4所示。 3.2手势模拟电脑键盘 键盘作为人类与计算机交互的重要工具已经有很长时间,用键盘几乎可以完成与计算机的所有交流活动。RealSense作为一种体感感知设备能够很好地实现人体和机器的交流。手势模拟电脑键盘的目的是将手势与电脑键盘一一对应起来,使得用户进行某个手势动作就相当于在电脑键盘上输入对应的键值。具体方案为首先对RealSense采集到的原始数据进行判别、加工;接着使用红外镜头提供的骨骼数据判断动作类型,发送不同指令;针对检测到多个骨骼的问题,采用提取与设备最近的目标作为主要操纵者的办法提高鲁棒性,同时在窗口绘出彩色视频流辅助调试。通过用手势替代键盘完成一些工作,并采用后台客户端模式进行封装来提高系统易用性,理论上可以无需接触键盘就完成所有键盘控制的工作。手势模拟电脑键盘项目界面如图5所示。 4结语 媒体认知实验教学课程主要涉及的内容包括媒体数据获取与人机交互、生物特征识别、虚拟交互行为及分析、智能感知与识别等交叉学科领域。通过该实验课程的建立,学生能够了解国际科学界及工业界最前沿的媒体认知及智能感知技术热点和难点问题,掌握利用平台的基础设施和设备构建并实施多种解决方案的技能。媒体认知实验作为跨行业、跨领域、跨学科的电子信息前沿综合实验课程,通过借助智能感知及人机交互知识作为工具和手段解决媒体信息处理、虚拟现实及人机交互的问题,充分挖掘和激发理工科背景的学生在交叉学科和前沿技术方面的实力和潜力,逐步实现“在传统信息领域研究优势的基础上积极拓展新兴学科,在与能源、环境、生物等学科的交叉融合中寻求广阔的创新空间”1。 参考文献: 1朱雪龙.应用信息论基础M.北京:清华大学出版社,xx:1-2. 2清华大学电子工程系EB/OL.xx-12-25.:/.ee.tsinghua./publish/ee/3684/index.html. 3张文俊.数字新媒体概论M.上海:复旦大学出版社,xx:21-101. 4沈政,方方,杨炯炯,等.认知神经科学导论M.北京:北京大学出版社,xx:14-51. 5Intel.ThisiswhereitallchangesEB/OL.xx-12-25.:/.intel./content/us/en/architecture-and-technology/realsense-overview.html. 6PearsN,LiuYH,BuntingP.3DimaginganalysisandapplicationsM.B
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 2025年心血管疾病诊断治疗模拟练习答案及解析
- 2025浙江宁波市市场监督管理局局属事业单位宁波知识产权保护中心招聘16人笔试模拟试题及答案解析
- 2026中国电气装备科学技术研究院校园招聘笔试备考试题及答案解析
- 2025年心理咨询与心理治疗案例评析模拟考试答案及解析
- 2025年口腔科学科口腔常见疾病治疗技巧模拟考试试卷答案及解析
- 2025年心身医学与心理健康病例分析模拟考试答案及解析
- 2025年老年医学老年常见病诊疗与护理模拟测试卷答案及解析
- 梅州市中石化2025秋招笔试模拟题含答案炼化装置操作岗
- 鄂尔多斯市中石油2025秋招笔试模拟题含答案数智化与信息工程岗
- 嘉峪关市中石油2025秋招面试半结构化模拟题及答案机械与动力工程岗
- 七上语文月考必考名著《朝花夕拾》高频考点简答70道
- 2025榆林镁业(集团)有限公司招聘(9人)考试参考试题及答案解析
- GB/T 10454-2025包装非危险货物用柔性中型散装容器
- 2025年秋统编版九年级上册道德与法治全册知识点复习提纲
- 2025年秋青岛版三年级数学上册第一二单元学业质量检测试题
- 铝材厂跟单员培训课件
- 硫酸安全培训与防范课件
- BIM概述课件教学课件
- 农作物施肥精准手册
- 医疗机构医疗质量安全专项整治行动自查自纠报告
- 中建土建劳务招标标准清单编制参考
评论
0/150
提交评论