人工智能交互技术及应用 教学大纲

《人工智能交互技术》课程教学大纲一、课程基本信息课程名称人工智能交互技术英文名称ArtificialIntelligenceInteractionTechnology课程编码SAI4015开课学期4课程性质☑必修□选修考核方式☑考试□考查课程类别□理论课☑理论课（含实践）□实践课课程学分4□通识课□学科基础课☑专业课课程学时总学时（68）理论学时（36）实践学时（32）适用专业人工智能先修课程数据与人工智能思维训练、概率论与数理统计选用教材[1]洪青阳，李琳.语音识别原理与应用[M].北京：电子工业出版社，2022.参考书目[1]张雄伟.智能语音处理[M].北京：机械工业出版社，2020.[2]洪弘.语音信号处理[M].北京：\t"/item/%E8%AF%AD%E9%9F%B3%E4%BF%A1%E5%8F%B7%E5%A4%84%E7%90%86/_blank"清华大学出版社，2023.[3]张鸿涛.图解机器学习和深度学习入门[M].北京：\t"/item/%E8%AF%AD%E9%9F%B3%E4%BF%A1%E5%8F%B7%E5%A4%84%E7%90%86/_blank"化学工业出版社，2023.参考资源吉林外国语大学网络教学平台：/portal科大讯飞人才呀学习平台：http://rencaiya.vip/home二、课程简介本课程是人工智能专业的必修基础课程，旨在系统讲授智能语音、计算机视觉为主的综合性专业课程，承载了科大讯飞在行业领域内多年深耕的经验与技术。课程内容涵盖语音信号处理、语音信号特征提取、语音端点检测，声纹识别、语音合成及计算机视觉技术等基础问题，结合Python编程实践，培养学生解决复杂问题的能力。通过案例分析与实验操作，理解语音交互、物体识别等多模态智能交互技术，未来从事人工智能相关工作时，能够将理论与实践更好的结合。通过本课程学习，学生将获得智能语音与计算机视觉领域的主流技术及框架，为语音识别、图像处理等研究方向铺垫，为未来在人工智能领域的持续发展奠定坚实基础。ThiscourseisacompulsorybasiccourseforArtificialIntelligencemajors,aimingtosystematicallyteachacomprehensiveprofessionalcoursefocusingonIntelligentSpeechandComputerVision,whichcarriesyearsofexperienceandtechnologydeeplycultivatedintheindustrybyiFLYTEK.Thecoursecoversbasicissuesofspeechsignalprocessing,speechsignalfeatureextraction,speechendpointdetection,voiceprintrecognition,speechsynthesisandcomputervisiontechnology,andcombineswithPythonprogrammingpracticetocultivatestudents'abilitytosolvecomplexproblems.Throughcasestudiesandexperimentaloperations,studentswillunderstandmultimodalintelligentinteractiontechnologiessuchasvoiceinteractionandobjectrecognition,andwillbeabletobettercombinetheoryandpracticewhenengaginginAI-relatedworkinthefuture.Throughthiscourse,studentswillacquirethemainstreamtechnologiesandframeworksinthefieldofintelligentspeechandcomputervision,pavingthewayforspeechrecognition,imageprocessingandotherresearchdirections,andlayingasolidfoundationforfuturesustainabledevelopmentinthefieldofartificialintelligence.三、课程目标1.知识目标1.1掌握智能交互技术的基础理论能够准确阐述智能交互技术的定义、核心研究领域（如语音识别、图像处理等），以及从基础算法到深度学习的技术演变历程，理解其在现代科技发展中的基础性作用。1.2深入理解语音技术处理技术通过理论学习和案例分析，解释语音特征分析、语音增强与降噪、MFCC特征提取及语音端点检测技术的基本原理，并能对比不同技术的应用场景。1.3了解计算视觉与目标检测技术的理论基础能够描述OpenCV技术及其在计算视觉领域的应用逻辑，解释目标检测技术的核心区别，并通过具体案例（如人脸识别）理解其实际应用场景。2.能力目标2.1能运用讯飞开放平台进行语音处理通过编程实践，例如使用讯飞开放平台进行语音识别与合成，掌握Python语言在语音处理中的关键技巧，并能通过调试与优化提升代码效率，培养解决实际问题的工程能力。2.2具备图像处理与分类的实际应用能力通过案例分析（如物体分类），能运用所学知识完成基本的图像分类任务，并对计算视觉有初步的应用能力。3.情感价值观目标3.1通过国产AI技术激发爱国情怀与使命感结合“中国AI白皮书”及科大讯飞等国内企业在智能交互技术领域的突破性进展，深入讨论这些成就对国家科技竞争力的贡献。思考如何将自己的职业规划与国家在人工智能领域的发展战略相结合，增强爱国情怀和为国奉献的使命感。3.2培养数据隐私保护意识，遵守人工智能伦理规范通过对真实案例（如语音或图像数据滥用事件）的深度分析，探讨AI伦理原则，包括但不限于公平性、透明性和责任分配。在设计和实施项目时制定详尽的数据保护方案，并考虑潜在的伦理问题，以增强职业道德责任感和社会担当。3.3激发探索精神，树立终身学习的职业理念借助AI技术快速迭代的实际例子（例如语音识别技术的进步），研究特定技术的发展历程和未来趋势。撰写个人职业发展计划，设定学习目标并参与开源社区和技术论坛，以促进持续学习的习惯养成和积极探索的精神。教学内容及学时分配教学内容及学时分配表（单位：学时）：学时数项目合计理论实践第一章智能交互技术概要与工具使用422第二章语音特征分析技术422第三章语音降噪算法实战844第四章MFCC特征提取技术642第五章声纹识别技术与实战应用1266第六章语音识别&语音合成14410第七章图像处理技术与应用1284第八章计算机视觉技术与应用862总计683632五、课程思政元素与融入路径根据教育部《课程思政建设指导纲要》的精神，本课程旨在通过智能交互技术的教学，不仅传授专业知识，更注重价值引领。在知识目标中融入中国特色社会主义理论体系，强调科技自主创新的重要性；能力目标中结合讯飞开放平台实践，激发学生的爱国情怀与使命感，鼓励为国家科技进步贡献力量；情感价值观目标中深化对AI伦理的理解，培养学生尊重数据隐私、遵守职业道德的责任感，并倡导终身学习理念，以适应技术快速发展。通过案例分析和项目实施，将这些思政元素自然地融入到课程教学中，实现知识传授与价值引领的有机统一。六、课程教学模式及方法本课程采用“理论学习+实践操作+思政教育”三位一体的教学模式。首先，通过系统化的理论讲解，帮助学生掌握智能交互技术的基础知识与前沿动态。其次，结合讯飞开放平台等实际工具进行编程实践，提升学生的动手能力和解决实际问题的能力。最后，将思想政治教育融入到专业课教学中，利用案例分析和项目实施等方式，引导学生树立正确的世界观、人生观和价值观，增强爱国情怀和社会责任感。主要主要教学方式方法如下课堂讲授：对于基础理论部分，如智能交互技术的定义及其技术演变历程，采用传统的课堂讲授法，确保学生对基本概念有清晰的理解。案例分析：在讲述语音处理技术和计算视觉技术时，引入具体的应用案例（如听歌识曲，人脸识别等），让学生能够更好地理解抽象概念，并学会如何将其应用于实践中。实验实训：使用讯飞开放平台等工具进行实际操作练习，包括语音识别、图像分类等任务，通过动手实践强化所学知识，培养学生的工程能力和创新精神。小组讨论：围绕AI伦理规范和数据隐私保护等话题组织小组讨论，鼓励学生表达个人观点，促进思想碰撞，加深对职业道德和社会责任的认识。项目驱动学习：安排综合性项目作业，要求学生综合运用所学知识完成特定任务，在实践中发现问题并解决问题，同时注重项目的社会价值导向，激发学生的使命感和职业理想。七、考核与成绩评定1.成绩评定方式本课程为考试课，采取过程性考核评价与结果性评价相结合的形式。过程性考核评价占比40%，结果性评价占比60%。过程性考核结果性考核环节1及权重环节2及权重环节3及权重环节4及权重分值权重平时作业16%40阶段测验8%20课堂实践16%40课堂表现0%10060%2.过程性考核评价标准环节1：平时作业（1）考核内容在阶段学习结束后，教师在学习通上发布作业，考查学生对该阶段内容的掌握程度。（2）评价标准平时作业满分均为100分，根据具体题量及重要程度赋分，取所有平时作业平均分作为最终分数。环节2：阶段测验（1）考核内容在课程中期，教师在学习通上发布阶段测验，知识点涵盖所有已教授单元和章节，重点考察作业中的同类型重点题，难点题和易错题。通过这些具有代表性的题目，考查学生对课程难点和重点内容的掌握程度，为后续教学提供有针对性的指导和调整。（2）评价标准阶段测验满分100分，根据具体题量及重要程度赋分，超星学习通平台自动阅卷评分。环节3：课堂实践（1）考核内容通过实验室操作、项目开发等形式进行，要求学生独立或分组完成指定任务，并提交最终结果。每次实践设置满分100分，取所有课堂实践的平均分作为最终分数。（2）评价标准评价指标评价要点分值评价等级（分值）ABCD代码正确性提交文档中是否包含技术实现结果，是否满足实践要求，代码能否正确运行，是否存在抄袭情况100100-9089-8079-6059-0环节4：课堂表现（1）考核内容课堂表现不占考核比例，仅作为加减分考核项目。教师通过学生出勤和在课堂提问、线上讨论、课堂展示等互动活动中的参与次数进行综合考查，考核成绩在过程性评价成绩中进行分数的加减。（2）评价标准参与互动活动情况评价维度（有效次数）加分分值减分分值5次及以上5分1分/次5次以下1分/次出勤：仅作为课堂表现的参考因素，迟到、早退、请假均扣1分/次，无故缺课扣2分/次；无故缺课超过1/4学时或病事假超过1/2学时，取消考试资格。3.结果性评价本课程结果性评价为期末笔试，采取闭卷的形式，考试按教学大纲的要求进行，由授课教师命题，试卷满分100分，考试时长120分钟。考核内容覆盖课程核心知识点、算法实现能力及技术伦理分析能力。期末考试内容包括单选题（20%）、多选题（15%）、判断题（15%）、填空题（15%）、程序分析题（20%）、简答题（15%）。试卷采取流水作业评卷。课程考试命题双向细目表如下：课程考试命题双向细目表课程内容（单元/章节）分值题型及题量难度及分值认知维度及分值课程目标及分值选择题多选题判断题填空题程序分析题简答题易中难记忆理解应用高阶目标知识目标能力目标情感价值观目标一第一章智能交互技术概要与工具使用142132105549140950二第二章语音特征分析技术1421231093273401040三第三章语音降噪算法实战1421231010404343770四第四章MFCC特征提取技术1331130146343601030五第五章声纹识别技术与实战应用93021016300360603六第六章语音识别与语音合成93021015131080603七第七章图像处理与卷积神经网络2021222185773551055八第八章计算机视觉技术与应用73010012140043430全卷10020515155549282332164111622711八、分章节教学安排第1单元智能交互技术概要与工具使用【教学内容】智能交互技术概要（支撑课程目标1.1、3.1）了解智能语音和计算视觉的内容及其在人工智能交互中的作用。理解声音信号的表示、智能语音的应用场景。工具使用（支撑课程目标1.2）掌握Python编程语言的基本概念和特点。学习Anaconda环境及其在科学计算中的作用。掌握PyCharm集成开发环境（IDE）的基本操作和使用。【课程思政融入点】结合智能交互技术的发展历程及现状，介绍中国在该领域的突破性进展，激发学生的爱国情怀和社会责任感。在讲解Python设计哲学时，强调创新思维的重要性，并鼓励学生勇于探索未知领域。利用团队合作完成小项目的方式，强化学生的合作意识和社会责任观念。【思考题】如何利用智能交互技术改善日常生活？Python在智能交互技术中的优势有哪些？【拓展学习资源】网站：Anaconda官方网站教材：洪青阳，李琳.语音识别原理与应用第2单元语音特征分析技术【教学内容】语音特征分析（支撑课程目标1.1、1.3）理解语音特征的基本概念及其在智能语音技术中的重要性。掌握语音信号的时域和频域特征提取方法。使用Librosa库进行语音特征提取并分析结果。了解智能语音的应用场景。【课程思政融入点】实施路径：通过讲解语音特征分析技术在国家安全（如身份验证）、隐私保护等领域的应用，引导学生思考技术的社会影响和个人责任。例如，讨论语音识别技术如何在保障公共安全的同时保护个人隐私。【思考题】如何优化语音特征提取以提高识别精度？在实际应用中，如何平衡语音识别准确率与用户隐私保护？【拓展学习资源】网站：Librosa官方文档教材：洪青阳，李琳.语音识别原理与应用第一章第3单元语音降噪算法实践【教学内容】语音增强和语音降噪（支撑课程目标1.1、1.3）理解语音降噪技术的基本概念和重要性。掌握经典谱减法的基本原理和实现方法。熟悉维纳滤波法在语音降噪中的应用。能够使用Python类和实例实现语音降噪功能。【课程思政融入点】实施路径：通过介绍语音降噪技术在医疗（如远程诊断）、教育（在线教学）、公共服务（智能客服）等领域的实际应用，引导学生认识到技术对社会服务的价值，并激发他们为改善社会贡献力量的愿望。具体方法：组织小组讨论会，让学生分享自己认为语音降噪技术可以改进的社会场景，并提出解决方案。这不仅有助于提升学生的社会责任感，还能促进创新思维的发展。重点：掌握语音降噪的核心技术和其实现方法。策略：采用理论讲解结合实践操作的教学方式，帮助学生理解复杂的数学模型；提供详细的代码示例，指导学生进行实际操作。【思考题】在不同的应用场景下，如何选择最适合的语音降噪算法？如何评估语音降噪算法的效果？有哪些指标可以用来衡量？第4单元MFCC特征提取技术【教学内容】MFCC特征提取技术（支撑课程目标1.1、1.2）理解MFCC（Mel频率倒谱系数）特征的基本概念及其在语音和音频处理中的重要性。掌握MFCC特征提取的流程及实现方法。探讨MFCC特征的功能性，如在情感分析中的应用。能够使用Librosa库进行MFCC特征的自动化提取与分析。【课程思政融入点】实施路径：强调职业素养和道德修养的重要性，特别是在技术应用中如何负责任地处理数据。具体方法：通过介绍MFCC在情感分析等人性化应用中的作用，引导学生关注技术对人类情感关怀的影响。【思考题】在不同的应用场景下，如何选择最适合的特征提取方法？如何评估MFCC特征提取的效果？有哪些指标可以用来衡量？第5单元声纹识别技术与实战应用【教学内容】声纹识别技术与实战应用（支撑课程目标1.1、1.3）双门限法语音端点检测。理解声纹识别的基本概念和重要性。掌握声纹识别的流程及实现方法。MFCC-GMM方法的原理。GMM模型的构建和拟合。使用Librosa库和scikit-learn库进行声纹识别。【课程思政融入点】实施路径：介绍声纹识别的概念及其在个体身份鉴别中的重要性，通过讨论声纹识别技术对社会安全和个人隐私的影响，增强学生的社会责任感。强调技术开发者应遵循的职业道德标准，确保技术用于正当目的。具体方法：探讨声纹识别技术可能带来的伦理问题，如滥用风险和隐私保护措施。鼓励学生思考并提出解决方案，以促进负责任的技术开发和应用。【思考题】如何提高声纹识别系统的准确性和鲁棒性？在实际应用中，如何平衡声纹识别的安全性和用户便利性？第6单元语音识别&语音合成【教学内容】开放平台调用——语音识别&语音合成（支撑课程目标1.1、2.1、2.2）了解讯飞开放平台及其核心特性。理解语音识别通信原理，包括WebSocket与Flask的双向通信原理及消息加密与鉴权过程。掌握在Python环境下实现语音识别和语音合成的方法。使用讯飞开放平台进行实际操作练习，如调用API完成语音转文字和文字转语音的任务。【课程思政融入点】实施路径：通过介绍讯飞开放平台的功能及其在中国智能语音技术领域的领先地位，激发学生的爱国情怀和技术自信。讨论语音识别和语音合成技术如何服务于社会各领域，特别是对残障人士的帮助，强