人工智能多媒体计算课件 媒体与多媒体

CS330MIP–Lecture4媒体与多媒体MultimediaDevelopmentLecture04ContentsReview

ofLecture03MediaMultimediaLatestDevelopmentofMultimediaModalitiesHomework03(PPT)SubmittedBySunday–

TemplateWillbeProvidedonBBSurvey,List3MostImportantInformationProcessingAlgorithmsforaModality,andGiveReasonsforYourSelection.Assignmentisdividedaccordingto:SurveyText:StudentIDendswith0and5SurveyAudio:StudentIDendswith1and6SurveyImage:StudentIDendswith2and7SurveyGraphics:StudentIDendswith3and8SurveyAnimationandVideo:StudentIDendswith4and91List3informationprocessingalgorithms1.SurveyText:62.SurveyAudio:73.SurveyImage:44.SurveyGraphics:75.SurveyAnimationandVideo:31TextTF-IDF:3Word2Vec:2BERT:2词袋模型:3wordembedding:2文本分类（SVM、朴素贝叶斯）:2自然语言处理（NLP）:1信息抽取算法:1Transfomer:1Seq2seq:21Text:by汤嘉阳词袋模型：词袋模型是将文本表示为单词的集合，忽略单词顺序和语法，仅考虑单词出现的频率，常用于文本分类、情感分析等任务。词嵌入：将文本数据转换为密集向量表示，通过学习词语之间的语义关系和语法结构，提供了更丰富的语义信息。词嵌入常用于文本分类、语义相似度计算、命名实体识别等任务，有助于提高文本处理和理解的效果。文本分类算法：文本分类算法用于将文本数据分为不同的类别或标签，常见的算法包括朴素贝叶斯、支持向量机（SVM）、深度学习模型等，广泛应用于垃圾邮件过滤、情感分析、新闻分类等任务，是文本处理中的关键算法之一。1Text:by

虞快自然语言处理（NLP）算法：NLP算法能够帮助处理文本数据，包括词义理解、语法分析等，对于文本数据的理解至关重要。对于以文本形式呈现的调查，NLP算法可以帮助分析文本内容，理解学生的观点、意见或回答。文本分类算法：文本分类算法能够对文本进行分类，帮助整理和组织大量的文本信息，为后续分析提供基础。在调查中，可以利用文本分类算法将学生的回答或评论按照不同的主题或类别进行分类，以便进一步分析和处理。信息抽取算法：信息抽取算法能够从文本中提取有价值的信息，例如从文章中提取实体、关系等重要信息。在调查中，这种算法可以帮助提取关键信息，例如学生的姓名、观点、建议等，以便更好地理解和利用调查结果。1Audio快速傅立叶变换(FFT):3梅尔频率倒谱系数(MFCC):3隐马尔可夫模型（HMM）:1WaveNet:1Tacotron2:1DeepSpeech:1深度学习（CNN、RNN）:1DynamicTimeWarping:1自适应滤波器算法:1音频压缩MPEG:3Echosuppression:1Noisesuppression:1语音识别:1AudioFeatureExtractionAlgorithm:11Audio:by王一舟自适应滤波器算法：利用输入音频与参考音频的相关性来估计噪声，从而对输入音频去噪的技术。对于AI理解信号而言，去噪是基础且必要的一项技术。噪声的存在会极大地干扰其他任务。1Audio:by王一舟梅尔频率倒谱系数：用于音频信号的特征提取，将频谱特性表示为有较好判别性的特征向量。相比于单一维度的音频序列，具有多维度的特征向量能表示更多的含义，有助于AI理解。（在大语言模型中，文字也会被转化为特征向量）1Audio:by王一舟MP3压缩算法：采用感知编码原理，根据人耳对声音的感知特性，将对听觉影响较小的信号部分丢弃或减少精度，从而实现较高的压缩比。对于音频信息的保存和传播而言，压缩算法减小了音频信息所需的存储空间以及宽带压力，使得音乐能通过互联网广泛地进入人们的生活；对于机器学习而言，压缩音频可以提高训练速度，减小内存需求，使得机器能够利用大数据进行训练。1Audio:by黄德赐快速傅里叶变换（FFT）：FFT能将音频信号从时域转换到频域。FFT使我们能够分析音频信号的频率成分，这对于音频压缩、音质增强、噪声消除等多种应用至关重要梅尔频率倒谱系数（MFCC）：MFCC是在语音识别和音频分类中广泛使用的一种特征提取算法。通过模拟人类耳朵对不同频率声音的感知差异，MFCC能有效地捕捉到音频的基本特性。这种特性使得MFCC在声音识别、音乐信息检索和情感分析等领域有效。深度学习：最近几年深度学习在音频处理领域非常有效，尤其是CNN和RNN等深度学习算法，在音频分类、语音识别、音乐生成等任务中展现出了卓越的性能。深度学习算法能够从大量音频数据中学习复杂的特征表示，从而使音频分析和处理的精度及应用范围得到大幅度扩展。1ImageCanny边缘检测算法:1Hough变换算法:1区域生长算法:1CNNSVMGNN:1图像压缩算法:1图像三维重建:1图像特征提取:11Image:by曹栗1.Canny边缘检测算法：Canny算法是一种经典的图像边缘检测算法，具有高精度和低错误率的特点。在医学影像处理中，准确地检测图像中的边缘信息对于诊断和分析至关重要，Canny算法能够有效地提取出清晰的边缘信息，有助于后续的特征提取和分割工作。2.Hough变换算法：Hough变换算法可以用于检测图像中的直线、圆等特定形状，对于医学影像中需要定位和分析特定形状结构的情况非常有用。例如，在X光片中检测骨折处的直线，或者在MRI图像中检测器官的圆形边界，Hough变换能够帮助准确地识别这些结构。3.区域生长算法：区域生长算法是一种用于图像分割的方法，能够根据像素之间的相似性将图像分割成不同的区域。在医学影像中，需要对不同组织或器官进行分割和分析，区域生长算法可以根据像素的灰度值或其他特征将其分割出来，为后续的量化分析和诊断提供支持。1GraphicsEdgeDetection:1RayTracing:5TextureMapping:2光栅化（Rasterization）:2阴影算法（ShadowAlgorithms）:1辐射度方法:1光柱化算法:2多边形填充算法:1深度学习算法4快速傅里叶变换:2图像分类

分割

重建:11Graphics:by胡清畅1.RayTracing光线追踪

通过追踪光线从摄像机到场景中物体表面的路径，可以模拟出逼真的光影效果，包括阴影、反射和折射等，在电影制作、游戏开发和可视化等领域被广泛应用。2.Rasterization拉斯特化将图形对象转换为由像素组成的图像，能够高效地处理大量的几何数据。3.PolygonFillingAlgorithms多边形填充算法用于确定多边形区域内的像素点，以便对其进行着色或渲染。为图形的填充和着色提供了基础，是实现复杂图形渲染的必要步骤。1AnimationandVideo视频增强:1目标检测和跟踪:2视频压缩:2帧间预测算法:1关键帧:1逆运动学:1深度学习:11AnimationandVideo:

by陈蕾1.目标检测和跟踪算法：理由：目标检测和跟踪算法能够自动提取物体轨迹，分析物体随时间的行为，并识别复杂的动作和事件，促进了智能视频分析、AR和动画特效等各种应用。2.基于深度学习的视频分析算法理由：基于深度学习的视频分析算法能够实现更加精确和复杂的视频处理任务，例如识别特定对象、生成逼真的合成视频等。3.帧间预测算法：理由：帧间预测算法通过利用相邻帧之间的相关性来减少视频数据的冗余，它能够显著降低视频文件的大小，同时保持视频流畅自然的视觉效果。1AnimationandVideo:

by冯泽欣1.KeyframeAnimation(关键帧)：确定特定时间点的对象动态，然后用算法九三中间的帧，产生运动的感觉。2.VideoCompressionAlgorithms(视频压缩算法)：识别冗余信息，以最小的视觉损失质量将他们抛弃，从而缩小视频文件的大小。例如：MPEG,H.264,H.265。3.InverseKinematics(逆运动学)：

该算法在角色动画中十分重要，其逆向工作，为肢体或物体定义运动的重点，然后计算该运动所需要的关节运动。MOJOAR0.48mm（14000PPIMicroLED）隐形计算InvisibleComputingLetUsSeeWhatTheyAre?

Text/Sound/Image/Animation/Graphics/VideoLecture04ContentsReview

ofLecture03MediaMultimediaLatestDevelopmentofMultimediaModalities“Media”fromDictionary5MediaTypes5MediaTypesStorageMediumStorageMediumPresentationMediumRepresentationMediumPerceptionMediumServerCommunicationNetworkEnd-User“Media”fromBing21/22/23/24

-

From

PapertoPCtoMobile.FromMassMediatoSocialMediaSocialMediaSocialmediaisaphrasethatwethrowaroundalotthesedays,oftentodescribewhatwepostonsitesandapps

like

Facebook,

Twitter,

Instagram,

Snapchat

andothers.Soyoucaninferthatsocialmediaareweb-basedsitesthatallowpeopletointeractwitheachother.社交媒体（SocialMedia）指互联网上基于用户关系的内容生产与交换平台。社交媒体是人们彼此之间用来分享意见、见解、经验和观点的工具和平台，现阶段主要包括社交网站、微博、微信、博客、论坛、播客等等。SomeSocialMediaSomeSocialMediaSocialMediaWeMedia自媒体自媒体是指普通大众通过网络等途径向外发布他们本身的事实和新闻的传播方式。“自媒体”。是普通大众经由数字科技与全球知识体系相连之后，一种提供与分享他们本身的事实和新闻的途径。是私人化、平民化、普泛化、自主化的传播者，以现代化、电子化的手段，向不特定的大多数或者特定的单个人传递规范性及非规范性信息的新媒体的总称.NewMedia新媒体新媒体是利用数字技术，通过计算机网络、无线通信网、卫星等渠道，以及电脑、手机、数字电视机等终端，向用户提供信息和服务的传播形态。从空间上来看，“新媒体”特指当下与“传统媒体”相对应的，以数字压缩和无线网络技术为支撑，利用其大容量、实时性和交互性，可以跨越地理界线最终得以实现全球化的媒体。InternationalizedChinaNewMediaTikTok’suniqueArtificialIntelligence(“AI”)algorithmthatinterpretsusers’behavioranddeliverscontentbasedonthoseinterpretations.

InternationalizedChinaNewMediaMassMedia–MediatoMassWhatisNext

for

Media?Cross-Media:interactionbetweendifferentmediatypesOneCurrent

iMED

Research

Topic–

IntelligentCross-MediaLecture04ContentsReview

ofLecture03MediaMultimediaLatestDevelopmentofMultimediaModalitiesMultimediaMultimedia–Baidu词条MultimediaRelatedConceptsMultimedia

ComputingAssume:S1,...Snaresynchronizeddatastreamsfromsensors.ThesedatastreamshaveKtypesofdataintheformofimagesequence,audiostream,motiondetector,andsoon.Further,letM1,...,Mnbemetadata(dataaboutdata)includingannotations,foreachstream.Thismetadatamightincludethesensor’slocationandtype,viewpoint,angles,cameracalibrationparameters,oranyothersimilarparametersrelevanttothedatastream.Inmostcases,featuredetectorsmustbeappliedtoeachdatastreamtoobtainfeaturesthatarerelevantinagivenapplication.LetusrepresentfeaturestreamFij,whereFijisthejthfeaturestreamfromSi.MultimediaComputingMultimediacomputingandcommunicationtechniquesCombinethedatasetSianditsfeaturestreamFijusingthemetadataMitoextractinformationabouttheenvironmentrequiredtosolveagivenproblem.Inthisprocess,thesystemoftenCombinepartial,sometimesuncertain,informationfrommultiplesourcestogetmorecompleteandreliableinformationabouttheenvironment.MultimediaandMonomediaComputingAdefiningdifferenceinmultimediafrommonomedia(K=1)fieldslikecomputervisionoraudioprocessingisthatinmultimedia,partialinformationfrommultiplemediasources

iscorrelatedandcombinedtogetcompleteinformationabouttheenvironment.Multimedia

TechnologiesLecture04ContentsReview

ofLecture03MediaMultimediaLatestDevelopmentofMultimediaModalitiesLatestDevelopmentofMultimediaModalitiesLatestNLPdevelopmentLatestAudioProcessingdevelopmentLatestImageProcessingdevelopment123456LatestAnimationProcessingdevelopmentLatestGraphicProcessingdevelopmentLatestVideoProcessingdevelopmentGemini–LatestNLPDevelopmentGemini–LatestNLPDevelopmentGemini–LatestNLPDevelopmentGemini–LatestNLPDevelopmentGemini–LatestNLPDevelopmentLatestDevelopmentofMultimediaModalitiesLatestNLPdevelopmentLatestAudioProcessingdevelopmentLatestImageProcessingdevelopment123456LatestAnimationProcessingdevelopmentLatestGraphicProcessingdevelopmentLatestVideoProcessingdevelopmentGemini–LatestAudioProcessingDevelopmentGemini–LatestAudioProcessingDevelopmentGemini–LatestAudioProcessingDevelopmentGemini–LatestAudioProcessingDevelopmentGemini–LatestAudioProcessingDevelopmentLatestDevelopmentofMultimediaModalitiesLatestNLPdevelopmentLatestAudioProcessingdevelopmentLatestImageProcessingdevelopment123456LatestAnimationProcessingdevelopmentLatestGraphicProcessingdevelopmentLatestVideoProcessingdevelopmentGemini–LatestImageProcessingDevelopmentGemini–LatestImageProcessingDevelopmentGemini–LatestImageProcessingDevelopmentGemini–LatestImageProcessingDevelopmentGemini–LatestImageProcessingDevelopmentLatestDevelopmentofMultimediaModalitiesLatestNLPdevelopmentLatestAudioProcessingdevelopmentLatestImageProcessingdevelopment123456LatestAnimationProcessingdevelopmentLatestGraphicProcessingdevelopmentLatestVideoProcessingdevelopmentGemini–LatestAnimationProcessingDevelopmentGemini–LatestAnimationProcessingDevelopmentGemini–LatestAnimationProcessingDevelopmentGemini–LatestAnimationProcessingDevelopmentGemini–LatestAnimationProcessingDevelopmentLatestDevelopmentofMultimediaModalitiesLatestNLPdevelopmentLatestAudioProcessingdevelopmentLatestImageProcessingdevelopment123456LatestAnimationProcessingdevelopmentLatestGraphicProcessingdevelopmentLatestVideoProcessingdevelopmentGemini–LatestGraphicProcessingDevelopmentGemini–LatestGraphicProcessingDevelopmentGemini–LatestGraphicProcessingDevelopmentGemini–LatestGraphicProcessingDevelopmen