数字媒体技术概论（融媒体版） 课件 9媒体大数据与可视化技术

第9讲：媒体大数据与可视化技术数字媒体技术概论第9章：媒体大数据与可视化技术1大数据概述2数据分析和数据挖掘3视觉大数据及应用4可视化技术一、数据的概念§9.1大数据概述数据是反映客观事物属性的记录，是信息的具体表现形式：数据是符号的集合，是表达客观事物的未经加工的原始素材，例如图形、符号、数字、字母等都是数据的不同形式。数据也可看成是数据对象和其属性的集合，其中属性可被看成是变量、值域、特征或特性，例如人类头发的颜色、人类体温等。数据二、大数据的定义§9.1大数据概述大数据在狭义上可以被定义为：用现有的一般技术难以管理的大量数据的集合。现在的大数据和过去相比，主要有三点区别社交媒体等飞速发展并普及，我们每时每刻都在产出大量且多样的数据。硬件和软件技术的成熟使得数据的存储、处理成本大幅下降。大数据的存储、处理环境已经无需自行搭建，云计算的兴起解决了这些问题。

大数据二、大数据的定义§9.1大数据概述研究机构Gartner给出了这样的定义：“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据指的是所涉及的数据集规模已经超过了传统数据库软件获取、存储、管理和分析的能力。大数据、数据仓库、数据安全、数据分析、数据提取等正在成为各行业的焦点，在全球引领了新一轮数据技术革新的浪潮

大数据三、大数据的特点§9.1大数据概述可以用三个特征相结合来定义大数据：数量（Volume，或称容量）种类（Variety，或称多样性）速度（Velocity）3V，即庞大容量、极快速度、种类丰富的数据三、大数据的特点§9.1大数据概述Volume用现有技术无法管理的数据量，从现状来看，基本上是指从几十TB到几PB这样的数量级。Variety随着传感器、智能设备以及社交协作技术的激增，数据也变得更加复杂，不仅包含传统的关系型数据，还包含来自网页、互联网日志文件（包括单击流数据）、搜索索引、社交媒体论坛、电子邮件、文档、主动和被动系统的传感器数据等原始、半结构化和非结构化的数据。Velocity数据产生和更新的频率，也是衡量大数据的一个重要特征。三、大数据的特点§9.1大数据概述随着科学技术的发展，对大数据有了新的论述：Volume（体量）Variety（多样性）Velocity（时效性）Value（价值）Veracity（准确性）5V第9章：媒体大数据与可视化技术1大数据概述2数据分析和数据挖掘3视觉大数据及应用4可视化技术一、定义§9.2数据分析和数据挖掘数据分析指有目的地采集数据、详细研究和概括总结数据，从中提取有用信息并形成结论的过程，其目的是从一堆杂乱无章的数据中集中、萃取和提炼出信息，探索数据对象的内在规律。从统计应用上讲，数据分析可以被分成三类描述性统计分析探索式数据分析验证性数据分析1.数据分析一、定义§9.2数据分析和数据挖掘数据挖掘指设计特定算法，从大量的数据集中去探索发现知识或者模式的理论和方法。数据挖掘的定义有多种，直观的定义是通过自动或半自动的方法探索与分析数据，从大量的、不完全的、有噪声的、模糊的、随机的数据中提取隐含在其中的、人们事先不知道的、潜在有用的信息和知识的过程。基本的数据挖掘任务分为两类基于某些变量预测其他变量的未来值，例如分类、回归以人类可解释的模式描述数据，例如聚类、模式挖掘、关联规则发现2.数据挖掘一、定义§9.2数据分析和数据挖掘与传统数据分析相比，数据挖掘的本质区别是在没有明确假设的前提下去挖掘知识，所得到的信息具有未知、有效和实用三个特征，并且数据挖掘的任务往往是预测性的而非传统的描述性任务。在预测性方法中，对数据进行分析的结论可构建全局模型，并且将这种全局模型应用于观察可预测目标属性的值描述性任务的目标是使用能反映隐含关系和特征的局部模式，以对数据进行总结。2.数据挖掘二、作用§9.2数据分析和数据挖掘刻画目标数据的一般性质。描述性；在当前数据上进行归纳，以便做出预测。预测性二、作用§9.2数据分析和数据挖掘聚类是一个把数据对象划分成子集的过程，每个子集是一个簇。数据对象根据最大化类内相似性、最小化类间相似性的原则进行聚类或分组。聚类分类是一种重要的数据分析形式，它提取刻画重要数据类的模型。分类二、作用§9.2数据分析和数据挖掘若两个或多个变量的取值之间存在某种规律性，就称为关联。关联可分为简单关联、时序关联、因果关联等。关联分析的目的是找出数据中隐藏的关联网。关联分析数据总结是从数据分析中的统计分析演变而来的，其目的是对数据进行浓缩，给出它的紧凑描述。特征性描述：描述某类对象的共同特征区别性描述：描述不同类对象之间的区别数据总结二、作用§9.2数据分析和数据挖掘若两个或多个变量的取值之间存在某种规律性，就称为关联。关联可分为简单关联、时序关联、因果关联等。关联分析的目的是找出数据中隐藏的关联网。偏差检测数据总结是从数据分析中的统计分析演变而来的，其目的是对数据进行浓缩，给出它的紧凑描述。特征性描述：描述某类对象的共同特征区别性描述：描述不同类对象之间的区别预测三、标准流程§9.2数据分析和数据挖掘提取转换加载ETL：在数据采集时，要对这些海量数据进行有效的分析，还要将这些来自前端的数据导入到一个集中的大型数据库，或者分布式存储集群，并且在此基础上做一些简单的清洗和预处理工作。数据采集：接收来自客户端（网页、APP或者传感器形式等）的数据，并且用户可以对这些数据进行简单的查询和处理工作。数据存储：机器产生的数据正在以几何级数增长，近年来，通过扩展和封装Hadoop来实现对互联网大数据存储、分析的技术越来越成熟。1.2.3.三、标准流程§9.2数据分析和数据挖掘数据计算：大数据计算主要体现在数据的快速统计与分析上。统计与分析主要利用分布式数据库或者分布式计算集群来对存储于其内的海量数据进行普通的分析和分类汇总等，以满足大多数常见的分析需求。数据分析与挖掘：大数据的数据挖掘与传统的数据挖掘方法也存在一定的差异。在大数据平台下，数据的体量对挖掘的时效性提出了更高的要求。数据的体量和多样性对模型的绝对计算精度要求降低，可以通过相对计算精度的提升在处理数据上获得更好的计算精度。大数据平台下的数据挖掘可以没有预先设定好的主题，主要是在现有数据上面进行基于各种算法的计算，从而起到预测的效果，实现一些高级别数据分析的需求4.5.三、标准流程§9.2数据分析和数据挖掘数据可视化：大数据可视分析旨在利用计算机自动化分析能力的同时，充分挖掘人对于可视化信息的认知能力优势，将人、机各自的强项有机融合，借助人机交互式分析方法和交互技术，辅助人们更为直观和高效地洞悉大数据背后的信息、知识与智慧。6.四、工具§9.2数据分析和数据挖掘针对特定的数据使用合适的数据分析和挖掘方法得到所需的信息往往是可视分析不可缺少的一步，具有代表性的数据分析和挖掘软件有：统计分析系统（StatisticsAnalysisSystem，SAS）语言怀卡托智能分析环境（WaikatoEnvironmentforKnowledgeAnalysis，WEKA）R语言康斯坦茨信息挖掘工具（KonstanzInformationMiner，KNIME）自然语言工具包（NaturalLanguageToolkit，NLTK）数据分析和挖掘软件第9章：媒体大数据与可视化技术1大数据概述2数据分析和数据挖掘3视觉大数据及应用4可视化技术一、视觉大数据概念§9.3视觉大数据及应用人类感官接受的各种信息约有80%来自视觉，人类的视觉功能允许人类对大量抽象的数据进行分析。视频和图像等可视信息是对客观事物形象、生动的描述，是直观而具体的信息表达形式，是人类社会最重要的信息载体。根据对大数据定义的延伸，可以说，海量视频就是视觉大数据，同样具有大数据的特征一、视觉大数据概念§9.3视觉大数据及应用视觉大数据的基本特征首先体现为“大”。海量视频数据的来源多种多样，也就决定了视觉大数据形式的多样性。数据无时无刻不在产生，视觉大数据的产生非常的迅速。视觉大数据对处理速度有非常严格的要求，很多时候都需要做到实时处理。一、视觉大数据概念§9.3视觉大数据及应用视觉大数据最大的价值在于通过从大量不相关的各种类型的数据中挖掘出对未来趋势与模式预测分析有价值的数据，从而发现新规律和新知识。数据出处的真实可靠是对大数据进行科学分析、挖掘和研究的前提条件。视觉大数据能随时调用，是它在互联网高速发展背景下的特征，也是它商业价值的重要体现之一。二、视觉大数据应用§9.3视觉大数据及应用情报侦察领域：在公开的媒体视频数据中有时会包含某个重要目标的局部特征片段，情报机构通过分析海量视频数据，将包含类似目标的视频数据进行提取和汇总，有可能挖掘出有价值的目标信息。公共安全领域：借助视频分析技术，安全部门可以及时发现异常情况，并在第一时间做出响应。该领域的典型应用：大规模人脸搜索系统暴力行为检测系统

典型应用领域二、视觉大数据应用§9.3视觉大数据及应用在海量视频和图像数据中，可根据某个人的人脸图片、画像、监控人像、目击者描述等，快速查找出该人的相关视频和图像，然后获取到其姓名、单位、住址、微博、微信、爱好、亲友等关联信息，最后统计出他（她）的社会关系、日常行踪与活动轨迹。大规模人脸搜索系统二、视觉大数据应用§9.3视觉大数据及应用人脸搜索系统通过摄像机或视频监控设备等获取若干图像或视频片段后，首先利用计算机对输入图像或视频进行人脸检测，搜索图像或视频中是否存在人脸并判断其位置和大小，提取出人脸面部图像；然后根据决策系统下达的任务指令进行识别，把人脸与身份信息对应起来，或者利用人脸对个体进行跟踪定位；接着与网络系统或者数据库相连接，搜索与该个体相对应的附属信息，如兴趣爱好等。此外，决策系统通过干预整个搜索系统，对其进行反馈修正，指导输入图像或视频的选取与采集。大规模人脸搜索系统二、视觉大数据应用§9.3视觉大数据及应用暴力行为危害性大，是视频监控系统的监视重点，采用视觉计算、机器学习、人工智能等自动检测暴力行为，有助于及时发现治安和恐怖隐患，避免事态升级。暴力行为检测系统二、视觉大数据应用§9.3视觉大数据及应用智能交通领域：通过分析管辖范围内所有道路摄像机的监视数据，实时分析道路交通流量，交通主管部门可以综合分析和统计全城的交通状况；通过建立统一的车辆信息数据库，借助车牌识别、车型识别、车标识别技术，交通主管部门可以快速发现套牌车和假牌车、快速搜索并定位特定车辆的轨迹和位置。

典型应用领域二、视觉大数据应用§9.3视觉大数据及应用休闲娱乐领域：网络视频点播已经成为广播电视传播的重要方式，通过建立分布式云存储架构，用户在任何时间、任何地点，只要通过联网终端，就可以随时点播和观看喜欢的视频节目，以便更好地安排工作和休闲时间。个性广告领域：网络广告已经成为广告业的重要分支，从业者通过收集、分析用户与广告间的海量互动视频，可以分析出什么内容的广告更能吸引客户、什么长度的广告不会引起用户的反感、什么时段适合哪些广告的投放、什么网站的用户更倾向于哪些类型的广告等。

典型应用领域第9章：媒体大数据与可视化技术1大数据概述2数据分析和数据挖掘3视觉大数据及应用4可视化技术一、可视化的概念§9.4可视化技术可视化是指人通过视觉观察并在头脑中形成客观事物的影像的过程。可视化技术以人们惯于接受的表格、图形、图像等形式，并辅以信息处理技术（例如：数据挖掘、机器学习等），将被感知、被认知、被想象、被推理、被综合及被抽象了的对象属性及其变化发展的形式和过程通过形象化、模拟化、仿真化、现实化的技术手段表现出来。可视化不仅是客观现实的形象再现，也是客观规律、知识和信息的有机融合。1.可视化一、可视化的概念§9.4可视化技术数据挖掘与信息可视化对比如图。信息可视化是可视化技术在数据领域的应用，旨在研究大规模非数值型信息资源的视觉呈现，以及利用图形学方面的技术与方法，帮助人们理解和分析数据。1.可视化一、可视化的概念§9.4可视化技术信息可视化利用计算机交互式地显示抽象数据，从而使人们增强对抽象信息的认知。信息可视化将信息对象的特征值抽取、转换、映射、高度抽象与整合，用图形、图像、动画等方式表示信息对象内容特征和语义。2.信息可视化一、可视化的概念§9.4可视化技术信息可视化的过程：数据集预处理和转换：将原始数据集转换成可视化系统可以使用的形式，分成两部分工作：第一部分是将数据集映射成计算机可以理解的基本数据类型；第二部分是处理特殊事件，如数据丢失、输入错误、数据规模超出处理能力等。可视化映射：是可视化过程的核心，即把数据集转换为可视化结构，包括几何形状、颜色、声音等。绘制转换：即将几何类型数据映射到视图中，在屏幕上显示可视化结构，并提供各种视图转换，如导航。2.信息可视化二、大数据与可视化§9.4可视化技术计算机技术和信息技术发展的速度越来越快，随着大数据时代的到来，我们要处理的数据和信息量都在不断的提高和增大，这就使数据和信息的处理越来越困难和复杂。已有的数据挖掘、机器学习、统计分析等方法在处理复杂数据或进行探索式分析时，依然存在着不容忽视的问题。处理纷繁复杂的大数据的挑战主要在于数据的复杂性、认知的局限性和任务的多样性。信息可视化是一种交互的可视界面，辅助人类从数据中获取知识的方法，通过将数据转换为易理解、易解释的视觉表达，来综合人脑智能和机器智能，大幅度提高数据处理的效率。自十八世纪后期数据图形学诞生以来，抽象信息的视觉表达手段一直被人们用来揭示数据及其他隐匿模式的奥秘。1786年，苏格兰工程师、经济学家威廉·普莱费尔提出了三种标准化的数据可视化方法，即饼状图、条形图、线形图。人们在岩画或陶土上通过图形、图画的形式来记录星象运动、绘制导航地图、制订农作物种植计划等。信息可视化开始形成科学、普适的方法论。旧石器时代18世纪初三、可视化发展历程§9.4可视化技术18世纪后期三、可视化发展历程§9.4可视化技术历史上第一张饼状图三、可视化发展历程§9.4可视化技术历史上第一张条形图三、可视化发展历程§9.4可视化技术历史第一张线形图信息可视化领域的进展不大，人们做了一些努力来改进现有的模型，但整体而言，虽然可视化仍在向前发展，但是这门学科似乎没有突显出来，也很少有惊人的进步。信息技术发展创造了信息可视化学科的发展和繁荣，并持续至今。1967年，J.Bertin发表了他们的图形理论，这一理论指明了图表的基本元素，描述了图表的设计框架。1983年美国耶鲁大学统计学教授E.R.TuRe发表了数据图理论。1987年美国图形学特别兴趣小组出版了《科学计算中的可视化》特刊。1989年由StuartK.Card、JockD.Mackinlay和GeorgeG.Robertson创造出信息可视化的英文术语"InformationVisualization"。20世纪早期20世纪中后期三、可视化发展历程§9.4可视化技术图形化界面问世，使得人们能够直接与可视化的信息之间进行交互，从而带动了信息可视化研究。信息可视化在未来将由传统的低维可视化向高维可视化发展，由静态可视化向动态可交互的智能可视化发展。信息可视化在虚拟现实和增强现实、大数据分析、人工智能等前沿领域中的应用前景十分广阔。20世纪90年代三、可视化发展历程§9.4可视化技术四、可视化主要技术§9.4可视化技术可视化的数据可分为：一维数据二维数据三维数据多维数据时态数据层次数据网络数据其中后4种数据的可视化是当前研究的热点。可视化数据四、可视化主要技术§9.4可视化技术基于几何的可视化方式基于图标的可视化方式1.多维数据可视化技术平行坐标系：通过轴线平行性来展示出相应的维度，将数据刻画于轴线之中，并将轴线上某一数据项的坐标点通过折线进行连接。1.1基于几何的可视化方式四、可视化主要技术§9.4可视化技术散点图矩阵：通过二维坐标中的数据点来展示出变量之间的联系。1.1基于几何的可视化方式四、可视化主要技术§9.4可视化技术将具备可视化特点的几何形状作为图标对多维数据进行刻画。应用较多的主要是星绘法及Chernoff面法。星绘法：通过由点辐射到线的方式，来体现数据信息维度，而线段的长度则表示相应的维度数量。Chernoff面