农残检测中多维数据可视分析关键技术.doc

农残检测中多维数据可视分析关键技术研究姓名：罗会嵩 学号：110701Y096 班级：植保121摘 要：当前食品安全问题十分突出，如何有效的对食品质量进行监控和管理成为人们日益关注的焦点。农药和化学污染物的过渡使用是食品安全问题的主要来源之一，食品质量检测部门需要对这些农药残留信息进行检测和分析。本文的主要任务是研究多维数据的可视分析技术，并将该技术应用到农药残留检测中，协助研究人员分析农药的理化特性和特征规律，为食品中的农药检测提供分析和决策依据。本文对多维数据的可视分析技术进行了深入的研究。（1）针对农药检测标准数据的特点和理化特性，对原始数据进行预处理操作，便于转换成可视化信息。（2）分析和总结了目前主流的多维数据可视化技术和应用条件，提出了一种针对农残检测标准数据的多视图协同可视分析方法。本方法设计了平行坐标、散点图和散点图矩阵、数据表图等多种可视化视图，并通过交互技术将视图关联起来协同分析数据，从中挖掘出有价值的信息。本方法有效的避免的单一可视化技术的缺陷，能全面的展现和分析复杂的多维数据，使数据的展示和分析变得简单和高效。（3）设计并实现农残检测信息智能管理系统，建立检测标准信息数据库，实现检测规程、检测标准和检测数据的数字化管理。关键词：多维数据；可视分析；多视图协同可视分析；类区间模型；农药残留检测数据Abstract:People pay more and more attention to that how to effectively supervise and manage food quality in the wake of Food Safety problems get worsen in recent years. One of the main reasons of food safety problem is the overused pesticides and chemical pollutants, and food quality supervise department need to detect and analyze pesticide residue information The main task of this subject is to research the multidimensional data visual analysis technique and apply it to Pesticide residue detection. it will assist researchers analysis of physicochemical properties and characteristics of pesticides and provides basis for analysis and decision in pesticide detection. This paper research the multidimensional data visual analysis technique in depth. (1) we preprocess the original standard data of pesticide residues detection to convert it into visual information according to the physicochemical property and the feature of data.(2) Then we analyze and summary the popular multidimensional data visualizationtechnology and application conditions, and propose a visual analysis method calledmultiple coordinated views for data。In our method, we use parallel coordinates, scatter andscatter-plot matrix, data table and other views combined with interaction techniques to collaborative analysis data and mining valuable information from data. This method is effective to avoid the defects of the single visualization technology, and roundly present and analyze complex multidimensional data that will make it simple and efficient for data representation and data analysis. (3) we also design and develop intelligent management system for detectioninformation of pesticide residues, Establish detection standard information database. It completed digital management for detection process, detection standard and detection data.Key words: multidimensional data, visual analysis, multiple coordinated views，cluster region model, detection data of pesticide residues随着科学技术的飞速发展，商业数据的大量计算、电子商务的全面展开，以及数据仓库的大规模应用，科学、工程、商业等领域的多维甚至高维信息日益增多。面对多维可视化技术不是简单的图形映射，而是要尽量反映多维信息及其各属性之间的关系信息，力图在低维可视空间中展现多维抽象信息的多属性数据特征1。它本质上是人们在脑海中建立多维抽象信息的意象，并对其进行认知的过程2目前，国内外学者己经设计了相当数量的多维可视化方法，这些方法根据其可视化图形元素可以划分为基于点的技术，基于线的技术、基于区域的技术和几种图形元素组合的技术3巴西帕拉州联邦大学 2008 年开发了 PRISMA 多视图协同可视分析，该系统将平行坐标 散点图和 treemap 技术结合在一起，组成了一个多维数据的多视图协同可视化系统4美国北卡罗来纳州大学的 Scott Barlowe，Tianyi Zhang 等人在进行多变元数据分析时用集成数值微分技术和多维可视化技术（主要是平行坐标 散点矩阵图和直方图）构建一个多变量分析模型，通过交互技术和有效的工作流管理来探索多维数据中多元变量的相互关系5。FlowVizMen 由一个放射状菜单组成，内部包含散点图，可以选择和修改散点图的坐标轴，通过交互技术可以将散点图中的部分节点和网络关系图中的相应节点连接起来。该技术的另一个改进是将散点图矩阵和平行坐标结合的混合技术，叫做平行散点图（Parallel Scatterplot Matrix 或 PSPLOM)，用于对网络关系进行特征选择和可视化，在 3D 空间上可以通过拖动轴来实现平行坐标和散点图之间的动态变换。另外对传统的散点图矩阵进行了改进，提出了 the Scatterplot Staircase （简称 SPLOS），比传统的散点矩阵图占用更少的空间。奥地利格拉茨大学的 Christian Partl, Karl Kashofer 和 Dieter Schmalstieg 等人在2010 年提出了 Caleydo Matchmaker 技术并将其应用于生物学的可视分析6。由于生物科学数据有自身的特点，部分维度组合在一起有潜在的生物学含义。而传统的平行坐标技术很难体现这种潜在的含义。他们根据生物数据的特征一方面对平行坐标进行了改进，将若干个维度合成一个维度组；另一方面再结合 heat map 技术来显示组合维度中的信息，用户可以将多维数据分成若干个子集。然后对每个子集分别进行聚类并对聚类后的结果间相互关系进行分析。北京大学袁晓如老师在 2011 年设计了 TripVista 可视分析系统7。该系统对十字路口的微观交通数据进行可视分析，包含了空间分布图和时间视图（如散点图和主题河）以及平行坐标显示交通数据信息。信息可视化（Information Visualization）是指以计算机为支撑的、交互的、对抽象信息的可视表示，从而提高人们对抽象信息的认知能力8。信息可视化涉及到计算机图形学、图像处理、计算机视觉、人机交互等多个领域的综合学科，不仅广泛的应用到医学、地理和生物等科学领域，同时也应用在金融、网络、通信等行业信息处理分析中9。和科学可视化相比，信息可视化更侧重于抽象数据集，如高维空间的信息或者非结构化的文本数据等。信息可视化包括了信息图形、数据可视化、知识可视化和视觉设计等方面。人们可以通过表格、图形图像等易于理解的形式来表达抽象的信息，增强人们对复杂信息的感知和认知能力。信息可视化的数据对象按照其类型可分为空间数据、地理数据、多维数据、层次和网络数据、文本数据等五种主要类别，每种类型的数据对象都有其独特的数据特点和对应的可视化技术。目前随着计算机及相关技术的普及，信息可视化技术得到了飞速的发展，并广泛的应用到各行业中。可视分析（Visual analytics）是一门利用交互式可视化接口来协助分析推理的学科10。作为信息可视化的分支和延伸，可视分析在信息可视化的基础上，通过交互手段融入人的因素，将人类自身的先验知识和理解判断结合到信息可视化的过程和结果上，充分发挥了人在信息可视化和分析过程中的主观能动性作用。可视分析充分结合自动化分析技术和交互式可视化技术的优点，对海量复杂的数据集进行理解和推断并提供决策依据。通过可视分析技术的帮助，人们可以对复杂的大数据集进行重新整合并深入了解其规律特征，从中挖掘出隐含的信息，同时也为人们提供实时的便于理解的决策依据在信息可视化领域，根据数据的类型和特点，一般将数据分为空间数据、地理数据、多维数据、层次和网络数据、文本数据等五大类。多维数据（multidimensional data）又称为高维数据（high-dimensional data）,通常由多个相互独立的属性组成，每个属性作为多维空间上的一个维度。多维数据集中的一条记录可以定义为 n 维空间 D 中的 k 元函数 F(X)(k =n),其中 F =(f1,f2,f3, fk）由 k 个变元组成X=(x1,x2, ,xk)为 n维空间中的一点11。多维数据由于其高维的复杂特性，很难在二维或三维空间上直观可视化显示。因此多维数据可视化的目的就是将数据从抽象的高维空间上映射到可视的二维或三维空间上，便于人们理解数据和发现其中的信息。参考文献：1 Dos Santos S, Brodlie K. Gaining understanding of multivariate and multidimensional data throughvisualizationJ. Computers & Graphics, 2004, 28(3): 311-325.2 唐泽圣. 三维数据场可视化M. 北京: 清华大学出版社, 1999.3 Ward M, Grinstein G, Keim D. Interactive data visualization: foundations, techniques, andapplicationsM. AK Peters, Ltd., 2010.4 Godinho P I A, Meiguins B S, Goncalves Meiguins A S, et al. PRISMA-A multidimensionalinformation visualization tool using multiple coordinated viewsC. Information Visualization,2007. IV07. 11th International Conference. IEEE, 2007: 23-32.5 Barlowe S, Zhang T, Liu Y, et al. Multivariate visual explanation for high dimensional datasetsC.6Visual Analytics Science and Technology, 2008. VAST08. IEEE Sym