海量影数据在线发布关键技术研究ppt课件

1、2019级硕士论文毕业论文争辩级硕士论文毕业论文争辩海量影像数据的在线海量影像数据的在线发布关键技术研讨发布关键技术研讨北京师范大学资源学院北京师范大学资源学院 资源技术与工程研讨所资源技术与工程研讨所2006年年5月月研 究 生：李洵指点教师：陈云浩 副教授 专业方向：地图学与地理信息系统论文主要内容论文主要内容一、引言二、栅格与矢量数据集成的自顺应在线发布方案三、遥感影像在线发布的缓冲存储器算法及其改 进方案四、原型系统的设计与实验五、总结与展望一、引言一、引言 1.研讨的背景和意义 2.国内外的开展现状及相关技术 3.研讨的内容研讨的背景和意义研讨的背景和意义u 多数据源，多比例尺，多时

2、相影像数据呈几何级数增长u 随着数字城市建立的蓬勃开展，人们对空间信息的需求日益增长u 计算机和互联网技术的开展，为实现空间信息在网络环境下的共享与效力提供了技术上的能够国内外开展现状国内外开展现状 1.国外系统开发情况 1Microsoft TerraServer 2加拿大CCRS的在线遥感影像数据库 3ITARS 4Image Catalog 2.国内系统开发情况 1GeoImageDB 2MapGIS 3福建省遥感影像Web发布系统相关技术相关技术功能技术海量影像数据的组织管理影像金字塔技术影像分块技术影像块的空间编码技术空间索引技术影像压缩技术数据缓存技术海量影像数据的在线发布WebG

3、IS技术研讨的内容研讨的内容u 栅格与矢量数据集成的在线发布方案u 缓冲存储器算法的改良1.常见的两类空间数据的在线发布方案2.栅矢数据集成的自顺应在线发布方案的引见3.相关关键技术二、栅格与矢量数据集成的自顺应在线发布方案二、栅格与矢量数据集成的自顺应在线发布方案2.1 常见的两类空间数据的在线发布方案常见的两类空间数据的在线发布方案u 矢量地图方式矢量地图方式u 矢量地图方式首先将数据下载到本地客户矢量地图方式首先将数据下载到本地客户端，以后对该数据的一切操作都在本地进展，端，以后对该数据的一切操作都在本地进展，无需与效力器交互以及重新下载数据，直到遇无需与效力器交互以及重新下载数据，直到

4、遇到新的数据恳求到新的数据恳求u 栅格图像方式栅格图像方式u 栅格图像方式每次都需求恳求效力器，并栅格图像方式每次都需求恳求效力器，并由效力器将数据转换成图像传输到客户端由效力器将数据转换成图像传输到客户端两类常见方案的根本流程2.1 常见的两类空间数据的在线发布方案常见的两类空间数据的在线发布方案恳求效力器客户机通用阅读器呼应转换器图像恳求效力器客户机通用阅读器嵌入ActiveX或Applet矢量数据空间数据库空间数据库CGI/Server APIActiveX、Java Applet CGI/Server API矢量数据两类方案的比较2.1 常见的两类空间数据的在线发布方案常见的两类空间数

5、据的在线发布方案优点缺点矢量地图模式减少了与服务器的交互需要安装插件，或下载Java Applet、ActiveX控件降低了服务器端的负担降低了网络传输的负担栅格图像模式无需安装任何软件矢栅转换通常增加数据量增加了服务器端的负担增加了网络传输的负担每次操作都需要与服务器交互1)对两类数据进展操作的案例2.2 栅矢数据集成的自顺应在线发布方案的引见栅矢数据集成的自顺应在线发布方案的引见世界地图矢量数据与相应的栅格数据的变化趋势2)对案例进展的分析运用基于矢量地图方式构建的WebGIS系统容易遭到一次下载大量数据的冲击运用基于栅格图像方式构建的WebGIS系统那么需求面对频繁恳求下载图像的挑战2.

6、2 栅矢数据集成的自顺应在线发布方案的引见栅矢数据集成的自顺应在线发布方案的引见3)改良方案的提出在恳求大量复杂数据时采用栅格图像方式在恳求少量数据时那么采用矢量地图方式2.2 栅矢数据集成的自顺应在线发布方案的引见栅矢数据集成的自顺应在线发布方案的引见4)整体框架2.2 栅矢数据集成的自顺应在线发布方案的引见栅矢数据集成的自顺应在线发布方案的引见WebGIS运用效力器阅读器Web效力器数据效力器恳求呼应恳求数据恳求呼应呼应数据图像packer矢量packer评价优化器SVG生成器数据缓存文件效力器空间数据库缓存管理器5)功能模块WebGIS 运用效力器 WebGIS运用效力器是平台框架的中心

7、，包括了数据打包组件和缓存组件客户端功能 客户端承当一部分的地图操作功能其计算才干可以在很大程度上减轻效力器端的开销2.2 栅矢数据集成的自顺应在线发布方案的引见栅矢数据集成的自顺应在线发布方案的引见WebGIS运用效力器评价优化器：用于对空间数据进展评价，选择是运用矢量方式还是栅格方式对数据进展包装矢量包装器：将空间数据包装成系统的矢量方式图像包装器：将空间数据包装成图像，即根据矢量数据及其显示款式配置绘制出一个快照图像SVG生成器：根据包装器的结果生成相应的SVG格式图形供阅读器显示和操作2.2 栅矢数据集成的自顺应在线发布方案的引见栅矢数据集成的自顺应在线发布方案的引见WebGIS运用效

8、力器的根本处置流程2.2 栅矢数据集成的自顺应在线发布方案的引见栅矢数据集成的自顺应在线发布方案的引见请求缓冲池数据缓冲池缓存管理器图像包装器矢量包装器评价优化器SVG生成器空间数据客户端功能2.2 栅矢数据集成的自顺应在线发布方案的引见栅矢数据集成的自顺应在线发布方案的引见阅读器SVG地图本地地图操作ZoomIn, ZoomOutPan, Identify地图操作音讯转发器恳求数据本地操作更新显示更新显示u 评价优化器：评价优化器实践上是方式选择器，用于确定评价优化器：评价优化器实践上是方式选择器，用于确定是运用矢量方式还是运用栅格方式，从而实现系统的性能是运用矢量方式还是运用栅格方式，从而

9、实现系统的性能优化优化u SVG生成器：生成器：SVG生成器将打包后的数据转换成在客户端生成器将打包后的数据转换成在客户端显示和操作的显示和操作的SVG图形图形u 缓存机制：缓存机制：WebGIS运用效力器将用户频繁恳求的图层数运用效力器将用户频繁恳求的图层数据暂时存储起来，从而构成缓冲池；后续恳求的数据假设据暂时存储起来，从而构成缓冲池；后续恳求的数据假设包含在缓存内，那么无需与数据效力器交互，直接运用缓包含在缓存内，那么无需与数据效力器交互，直接运用缓存的数据存的数据2.3 相关关键技术相关关键技术2.3.1 评价优化器评价优化器u 设计评价优化器时，可以参考网络阅读的设计评价优化器时，可

10、以参考网络阅读的“20秒秒60KB原那么原那么u 思索到矢量数据在操作时仅需一次下载，因此可以将操思索到矢量数据在操作时仅需一次下载，因此可以将操作用户的容忍极限添加至作用户的容忍极限添加至100KBu 由于每个点需求由于每个点需求16字节存储空间，因此最简单的评价优字节存储空间，因此最简单的评价优化器就是评价给定的数据的点数能否小于化器就是评价给定的数据的点数能否小于64002.3.1 评价优化器评价优化器开场空间数据集合n1, n2, n3, nkni6400矢量包装器终了NM=MAX(n1, n2, n3, )图像包装器将NM从数据集合中剔除空间数据集合k-1个图层否是1. SVG简介简

11、介2.3.2 SVG生成器生成器SVG是一种基于XML的用来描画二维矢量图形和栅矢混合图形的标识言语，其全称是可扩展矢量图形 (Scalable Vector Graphics)不局限于一个固定的分辨率和大小提供了对矢量栅格混合图形的描画SVG规范可以与其它规范相兼容2. SVG在在WebGIS中的运用中的运用2.3.2 SVG生成器生成器基于SVG的数据构造 由于XML支持数据标志的嵌套定义，所以可以在对一个对象进展描画时，将其属性定义和其图形的SVG描画同时进展 水果湖中学 2. SVG在在WebGIS中的运用中的运用2.3.2 SVG生成器生成器本地地图操作 SVG图形在阅读器中是作为阅

12、读器的一个嵌入对象出现，所以可以很方便地经过脚本言语实现本地地图操作图层管理 运用SVG DOM (SVG文档对象模型)可以很方便地实现图层管理图符管理 SVG提供了Symbol和Use元素，用于定义图符元素及其援用 在在WebGIS运用效力器中，一切的地图操作当需求恳求运用效力器中，一切的地图操作当需求恳求新的数据时，首先到缓存中查找数据能否曾经缓存到新的数据时，首先到缓存中查找数据能否曾经缓存到WebGIS运用效力器上运用效力器上WebGIS运用效力器将用户频运用效力器将用户频繁恳求的图层数据缓存起来，构成数据缓冲池后续繁恳求的图层数据缓存起来，构成数据缓冲池后续恳求的数据假设包含在缓存内

13、，那么无需与数据效力恳求的数据假设包含在缓存内，那么无需与数据效力器交互，直接运用缓存的数据器交互，直接运用缓存的数据2.3.3 缓存机制缓存机制l Greedy Dual-Size算法的简介l Greedy Dual-Size算法的缺乏l Greedy Dual-Size算法的改良方案三、遥感影像在线发布的缓冲存储器算法及其改三、遥感影像在线发布的缓冲存储器算法及其改良方案良方案u Greedy Dual算法算法u 该算法是最近最少运用战略该算法是最近最少运用战略(LRU)的一种优化。该算法的一种优化。该算法对每一个存储在缓冲存储器中的文件对每一个存储在缓冲存储器中的文件P设置了一个关联的设

14、置了一个关联的运用率权值运用率权值 H(P)，每次把，每次把H(P)值最低的对象交换掉，值最低的对象交换掉， H(P)的计算公式如下：的计算公式如下：u H(P)=L+C(P)u 初值初值L=0;u 轮番处置每一个文件的恳求轮番处置每一个文件的恳求;u 当前恳求为文件当前恳求为文件P;u 假设假设P曾经在缓冲存储器中，那么：曾经在缓冲存储器中，那么：u H(p)=L+c(p);u 假设假设P不在缓冲存储器中，那么：不在缓冲存储器中，那么：u 当当(While)没有足够的存储空间给没有足够的存储空间给P时时u 使使L=minH(q) q为曾经在缓冲存储器中的文为曾经在缓冲存储器中的文件件u 删除

15、删除q;u 将将P存入缓冲存储器中，并使存入缓冲存储器中，并使H(p)=L+c(p); 3.1 Greedy Dual-Size算法的简介算法的简介u Greedy Dual-Size算法算法u 该算法是由该算法是由Greedy Dual算法开展而来的。在算法开展而来的。在Greedy Dual-Size算法中重新定义对象的权值算法中重新定义对象的权值H为所需的带宽等开为所需的带宽等开销销/对象的大小，如下式：对象的大小，如下式：u H(P)=L+C(P)/S(P)u 初值初值L=0;u 轮番处置每一个文件的恳求轮番处置每一个文件的恳求;u 当前恳求为文件当前恳求为文件P;u 假设假设P曾经在

16、缓冲存储器中，那么：曾经在缓冲存储器中，那么：u H(p)=L+c(p)/s(p);u 假设假设P不在缓冲存储器中，那么：不在缓冲存储器中，那么：u 当当(While)没有足够的存储空间给没有足够的存储空间给P时时u 使使L=minH(q) q为曾经在缓冲存储器中的文为曾经在缓冲存储器中的文件件u 删除删除q;u 将将P存入缓冲存储器中，并使存入缓冲存储器中，并使H(p)=L+c(p)/s(p); 3.1 Greedy Dual-Size算法的简介算法的简介3.1 Greedy Dual-Size算法的缺乏算法的缺乏低权值ABCACDAB点击AC进入驱逐B新进入的C权值大于多次被点击的AD进入

17、驱逐Au 分析结论分析结论u 虽然虽然Greedy Dual-Size算法是一个相当优秀的算法是一个相当优秀的算法，但它无法区分经常存取和很少存取的对象。算法，但它无法区分经常存取和很少存取的对象。一个经常被存取的对象在缓冲存储器列表中的位一个经常被存取的对象在缓冲存储器列表中的位置和权值同一个新进入的对象完全一样置和权值同一个新进入的对象完全一样u 3.1 Greedy Dual-Size算法的缺乏算法的缺乏3.1 Greedy Dual-Size算法的改良方案算法的改良方案为抑制Greedy Dual-Size算法的上述缺陷，当某对象被再次点击时，需求添加其权值。要实现这一想象，就应记录缓

18、冲存储器中对象被存取的次数，并重新定义对象P的权值如下： PSPCPnLPH1对新参与到缓冲存储器中的对象，其权值与原始Greedy Dual-Size算法完全一样。对已在缓冲存储器中的文档，每当被点击一次，其权值H将按原始的权值成倍增长。 3.1 Greedy Dual-Size算法的改良方案算法的改良方案uGreedy Dual-Size算法的改良方案的流程图恳求队列当前：P对象L=0P对象在缓存中？缓存中能否 能包容P？否是n(P)+H(P)=L+n(P)+1*c(P)/s(P)n(P)Nmax激活队列中下一个对象是是否L=minH(q)删除对象q否删除旧对象P四、原型系统的设计与实验四

19、、原型系统的设计与实验l 原型系统的体系构造原型系统的体系构造l 原型系统的搭建环境原型系统的搭建环境l 原型系统的根本功能及实验结果原型系统的根本功能及实验结果4.1 原型系统的体系构造原型系统的体系构造运用层中间件层数据效力层属性库DEM库矢量库影像库数据文件WebGIS效力器Web效力器评价优化器SVG生成器缓存管理器Web运用对外接口阅读器用户页面工具4.2 原型系统的搭建环境原型系统的搭建环境操作系统： 效力器端 Windows 2000 Server 客户端 Windows 2000 Professional数据库平台：Oracle 9i运用软件： ArcSDE，ArcIMS，Adobe SVG Viewer 硬件平台： 效力器端 Pentium 1.7G双CPU，1024M内存 客户端 Pentium 1.2G，512M内存 4.3 原型系统的根本功能及实验结果原型系统的根本功能及实验结果本文开发的本文开发的Demo版原型系统在功能方面主要实现了以下一些功能：版原型系统在功能方面主要实现了以下一些功能：空间数据入库。矢量数据和影像数据的入库功能。空间数据入库。矢量数据和影像数据的入库功能