地理立体视频数据分析与模型设计.pdf

第2 9 卷第1 期 2 0 1 3 年1 月 地理与地理信息科学 G e o g r a p h ya n dG e o I n f o r m a t i o nS c i e n c e V 0 1 2 9N o 1 J a n u a r y2 0 1 3 D O I 1 0 7 7 0 2 d l y d l x x k x 2 0 1 3 0 1 0 1 地理立体视频数据分析与模型设计 韩志冈0 h2 孔云峰1 2 秦奋1 2 王万同1 1 河南大学环境与规划学院 河南开封4 7 5 0 0 4 2 河南大学中澳地理信息分析与应用研究所 河南开封4 7 5 0 0 4 摘要 针对当前G I S 中视频数据管理的功能较单一 检索方法单调的现状 通过分析 整合空间数据 视频数据 设 计了一个地理立体视频数据模型 G e o S V D M 它包括视频 空间几何 专题属性 语义标注以及线性参照等要素 基于面向对象方法 抽象了视频帧及其位置 视域 视频片段及其轨迹等组件对象及其逻辑关系 并应用U M L 定义 了模型结构 该模型通过建立视频对象与地理实体间的空间位置参照及语义参照关系 支持可视化 检索以及量 测等多个应用功能 实现了地理立体视频对象数据组织与检索表达 试验表明 G e o S V D M 具有功能丰富 集成化 以及松耦合 灵活可扩展等优点 适合于地理立体视频的管理 并为G I S 中应用可定位媒体提供了基础数据模型 关键词 立体视频 G e o S V D M G I S 数据模型 中图分类号 P 2 0 8文献标识码 A文章编号 1 6 7 2 0 5 0 4 2 0 1 3 0 1 0 0 0 1 0 7 0 引言 地理表达是地理学的一个基本问题 也是地理 信息科学重要的研究主题之一r l 当前主流地理 表达方式G I S 继承了地图范式的众多局限性 形成 了以二维几何为中心的表达框架 由于地理世界是 丰富多彩和纷繁复杂的 在地理信息应用日益普及 的今天 地理空间表达方式仍存在观察视点上的高 空与侧面 理解上的抽象与形象以及专业化与大众 化等多方面的挑战 随着多媒体及G I S 应用的日益 深化 出现了地理视频 全景照片 可量测影像等新 型可定位媒体 这些媒体表达的地理空间具有很强 的真实感与丰富的细节信息 对于拓展G I S 应用领 域 促进G I S 大众化与社会化具有重要价值 传统 的多媒体地图是将各类媒体作为地理实体的一个属 性 实现地图和多媒体资源的用户交互 新型可定 位媒体均包含位置信息 如何在G I S 中基于位置信 息实现对这些可定位媒体的有效管理即数据模型是 其应用的关键问题 国内外对新型可定位媒体进行了大量研究 微 软W W M X 项目通过向照片添加位置标签 实现了 基于位置标签的海量图片库的快速查询 J o o 等 提出使用视频元数据描述地理位置 使地图与视频 影像相互参照 支持G I S 与视频影像间的交互操 作 7 Y o n g I I 等集成视频图像与数字地图应用于 智能交通系统 设计了集成视频图像的地图数据库 结构嘲 A n t o n i o 等基于本体的思路 讨论了在多媒 体环境下对专题地理信息的语义集成问题 设计了 基于语义的地理视频序列索引与检索方法 91 0 3 P a u l 等对空间视频与G I S 的链接与集成进行了深入 研究 提出了三维视域理论模型V i e w P o i n t 设计并 建立了二维V i e w P o i n t 空间数据库 1 1 1 2 丰江帆基 于A S F 视频格式 将视频影像 声音 空间位置等信 息集成在同一容器中 并通过统一的时间轴进行同 步 I 引 孔云峰讨论了地理视频的实体 联系模 型 开发了网络视频G I S 1 4 1 s 这些案例多是将位 置信息作为多媒体数据的元数据 以标记的形式存 储于其元数据描述 X M L K M L G e o R S S 等 或数 据库中 这一方式初步解决了可定位媒体管理问 题 但存在应用功能较单一 检索方式单调等缺陷 并且未与主流数据模型有机集成 综上所述 设计一个支持可视化 检索 量测等 多个应用功能的地理立体视频数据模型非常必要 它能为G I S 扩展支持可定位媒体管理的数据模型 并在新技术条件下拓展多媒体地图及G I S 应用领域 1 地理立体视频数据分析 立体视频是由立体图像帧组成的视频 该立体 图像是从不同角度采集的同一场景的两个视图按照 相应模型合成的 借助于一定的设备 如3 D 眼镜 立体视频具有一定的立体视觉效果 将立体视频与 地理信息结合 即为地理立体视频 它是通过地面或 收稿日期 2 0 1 2 0 6 1 7 修回日期 2 0 1 2 0 8 1 2 基金项目 国家自然科学基金项目 4 1 2 0 1 4 0 2 4 1 1 0 1 4 5 0 省部共建河南大学科研项目 S B G J 0 9 0 6 0 5 河南省博士后项目启动基金 广 西空间信息与测绘重点实验室 桂林理工大学 研究基金 作者简介 韩志刚 1 9 8 1 一 男 博士 副教授 研究方向为G I S 开发与空间分析 通讯作者E m a i l y f k o n g h e n L Le d u c n 万方数据 第2 页地理与地理信息科学第2 9 卷 非地面摄像机获取 并包含视频帧内外方位元素等 地理时空特征的立体视频 16 它是一种含有位置信 息的多媒体 支持多个应用功能 1 可实现基于用户 观察视点的可视化 并具有模拟三维效果 2 通过将 立体视频帧与位置信息对应 为视频片段添加地理 标签 支持基于位置的索引与查询 3 结合计算机立 体视觉算法可实现影像量测 与传统G I S 相比 地 理立体视频能够充分发挥视频与G I S 的优势 克服 传统二维G I S 不直观性 三维G I S 建模复杂性 单纯 视频表达的场景迷失等不足 在充分发挥视频数据 获取便捷性 建模与分析灵活性的基础上 为用户提 供一个更自然 真实 及时的 侧面看世界 和 机动 灵活看世界 方式 并进行量测 17 I 总体上 地理立体视频数据包括视频 空间几 何 专题属性 语义标注及线性参照5 个元素D 8 z 0 图 1 视频用来提供符合人类视觉习惯的现实世界的 实景 具有立体效果的表达 传统视频数据模型包含 视频帧 镜头 场景 视频片段 视频序列5 类不同层 次 不同语义的对象 2 1 这5 种对象具有组合关系 视频 V i d e o 位置参照 空间几何 内容描述 I 要塞 语义标注 l 量墨叁塑 I 专题属性 t n t i cA n n o t a f i o n l l lr I k m eA t t r i b u t e I 詈 巷 图1 地理立体视频数据及其关联 F i g 1Q 唾删c s t e r e ov i d e od a t aa n dt h e i rr e l a t i o n s h i p 空间几何部分主要是传统G I S 中抽象的空间数 据 涉及点 线 面等对象 提供对现实世界的抽象 宏观表达 包括两方面 一为地图中的空间数据 主要 是拍摄场景中地理实体的位置信息 一为与视频对象 对应的空间数据 如视频片段 帧 拍摄位置 拍摄轨 迹 视频帧视域 F i e l do fV i e w 等 专题属性部分主 要用来描述对象的某一专题属性 是传统G I S 中抽 象的属性数据 这些属性信息从不同侧面描述了地 理实体的专题特征 其与地理实体的空间几何信息 一起 构成了对拍摄场景中地理实体的完整定义 由于视频片段多为沿着某一路径拍摄 因此可 将地理立体视频位置特征值 拍摄起止点等 对应到 某一路径上 建立视频帧特征值 播放时间 帧数等 与拍摄位置的对应关系即线性参照系统 以支持对 线性设施 公路 河流等 的管理与表达 其核心为路 径与事件 22 地理立体视频中具有丰富的影像信息 如建筑 物 兴趣点等 这些信息对于基于内容的视频检索具 有重要意义 通过语义标注对视频进行语义描述 可实现视频与G I S 之间的语义参照及高层次语义内 容检索 视频与空间几何对象之间存在不同层次的 映射关系 二者基于空间位置关系进行对应 语义 标注是对立体视频的内容描述 专题属性是对空间 几何对象的属性描述 二者之间存在基于语义的对 应关系 而线性参照基于路径对空间几何对象进行 扩展 基于事件对专题属性进行扩展 以支持线性设 施的动态分段 图1 2 地理立体视频数据模型设计 为组织和存储地理立体视频的各类数据 对视 频 空间几何 专题属性 语义标注及线性参照分别抽 象了不同对象 根据相机位置与姿态等信息建立视频 对象在世界坐标系中的空间参照 以地理实体属性信 息与视频语义描述建立二者的语义参照 从而实现 地理立体视频检索 可视化 量测等多个功能 图2 2 1 视频 为简单起见 对传统视频数据模型进行简化和 重定义 在层次结构上 保留了视频帧和视频片段 两个层次 其中视频帧是在某一路径 某一位置 某 一时刻拍摄的静态图像 视频片段是在某一路径 起 始点与终止点间 拍摄的具有时间先后 空间连续的 视频帧集合 普通相机拍摄的普通图像及由其集合 构成的普通视频片段可实现对现实世界的实景化表 达 如采用立体相机进行拍摄 则可同时获取同一场 景左 右图像 采用立体图像合成模型 可将其合成 为立体图像并生成立体视频片段 借助于一定的设 备 红蓝眼镜等 可使观察者获取模拟三维效果 由于普通视频帧存在图像变形现象 要实现视 频场景三维结构信息量测 需首先基于相机图像畸 变参数 对原始视频帧进行图像校正以消除变形 同 时立体匹配计算也要求基于校正后的图像进行立体 匹配 因此需引入新对象类型 校正帧以及由校正 帧组成的校正视频片段 由校正帧的左 右图像合成 的立体帧 由立体帧组成的立体视频片段 根据左 右校正图像 可进一步通过立体计算生成视差帧 根 据某一位置的视差值以及立体相机的内方位元素 即可计算该点的三维坐标 2 2 空间几何 鉴于当前G I S 空间几何数据模型日益成熟 空 间几何部分的设计思路为 对于地图中的空间数据 直接应用O G C 简单对象要素规范定义的抽象类进 行管理 包括基本对象类点 线串 多边形以及集合 类 而对于与视频对象有关的空间数据 直接继承自 万方数据 第1 期韩志刚等 地理立体视频数据分析与模型设计第3 页 图2 地理立体视频数据模型U M L 结构 F i g 2U M Ls t r u c t u r eo fg e o 孵p h i cs t e r e ov i d e od a t am o d e l o G C 规范中有关类进行重新定义 基于这种思路 图某一区域的拍摄场景的有效视域范围 该范围抽 地图中的空间数据部分与现有G I S 兼容 可以很容象为F O V P o l y g o n 类 继承自O G C 规范的P o l y g o n 易的转化为某一逻辑数据模型 如E S R IG e o d a t a 一类 基于该对象 可以进一步提高基于点位的视频 b a s e 等 而与视频有关的空间数据直接继承相应抽检索的精度 利用实际视域精化 并可根据给定检 象类 具有与点 线串 多边形等对象类相似的语义 索区域 任意多边形 查询符合区域空间约束条件 具有易于实现的优点 并且可实现与地图中空间数的视频帧与视频片段 从而实现基于多边形的视频 据的紧密集成 便于视频与地图的双向检索与交互 检索 3 从视频片段的角度 每一视频片段由一系 针对视频对象 共抽象了3 种与视频有关的空间几列的视频帧组成 由于每一帧均有其F r a m e P o i n t 对 何对象 1 从视频帧的角度 每一视频帧在拍摄时 象 一系列的F r a m e P o i n t 对象构成了该视频片段在 均记录了相机的空间位置及其姿态 方位 俯仰 横地图上的拍摄轨迹 相机轨迹 由此抽象了V i d e o 一 滚 信息 这一位置可在地图上进行定位 由此抽象L i n e 类 继承自O G C 规范中的L i n e 类 基于该对 了F r a m e P o i n t 类 直接继承自O G C 规范的P o i n t象 可以建立视频与路径的联系 从而支持基于路径 类 由于相机拍摄时的姿态信息是进行检索的关键 或线性参照量测值的视频检索 信息 因此在F r a m e P o i n t 类中增加了对姿态信息的 2 3 专题属性 支持 基于该对象 可根据给定检索参数 查询符合专题属性是传统数据库管理领域研究的主要对 点位空间约束条件的视频帧及视频片段 进而实现象 这里直接应用A t t r i b u t e 这一对象对其进行抽 基于点位的视频检索 2 每一视频帧拍摄场景与现象 根据应用需求确定其描述的具体属性内容 同类 实世界区域是对应的 根据相机的内方位元素以及A t t r i b u t e 组合为一个专题对象 T h e m e 描述该类 通过同一场景左 右校正帧进行立体计算获取的场别某一地物相关属性 由于应用需求不同 同一地 景视差信息 可估算拍摄场景三维结构信息 这一三物可描述多方面专题属性 因此地物与其专题对象 维结构信息结合F r a m e P o i n t 对象 可估算对应于地 之间是一对多的关系 根据这些专题属性 可抽取 万方数据 第4 页地理与地理信息科学第2 9 卷 其有关内容 生成对地理实体某一专题的语义描述 基于视频片段或视频帧语义描述 可将从地图角度 及从视频角度对同一地理实体语义描述进行匹配 进而实现地理立体视频的语义参照与语义检索 2 4 语义标注 语义标注对象用于支持高层次语义内容的视频 检索 它主要根据设计的模式对视频内容进行语义 描述 借助这一语义描述实现对类似于 检索包括1 4 教学楼的视频片段 的检索任务的支持 对应于 视频对象抽象层次 语义标注对象也派生出两个层 次的子类 视频片段标注与帧标注 视频片段标注 主要描述某一视频片段的语义信息 更注重描述该 视频片段全局信息 包括视频拍摄时间 时长 视频 中包括的主要地物 建筑物 等方面 而帧标注则是 描述某一视频片段的某一帧的局部语义信息 例如 该帧拍摄时间 拍摄场景内的主要地物等 借助于 该对象 可实现基于概念的视频检索 并通过对视频 内容的高层次语义描述建立与地图中的地理实体语 义描述的参照关系 丰富了地理立体视频的检索方 法 补充了与地图除位置参照外的语义参照关系 2 5 线性参照 地理立体视频数据模型抽象了路径及事件对 象 实现对线性参照的支持 其中 事件进一步抽象 为点事件 对应于视频帧拍摄位置 即F r a m e P o i n t 对象 与线事件 对应于视频片段的拍摄轨迹 即 V i d e o L i n e 对象 通过对线性参照系统的支持 可 建立视频帧特征值与拍摄位置的对应关系 并根据 播放的视频帧检索地图上特定路段的特定位置 或 者根据特定路段的某一位置 快速定位到某一视频 片段的某一帧 从而实现了基于线性参照系统的视 频与地图的双向检索 3 地理立体视频数据模型功能分析 地理立体视频数据模型通过几何 视频 语义标 注 专题属性及线性参照 实现了可视化 量测及检 索等应用功能 图3 图3 地理立体视频数据模型功能 F i g 3 F u n c t i o no fg e o g r a p h i cs t e r e ov i d e od a t am o d e l 1 可视化 可视化是地理立体视频进行地理 子对象 G I S 可视化是模型中空间几何部分的核心 表达的核心 包括两方面 基于立体视频的模拟三维功能之一 除了基于对地理实体抽象的点 线 面等 实景可视化及基于空间数据的G I S 可视化 其中 对象实现传统G I S 提供的地图可视化功能外 还通 实景可视化主要是借助于视频片段来实现 根据应 过抽象的F r a m e P o i n t V i d e o L i n e 及F r a m e P o l y g o n 用需求可采用普通视频 校正视频以及立体视频等对象实现关于立体视频拍摄的空间位置 轨迹以及 万方数据 第1 期韩志刚等 地理立体视频数据分析与模型设计 第5 页 拍摄场景的平面视域范围的可视化 丰富了模型的 可视化功能 2 量测 模型的量测功能主要是基于立体视 觉原理 借助于立体视频帧加以实现 主要涉及校正 帧和视差帧两个对象 这两个对象均继承自帧对象 是立体视频片段进行量测的基本数据 其中 校正 帧可获得精确的量测目标点图像坐标信息 行 列 基于这一信息可读取视差帧中量测目标点的视差 值 通过相机内方位元素 焦距 基线 像主点等参 数 可计算量测目标点在相机坐标系下的三维坐 标 进而实现影像量测 3 检索 模型支持的检索方法包括空间检索 及语义检索两方面 空间检索主要是基于模型中抽 象的立体视频空间特征 结合其与检索对象 如给定 点位 给定区域等 的空间关系进行判断 常规的空 间检索涉及F r a m e P o i n t V i d e o L i n e 及F O V P o l y g o n 对 象 可分别基于点 线及面的空间关系进行视频与地 物对象间的双向查询与检索 此外 基于模型的线性 参照部分 可实现基于M e a s u r e 值的空间检索 语义 检索主要由语义标注对象及专题属性对象来实现 通 过匹配视频对象的语义描述与空间数据的专题属性 描述 实现基于语义的视频与地图间双向检索 4 试验分析与结论 本文试验是在W e b 服务技术的基础上 开发了 地理立体视频W e b 服务原型 以验证模型设计 为 卓 在G I S 中拓展类似于地理立体视频的新型可定位多 媒体的数据管理提供理论与技术支撑 试验区域为 河南大学金明校区 使用加拿大P o i n tG r e y 的三目 相机B u m b l e B e eX B 3 沿校园内部分道路共采集视 频片段7 个 包括22 6 8 帧视频图像 总时长7 5 3S 外业获取原始数据后 按照相应的数据处理方法 分 别生成F r a m e P o i n t 和V i d e o L i n e 数据 基于立体视 觉方法 对视频帧数据进行影像匹配 影像校正并计 算视差图像 选用相应的立体合成方法合成立体视 频数据并进行格式转换 解析视差图像 并结合各视 频帧的F r a m e P o i n t 对象 估算相应帧的二维有效视 域F O V 生成F O V P o l y g o n 数据 基于A r c G I S 的线 性参照工具计算 生成路径及事件数据 采用X M L 编辑工具定义视频语义描述数据 并基于E S R I G e o d a t a b a s e 建立地理立体视频数据库 1 视频检索 首先选择相应的检索方法 并单 击任一绘图工具 点 线 面 矩形 在地图上绘制检 索对象 单击 视频检索 即可 例如 检索视频帧内 容包含点A 且拍摄位置与A 点距离不超过2r n 的 视频帧 这是根据点对象与方向约束检索视频帧的 操作 选择 P o i n t F r a m e P o i n tB yD i r e c t i o n 检索 方法 绘制检索点并输入缓冲距离 结果如图4 图 4 a 中 圆形点为绘制的检索点 菱形点为检索的视频 帧F r a m e P o i n t 通过双击表格中的结果行 可在地图 上绘制出对应的V i d e o L i n e F O V P o l y g o n 对象 在 视频区绘制视频帧 图4 b 二一 t 一 1 由 I N a f i 一i 一J H dJ 位岽站果b 显q i I L t l j u 讨象盟州卿4 1 m 刈象 图4 检索试验示意 F i g 4 D a t aq u e r y i n g 珲T 眦n tg r a p h 2 视频播放 根据视频检索结果 在视频片段频帧图像上绘制距离标注 图6 表中单击要播放的视频片段 调用视频播放服务获试验分析表明 地理立体视频数据模型通过位 取视频播放资源表述 并解析 加载视频资源及空间置参照 语义参照 实现了地理立体视频与G I S 的有 数据资源 然后单击 视频播放 同时在地图上绘制机集成 相对于其他模型 具有显著优点 1 功能丰 当前帧的F r a m e P o i n t F O V P o l y g o n 图5 富 除空间可视化外 模型通过立体视频支持模拟 3 影像量测 视频检索完成后 在视频帧表中三维可视化 结合F r a m e P o i n t V i d e o L i n e 和F O 一 单击要量测的视频帧 在视频显示区绘制当前校正V P o l y g o n 等空间几何对象 支持基于点 线 面和线 帧影像 然后在帧图像上分别单击 获取量测点图像性参照系统等多种检索方法 通过定义视差帧对象 坐标 再单击 视频量测 即可获取量测结果并在视借助于计算机立体视觉方法 支持影像量测 2 集 万方数据 第6 页地理与地理信息科学第2 9 卷 气二 j 二i c t n t 州 丝l 瞳 t 目 目自 酗 皇 c 南 E t s n 厢 曼 量t 目鼍b 曼 自 舅 曼 i 自舅 a 加载视频片段对象 1 视频播放f 第1 l 帧 图5 视频播放试验示意 F i g 5 V i d e op l a y i n ge x p e r i m e n tg r a p h r 1 t a 定义量测点藏取量测点图像坐标 b 影像量测结果 图6 影像量测试验示意 F i g 6I n 擎u m n te x p e r i m e n tg r a p h 成化 数据类型上 模型实现了视频数据与地图数 2 3M I C H A E LFG G e o g r a p h i c a li n f o r m a t i o ns c i e n c e J 3 I n t e r n a 一 据的有机集成 集成层次上 模型中视频帧与对应 n o n 射J o 1o f 恤o g r a ph i m o 甜1 0 s y 5 伦m 5 1 9 9 2 6 的相机位置 点 姿态及拍摄场景的视域范围 面 3 墓D 蕊G o g r p h i ci f o 丌n i i e n D e f i n i g h f i e l d 进行集成 多个视频帧形成的视频序列与拍摄轨迹 r A D U C K H A i i M I c H E L F G w R 1 3 Y s M iF d a 线 也实现了集成 集成方法上 它支持基于空间t i o fG g r a p h i I n f H n t i S c i e n c e c N Y k T a y I 位置的集成方法及基于语义的集成方法 前者基于 河南大学中澳地理信息分析与应用研究所 河南 开封 475004 王万同 WANG Wan tong 河南大学 环境与规划学院 河南 开封 475004 刊名 地理与地理信息科学 英文刊名 Geography and Geo Information Science 年 卷 期 2013 29 1 参考文献 22条 参考文献 22条 1 RON A The national science foundation national center for geographic information and analysis 1987 04 2 MICHAEL F G Geographical information science 1992 01 3 MARK D M Geographic information science Defining the field 2003 4 刘妙龙 周琳 地理信息科学学科领域界定再思考 期刊论文 地理与地理信息科学 2004 03 5 MICHAEL F G Geographical information science Today and tomorrow 2009 01 6 KENTARO T RON L ASTA R Geographic location tags on digital images 2003 7 JOO I H HWANG T H CHOI K H Generation of video metad