基于云计算的自动气象监测网络系统(精)

收稿日期 :2011-10-25; 修回日期 :2011-12-20。作者简介 :陈琳 (1986 , 女 , 湖北武汉人 , 硕士研究生 , 主要研究方向 :自动控制系统 ; 齐文新 (1968 , 男 , 福建福州人 , 讲师 , 博士 , 主 要研究方向 :嵌入式系统 、 数据采集 、 移动无线数据通信 、 计算机网络通信 ; 齐宇 (1984 , 男 , 湖北武汉人 , 工程师 , 硕士 , 主要研究方向 :气象 监测 、 云计算 。文章编号 :10019081(2012 05141503doi :103724/SPJ1087201201415基于云计算的自动气象监测网络系统陈琳 1*, 齐文新 1, 齐宇2(1华中科技大学 图像识别与人工智能研究所 , 武汉 430074; 2武汉新普惠科技有限公司 , 武汉 430074(*通信作者电子邮箱 forever_chenlin126com摘 要 :针对目前自动气象监测系统在建设和运行中出现的硬件成本高和信息孤岛等问题 , 提出了基于微软的Windows Azure 云计算平台的自动气象监测网络系统 。 系统采用通用分组无线服务 (GPRS 组网技术实现自动气象站的接入 ,运用微软的 Blob 、 Table 存储和 SQL Azure 数据库进行海量数据存储 , 结合 ASPNET 及 Flash 技术在 Windows Azure 平台上开发和部署 Web 的门户网站 , 为用户提供统一访问平台 。 结果表明该系统的实现较好地解决了问题 , 对 各种范围内自动气象监测网络系统的开发具有建设性意义 。关键词 :自动气象监测网络系统 ; 云计算 ; 云存储 ; 信息孤岛 中图分类号 :TP31152文献标志码 :AAtmospheric monitoring network system based on cloud computingCHEN Lin 1*，QI Wen-xin 1，QI Yu 2(1Institute of Pattern Recognition and Artificial Intelligence，Huazhong University of Science and Technology，Wuhan Hubei 430074，China ;2Wuhan Xinpuhui Technology Corporation Limited，Wuhan Hubei 430074，ChinaAbstract:In order to solve the problems of high hardware cost and information isolated island in the constructing and operating of atmospheric monitoring network system，this paper proposed an atmospheric monitoring network system based on Microsofts Windows Azure cloud computing platformThis system provided access for automatic weather stations by General Packet Radio Service (GPRS network technology，adopted Microsofts Blob，Table storage and SQL Azure database to store massive data，developed and established Web portal on Windows Azure platform with ASPNET and Flash technology，realized a unified access platform for usersThe results demonstrate that this system can effectively solve the problem and create constructive value for establishing atmospheric monitoring network system in various rangesKey words:atmospheric monitoring network system; cloud computing; cloud storage; information isolated island0引言近年来 , 全球气候异常现象越来越显著 , 气象灾害引起的 经济损失日益严重 , 随着公众气象意识的提高 , 对气象信息监 测 、 气象发布提出了更多更高的要求1。 目前 , 自动气象监测系统的研制方面已经取得了很大的发展 , 其中最具代表性的是自动气象站 2, 各种已投放建设的自动气象站分布在全 国各地 ,组建的自动气象监测系统极大提高了局部性天气系 统的预报预警能力及监测能力 , 为地面气象观测发挥了积极 作用 。 除了国家专门的各级气象台 , 自动气象站监测系统在 大型厂矿 、 大专院校 、 科研单位 、 民航 、 海洋 、 农业 、 林业 、 水利 、 电力 、 石油和地质等非气象部门也得到了广泛应用 。 但自动气象监测系统在各应用部门发展良莠不齐 , 各部 门花重金购服务器和软件等 , 有自己的信息管理中心 , 从数据 库到服务器及业务管理系统都各不相同 。 这不仅造成了中小 型单位资金投入的巨大负担 , 还使得不同单位之间相互沟通 时 , 缺乏统一规划下的用户访问接口 , 不能很好地做到任务统一调度 , 即信息缺乏共享 3, 存在信息孤岛 。云计算是互联网发展带来的一种新型计算和服务模式 , 它是通过分布式计算和虚拟化技术建设数据中心或超级计算 机 , 以租赁或免费方式向技术开发者或企业客户提供数据存 储 、 分析以及科学计算等服务4。 其中虚拟化技术实现了信息技术 (Information Technology ,IT 资源的逻辑抽象和统一表 示 , 在大规模互联网数据中心 (Internet Data Center , IDC 管理 和解决方案交付方面发挥着巨大作用 , 可以实现跨系统的资源动态调度 , 将大量的计算资源组成 IT 资源池并动态创建高 度虚拟化 IT 资源供用户使用 , 具有专业性 、 经济性 、 灵活性 、 共享性和可靠性 。本文针对自动气象监测系统建设和运行过程中出现的各 种问题 , 引入了云计算技术 , 设计和实现基于云计算平台的自 动气象监测网络系统 , 以达到减少各部门硬件投入成本 , 实现 全网信息共享的目的 。1系统总体设计本文结合微软云计算平台设计了图 1所示的自动气象监测网络系统 。该自动气象监测网络系统的工作原理为 :用已接入系统的自动气象监测站点气象要素传感器对气象情况进行实时采集 , 采 集到的海量数据可以通过通信链路传送至数据中心 微软云 计算平台进行分析处理 , 再通过适当的网络传送至各个应用客户 终端 , 为公众和企业决策部门提供及时准确的信息 。整个自动气象监测网络系统自下而上分为感知层 、 网络 层和应用层 , 具体分析如下 。感知层由各行业和单位的自动气象站构成 。 各自动站Journal of Computer Applications计算机应用 ，2012，32(5 :14151417ISSN 1001-9081CODEN JYIIDU 2012-05-01http:/wwwjocacn的温度传感器 、 雨量传感器 、 风速风向等各种气象要素传感器 将采集到的各类信号转化为电信号 , 再通过数据采集模块后转化为数字 符号 ,利用 传 输 模 块 GPRS DTU (Data Terminal Unit , DTU 将各种信息数据同步传送到云计算平台中 , 即完成了对气象数据的“ 感知 ” 功能 。 网络层 由承载网络和支撑系统组成 。 用户可以通过 GPRS 网络提供的无线通信网络 承载网络将自动气象站 接入到云计算平台 。 云计算平台作为支撑系统 , 是整个系统的核心 。 本文应用微软的 Windows Azure 云服务平台 5完成对感知层采集到的海量气象数据的存储 、分析和处理等工作 。 采用云计算平台 , 各种经过处理的中间或最终气象资料数据统一存储在在第三方云服务商提供的存储资源上 ,由云提供 商负责运行和维护 。应用层 用户可以通过 Windows Azure 发布的唯一访问接口对气象信息进行访问 ,用户终端使用各自权限实现气象 浏览 、历史气象查询 、 数据处理和系统设置等功能 , 为各行各 业提供实时有效的气象监测信息 , 供企业单位进行生产和决 策等应用 。从系统的整体结构图可以看到该系统分为三个层次实现 了不同的功能模块 。 以微软云计算平台构建软件中心 , 其虚 拟技术和分布式技术为系统提供了极大的伸缩性和负载平衡 ,为系统的开放式结构提供了基础 6。 用户自动气象站可 以方便地接入系统 ,不用担心系统资源负载问题 , 而且通过云 计算平台为所有用户提供一个标准统一的 Web 网站界面 , 使 用户间可以方便地进行沟通和气象信息共享。 图 1基于云计算的气象监测网络系统结构2关键技术研究及实现21自动气象站网的组建本文以无线遥测自动气象站为研究对象 , 将感知数据先后经过网关和网桥发送到接入网络 ,通过接入网络 , 把中间或 最终处理结果传送到 “ 云端 ”。 因此自动气象站的网络组建 成了感知层实现的关键 。用户的自动气象站可能分布在全国各地 , 地理环境各不相 同 , 包括条件及其恶劣和艰苦的无人区 。 为了使各种用户的自 动气象站都能合理地接入系统 , 组网技术是关键 , 也是决定感 知层中气象数据资料是否能有效 、 快速传播的根本保证 。 通用分组无线业务 (General Packet Radio Service , GPRS , 是在现有 的全球移动通信系统 (Global System for Mobile communication ,GSM 上发展出来的一种新的分组数据承载业务 , 特别适合于 间断的 、 突发性的或频繁的 、 少量的数据传输 。 根据自动气象 站资料数据量较小 , 资料传输次数密度大 , 资料传输突发性高 等特点 ,GPRS 是当前适合气象站网络组建的可靠技术 7。 本自动气象监测网络系统组网根据 GPRS 网络提供的通信连接方式和现有自动气象站系统通信情况 , 设计了具有统一的接入点名称 (Access Point Name ,APN 、 统一的 IP 地址规 划 、 统一的数据传输规范协议和数据传输格式的自动气象站 网 8。 在该自动气象站组建的网络系统中 , 自动气象站负责气象数据 (如 :风向 、风速 、 雨量 、 温度 、 湿度 、 气压等 的采集 , 并提供对外连接的 RS232接口 , DTU 负责连接 GPRS 网络 , 接收发送自动气象站资料 , 在自动气象站与通信处理中心的数 据交互中起着桥梁的作用 。 GPRS 网络负责气象数据的无线 传输 , 并 通 过 GPRS 网 关 支 持 节 点 (Gateway GPRS Support Node , GGSN 实现自动气象站资料采集中心的专线接入 。GPRS DTU 工作时均有一张 SIM 卡 , 利用 SIM 卡的唯一 性 , 对 SIM 卡号码进行鉴别授权 , 对 SIM 卡号和 APN 进行绑定 ,实现系统的网络安全 。 GPRS-DTU 将各区域站的基本信 息和该站的整点资料打成 IP 数据包 , 通过 GPRS 基站接入无线 GPRS 网络 ,然后由移动服务商通信设备转接到 Internet , 最后通过各种网关 (或路由器 到达云计算平台 。 云计算平台中部署 GPRS DTU 接收软件 ,从 Internet 接收到 IP 数据包 后 , 该接收软件将气象数据的 IP 数据包还原成气象数据格 式 , 实现各自动气象站资料通过 GPRS 网络和 Internet 到云计 算平台中 SQL Azure 数据库的准时和同步传输 。采用以上网络组建 , 能有效提高自动气象站的采集效率 , 实现全网资料的同步采集 , 提高对自动气象站网的监控能力 和维护能力 。 22云存储各单位自动站感知到的数据通过 GPRS 网络传输到通信 处理器后再存储到微软云计算平台 。 利用云计算提供的统一 数据存储平台 , 进行数据管理与维护 。微软的 Windows Azure 平台提供了多种数据存储方式 ,主要有 Windows Azure 存储和 SQL Azure 9。 本系统兼顾使 用了两种存储方式 , 如图 2所示。图 2系统云存储方式和内容示意图Windows Azure 存 储 提 供 了 Blobs 和 Tables 。 Blobs Storage 类似文件桌面系统 , 用于存储大尺寸二进制和文本文 件 ; Tables Storage 为云端的表格结构 , 是由多个属性组成的可 查询的结构化实体 。 本文主要使用了 Blobs Storage 来存储了 云应用程序中的所有图像文件以及 Flash 文件 , 将它们存放 于 Blob 中利用 Windows Azure 内容传输网络 (Content Delivery Network , CDN 使得数据缓存能够接近于最终用户 。 由于云 端不能保存本地缓存 , 系统使用 Tables Storage 来解决本地的 Session 状态的缓存问题 。本系统主要使用了 SQL Azure 来进行数据库管理 。 它是构建在 Windows Azure 云操作系统之上 ,由微软 SQL Server 2008为主运行云计算的关系数据库服务 。 各种气象信息资料 (包括风 、压 、 湿 、 温度和降水 具有简单和相互关联等特 点10, 因此很容易使用云中的关系数据库和工具 (例如表 、 视图和存储过程 提高开发效率 。 系统中气象要素传感器将每 分钟采集实时气象数据暂存在采集器 , 各种气象数据以一小 时为间隔 , 自动传输到监测中心 。 根据需求对这些资料进行 分析处理 , 建立了包括气象站信息 、 整点气象信息 、 分钟气象 信息和人员管理信息等数据库 。 通过使用本地的 SSMS (SQL Server 2008R2Management Studio 可以方便管理 SQL Azure 中的气象信息数 据 库 。 此 外 还 使 用 了 微 软 最 新 开 发 的 Data Sync Services 和 Sync Framework 等同步工具来保证气象信息 数据能及时传送到云端进行处理 。使用第三方平台作为数据存储中心 。 一方面消除了客户 自己购买和管理数据库服务器的成本和资源投入 ; 另一方面 , 将气象数据和相关文件存储到微软的 Windows Azure 云平台 后 , 在云端将由微软专业人员其对存储系统计算机集群进行 数据多副本容错 、 计算节点同构可互换等措施来保障服务 , 无 需用户管理员进行维护 , 其专业性和高可靠性使系统更加稳 定和健壮 。23云应用程序开发和发布本系统的应用层旨在为用户提供统一 、 友好 、 交互式的 Web 界面 , 使用户只通过终端浏览器就可以实现对气象监测 信息的浏览 、 查询和修改等 。 系统软件开发使用微软 VS2010配合微软公司提供的云应用程序开发包 Windows Azure SDK 来进行云应用的开发 、 调试 、 部署 、 管理 , 并通过 ASPNET 组 件高效开发云应用程序 。 该系统的开发语言是 C #, 它能支持面向对象编程 , 具有较好的程序结构和强大的库类支持 11。云应用程序开发流程如图 3所示。 图 3云应用程序开发流程首先使用了 VS2010和 IIS 在本地开发 ASPNETWeb 应用程序 。 ASPNET 是目前比较流行的动态网页技术 , 支持程序 代码与前端用户界面的分离 , 执行效率高 。 本系统使用 ASPNET 提供的各种标准控件 、 Web 服务器控件等基本控件 , 并利用 Flash 技术 12开发系统所需要各种自定义用户控件一起创建用户界面 ,包括实时气象浏览 、 历史气象查询 、 气象资料 统计和系统管理等 。 前端用户界面主要通过后台逻辑代码实现各种功 能 ,后 端 程 序 主 要 利 用 ADONET 技 术 连 接 SQL Azure 数据库 、 配置数据源 sqlDataSource 操作气象信息表实现查询和修改等 。 此外系统还实现了权限管理 ,使得在系统管 理页面中 ,不同角色对应不同的管理功能 。 该技术开发主要 采用 ASPNET35提供的功能树 (TreeView 控件和 iframe 浮 动框架相结合 。 将功能树各节点的 NavigateUrl 属性绑定至相应的子功能页面 ,同时将该子功能页面嵌入到 iframe 框架 , 再通过后台代码逻辑操作功能树 , 使其不属于某些角色权限 的节点自动隐藏 。本地 Web 网站构建好后 , 使用 VS2010提供的“ ASPNET Web 角色 ” 云模板将本地 ASPNET 应用程序迁移到云端 。 云服务项目中的 Web 角色实际上是运行于 IIS 上的 Web 应 用程序并能通过 HTTP 或 HTTPS 终节点访问 。 云中的每个角色实例都分别对应于一个虚拟机 (Virtual Machine ,VM 实 例 ,本系统将 Web Role 设置为 3个实例 , 以便支持负载平衡 , 解决大量并发性访问带来的一系列安全行问题 。迁移完毕后 , 在 VS2010中生成可发布成在云端运行的 “ Web 角色 ” 包 , 为了缩小 “ Web 角色 ” 包的大小 , 还将系统菜单图标文件 、CSS 文件 、 Flash 用户控件和 Session 状态数据从 它们的内容文件夹中取出 ,放入 Windows Azure Blob 和 Table 存储空间 。 最后通过 Windows Azure 开发者门户上传部署该 “ Web 角色 ” 包后得到唯一域名的自动气象站 Web 网站 。 24应用实现本文基于微软云计算平台设计了自动气象监测网络系 统 , 实际投入运行后的结果如图 4所示。 图 4自动气象监测网络系统运行界面3结语该开放性智能系统的投入使