中国天气网数据采集与产品.ppt

1、中国天气网数据采集与产品共享系统样例规程说明,李永杰 Great OpenSource Inc. Website: ,目 录,目的 业务流程 开发样例说明 个性化应用程序说明 网站功能简要说明 问题交流,目的,数据采集与产品共享平台是一个复杂的可扩展系统应用平台，通过我们的努力已经减少了用户参与的复杂度，即使这样，由于整个平台环节较多，业务的灵活性也会导致用户不易于理解整个过程，因此，本培训主要讲解用户参与的实际过程应用，用户通过本培训可以了解到如何参与到数据准备、采集、网站编程、网站发布的过程中（网站页面的设计不在此教程）。,数据采集与共享数据流程,问题交流,问题交流,开发样例说明,系统处理

2、流程 产品文件准备 命名规范 存储设计文档 定期作业,产品文件准备,整理并分类所需要上传的省级个性化的中国天气网产品，这些产品是原业务渠道中没有的，但是需要在天气网省级站中展示的地方特色产品，需注意的是已经有的数据产品还按照原有的方式处理，采集共享平台是对原有的数据进行补充。 产品文件类型分为数据型、文件型、图片型、标准数据。 数据型文件一般为TXT文件，TXT文件当前默认定义为文件的第一行为字段名，从第二行开始才是正式的数据行，数据的默认分隔符为“|”，一个文件只包含一种数据类型，文件命名遵守中国天气网省级站-共享数据平台文件命名规范的九段命名约定；如果是Excel文件，默认定义为第一个的工

3、作页，第一行为字段名，从第二行开始为数据行。 文件型文件，代表此文件不提取数据，整个文件完全读取，这种文件包括TXT、DOD、PDF等，文件命名遵守中国天气网省级站-共享数据平台文件命名规范的九段命名约定。 图片型文件，按照500k大小进行整理，文件包括JPG、GIF、PNG文件命名遵守中国天气网省级站-共享数据平台文件命名规范的九段命名约定。 标准数据是按照中国天气网省级站元数据标准形成的文件，文件格式为XML文件格式，包含了以上四种数据格式。,产品文件准备,根据数值型文件定义表结构，如果此数据是标准的，则不需要定义表结构和字段名，由公共气象服务中心统一定义；如果此数据仅本省使用，则需要定义

4、表结构和字段名，表名为“SHARE_九段标识的第三段”（产品内容编码）。 确认此文件更新频率后和公共气象服务中心交互形成每个省的中国天气网省级站产品数据存储设计。 与各省业务部门一起协调解决文件命名和数据格式，使之符合第2条的标准。 省级站需要向公共气象服务中心申请分配FTP用户名和口令，并提交中国天气网省级站产品数据存储设计,命名规范,命名约定 服务产品文件名由数据分类属性、产品制作单位、产品内容编码、产品生成系统书信、产品要素属性、产品区域属性、产品层次定位属性、产品图类标识、预报产品的起报时间（实况监测产品的观测时间）和产品预报时效、数据存储格式等信息编码组成。各个属性之间用下划线“_”

5、分隔 命名表达式 PWCP_制作单位_产品编码_产品生成系统_产品的要素_产品覆盖区域_产品所指高度民主层次_图形产品的图形类别_起报时间/观测时间预报时效数据存储格式,命名规范,数据分类 根据产品的内容属性和用途对产品进行分类，标记字符编码。所有产品使用“PWCP”分类。 产品制作单位 产品制作单位的字符编码。制作单位编码表见附件1中的表1.1。 产品内容编码 根据预报服务产品的内容对产品进行分类，用唯一的字符编码对产品进行区分。此项为必选项，对每个产品必须确定产品编码。气象服务产品的编码表见附件1中的表1.2。 产品生成系统标识 产品制作系统或产品生成软件或软件系统的编码。产品生成系统标识

6、用于区分不同方法制作的同类服务产品。生成系统编码表见附件1中的表1.3。当产品制作系统无确定名称时，标记“S99”。 服务产品要素属性 气象预报服务产品要素描述编码，主要用于区分数值模式预报产品、实况观测记录等同一类型数据中存在的不同要素的产品属性。要素编码表见附件1中的表1.4。当某种预报服务产品不具备要素特征，此项可用缺省值“E99”表示；当某种预报服务产品具备多要素特征，此项可用缺省值“EME”表示。,命名规范,服务产品区域属性 产品区域编码标识产品所要覆盖的区域属性。区域编码表见附件1中的表1.5。 服务产品层次属性 服务产品层次属性是气象预报服务产品垂直层次定位描述编码。主要用于区分

7、数值模式预报产品、实况观测记录中的不同层次属性。服务产品层次属性编码表见附件1中的表1.6。当某种预报服务产品不具备空间层次特征，此项可用缺省值“LNO”表示。 服务产品图形类别属性 服务产品图形类别属性用于区分同类服务产品不同图形表现形式的产品。图形类别编码见附件1中的表1.7。非图形化产品此项可用缺省值“P9”表示。 起报时间（观测时间） 标识预报产品预报时段的开始时间，或实况产品的观测时间。用YYYYMMDDTTMMmm表示。 其中，YYYY: 四位年， MM: 月份， DD: 日期， TT: 小时， mm: 分钟， 预报时效和预报间隔时间 产品的预报实效和预报间隔由“FFFxx”表示。

8、FFF用来表示预报实效，具体编码见表1.9。 xx用来表是产品的预报间隔, 具体编码见表1.10。 FFF: 预报时效中的小时数， xx:， 预报时间间隔。 对于实况产品，其FFFxx应为“00000”。 数据存储格式 标识预报服务产品文件的文件格式属性。数据存储格式编码见附件1中的表1.9,命名规范,存储设计文档,此文件是每个省的数据采集与共享数据存储模型 数据来源：山西向国家气象局上传的数据文件 存储方式：数据表 更新频率：1天1次（15:00） 读取文件名：PWCP_ASX_CAFC_S99_E99_ASX_L88_P9_YYYYMMDDHHmm02424.xml 文件格式：标准文件 数

9、据集名称： PWCP_ASX_CAFC_S99_E99_ASX_L88_P9_024_24_XML,存储设计文档,表名： share_ASX_CAFC,唯一索引：发布时间+预报时段+地区标识+地点标识,产品文件准备,XML数据文件示例,用户定期作业,产品文件上传服务器 服务器地址：9 FTP端口：21 FTP访问模式：主动 用户名口令随存储模型文件下发 定期作业 根据更新频率 文件名中的“产品生成时间属性”是实际日期,用户定期作业,上传文件时需添加临时的后缀名.TMP，当文件上传完成后再将后缀名去掉成为正式文件,小结,通过本小结的学习，我们了解了如何准备产品文件，并且按照命

10、名规范定义了产品文件名，并和业务部门商议提供的产品的时间频率、如何将文件上传到国家局的服务器等内容,个性化应用程序说明,系统处理流程 目录和语言准备 命名规范 如何浏览发布的内容 返回参数约定 JAVA语言模板示例,系统处理流程,目录和语言准备,开发目录 使用省级站的开发用户登录服务器，根目录就是本省个性化应用程序的开发目录，本目录与市级站共用，开发人员直接在根目录下编写应用程序。 应用程序生成的htm块统一放在根目录下的htm子目录内，例如北京站的生成目录为:/beijing/htm/。市级站要加一级市级目录，例如贵阳站的生成目录为:/guizhou/guiyang/htm/ 开发语言支持

11、为满足不同开发人员对开发语言的使用习惯，本应用程序平台目前提供java和php两种开发语言的编程环境。开发人员可以在开发目录内使用其中一种或同时使用两种开发语言进行程序开发,命名规范,图形类产品程序 所有省级站的图形类产品模块的应用程序都由主站统一编写，生成htm块存在各省的htm子目录下，该程序为：/home/www/htdocs/lib/pic_product.php。 非图形类产品程序 非图形类产品的应用程序由各省开发人员编写和维护，原则上一个产品对应一个应用程序，程序的文件名由省拼音名和模块拼音名组成，规则为： province-pinyin-name_module-pinyin-na

12、me.php province-pinyin-name_module-pinyin-name.java province-pinyin-name_module-pinyin-name.class 例如北京的精细化预报的应用程序为：beijing_jxhyb.php,如何浏览发布的内容,个性化产品应用程序通过http协议调用和浏览，在浏览器中访问程序url会自动生成对应的htm块 图形类产品程序调用和浏览 图形类产品应用程序直接调用统一图形产品程序，传递固定参数，形式为：class_page= parameter。当传数传递错误的时候会返回错误号 400 ，如不传递参数，程序默认参数为bj_sz

13、yb_szyb 6/lib/pic_product.php?class_page=bj_szyb_szyb。 非图形类产品程序调用和浏览 例如调用北京的精细化预报产品应用程序为： 6/beijing/beijing_jxhyb.php,如何浏览发布的内容,当需要对生成的htm块进行检查和调试时，可直接访问htm块的地址进行预览。例如要预览北京精细化预报htm块为： 6/beijing/htm/jxhyb.htm,返回参数约定,为方便监控数据和产品在生产和传输过程中的状态，并了解产品当前在整个数据流程

14、中所处的节点，我们引入程序执行代码来记录操作状态。通过执行代码了解数据当前的状态，并决定下一步的操作，同时，也方便日志的查询和统计。 当程序执行成功或因为某种原因出现错误时，程序会返回执行代码，来标识成功或程序错误的类型。 如果需要访问的数据不存在，则返回“404”；如果目录没有写权限，则返回“403.1”；如果文件没有写权限，则返回“403.2”；如果调用统一图形产品程序时传递参数错误，则返回“400”；程序执行成功，则返回“201”。,JAVA语言模板示例,中国天气网生成相应html模块的java版实现，该程序将由相应的php程序自动调用 AbstractWeatherWebsite.ja

15、va抽象类，在该抽象类中，我们封装了数据库连接，数据库关闭，执行内部程序，写文件等代码。由于业务的不可知性，需要用户自行完成基于Oracle数据库的SQL语句（或SQL语句数组），执行状态（是单个还是多个SQL语句）和具体的生成html的代码 继承抽象类，实现抽象的方法，利用Main方法调用实现类 具体实现可以参考附件的TemplateTestWeaterWebsite .java,小结,我们在本节学习了如何生成个性化的网站页面区块，并且了解到了当前系统支持的语言，命名规范以及如何预览生成的网站区块内容。,网站功能简要说明,时间策略 手动入库 SQL查询 一键发布 日志,时间策略,管理员会预先

16、配置，用户可以自行修改 根据配置策略的自动任务读取指定目录下的标准元数据XML文件，自动任务可以设置按年、月、日、周、天、时、45分钟、30分钟、15分钟、分来读取文件，有能力的可以自定义时间表达式（Cron Expression）。 根据配置，系统会轮询目录，非实时响应不要使用每分钟轮询策略，符合标准数据文件，会处理到业务数据库,手动入库,产品可以通过上传数据文件的模式直接入库并发布 只支持单个产品 单个文件入库 支持单个文件上传入库并发布 批量入库 支持某个产品压缩成为ZIP包的模式入库并发布,SQL查询,当省级用户将文件上传到服务器后，想要查看数据是否入库或者是查看已入库的数据是否正确，

17、可以通过SQL查询来完成工作，由于每个用户的产品所使用的表基本不同，因此，系统提供了通过使用SQL语句来完成查询工作，具体的表请参考本用户的中国天气网省级站元数据存储设计标准；当完成查询后可以通过导出数据（XML或TXT）文件,一键发布,当省级用户将文件上传到服务器后，想要检查文件是否正确入库时，可以通过一键发布功能进行查看；一键发布功能会将当前用户目录中所有未处理的文件，以列表方式列出，用户可以对这些文件进行一键发布（一键发布是将此用户下所有用户的时间任务立即执行，并暂停原来的任务，执行完毕后再继续执行原任务），也可以将不需要入库的文件删除 。入库成功后，时间任务会调用“个性化产品程序”生成页面htm块，htm块成功后，时间任务调用页面传输进程，将htm块同步到web服务