1 7 3基础数据库项目项目实施总结报告v1 1

1、 国家旅游局旅游基础数据库建设项目项目管理文档(实施总结报告) 北京华胜天成科技股份 版本控制信息北京华胜天成科技股份II本文档中的所有内容为用户和专属所有。未经用户的明确书面许可，任何组织或个人不得以任何目的、任何形式及任何手段复制或传播本文分或全部内容。版本 日期 拟稿和修改 说明 V1.0 版 2015 年 11 月 Teamsun 目录1. 项目近期工作进展1.7验收文档准备1基础数据库1云端数据采集策略优化1第三方测评机构进场情况2电子认证与到到网对接2旅游资讯网与 TRS CMS 对接2云平台扩容硬件设施实施32.验收前工作计划（主要计划）32

2、.验收文档准备3云端数据采集渠道及策略进行进一步优化3大数据分析方面3资讯网对接工作推进32.5 IVCS 实施培训4验收后的主要工作4需要提供支持44.1 到到网电子认证对接事宜4项目遇到问题及风险55.1 第三方测试日程紧张5附件.6.1 附件 1-验收文档 . 56.2 附件 2-系统与合同、招标文件对应 . 8北京华胜天成科技股份 1.项目近期工作进展1.1验收文档准备1.验收文档梳理及清点根据项目总体要求（招标文件要求、投标文件、监理要求、软件工程要求），梳理项目文档体系。包括文档的类别、名称、现状以及是否需要多方盖章等内容。梳理成果物包括验收文档

3、及文档现状、责任人划分。2.验收文档细化及准备验收文档请见附件一：“验收文档列表（最全）”；1.2基础数据库1.数据库表定义及整体梳理基础库物理属性再次细化，数据关系及结构梳理表字段定义再次细化。2.数据入库情况排查包括景区类基础数据整合及入库、酒店类基础数据整合及入库、导游员类基础数据整合及入库、旅行社类基础数据整合及入库、资讯类数据整合及入库、其他类数据整合及入库。3.ETL数据交换平台根据数据入库及数据库表变更情况，对推送内容进行配置。4.数据库整理对各系统数据库接入数、存储量、数据增长以及历史数据的处理。各系统所使用数据库备份策略的检查和备份目标位置检查并统计。1.3云端数据采集策略优

4、化1.采集渠道验证包括：政务网及资讯网覆盖情况验证、5A级景区官网覆盖情况验证、5星级酒店官网覆盖情况验证、百强旅行社覆盖情况验证、电商渠道验证、旅游频道验证、门户网站渠道验证及微博采集验证。2.采集情况反馈及采集策略配置北京华胜天成科技股份1 包括：对新机器人策略进行测试，确保出行热点信息能顺利采集到。对系统原有模版进行摸爬过滤，对需要配置的信息进行重新配置。3.截止目前，云端采集数据12000万条。数据采集情况统计见附件三：“数据采集情况统计”1.4第三方测评机构进场情况本周一（2015年11月2日），第三方测试公司国家信息中心测试人员已经进场开展工作，华胜公司与测试方就工作范围进行了确认

5、，并按测试功能制定工作计划，目前正在有序推进各个系统测试工作。1.5电子认证与到到网对接1. 与到到网就接入形式进行沟通，确定接入方案；2. 集成位置确认电子认证专题页面不作改动，认证页面在不破坏电子认证结构的情况下采用list集成方式接入，添加猫途鹰的logo链接。具3. 功能开发电子认证小组参照锦江酒店模式进行技术准备，包括扩字段，页面上位置预留等。置可以做几个效果供用户选择确认。到到网接口正式开放就可以集成联调。4.基础信息确认到到网已对先期700个酒店做了对比，生成了ID值，这部分到到网比对完毕，同时给了反馈。5星酒店信息还差158个没有匹配到，我们也通过比对，对字段属性进行调整后提供

6、给了到到网。1.6旅游资讯网与 TRS CMS 对接1.与TRS就栏目、数据对接进行沟通对栏目、数据及属性要求进行明确。将所有需要传输的数据按属性整理成Excel表格，将属性分类字段注明。2.采集程序升级事宜，对采集程序策略进行调整，如游记脱标签，图片单独处理。北京华胜天成科技股份2 3.资讯网栏目数据确认，结构化及非结构属性确认及对接事宜。在云平台上已搭建测试环境进行测试。1.7云平台扩容硬件设施实施本周完成云平台资源池扩容，V3700扩展柜已联入主机头并完成Raid及卷组划分， 新购置X3750服务器已通过光纤交换机与V3700进行连接，整个实施以信息中心技术力量为主，华胜公司配合。2.验

7、收前工作计划（主要计划）2.1验收文档准备按照验收的相关要求准备和完善各类文档，包括内容审核、排版校对打印及报审工作。2.2云端数据采集渠道及策略进行进一步优化对新机器人策略进行测试，确保近期热点信息均已顺利采集到。为出行大数据分析提供数据支撑。2.3大数据分析方面对数据分析模型进行进一步整理，终验前实现“2015年十一黄金周旅游大数据分析”。2.4资讯网对接工作推进1.资讯网栏目数据推送程序完善形成以目的地为核心，连接景区、酒店、百强旅行社基础信息以及与旅游游记、指南信息相链接的数据推送审核机制。北京华胜天成科技股份3 景区以5A级为主、酒店以5星级酒店为主，旅行社以百强为主。资讯类的，按照

8、优先级来进行推送，国家新闻门户、省级旅游资讯网分别来进行推送。2.资讯网栏目数据推送联调定制开发数据推送程序，功能测试无误后，集成到Reiking数据交换平台，由平台来统一调度。2.5IVCS 实施培训根据用户要求，组织公司技术资源进行IVCS培训。3.验收后的主要工作项目终验后，我司将继续一如既往支持基础数据库项目，重点完成以下几方面工作：1. 电子认证与到到网数据对接2. 资讯网与TRS数据对接3. 云端数据采集监控及策略完善4. 根据业务系统迁移情况，不断丰富、完善基础数据库的数据来源及内容。4.需要提供支持4.1到到网电子认证对接事宜1.协调到到网尽快开放list URL XML接口及

9、Widget接口。3.提供已经对比通过的700个酒店ID值做联调测试。加快5A及4A景区ID的适配。北京华胜天成科技股份4 5.项目遇到问题及风险5.1第三方测试日程紧张本周二2号楼会议室网络链接中断，周三云平台存储扩容等事宜导致停机，第三方测试时间被进一步紧缩，后续测试工作会相对紧张。我们会采取加班等策略进行赶工。考虑到资讯网是整个数据对外展示的窗口和载体，资讯网的压力测试、安全测试将是本次测试的重要环节，资讯网测试日程的安排，将显得尤为关键。考虑到TRS产品成熟度较高，能否协调TRS先在测试环境下部署1套基础平台，供第三方进行测试。6.附件6.1附件 1-验收文档北京华胜天成科技股份5序号

10、 工程阶段 文档名称 子目录 责任人 1需求分析 01 国家旅游局旅游数据库建设项目需求规格说明书 杜杰 2软件设计 概要设计 01 数据采集管理系统概要设计 李子安 302监测系统概要设计 李子安 403 电子认证系统概要设计说明书 李子安 505OnePlatform 大数据分析平台概要设计 李子安 6详细设计 01 数据采集管理系统详细设计说明文档 李子安 702系统详细设计说明文档 李子安 803 旅游信息电子认证详细设计说明书 李子安 904 四级报送系统-全国旅游公共厕所采集管理平台设计方案 王雪松 1005 软件开发程序编码规范 李子安 11数据库设计 01 云端数据采集管理系统

11、数据库设计 王雪松 1201 云端数据采集数据库物理模型 王雪松 1302监控系统数据库设计 王雪松 北京华胜天成科技股份61403 旅游信息电子认证数据库设计说明书 王雪松 15软件开发测试 09 国家旅游局基础数据库项目联调测试报告 王雪松 16内部测试计划 01 数据采集系统测试计划 杜文涛 1702监测系统测试计划 杜文涛 1803 旅游信息电子认证系统测试计划 杜文涛 19内部测试用例 01 数据采集系统-测试用例 杜文涛 2002监测系统-测试用例 杜文涛 2103 旅游信息电子认证测试用例 杜文涛 22内部测试报告 01 数据采集系统-软件测试报告 杜文涛 2302监测系统-软件

12、测试报告 杜文涛 2403 旅游信息电子认证测试报告 杜文涛 25部署交付 软件安装 01 数据采集管理平台及系统部署实施文档 王雪松 2602SOLR 索引库安装部署文档 王雪松 2703 旅游信息电子认证系统部署说明书 王雪松 28硬件部署 00-网络存储设备联合测试报告 王雪松 2901-IBM 数据仓库设备安装配置手册 王雪松 3002-IVCS 虚拟机安装配置手册 王雪松 3103-网神 3600安装配置手册 王雪松 3204-锐捷SG6220 安装配置手册 王雪松 3305-IBM V3700 存储设备安装配置手册 王雪松 34使用手册 用户使用手册 01 数据采集管理系统使用手册

13、 李子安 3502监测系统用户使用手册 李子安 3603 旅游信息电子认证使用手册 李子安 3704 四级报送系统-旅游厕所管理系统操作使用手册 李子安 38运行维护手册 01 数据采集管理系统运维手册 李子安 3902监控系统运维手册 李子安 北京华胜天成科技股份740标准规范 01 旅游信息资源标准体系 杜杰 4102 数据采集、清洗处理及质量检查流程汇编 杜文涛 4203 旅业云数据应用策略 杜杰 4306 旅游信息共享交换目录 王雪松 4407ReiKing 数据整合平台（接口及中间件） 王雪松 4509 国家旅游局云服务平台规划方案 v1杜杰 46项目管理 1.1.2 项目开发计划

14、杜杰 471.1.3 项目质量保证计划书 杜杰 481.1.4 软件配置管理计划 杜杰 501.7.2 旅游基础数据库项目终验工作计划 杜杰 511.7.3 基础数据库项目项目实施总结报告 杜杰 53项目周报 杜杰 报告类成果物 大数据分析报告 五一假日旅游产业运行数据分析 杜杰 54暑期旅游产业运行数据分析 杜杰 55报告 中国游客泰国空姐致航班返航专题分析报告 (20141216)杜杰 56国家旅游局旅游厕所革命分析简报 杜杰 57全国游客不文明行为记录通报后分析简报 (20150510)杜杰 58旅业热点途牛网与旅行社对掐和华住 OTA令分析简报 杜杰 6.2附件 2-系统与合同、招标文

15、件对应北京华胜天成科技股份子系统名称 模块名称 成果物类型 合同及投标要求 功能点与应用系统映射关系 数据采集平台开发 云端数据采集 1.云端数据采集子系统-包括门户网站、电商平台、景区景点站点、论坛、sns 社交媒体等方面的数据采集，提供针对每种采集类型的程序接口开发、定制等工作；2.网站采集、信息抽取、信息排重、信息分类、网络智能机器人、数据采集系统：（任务分配及监控管理、管理目标网站、数据导入导出、信息更新）、网络机器人 1.“门户网站、电商平台、景区景点”对应到“云端数据采集管理系统-信息源管理-网站管理”及“云端数据采集管理系统-信息源管理-栏目管理”；2.“门户网站、论坛、SNS

16、社交媒体”对应到“监测系统-采集配置-网站设置”、“云端数据采集管理系统-采集配置-微博元搜索设 置”及“云端数据采集管理系统-采集配置-元搜索设置”； 文档及应用软件 数据整合平台开发 数据加工 开放的“插座式”结构、支持与多种异构数据源的交换、数据转换、清洗和逻辑处理、数据管理、可视化的流程建设与控制功能、多样化调度方式、可视化监控和审计 1.SQL 调用服务：SQL 语句调用、SQL 过程调用、SQL 函数调用；2.多种异构系统间的数据转换： 表-表复制、表-表的转换、表写文件服务、表到适配器服务、表到 XML 文件、XML 文件到表、文件到表、适配器到表；3.数据处理服务；4.流程配置

17、数据交换传输 数据传输和数据加工一体化、文件传输和数据加工一体化、“物理隔离”下的内外网数据交换、监控传输过程、灵活部署和管理 数据库连接配置、FTP 服务、脚本调用服务、HTTP 下载文件服务、文件清理服务 文档及应用软件 数据共享服务 服务开发、服务调用、服务管理、服务安全管理 节点服务器创建、运行菜单创建、运行监控、定时运行任务、WebService 方式调用 数据管理与分析平台开发 数据审核 数据质量检查、出错级别定义、出错处理设计 对应到“数据采集管理平台-待审数据管理”（旅游基础信息、资讯信息、旅游线路、节庆活动、OTA 信息、旅游常识、休闲娱乐、商场/购物） 北京华胜天成科技股份

18、9四级报送系统 数据维护 数据获取和数据维护功能。 对应到“数据采集管理平台-已审数据管理”（一审数据、终审数据、资讯信息、旅游线路、节庆活动、OTA 信息、旅游常识、休闲娱乐、商场/ 购物） 文档及应用软件 数据备份 数据备份和数据恢复 见“数据采集管理平台-系统设置-数据备份”， 数据三个月自动备份， 数据分析 1.分析统计 2.分析模型：海量数据高速在线分析、数据分析模型灵活定制、数据流分析、灵活的数据可视化 1.分析统计对应到“数据采集管理平台-高级检索及综合统计分析”2.分析模型对应到“大数据分析平台” 文档及应用软件 安全管理 ReiKing 数据交换和共享平台为安全可管理的数据管

19、控平台 对应到“数据整合平台-权限组管理及用户管理” 全国旅游厕所管理系统 各省、市区县旅业管理用户可通过系统上报厕所建设计划， 填报厕所进度信息。 文档及应用软件 中国旅游资讯网建设 门户业务功能模块 应用门户功能、政务公开目录管理、互动式服务、全文检索、信息分类管理、内容管理、统一消息服务、个性化定制、网站整合 文档及应用软件 认证系统开发 网上申报 旅业资质认证：受理申请、认证、年审、管理、注销； 旅游机构和人员资质管理：核发、换证、变更、年审、注销和管理 对应到“旅游信息电子认证-认证审核-认证申请“ 审批流程 同上 对应到“旅游信息电子认证-认证审核-未审核认证信息操作” 网络查询

20、同上 对应到“旅游信息电子认证-认证审核-首页搜索-认证查询功能” 文档及应用软件 旅游监测系统开发 规划 定制分类、定制特定网站及定制监测目标 对应到“监测系统-采集配置-网站设置”、“云端数据采集管理系统-采集配置-微博元搜 索设置”、“云端数据采集管理系统-采集配置- 元搜索设置”、“云端数据采集管理系统-采集配置-预警设置”； 北京华胜天成科技股份10数据分析挖掘 热点发现、话题溯源、对象跟踪、倾向性分析 对应到“监测系统-综合分析-影响力分析”、“云端数据采集管理系统-综合分析-热点分 析”、“云端数据采集管理系统-综合分析-高级检索”、“云端数据采集管理系统-分类追踪”； 处置报告

21、 可视统计分析、摘要简报、快照取证、预警推送服务 对应到“监测系统-数据报告-常规报告”、“监测系统-数据报告-历史报告”、“监测系统-动态-（最新消息、预警信息、信息）” 黄金周出行热点挖掘系统开发 数据抽取 设置数据和模型等参数。通过数据存取调用接口，将入库的数据进行选择、分类、导入，用于进一步分析挖掘之用，同时定制模型和参数指标。 对应到“Reiking 数据整合平台”，基于基础数据库目的地、景区、酒店基础数据与评论数据进行动态叠加组合。 文档及应用软件 数据建模 对应到“OnePlatForm 大数据分析平台-标准分析模型、联动分析模型、叠加分析模型及虚拟数据模型”等 4 类模型。 智能分析挖掘 以人工智能技术，完成对信息数据的自动或手动加工处理，包括自动分类、聚类、提取关键词、深度搜索、知识自动分类、知识聚类、文本智能摘要、文本相似性检索、主题热点探测和专题追踪、全文语义检索、学科知识地图等工作 对应到“OnePlatForm 大数据分析平台-目的地分析