01数据采集管理系统详细设计说明文档V1 1

国家旅游局旅游基础数据库建设项目详细设计说明书(云端数据采集管理系统篇)版本控制信息版本日期拟稿和修改说明V1.0版2014年12月TeamsunV1.1版2015年8月Teamsun本文档中的所有内容为用户机密和专属所有。未经用户的明确书面许可，任何组织或个人不得以任何目的、任何形式及任何手段复制或传播本文档部分或全部内容。北京华胜天成科技股份有限公司 II目 录国家旅游局旅游基础数据库建设项目I详细设计说明书I1. 系统概述11.1 系统描述11.2 整体结构11.3 开发结构31.4 参考资料31.5 词汇表32. 功能设计42.1 首页42.1.1 模块概述42.1.2 公共数据结构42.1.3 功能点详述62.2 已审数据62.2.1 模块概述62.2.2 公共数据结构72.2.3 功能点详述212.3 待审数据1522.3.1 概述1522.3.2 公共数据结构1522.3.3 功能点详述1602.4 综合分析2482.4.1 模块概述2482.4.2 模块公共数据结构2482.4.3 功能点详述2492.5 OTA采集2542.5.1 模块概述2542.5.2 模块公共数据结构2542.5.3 功能点详述2562.6 网站采集2792.6.1 模块概述2792.6.2 模块公共数据结构2792.6.3 功能点详述2822.7 系统设置3052.7.1 模块概述3052.7.2 模块公共数据结构3052.7.3 功能点详述3083. 系统工具3413.1 启动/关闭3413.1.1 系统启动3413.1.2 系统关闭3413.2 备份/恢复3413.2.1 备份方式3413.2.2 备份计划3423.2.3 常见故障恢复3423.2.4 数据库的日常维护3453.3 数据清理346北京华胜天成科技股份有限公司 3461. 系统概述1.1 系统描述数据管理系统主要用于管理当前系统中采集到的所有数据，包括：景区、酒店、旅行社等基础信息，以及新闻资讯、优惠折扣、节庆活动、游记、攻略、机票、线路等信息，同时能够对不同信息来源的数据进行合并整合，能够对资讯、优惠折扣等信息进行分类处理，为后续的数据使用进行前期的预处理。1.2 整体结构数据管理系统包括已审数据、待审数据、综合分析以及OTA采集、网站采集、系统设置等六个子统各子系统的功能模块如下表所示：首页旅游线路国内游出境游邮轮游旅游资讯节庆活动最新优惠最新资讯旅游指南旅游指南游记攻略航空机票机票统计信息景区酒店旅行社已审数据一审数据景区酒店旅行社终审数据景区酒店旅行社资讯信息新闻信息折扣促销游/邮轮信息宣传营销视频信息旅游线路旅游线路节庆活动景区城市酒店OTA信息OTA评论航空机票旅游线路电商游记旅游常识旅游指南游记攻略休闲娱乐娱乐信息餐饮美食 高尔夫温泉信息商场购物礼物/特产商场购物待审数据旅游基础信息景区酒店旅行社资讯信息新闻信息折扣促销游/邮轮信息宣传营销视频信息旅游线路旅游线路节庆活动景区城市酒店OTA信息航空机票旅游线路电商游记旅游常识旅游指南游记攻略休闲娱乐娱乐信息餐饮美食 高尔夫温泉信息商场购物礼物/特产商场购物综合分析高级检索高级检索综合统计分类统计OTA采集行政区管理行政区管理基础信息管理酒店对象景区对象评论管理OTA评论网站采集信息源管理网站管理栏目管理特殊评论采集旅游目的地采集目的地管理系统设置菜单设置顶部菜单模块分类功能模块用户权限设置用户组管理用户管理首页配置首页模块分类首页信息分类首页权限配置退出系统退出系统退出系统1.3 开发结构本系统主要采用B/S结构的三层架构，也叫三层客户/服务器模式，三层具体为：客户显示层、业务逻辑层、数据层。以下内容是百度来的：客户显示层是为客户提供应用服务的图形界面，有助于用户理解和高效的定位应用服务。业务逻辑层位于显示层和数据层之间，专门为实现企业的业务逻辑提供了一个明确的层次，在这个层次封装了与系统关联的应用模型，并把用户表示层和数据库代码分开 。这个层次提供客户应用程序和数据服务之间的联系，主要功能是执行应用策略和封装应用模式，并将封装的模式呈现给客户应用程序。数据层是三层模式中最底层，他用来定义、维护、访问和更新数据并管理和满足应用服务对数据的请求。1.4 参考资料软件工程过程 清华大学出版社 2003-8-1系统分析师UML实务手册 机械工业出版社 2008-4软件工程 机械工业出版社 2007-1-1软件架构设计 电子工业 2007-5软件详细设计教程 清华大学 2010-121.5 词汇表无。2. 功能设计2.1 首页2.1.1 模块概述首页主要展示系统中，访问比较频繁、重要的数据，当前系统的首页主要展示旅游线路、优惠折扣、最新资讯、节庆活动、旅游指南、机票以及旅游基础信息景区、酒店和旅行社等的统计信息。2.1.2 公共数据结构2.1.2.1 旅游线路旅游线路涉及的表结构如下：数据库中表名：wise_travel_line数据库字段字段类型字段长度字段含义line_namevarchar255线路名称line_book_phonevarchar255预定电话line_urlvarchar255预订链接line_resourcevarchar255来源line_store_totalvarchar255库存量line_departurevarchar255出发地line_terminivarchar255目的地line_original_pricevarchar255原价line_price_favourableint8优惠价格line_rebatevarchar255折扣信息line_child_pricevarchar255儿童价line_gather_timelongtext采集时间line_summarylongtext简介line_feature_infolongtext线路特色line_college_timevarchar255发团日期line_validity_timevarchar255线路有效期line_cost_instructionlongtext费用说明line_main_travellongtext主要景点line_travel_daysvarchar255旅游天数line_trafficlongtext旅行过程中交通情况line_shoppinglongtext旅行过程中购物情况line_typevarchar255线路类型；如：邮轮、出境、境内等；1：境内；2：出境；3：邮轮；line_parent_keyvarchar255供应商主键值line_parent_namevarchar80供应商名称line_book_guidlongtext预订指南line_accident_insurancevarcharvarchar255旅游意外保险line_stayvarchar255住宿情况2.1.2.2 旅游资讯旅游资讯信息涉及到的表结构如下所示：数据库中表名：wise_web_docinfo数据库字段字段类型字段长度字段含义site_idint10采集源的id值site_namevarchar40采集源的名称group_idint2分类urlvarchar500链接urlhashbigint20链接的hash值titlevarchar300标题authorvarchar100作者clickint10点击数replyint100回复数publishtimedatetime发表时间keywordsvarchar255关键字keywordhashbigint20关键字hash值gathertimedatetime采集时间gather_idint6采集器id值txt_filevarchar200正文文件名称txt_offsetint10正文的开始索引号txt_lengthint10正文的长度inserttimeint10入库时间2.1.2.3 旅游指南该部分的数据结构如2.1.2.2所示。2.1.2.4 航空机票航空机票信息涉及到的数据结构如下所示：数据库中表名：wise_travel_play数据库字段字段类型字段长度字段含义play_go_timevarchar255出发时间play_end_cityvarchar255目的地play_start_cityvarchar255出发地play_airline_companyvarchar255航空公司play_flightsvarchar255航班play_aircraftvarchar255机型play_departure_timevarchar255起飞时间play_landing_timevarchar255到达时间play_departure_airportvarchar255起飞机场play_landing_airportvarchar255降落机场play_punctuality_ratevarchar255准点频play_average_delayvarchar255平均延迟play_lowest_priceint8价格play_discount_pricevarchar255折扣信息play_resourcevarchar255来源play_resource_urlvarchar255来源链接play_take_timesvarchar255行程历时play_taxation_pricevarchar255税费play_transit_add_daysint11经历天数2.1.2.5 统计信息该部分图表的数据重要来自后台定时任务的处理结果，其保存数据的数据表结构如下所示：数据库中表名：wise_tcount数据库字段字段类型字段长度字段含义idint11levelint2级别，cityint6对应各个省份id值totalint11统计的总数typeint20是景区，1是酒店，2是旅行社2.1.3 功能点详述由于首页数据均来自已审核的数据，故其功能点详细设计，请参考后面相应的章节。2.2 已审数据2.2.1 模块概述该模块主要用于展示当前系统中用户已审核后的数据，其二级功能点有：一审数据、终审数据、资讯信息、旅游线路、节庆活动、OTA信息、旅游常识、休闲娱乐以及商场购物等九个子系统；2.2.2 公共数据结构2.2.2.1 一审数据该模块主要有一下三个模块，其数据结构如下所示。景区模块该模块涉及到的数据库表结构如下所示：数据库中表名：wise_mergered_travel数据库字段字段类型字段长度字段含义idint10cityint10省直辖市代码areaint10市、区代码info_levelint10信息的级别keywordvarchar255关键字resourcevarchar100来源user_namevarchar200审核人namevarchar100名称en_namevarchar255英文名称addressvarchar255地址postcodevarchar255邮编geographic_positionlongtext2147483647地理位置longitudevarchar255经度latitudevarchar255纬度feature_infolongtext2147483647特色management_companyvarchar255景区管理机构scenic_areavarchar255景区面积complaint_telephonevarchar255投诉电话travel_sos_phonevarchar255急救电话method_paymentvarchar255支付方式service_phonevarchar255服务电话telephonevarchar255预订电话faxvarchar255传真book_emailvarchar255邮箱urlvarchar255企业官网theme_infovarchar255主题levelint10级别attractions_titlelongtext2147483647景区称号travel_typevarchar255景区类型travle_projectlongtext2147483647景区旅游项目summarylongtext2147483647景区简介travel_phone_summarylongtext2147483647手机格式景区简介smallpointsummarylongtext2147483647景区小景点简介small_phone_pointsummarylongtext2147483647景区小景点手机格式简介small_point_picturevarchar255小景点图片feature_guidelongtext2147483647特色导游guide_pricevarchar255讲解员价格travel_equiplongtext2147483647建议装备travel_reminder_servicelongtext2147483647景区提示服务prompt_servicelongtext2147483647配套服务设施travel_service_centerlongtext2147483647景区旅游服务中心travel_actionlongtext2147483647景区常设活动travel_crowd_suitsvarchar255适合人群besttraveltimelongtext2147483647最佳旅游时间downppricesvarchar255淡季价格toppricesvarchar255旺季价格instructionticketlongtext2147483647门票说明downopentimevarchar255淡季开放时间topopentimevarchar255旺季开放时间travel_linelongtext2147483647游览线路businfolongtext2147483647公交信息taxi_infolongtext2147483647出租车信息self_driving_guidelongtext2147483647自驾信息parking_infolongtext2147483647停车场信息visiting_timevarchar255游览时间surrounding_hotellongtext2147483647附近酒店surrounding_travellongtext2147483647附近景区surrounding_recreationlongtext2147483647附近娱乐surrounding_shoppinglongtext2147483647附近购物surrounding_foodlongtext2147483647附近美食travel_tipslongtext2147483647景区提示picture_infolongtext2147483647图片信息video_infolongtext2147483647视频信息flagint10check_timeint10合并时间travel_idint10is_checkedint10sub_merge_idsvarchar255合并生成该条信息的信息的id的集合one_check_reply_handleint10一审数据中信息和评论之间的关系是都处理；0：未处理；1：已处理one_check_object_keystext65535一审合并时各个原始数据的object_key的集合酒店模块该模块涉及到的数据库表结构如下所示：数据库中表名：wise_mergered_hotel数据库字段字段类型字段长度字段含义idint10cityint10省直辖市areaint10市、区namevarchar255名称user_namevarchar200操作用户名称resourcevarchar255信息来源urlinfo_levelint10信息级别keywordvarchar255关键字en_namevarchar255英文名称addressvarchar255地址post_codevarchar255邮编geographic_positionlongtext2147483647地理位置longitudevarchar255经度latitudevarchar255纬度hotel_typevarchar255酒店类型hotel_organizationvarchar255所属饭店组织levelvarchar255星级theme_infolongtext2147483647酒店主题hotel_featureslongtext2147483647酒店特色summarylongtext2147483647酒店简介phone_summarylongtext2147483647手机格式酒店简介service_facilitieslongtext2147483647服务设施home_facilitieslongtext2147483647房间设施hotel_boardroom_infolongtext2147483647会议室信息home_totalvarchar255房间数bed_totalvarchar255床位数home_typevarchar255房间类型surrounding_shoppinglongtext2147483647周围购物surrounding_recreationlongtext2147483647周围娱乐surrounding_travellongtext2147483647周围景点surrounding_hotellongtext2147483647周围酒店surrounding_foodlongtext2147483647周围美食travel_tipslongtext2147483647旅游提示build_timevarchar255酒店开业时间hotel_decoration_timevarchar255最近一次装修时间self_driving_guidelongtext2147483647自家线路信息parking_infolongtext2147483647停车场信息bus_infolongtext2147483647公交信息method_paymentvarchar255支付方式complaint_telephonevarchar255投诉电话service_telephonevarchar255服务电话book_telephonevarchar255预定电话book_faxvarchar255预订传真book_emailvarchar255预定邮件urlvarchar255企业官网地址picture_infolongtext2147483647图片信息video_infolongtext2147483647视频信息contactslongtext2147483647联系人qqvarchar255QQ信息wifi_infovarchar255无线信息flagint10check_timeint10审核时间hotel_idint10is_checkedint10是否审核sub_merge_idslongtext2147483647 合并该条信息的所有信息的id集合one_check_reply_handleint10一审数据中信息和评论之间的关系是都处理；0：未处理；1：已处理one_check_object_keystext65535一审合并时各个原始数据的object_key的集合 旅行社模块该模块涉及到的数据库表结构如下所示：数据库中表名：wise_mergered_ travelagencies数据库字段字段类型字段长度字段含义idint10cityint10省直辖市代码areaint10市、区代码info_levelint10信息的级别keywordvarchar255关键字resourcevarchar100来源user_namevarchar100审核用户namevarchar100名称en_namevarchar255英文名称license_numbervarchar255许可证号addressvarchar255地址post_codevarchar255邮编geographic_positionlongtext2147483647地理位置longitudevarchar255经度latitudevarchar255纬度themevarchar255主题traveltypevarchar255旅行社类型levelvarchar255级别feature_infovarchar255特色open_timevarchar255营业时间summarylongtext2147483647简介phone_summarylongtext2147483647手机格式简介parent_companyvarchar255所属旅行社集团scope_businesslongtext2147483647业务范围book_internetvarchar255可否网上预订method_paymentvarchar255支付方式urlvarchar255官网complaint_telephonevarchar255投诉电话service_phonevarchar255服务电话book_phonevarchar255预订电话book_faxvarchar255预订传真book_emailvarchar255预订邮件child_companylongtext2147483647下属门市信息super_guide_numint10特级导游数量senior_guide_numint10高级导游数量midle_guide_numint10中级导游数量primary_guide_numint10初级导游数量languagesvarchar255语言picture_infolongtext2147483647图片信息video_infolongtext2147483647视频信息dest_idint10bus_infolongtext2147483647公交信息contactslongtext2147483647联系人qqvarchar255QQ信息registeredcapitalvarchar255注册资本Bondvarchar255保证金statusvarchar255经营状态dateissuevarchar255发证日期orther_infolongtext2147483647其他信息flagint10check_timeint10合并时间travelagen_idint10is_checkedint10sub_merge_idsvarchar255合并该条信息的所有信息的id集合2.2.2.2 终审数据该模块主要有一下三个模块，其数据结构如下所示。景区模块该模块涉及到的数据库表结构如下所示：数据库中表名：wise_checked_travel数据库字段字段类型字段长度字段含义idint10cityint10省直辖市代码areaint10市、区代码info_levelint10信息的级别keywordvarchar255关键字resourcevarchar100来源user_namevarchar200审核人namevarchar100名称en_namevarchar255英文名称addressvarchar255地址postcodevarchar255邮编geographic_positionlongtext2147483647地理位置longitudevarchar255经度latitudevarchar255纬度feature_infolongtext2147483647特色management_companyvarchar255景区管理机构scenic_areavarchar255景区面积complaint_telephonevarchar255投诉电话travel_sos_phonevarchar255急救电话method_paymentvarchar255支付方式service_phonevarchar255服务电话telephonevarchar255预订电话faxvarchar255传真book_emailvarchar255邮箱urlvarchar255企业官网theme_infovarchar255主题levelint10级别attractions_titlelongtext2147483647景区称号travel_typevarchar255景区类型travle_projectlongtext2147483647景区旅游项目summarylongtext2147483647景区简介travel_phone_summarylongtext2147483647手机格式景区简介smallpointsummarylongtext2147483647景区小景点简介small_phone_pointsummarylongtext2147483647景区小景点手机格式简介small_point_picturevarchar255小景点图片feature_guidelongtext2147483647特色导游guide_pricevarchar255讲解员价格travel_equiplongtext2147483647建议装备travel_reminder_servicelongtext2147483647景区提示服务prompt_servicelongtext2147483647配套服务设施travel_service_centerlongtext2147483647景区旅游服务中心travel_actionlongtext2147483647景区常设活动travel_crowd_suitsvarchar255适合人群besttraveltimelongtext2147483647最佳旅游时间downppricesvarchar255淡季价格toppricesvarchar255旺季价格instructionticketlongtext2147483647门票说明downopentimevarchar255淡季开放时间topopentimevarchar255旺季开放时间travel_linelongtext2147483647游览线路businfolongtext2147483647公交信息taxi_infolongtext2147483647出租车信息self_driving_guidelongtext2147483647自驾信息parking_infolongtext2147483647停车场信息visiting_timevarchar255游览时间surrounding_hotellongtext2147483647附近酒店surrounding_travellongtext2147483647附近景区surrounding_recreationlongtext2147483647附近娱乐surrounding_shoppinglongtext2147483647附近购物surrounding_foodlongtext2147483647附近美食travel_tipslongtext2147483647景区提示picture_infolongtext2147483647图片信息video_infolongtext2147483647视频信息check_timeint10审核时间travel_idint10flagint10two_check_reply_handleint10二审数据中信息和评论之间的关系是都处理； two_check_object_keystext65535一审合并时各个原始数据的object_key的集合。添加该字段的目的是根据该字段中的site_id值寻找到评论信息表sub_merge_idslongtext2147483647原始数据ID集合酒店模块该模块涉及到的数据库表结构如下所示：数据库中表名：wise_checked_hotel数据库字段字段类型字段长度字段含义idint10cityint10省直辖市代码areaint10市、区代码namevarchar255名称user_namevarchar200审核人resourcevarchar255信息来源urlinfo_levelint10信息级别keywordvarchar255关键字en_namevarchar255英文名称addressvarchar255地址post_codevarchar255邮编geographic_positionlongtext2147483647地理位置longitudevarchar255经度latitudevarchar255纬度hotel_typevarchar255酒店类型hotel_organizationvarchar255所属饭店组织levelvarchar255星级theme_infolongtext2147483647酒店主题hotel_featureslongtext2147483647酒店特色summarylongtext2147483647酒店简介phone_summarylongtext2147483647手机格式酒店简介service_facilitieslongtext2147483647服务设施home_facilitieslongtext2147483647房间设施hotel_boardroom_infolongtext2147483647会议室信息home_totalvarchar255房间数bed_totalvarchar255床位数home_typevarchar255房间类型surrounding_shoppinglongtext2147483647周围购物surrounding_recreationlongtext2147483647周围娱乐surrounding_travellongtext2147483647周围景点surrounding_hotellongtext2147483647周围酒店surrounding_foodlongtext2147483647周围美食travel_tipslongtext2147483647旅游提示build_timevarchar255酒店开业时间hotel_decoration_timevarchar255最近一次装修时间self_driving_guidelongtext2147483647自家线路信息parking_infolongtext2147483647停车场信息bus_infolongtext2147483647公交信息method_paymentvarchar255支付方式complaint_telephonevarchar255投诉电话service_telephonevarchar255服务电话book_telephonevarchar255预定电话book_faxvarchar255预订传真book_emailvarchar255预定邮件urlvarchar255企业官网地址picture_infolongtext2147483647图片信息video_infolongtext2147483647视频信息contactslongtext2147483647联系人qqvarchar255QQ信息check_timeint10审核时间wifi_infovarchar255无线信息hotel_idint10flagint10two_check_object_keystext65535二审合并时各个原始数据的object_key的集合。添加该字段的目的是根据该字段中的site_id值寻找到评论信息表two_check_reply_handleint10 一审数据中信息和评论之间的关系是都处理； sub_merge_idslongtext2147483647原始数据ID集合旅行社模块该模块涉及到的数据库表结构如下所示：数据库中表名：wise_checked_travelagencies数据库字段字段类型字段长度字段含义idint10cityint10省直辖市代码areaint10市、区代码info_levelint10信息的级别keywordvarchar255关键字user_namevarchar100审核人resourcevarchar100来源namevarchar100名称en_namevarchar255英文名称license_numbervarchar255许可证号addressvarchar255地址post_codevarchar255邮编geographic_positionlongtext2147483647地理位置longitudevarchar255经度latitudevarchar255纬度themevarchar255主题traveltypevarchar255旅行社类型levelvarchar25