荔波智慧全域旅游_详细设计说明书_01数据中心

荔波智慧全域旅游-详细设计说明 荔波智慧全域旅游数据中心详细设计文档安顺软通动力信息技术有限公司2019年4月 目 录1 引言11.1 软件名、版本11.2 文档约定11.3 设计优先级说明11.4 预期的读者和阅读建议11.5 参考22 数据采集平台32.1 数据标准32.1.1 公共属性管理32.1.2 应用实体管理32.1.3 应用实体关联42.1.4 属性数据源管理52.2 数据采集52.2.1 采集对象管理52.2.2 采集数据源管理62.2.3 数据采集任务62.2.4 采集任务监控73 数据清洗及转换平台83.1 数据清洗83.1.1 数据清洗规则设置83.1.2 数据清洗83.2 数据转换93.2.1 数据转换93.3 数据分析103.3.1 舆情数据分析103.3.2 舆情话题分析104 数据存储平台124.1 数据查询124.1.1 数据综合查询125 数据发布及交换平台135.1 数据发布135.1.1 数据转换发布135.1.2 数据发布监控135.2 数据服务145.2.1 服务管理145.2.2 服务授权165.3 资源目录175.3.1 资源目录176 数据应用平台186.1 数据监控186.1.1 监控驾驶舱186.1.2 数据采集监控196.1.3 数据清洗及转换监控206.1.4 数据交换监控206.1.5 系统运行监控216.2 统计分析216.2.1 收入主题分析226.2.2 投诉主题分析226.2.3 景区主题分析236.2.4 节假日主题分析236.2.5 流量主题分析246.3 主题数据库256.3.1 游客类主题256.3.2 节假日主题256.3.3 收入类主题266.3.4 景区类主题266.3.5 流量类主题276.3.6 投诉类主题277 数据管理平台287.1 舆情分析287.1.1 发布类型分析287.1.2 正负面分析287.1.3 热词云图297.1.4 发布媒体分析297.1.5 热门话题307.2 景区分析317.2.1 景区压力分析317.2.2 景区人流分析317.3 游客分析327.3.1 游客年龄分析327.3.2 游客饮食偏好分析327.3.3 游客住宿统计分析337.3.4 游客购物偏好分析337.3.5 游客性别分析347.3.6 游客来源地347.3.7 游客娱乐偏好分析357.3.8 游客出行方式357.4 产业分析367.4.1 产业KPI统计367.4.2 六要素产业营业收入377.4.3 六要素产业雷达377.5 资源总览387.5.1 资源总览387.6 任务调度387.6.1 调度配置387.6.2 调度日志397.7 日志管理407.7.1 操作日志407.7.2 服务日志417.7.3 异常日志427.8 基础设置模块437.8.1 应用系统管理437.8.2 数据库管理447.8.3 地标管理447.8.4 词库管理457.8.5 节假日管理457.8.6 字典管理467.9 短信管理477.9.1 短信平台管理477.9.2 短信类型维护477.9.3 发送规则维护487.9.4 短信发送日志487.10 系统管理497.10.1 用户管理497.10.2 角色管理507.10.3 菜单管理51第 7 页 共 66 页1 引言1.1 软件名、版本荔波智慧旅游数据中心版本：1.11.2 文档约定通用约定：各设计点统一使用以下格式进行分类描述。编号优先级功能名称操作对象及权限参考界面数据来源描述查询条件数据项对应字段约束控件特殊要求Grid数据表述数据项对应字段约束控件特殊要求页面操作逻辑描述操作处理逻辑特殊要求复杂逻辑处理流程逻辑名称处理流程及说明其他约定：本文中的参考界面，只作为需求参考，并不是要求的样式。1.3 设计优先级说明本设计文档中包含的优先级都是一级，必须在该版本中实现。1.4 预期的读者和阅读建议此设计文档的预期读者是项目经理、需求角色人员、设计角色人员、开发角色人员、测试角色人员、用户角色人员。1.5 参考荔波智慧旅游_需求说明_数据中心2 数据采集平台2.1 数据标准2.1.1 公共属性管理公共属性管理是将各应用系统中公共属性集中管理，便于系统实体建立。公共属性管理界面参考如下图：2.1.2 应用实体管理应用实体管理是将各应用系统中的实体集中管理。应用实体管理界面参考如下图：2.1.3 应用实体关联应用实体关联用于管理各业务系统间实体间的相互关联关系。应用实体关联界面参考如下图：2.1.4 属性数据源管理数据源管理：当存在需要动态获取数据的下拉框、多选框等场景时，可以通过在属性上设置对应数据源来获取显示数据。数据源目前支持两种类型，一种是WebService服务类型，一种是SQL语句类型。数据源界面参考如下图：2.2 数据采集2.2.1 采集对象管理采集对象管理用于大数据后台采集数据，管理六大类采集对象。采集对象管理界面参考如下图：2.2.2 采集数据源管理采集数据源管理用于大数据后台采集数据，管理数据的采集来源。采集数据源管理界面参考如下图：2.2.3 数据采集任务数据采集任务用于大数据后台采集数据，根据编辑好的采集数据源进行数据采集。数据采集任务界面参考如下图：2.2.4 采集任务监控采集任务监控用于大数据后台数据采集任务的监控管理。采集任务监控界面参考如下图：3 数据清洗及转换平台3.1 数据清洗3.1.1 数据清洗规则设置数据清洗规则设置是用于清洗数据中心内数据的规则设置。数据清洗规则设置界面如下：3.1.2 数据清洗数据清洗是将采集录入的数据按照某些规则进行检查和批量清洗，清洗后的数据更规范和完整。清洗的数据包括采集的基本数据，清洗的类型包括空值检查、非法检查、完整性检查。数据清洗界面如下: 3.2 数据转换3.2.1 数据转换数据转换是根据Kettle工具设置好的转换任务来执行相应的数据转换功能。数据转换界面如下：3.3 数据分析3.3.1 舆情数据分析舆情数据分析用于大数据后台对于舆情数据的分析任务。参考界面如下：3.3.2 舆情话题分析舆情话题分析用于大数据平台分析舆情话题。参考界面如下：4 数据存储平台4.1 数据查询4.1.1 数据综合查询数据综合查询用于查询数据中心内存放的数据。参考界面如下：5 数据发布及交换平台5.1 数据发布5.1.1 数据转换发布数据转换发布是用于大数据根据采集对象发布转换任务。参考界面如下图：5.1.2 数据发布监控数据发布监控用于对数据转换发布任务的监控并展示状态信息。参考界面如下图：5.2 数据服务5.2.1 服务管理服务注册管理是将各应用系统提供的服务按照统一规范进行管理，用于各系统间的数据交换。系统管理员通过此功能进行服务的管理，服务管理包含：查看、修改，删除。服务注册模块提供了新的系统接入ESB 的功能，该模块提供应用系统和接口的注册，完成注册后 注册响应的系统 和服务接口 会出现在 服务接口管理 和应用系统管理界面中。参考界面如下图：操作界面：说明：数据表与应用系统管理模块一致，服务名称约束不能重复。接口必须与应用系统关联，服务接口不能独立于应用系统。接口名称不能重复，是请求报文消息头serviceName的对应字段。当删除应用系统时，系统会检测应用系统下的接口，当该应用系统下仍有接口时，系统会提示需要先删除接口。数据表T_20SJJCJHPT_SERVICEOPTION结构如下：字段名字段含义数据类型备注ID主键Int自动增长OPTIONNAME服务接口名称Nvarchar(50)服务接口名OPTIONCHNAME服务接口中文名称Nvarchar(50)服务接口中文名称OPTIONTYPE服务接口类型Char(1)作为以后扩展服务类型STATE服务接口状态Char(1)1:正常 0:异常ENTITYID应用系统IDint与应用系统ID关联DESCRIPTION服务接口描述Nvarchar(50)服务接口描述REGISTERDATE注册日期datetime服务接口注册日期LASTUPDATETIME最后更新日期datetime服务接口更新日期TEMPLATE模板名称Varchar(50)转换模板名称5.2.2 服务授权服务授权用于管理各业务系统间服务的相互调用关系，应用系统提供的服务只有经过授权才能使用，服务调用时需要校验调用方的权限；服务授权管理包括授权、查看。参考界面如下图：服务授权表T_20SJJCJHPT_ROUTE 设计如下：字段名字段含义数据类型备注ID主键int自增长ENTITYID应用系统IDint与应用系统ID关联OPTIONID服务接口IDint与服务接口ID 关联ANSWERTIME配置日期datetime5.3 资源目录5.3.1 资源目录包括资源目录树的维护和浏览。资源目录以符合国家规定的编目体系来创建满足智慧旅游的资源目录，采用树形展开的目录结构，在明细资源节点上设置资源的查询接口，查询参数等信息。浏览资源目录，可以查看资源目录中资源的接口调用方式。资源目录界面参考如下图6 数据应用平台6.1 数据监控数据监控管理主要服务对象是系统运维人员、数据管理人员，通过这一平台，运维人员可以很容易知道指标数据采集情况、异常指标情况；可监控并统计数据中心数据变化情况，可监控并统计数据交换接口和服务内容的运行情况，可对数据进行分类存储、分类管理，并在监控的数据通过监控数据模型进行存储；也很容易的了解数据加载过程，对于执行中的程序可以知道程序已经执行到什么阶段，对于执行结束后的程序，可以查询各个任务阶段数据执行时刻，并很容易计算每个任务耗时多少，为今后系统优化提供强有力依据和评估标准。6.1.1 监控驾驶舱对重要的数据交换和服务内容进行预警或统计分析，快速了解系统运行情况，了解系统健康程度。功能描述：1、以图表形式展示应用系统与服务接口运行状态；服务状态监控以应用系统为主体，展示应用系统的状态，通过点击应用系统查看接口的状态，当应用系统所有接口处于正常状态时，监控图表中应用系统的状态处于正常，当应用系统部分接口正常时，监控图表中应用系统的状态处于警告，点击可以查看异常的接口信息，并提供手动刷新功能，实时监控接口状态，当应用系统所有接口都处于异常状态，监控图表中应用系统的状态处于异常状态。界面参考如下图：6.1.2 数据采集监控采集过程和采集结果监控。功能说明：监控数据采集总量及采集频度。界面参考如下图：6.1.3 数据清洗及转换监控数据清洗及转换监控是对清洗及转换数据量的统计信息展示。参考界面如下图：6.1.4 数据交换监控数据交换监控用于显示数据采集相关接口的调用情况，并根据接口调用成功或失败来进行图表展现。参考界面如下图：6.1.5 系统运行监控系统运行监控是展现系统所在服务器上的内存和CPU监控信息展示。参考界面如下图：6.2 统计分析定义统计分析模型，对事件趋势科学分析和预警，便于将统计分析结果在公共服务平台和政务平台生动展示出来，为管理部门的决策提供有效支持。通过数据中心的数据支撑在服务平台通过、饼图、柱状图、趋势图等多种图表展现方式，提供包括安顺旅游景区资源、旅游服务、游客流量、游客行为分析的统计分析及多维呈现，为旅游管理者提供决策依据。统计所有景点的游客情况，包括游客来源、年龄段、性别。6.2.1 收入主题分析按各种分类统计旅游收入情况。包括收入构成、酒店收入、线路收入、门票收入等。参考界面如下图：6.2.2 投诉主题分析统计投诉类型下的投诉数量。参考界面如下图：6.2.3 景区主题分析统计分析各景区的游客数量及总收入。参考界面如下图：6.2.4 节假日主题分析统计分析各景区的节假日游客收入情况。参考界面如下图：6.2.5 流量主题分析统计分析各景区的游客流量情况。参考界面如下图：6.3 主题数据库6.3.1 游客类主题按日期统计游客访问情况的详细数据。参考界面如下：6.3.2 节假日主题按日期统计节假日销售情况的详细数据。参考界面如下：6.3.3 收入类主题按日期统计收入情况的详细数据。参考界面如下：6.3.4 景区类主题按日期和景区统计用户流量的详细数据。参考界面如下：6.3.5 流量类主题按景区统计用户流量的详细数据。参考界面如下：6.3.6 投诉类主题按日期统计投诉及回复的详细数据。参考界面如下：7 数据管理平台7.1 舆情分析7.1.1 发布类型分析发布类型分析是用于大数据后台对媒体类型的管理界面如下：7.1.2 正负面分析正负面分析是用于大数据后台对话题正负面的管理。界面如下：7.1.3 热词云图热词云图是用于大数据后台对词条的管理。界面如下：7.1.4 发布媒体分析发布媒体类型是用于大数据后台对媒体的管理。界面如下：7.1.5 热门话题热门话题是用于大数据后台对话题的管理。界面如下：7.2 景区分析7.2.1 景区压力分析景区压力分析是用于大数据后台对景区压力的管理。界面如下：7.2.2 景区人流分析景区人流分析是用于大数据后台，统计景区人流量。界面如下：7.3 游客分析7.3.1 游客年龄分析游客年龄分析是用于大数据平台，统计分析游客年龄界面如下：7.3.2 游客饮食偏好分析游客饮食偏好分析是用于大数据平台，统计分析游客饮食偏好。界面如下：7.3.3 游客住宿统计分析游客住宿统计分析是用于大数据平台，统计分析游客住宿。界面如下：7.3.4 游客购物偏好分析游客购物偏好分析是用于大数据平台，统计分析游客购物偏好。界面参考如下：7.3.5 游客性别分析游客性别分析是用于大数据平台，统计分析游客性别。界面参考如下：7.3.6 游客来源地游客来源地是用于大数据平台，统计分析游客来源地。界面参考如下：7.3.7 游客娱乐偏好分析游客娱乐偏好分析是用于大数据平台，统计分析游客娱乐偏好。界面参考如下：7.3.8 游客出行方式游客出行方式是用于大数据平台，统计分析游客出行方式。界面参考如下：7.4 产业分析7.4.1 产业KPI统计产业KPI统计是用于大数据后台，统计分析产业KPI。界面参考如下：7.4.2 六要素产业营业收入六要素产业营业收入是用于大数据后台，统计分析六要素产业营业收入。界面参考如下：7.4.3 六要素产业雷达六要素产业雷达是用于大数据后台，统计分析六要素产业雷达。界面参考如下：7.5 资源总览7.5.1 资源总览资源总览是用于大数据平台，管理平台中所有数据的资源。界面参考如下：7.6 任务调度任务调度包括调度配置和调度日志。用来配置某些任务在设定时间自动执行，不需要人为干预。7.6.1 调度配置用来配置定时任务，这些任务新建并启用后，就会有系统在任务设定的时间来调度该任务执行，调度时会记录日志。调度表DC_DATACENTJOB设计如下:字段名字段类型字段含义IDint唯一标示列JOBCODENvarchar(50)任务标识JOBNAMENvarchar(50)任务名称METHODNAMENvarchar(50)方法名URLADDRESSNvarchar(255)访问地址LASTJOBTIMENvarchar(100)最后调度时间SHOULDTIMENvarchar(50)调度表达式JOBTYPEint任务类型(1:本地调用,2:webservice调用)JOBSTATUSint任务状态JOBREMARKNvarchar(200)任务备注ATTR1Nvarchar(50)扩展字段1ATTR2Nvarchar(50)扩展字段2ATTR3Nvarchar(50)扩展字段3参考界面如下：7.6.2 调度日志记录任务自动调度时的日志，供查询检索。调度日志表DC_JOBLOG设计如下：字段字段类型字段含义IDInt主键，自增长JOBCODENvarchar(50)任务标识JOBNAMENvarchar(50)任务名称STATUSint执行状态EXECUTETIMEdatetime任务执行时间EXECUTEMSGNvarchar(max)任务执行消息ATTR1Nvarchar(50)扩展字段1ATTR2Nvarchar(50)扩展字段2ATTR3Nvarchar(50)扩展字段3参考界面如下：7.7 日志管理7.7.1 操作日志记录用户操作的日志，记录用户登录、修改接口、发送邮件等操作的日志信息。提供功能：查询，查看，删除。对应数据表：T_20SJJCJHPT_SYSOPTIONLOG数据表结构如下：字段名字段含义数据类型备注ID主键Int自动增长OPTIONNAME操作名称Nvarchar(50)操作记录名称OPTIONUSER操作用户Nvarchar（50）操作用户OPTIONTIME操作时间datetime操作时间REMARK备注Nvarchar(255)备注界面参考如下：7.7.2 服务日志记录接口服务的调用情况，包括接口名称、服务名称、调用时间、日志描述等。提供查询，删除，查看日志的操作。对应数据表：T_20SJJCJHPT_SERVICELOG表结构如下：字段名字段含义数据类型备注ID主键int字段增长ServiceCode服务编码Varchar(50)用于串联日志requester请求方Varchar(10)接口调用方receive接收方Varchar(10)消息接收方terminal消息终点Varchar(10)消息目的地sourceMsg来源消息Nvarchar(max)请求方发送的消息resultMsg结果消息Nvarchar(max)接收消息后的处理结果receiveTime消息接收时间datetime接收方接收消息的时间flag处理状态bit数据处理状态remark备注Varchar(255)备注日志记录原则：数据中心对服务调用的任何步骤都会进行日志记录记录过程如下:1:数据中心接收请求报文2:数据中心对请求报文解析(异常：返回异常信息 记录日志)3:数据中心解析报文后请求配置服务接口(异常：返回异常信息 记录日志)4:得到配置服务接口的响应(异常：返回异常信息 记录日志)界面参考如下：7.7.3 异常日志记录数据操作异常的日志，包括异常操作名称、异常操作用户、异常备注等。参考界面如下图：7.8 基础设置模块7.8.1 应用系统管理应用管理，即是基于热插拔（注册即用）的模式来管理各个业务系统，所有的业务系统注册后，通过对该系统的服务授权机制来实现不同的异构系统间的数据交换。应用管理对数据中心注册的子系统进行管理配置。子系统包括门户、地图、搜索引擎等。系统管理员通过此功能进行业务系统的管理，业务系统管理包含：查看、修改、删除。l 操作人员：系统管理员l 操作页面：服务管理业务系统按钮描述：【查看】：查看业务系统详细信息；【修改】：修改业务系统信息；【删除】： 删除业务系统。查看业务系统如图：说明：若业务系统有对应的服务操作，则不能删除，点击删除提示先删除服务操作，先删除对应的服务操作才能删除此业务系统。应用系统数据表T_20SJJCJHPT_SERVICEENTITY设计如下：字段名字段含义数据类型备注ID主键int自动增长ENTITYNAME系统名称Nvarchar(50)非空ENTITYCHNAME系统中文名称Nvarchar(50)ENTITYDESCRIPTION系统描述Nvarchar(255)REGISTERDATE注册日期datetimeLASTUPDATETIME最后修改日期datetimeBELONGUNIT所属单位datetimeLINKMAN负责人Navarchar(50)LINKTEL联系电话Nvarchar(50)UNAME用户名Varchar(50)身份确认用户PWD密码Varchar(50)身份确认密码7.8.2 数据库管理管理系统所连数据库，及应用系统连接数据库的管理。界面参考如下：7.8.3 地标管理对景区数据的地址地标统一管理。界面参考如下：7.8.4 词库管理应用于大数据舆情分析中话题的提取。界面参考如下：7.8.5 节假日管理应用于节假日管理，对节假日进行管理。界面参考如下：7.8.6 字典管理管理基础数据，构建数据字典。界面参考如下：7.9 短信管理7.9.1 短信平台管理短信平台管理是统一管理短信平台。界面参考如下：7.9.2 短信类型维护短信类型维护用于短信平台。界面参考如下：7.9.3 发送规则维