05OnePlat大数据分析平台概要设计V1 1

国家旅游局旅游基础数据库建设项目概要设计说明书(OnePlatform大数据分析平台篇)版本控制信息版本日期拟稿和修改说明V1.0版2014年12月TeamsunV1.1版2015年8月Teamsun本文档中的所有内容为用户机密和专属所有。未经用户的明确书面许可，任何组织或个人不得以任何目的、任何形式及任何手段复制或传播本文档部分或全部内容。北京华胜天成科技股份有限公司 II目录1. 概述11.1 目标读者11.2 最新版本号11.3 术语11.4 参考资料12. 需求和设计23. 运行环境概述24. 系统总体结构25. 设计方案36. 详细设计36.1 功能设计36.1.1 模型预览36.1.2 模型组成46.1.3 模型呈现46.1.4 模型设计56.1.5 接口146.1.6 数据库146.1.7 界面设计147. 设计评估157.1 和已有产品比较157.2 用途15北京华胜天成科技股份有限公司 15 1. 概述OnePlatform产品包括内部的数据平台和面向客户的特定行业产品（即垂直产品）两大类型。数据平台产品定位于以基础数据平台为主，重点在于产生各种数据模型，提供基于各种数据模型的数据查询，它是水平的功能，不针对任何行业或者领域。水平平台产品的价值在于是孵化器，是乐高玩具的模型仓库，可以用于构建各种垂直产品。垂直产品则是直接面向客户、面向市场的产品，是垂直型的产品，重点不在于各种数据的灵活查询，而是基于客户的需求针对特定的数据实现各种数据模型的综合展现。它更多的是基于水平的数据平台产品的现有功能进行组合，基于现有的数据模型进行综合呈现。1.1 目标读者开发人员1.2 最新版本号V1.11.3 术语术语定义仪表盘系统图表呈现页面模型仪表盘中的单个图表快照图表的呈现数据保存到数据库，能快速呈现1.4 参考资料中华人民共和国国家标准GB/T 189722003旅游资源分类、调查与评价城市旅游目的地旅游服务质量评价指标体系 - V1.2LBT 019-2013旅游目的地信息分类与描述中华人民共和国国家标准GB 2260中华人民共和国行政区划代码国家旅游局旅游基础数据库项目技术要求GBT17775-2003 旅游区(点)质量等级的划分与评定2. 需求和设计旅游行业大数据分析需要建立多种模型，形成多个分析微引擎，通过配置或者基于信息的类型自动触发这些引擎针对该信息的启用。可以把旅游信息采集当成是输入端的数据流，该数据流将经过一系列的引擎，最后得出各种结果并保存，供信息分析呈现使用。这些微引擎的组合类似于工作流，但经过他们的则是大量的数据。最理想的情况是信息分析模块对于采集的信息进行完全分析后，信息将不再被使用，一些中间状态也被信息分析模块所保存，信息在被分析后将被归档甚至被删除，最后只保留关键样本用于给客户呈现使用（代表性样本，类似于搜索引擎的快照，而且快照也是包含原本和分析后的结果提取）。但是媒体信息分析模块也可能在需要的时候进行历史分析，这时候就需要将所有采集的信息予以保存（包括是否需要保存不同的版本来体现变化趋势，对于有些网站的内容可能是特定内容的实时覆盖式更新，这种就一定需要保存历史版本），需要指定对应的信息归档策略。3. 运行环境概述本系统模型配置是使用浏览器作为客户端，通过网络访问系统，并兼容IE和Chrome内核浏览器。4. 系统总体结构本系统将数据分析和数据呈现做成独立的子系统。数据分析可以根据文章、用户、话题等领域进行分析，包括可以进行查询、分组查询（group by，faceted search）、查询结果的二次过滤（包含、不包含、大于小于等），输出的信息可以是信息列表，也可以是统计信息等。数据呈现则包括通过各种图表的形式来显示数据，可以针对各种形式的数据显示不同的效果，比如二维表的数据用简单图表显示（二维，只能显示两列数据，分别为X，Y轴），二维表的数据可以分组对比显示（比如透视图，分组对比显示，分组是Z轴），可以选择显示的形式，柱状图、线形图等，图形的交互动作等等。5. 设计方案产品技术路线本产品的基本功能和垂直搜索比较类似，即按照不同的领域、分类对信息实现整合，但是和垂直搜索引擎不同的是，信息的体现不是以提供搜索功能为目的，而是直接根据信息本身的特征，比如包含什么关键字，包含什么特征信息，直接对信息进行分类，相当于把所有信息中可以被搜索出的结果直接呈现给用户，而不是等待用户搜索来响应。6. 详细设计6.1 功能设计6.1.1 模型预览可分卡片以仪表盘形式呈现。6.1.2 模型组成包括柱状图，横向柱状图，饼图，线性图，地图，热词云图。6.1.3 模型呈现用户在编辑可视化时可以选择全屏，2/3屏，1/3屏，呈现在仪表盘后可以自由拖拽调整位置，可以伸缩调整大小。6.1.4 模型设计6.1.4.1 总分排名 配置简介： 对已有的数据，根据关键词“旅游”，“景点”过滤出想要的数据，按照关键词进行分组，得出所有关键词排名，再使用包含，添加上“鼓浪屿”，“三亚”，“丽江”.等想要进行排名的景区，选择柱状图作为可视化，得出想要的图表。6.1.4.2 智慧旅游配置简介： 对已有的数据，根据关键词字段“旅游”，“景点”过滤出想要的数据，按照应用来源进行分组，得出客户所使用的客户端工具发送文章排名，再使用包含，添加上“iPhone客户端”，“Android客户端”，“iPad客户端”想要进行排名的客户端，选择柱状图作为可视化，得出想要的图表。6.1.4.3 旅游信息 配置简介： 对已有的数据，把“指南”，“指示”，“地图”等词归为旅游信息特征分类，根据旅游信息分类过滤出分析数据，使用时间字段的分类查询功能，分别得出有关旅游信息文章发表趋势，选择柱状图作为可视化，得出想要的图表。6.1.4.4 旅行社 配置简介： 对已有的数据，把“跟团”，“线路”，“集散”等词归为旅社特征分类，根据旅行社分类过滤出分析数据，使用时间字段得出要分析的时间段的文章，按关键词分组，选择标签墙作为可视化，得出想要的图表。6.1.4.5 旅游服务 配置简介： 通过叠加分析模型，对已有的数据，第一个模型按照地区进行分组，统计出导游数量在各个地区的排名，第二个模型按照地区进行分组统计出官方导游投诉数量排名，第三个模型按照地区进行分组统计出互联网导游投诉数量排名，第一个模型作为主坐标，第二个模型作为副坐标，选择柱状图作为可视化，得出想要的图表。6.1.4.6 传播分析 配置简介： 对已经一篇原创文章和其全部转发或其评论文章进行轨迹传播分析，通过添加这条原创文章的url地址，选择传播轨迹或评论轨迹，分析平台会算出原创在转发和评论的整个趋势图，点多少表示转发或评论的多少。6.1.4.7 提及某事件的地区分布 配置简介： 针对某一事件进行分析，通过页面地址字段过滤出这个事件的所有文章，按照提及地区进行分组，选择地图作为可视化，得到呈现图表。6.1.4.8 餐饮美食 配置简介：对已有的数据，把“小吃”，“美食”，“餐馆”等词归为餐饮美食特征分类，根据餐饮美食分类，并且使用时间字段作为过滤条件出分析数据，按关键词分组，选择标签墙作为可视化，得出想要的图表。6.1.4.9 居民态度 配置简介：对已有的数据，把“热情”，“淳朴”，“对待”等词归为居民态度特征分类，把“漂亮”,”给力”等作为正向特征分类词，“抵制”，“脆弱”，“差”作为负向情感特征分类，根据居民态度分类，并且使用时间字段作为过滤条件出分析数，按关键词分组，选择特征分类，情感分类，对数据进行二次分类，选择柱状图作为可视化，得出想要的图表。6.1.4.10 康体娱乐配置简介：对已有的数据，把“演出”，“比赛”，“疗养”等词归为康体娱乐特征分类，根据康体娱乐分类，并且使用时间字段作为过滤条件出分析数据，按关键词分组，选择列表作为可视化，得出想要的图表。6.1.4.11 旅游交通 配置简介：对已有的数据，把“火车“，“汽车”，“专列”等词归为旅游交通特征分类，根据关键词特征分类字段 旅游交通分类作为过滤条件出分析数据，按关键词分组，选择柱状图作为可视化，得出想要的图表。6.1.4.12 旅游管理 配置简介：对已有的数据，把“委员会”，“政府”，“旅游委”等词归为旅游管理特征分类，根据关键词特征分类字段旅游管理分类作为过滤条件出分析数据，按关键词分组，选择柱状图作为可视化，得出想要的图表。6.1.4.13 酒店住宿 配置简介：对已有的数据，通过叠加分析模型，分别配置出，环境，位置，设施，服务，卫生，价格，模型，通过关键词字段，过滤出关于环境，位置，设施.的数据，使用关键词分组输出选择情感特征分类，选择柱状图作为可视化，得出想要的图表。6.1.4.14 城市环境配置简介：对已有的数据，把“发达”，“大城市”，“现代化”，“拥挤”等词归为城市环境特征分类，根据关键词特征分类字段城市环境分类作为过滤条件出分析数据，输出选项按关键词分组，选择柱状图作为可视化，得出想要的图表。6.1.4.15 旅游文化 配置简介：对已有的数据，把“文化”，“京城”，“服装”，“民俗”等词归为城市文化特征分类，根据关键词特征分类字段城市文化特征分类作为过滤条件出分析数据，输出选项按关键词分组，选择柱状图作为可视化，得出想要的图表。6.1.4.16 旅游价格 配置简介：对已有的数据，把“价格”，“自费”，“特价”，“原价”等词归为旅游价格特征分类，根据关键词特征分类字段旅游价格特征分类作为过滤条件出分析数据，输出选项按关键词分组，选择柱状图作为可视化，得出想要的图表。6.1.4.17 旅游购物配置简介：对已有的数据，把“礼品”，“工艺品”，“促销”，“购物”等词归为旅游购物特征分类，根据关键词特征分类字段旅游购物特征分类作为过滤条件出分析数据，输出选项按提及地区分组，选择地图作为可视化，得出想要的图表。6.1.4.18 游学教育 配置简介：对已有的数据，把“小学”，“大学”，“清华”，“北大”等词归为旅游教育特征分类，根据关键词特征分类字段旅游教育特征分类作为过滤条件并且使用时间分类查询 进行分段查询出分析数据，输出选项时间分组，选择线形图为可视化，得出想要的图表。6.1.4.19 分组模型 配置简介：先创建分组，在通过微博URL查询出关于某事件的转发，输出选项使用转发数进行分组，选择区间个数为4，可视化视图选择横向柱状图，列表，最后把两个图表移入分组。6.1.4.20 事件机制 配置简介：对于已保存快照的模型可以设置定时更新计划和事件预警，通过配置模型的事件预警触发条件，当符合条件时会发邮件进行提醒。6.1.5 接口可通过字符串形式进行不同系统、不同帐号、不同导航下的模型和页面的复制和粘贴。6.1.6 数据库存放模型配置的表表名：element存放导航的表表名：customer_navigate6.1.7 界面设计使用jQuery UI 和HighChart图表展示7. 设计评估7.1 和已有产品比较本系统的基本功能和垂直搜索比较类似，即按照不同的领域、分类对信息实现整合，但是和垂直搜索引擎不同的是，信息的体现不是以提供搜索功能为目的，而是直接根据信息本身的特征，比如包含什么关键字，包含什么特征信息，直接对信息进行分类，相当于把所有信息中可以被搜索出的结果直接呈现给用户，而不是等待用户搜索来