FEA3飞象大数据分析系统操作手册.doc_第1页
FEA3飞象大数据分析系统操作手册.doc_第2页
FEA3飞象大数据分析系统操作手册.doc_第3页
FEA3飞象大数据分析系统操作手册.doc_第4页
FEA3飞象大数据分析系统操作手册.doc_第5页
免费预览已结束,剩余98页可下载查看

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

FEA3飞象大数据分析系统之操作手册地 址:杭州市滨江区滨安路1180号华业高科技产业园3号楼网 址:1u 文档信息文档名称FEA3飞象大数据分析系统操作手册文档编号编制人ww制作日期2017-12-07文档版本V3.10适用范围技术体系密级内部公开u 版本历史序号文档版本时间说明修改人1V1.02016-09-04初稿wwq2V2.02016-11-15修订稿wwq3V3.02017-06-08修订稿wwq4V3.102017-12-07修订稿ww目录第1章 关于本手册6第2章 在您操作之前6第3章 FEA3入门73.1 体系结构73.2 登入与退出73.2.1登入73.2.2登出93.2.3修改密码93.3 操作流程9第4章 可视分析104.1 可视分析概述104.2 操作目标104.3 选取工作区104.4 功能实现114.4.1 新建空表114.4.2 克隆DF表114.4.3 数据增加124.4.4 数据过滤134.4.5 数据选择134.4.6 数据排序144.4.7 数据去重154.4.8 列类型更改164.4.9 字符串处理174.4.10 单字段分组统计184.4.11 行列互换184.4.12 填充空值194.4.13 设置索引204.4.14 重置索引204.4.15 分组统计214.4.16 UDF函数214.4.17 机器学习224.4.18 lambda函数234.4.19 简要信息234.4.20 绘图244.4.21 存储数据24第5章 自助分析255.1 操作目标255.2 操作步骤25第6章 交互分析276.1 操作目标276.2 操作步骤27第7章 可视化设计337.1 操作目标337.2 操作步骤337.2.1 静态面板管理337.2.2 动态面板管理377.2.3 交互面板管理387.2.4 多屏互动管理437.2.5 导航管理487.2.6 门户展示52第8章 数据加载548.1 操作目标548.2 操作步骤548.2.1 装载CSV类型数据548.2.2 装载PKL类型数据558.2.3 装载UDB(scan)数据源558.2.4 装载UDB(query)数据源568.2.5 装载JDBC数据源568.2.6 装载NOSQL数据源57第9章 UDB连接57第10章 JDBC连接5710.1 操作目标5810.2 操作步骤58第11章 对象管理61第12章 脚本运行6312.1 上传脚本6312.2 执行脚本63第13章 系统管理6413.1 用户管理6413.1.1 搜索功能6413.1.2 新增功能6513.1.3 编辑功能6613.2 应用管理6813.3 图片管理7113.4 方案管理7213.5 授权码管理73第14章 分析中心7414.1 登录7414.2 功能介绍74第15章 预警中心7715.1 登录7715.2 功能介绍7715.3 预警数据的产生7815.4 存储预警数据79第16章 IPAD导航7916.1 登录8016.2 导航切换80附录1 交互分析操作流程81附录2 可视化分析操作流程93附录3常见问题处理995第1章 关于本手册本手册,适用于使用“飞象大数据分析系统”产品的客户。介绍了如何使用本产品各个功能,及各功能的具体操作方法。1. 手册组成内容本手册,由以下内容组成:“第2章 在您操作之前”,介绍了在您使用本产品之前,需要的准备工作;“第3章 快速入门”,通过介绍产品的体系结构、登录退出方法、产品界面,以及产品的操作流程顺序,帮助您快速的认识产品。第4到15章,根据第3章中的操作流程图,按顺序逐个展开,详细介绍各个功能的具体操作方法。第2章 在您操作之前在您使用本产品之前,请您做好如下准备工作:1. 产品部署1、已安装“飞象大数据分析系统”,且系统能正常使用。(建议内存不少于128G,硬盘不少于50G)2、集群部署:多台FEA部署,形成分析集群,或者spark集群部署。2. 授权码 在系统安装完成以后,需对FEA3注册授权码才能正常使用。发送申请授权码邮件后,会收到对应的授权码,将该授权码填入授权码页面即可。3. 浏览器 火狐、谷歌(建议使用火狐浏览器)4. 分辨率显示器的屏幕分辨率,建议设置为1280*960、1920*1080。5. 软件系统需求 支持64位的centos系统,rehat系统,suse linux系统、ubuntu系统,建议采用centos6.5。6. 名词解释序号术语定义1FEA3飞象大数据分析系统第三个版本的简称。2DF表飞象大数据分析系统用于处理数据的内存表3交互分析飞象大数据分析系统采用的原始语言,可以参考原语手册。4自助分析飞象大数据利用ES做碰撞分析5spark集群部署融合常见的hadoop、spark大数据平台,以集群方式分析数据。第3章 FEA3入门3.1 体系结构3.2 登入与退出3.2.1登入1. 后台管理登入用浏览器打开管理登录页http:/ip地址/fea(例:10/fea)。如下图所示:输入用户名密码后点击按钮。进入到主界面。说明:初始管理员用户名为admin,密码为ilovefeat00!。 新建用户初始密码统一为ilovefea。2. 门户展示登入用浏览器打开门户登录页http:/ip地址(例:10),如下图所示:输入用户名密码后点击按钮。进入门户首页,如下图所示:注:登录门户前,必须通过后台管理配置好用户、应用、图片等关联信息。3.2.2登出登录首页后,点击右上角的图标,显示“修改密码”和“注销”,点击按钮即可退出界面。如下图所示:3.2.3修改密码点击 右上角的按钮,“修改密码”出现如下界面:输入新的密码,点击按钮,修改完成。3.3 操作流程步骤1:注册SN号。参考安装手册第6章内容步骤2:添加用户。为用户分配分析引擎,确定是否为分析人员进入后台,关联应用管理设置。参考手册13.1章节内容。注:只有admin用户具有添加、编辑用户权限。步骤3:加载数据。将数据文件或者数据库中的数据导入到DF表中,进行分析处理。可参考第8章内容或者原语手册load原语。步骤4:分析处理数据。目前有两种方式进行数据处理:可视分析,参考第4章内容;交互分析,参考第六章内容和原语手册。步骤5:面板配置。将分析结果通过图表直观的展示出来,可以展示静态面板、动态面板、交互面板、多屏互动等等。具体操作可参考第7章中7.2.1、7.2.2、7.2.3、7.2.4。注:每种图表有具体得数据格式要求,请参照可视化设计入门培训教程。步骤6:配置导航。将配好图表的面板添加到导航中,方便以后展示给用户一个整体的内容。可参考7.2.5和7.2.6章节内容。步骤7:图片管理。为用户展示的内容添加背景图片,契合展示的主题。可参考13.4章节内容。步骤8:应用管理。提供了门户样式选择,轮播时间,门户的logo、背景、图表方案,以及展示的内容:导航。步骤9:方案管理。提供了各个图表插件的可自定义的样式配置方案。步骤10:用户管理。为新添加的用户配置应用,关联上一步骤配置的应用管理。每个不同用户就能得到不同的内容。参考13.1章节内容。第4章 可视分析4.1 可视分析概述可视化分析,可以让分析师像使用Excel数据透视表一样,处理大量规范数据,非常快速、高效、灵活。在数据增加、过滤、选择、排序、去重、更改类型、字符串处理、分组统计等操作完成后,生成汇总数据。不仅具有强大的数据处理能力,而且可以将数据以易于观察的折线图/柱状图/散点图/饼图/堆积图/面积图/排名表/信息块/文本信息/分页表格/地图散点图/地图热力图/热力图/南丁格尔玫瑰图/迁徙图/圆形关系图/力导向图/自定义关系图/桑基图/柱线图/横向柱状图/地图热力散点图/内外环/仪表盘/横向堆积图/面积堆积图等方式表现出来,更好的帮助分析师处理和比较数据。使用更加灵活,呈现方式多样。4.2 操作目标进入可视化分析界面,可以快速查看并选取不同工作区需分析的数据。以表格的形式透视库里的数据,根据需要做简单的分析。包括增加数据、过滤数据、选择数据、数据排序、数据去重、更改数据类型、字符串处理(数据类型输字符串)、数据分组统计、UDF函数、lambda函数、绘图、对数据进行存储。4.3 选取工作区可视化分析界面中默认工作区的是在public,点击当前工作区的标签,输入工作区名称,回车之后就会切换到该工作区并显示该工作区所有的DF表。如下图所示: 初始界面执行操作后界面4.4 功能实现4.4.1 新建空表在打开的DF表中,输入表名,点击“确定”按钮,即可简单创建一张空表。4.4.2 克隆DF表点击工作表区的,输入表名,点击,克隆一张数据结构相同的DF表4.4.3 数据增加点击工作区下的表名,打开要分析的数据,选取要分析的数据,点击,输入“需要增加的列名”和“表达式”,点击,表中的数据就会增加一列(col1)。4.4.4 数据过滤 点击工作区下的表名,打开要分析的数据,选取要分析的数据,点击,输入“新的表名”和“表达式”,点击,表中的数据就会保留符合条件的数据,去掉条件之外的数据。如下图所示:4.4.5 数据选择点击工作区下的表名,打开要分析的数据,选取要分析的数据,点击,输入“新的表名”,选取需要保留的“列名”,点击。如下提所示:4.4.6 数据排序点击工作区下的表名,打开要分析的数据,选取要分析的数据,点击,选择主要关键字和排序方式,点击。如下图所示:4.4.7 数据去重点击工作区下的表名,打开要分析的数据,选取要分析的数据,点击,输入“新的表名”和选取“字段名”,点击。如下图所示:4.4.8 列类型更改点击工作区下的表名,打开要分析的数据,选取要分析的数据,点击,先调整显示结果条数,选择下拉条,会有“10、25、50、100”四种显示方式。可以快速搜素到字段名进行数据类型更改,如下图所示:将col1字段类型int64改成布尔类型(bool),点击右边的,该字段数据类型得到更改。4.4.9 字符串处理点击工作区下的表名,打开要分析的数据,选取要分析的数据,点击,选取字段名,输入表达式,输入新列名,点击。如下图所示:4.4.10 单字段分组统计点击工作区下的表名,打开要分析的数据,选取要分析的数据,点击,输入“表名”,选择“字段名”,点击。4.4.11 行列互换点击工作区下的表名,打开要分析的数据,选取要分析的数据,点击,输入“表名”,点击。4.4.12 填充空值点击工作区下的表名,打开要分析的数据,选取要分析的数据,点击,输入“表名”和“填充值”,点击。4.4.13 设置索引点击工作区下的表名,打开要分析的数据,选取要分析的数据,点击,输入“表名”,选取“字段名”,点击。4.4.14 重置索引点击工作区下的表名,打开要分析的数据,选取要分析的数据,点击即可。4.4.15 分组统计点击工作区下的表名,打开要分析的数据,选取要分析的数据,点击,输入“表名”,选取“统计方式”,输入“函数”点击。4.4.16 UDF函数点击工作区下的表名,打开要分析的数据,选取要分析的数据,点击,选择“UDF包”,输入“新的表名”,选取“函数包”,选取“函数名”,输入“参数”,点击。函数包有3个,包括udf0包、udfA包、可视化VL包,没有参数的UDF函数可省略不写。如下图所示:4.4.17 机器学习点击工作区下的表名,打开要分析的数据,选取要分析的数据,点击,输入“新的表名”,选取“机器学习函数”,输入“参数”,点击,没有参数的机器学习函数可省略不写。如下图所示:4.4.18 lambda函数点击工作区下的表名,打开要分析的数据,选取要分析的数据,点击,选取“字段名”,输入“表达式”和“新列名”,点击。如下图所示:4.4.19 简要信息点击工作区下的表名,打开要分析的数据,选取要分析的数据,点击。如下图所示:4.4.20 绘图点击工作区下的表名,打开要分析的数据,选取要分析的数据,点击,出现空白框,选择你需要的图形即可。这里我选择了折线图,注数据类型不符合图表类型的是画不出图表的。具体数据类型格式可参考飞象大数据分析系统之可视化设计入门培训教程01 折线图示例:4.4.21 存储数据点击工作区下的表名,打开要分析的数据,选取要分析的数据,点击,选取“存储类型”,输入“文件名”和“参数”,点击。数据将会存储在workspace目录下,可以直接通过load语句直接调用。如下图所示:第5章 自助分析5.1 操作目标自助分析利用表的时间轴作为索引,读取表中的数据,展示部分数据内容。自助分析有count、max、min、sum、arg等统计函数。X轴有多种选择类型,包括terms、range、ip_range、histogram、date_histogram等。简单的选择条件就能得到你想要的分析结果,绘出图形,为不懂SQL语句的用户提供好的体验。另外提供了不同类型图形,下载图片,存储数据,与可视分析互动等功能。5.2 操作步骤1、将ES集群和esql组件安装好,通过原语define udb0 as ip:8001将FEA3连接到udb上,可以通过show defines查看是否连接对。这时我们访问自助分析,点击选择索引的下拉框就有数据了。注:必须是udb0连接,其他的都导致不能访问es集群的数据如下图所示:2、选择ES集群上有时间轴的表,演示表ip_day。选中该表,在面板上能展示部分数据。3、上述步骤完成后,切换到分组面板,这时需要配X轴,Y轴。Y轴函数默认不变,x轴选择date_histogram类型,字段是时间标识,间隔选择年,点击标签,得到分析结果。如下图所示:4、 图表切换,选择右上角的图表类型,可以切换图表类型。也可以将图表保存到图片下载。依次为数据视图、折线图、柱状图、还原、保存为图片。依次点击数据视图、折线图、柱状图、还原、保存为图片按钮,就有不同的展现方式。其中还原是将图表类型还原到初始图表,保存图片是将图表下载到本地。如下所示:数据视图折线图柱状图第6章 交互分析6.1 操作目标高级交互通过原语实现数据分析,通过每条语句就能分析数据,得到结果,保存到ssdb上。右边的工具箱就是快捷的操作,帮助分析师可以便捷的上传数据、脚本,查看运行的任务,定时器,日志输出等。主要是分析师分析数据通过原语加载数据,分析数据,存储结果。6.2 操作步骤1. 原语操作用use wwq 新建工作区(为避免和他人干扰,建议自己新建工作区)。输入原语(show tables,点击按钮或者“回车键”可以得到结果。如下图所示:可以在调试窗口,输入原语进行调试。调试无误后,可叫调试窗口的原语保存为fea脚本。2. 文件管理点击右边的文件管理工具,进入管理界面如下图所示:数据上传操作:点击按钮,选中 数据文件,点击按钮,即可将文件上传,目前支持的数据文件格式较多,包括:csv、pkl、txt、EXCEL、sql。下图红色部分即为新上传的文件。如下图所示:fea脚本上传操作:点击按钮,选中fea脚本,点击按钮,即可将脚本上传。下图红色部分即为新上传的fea脚本。如下图所示:在线创建、编辑fea脚本操作:在输入框中输入fea脚本名称,点击新建按钮,即可新建fea脚本进行在线编辑。如下图所示:里面的内容是关于ML_studio.fea脚本的原语代码,点击“标准化fea脚本”,自动在脚本开头插入以下注释,用户可根据具体情况来编辑内容如果脚本中的中文乱码,则可以通过“gbk编码转utf8编码”功能来实现中文的正常显示。点击上方的“在线编辑”后,出现编辑页面,可以添加、删除、修改、注释各个原语语句。编辑好后,点击保存代码标签,上方会出现保存成功的提示,如下图所示:UDF函数上传操作:点击按钮,选中udf文件,点击按钮,即可将udf自定义函数文件上传。3. 正则表达式点击按钮,可以查看数据格式,规范化数据处理。避免不必要错误。比如ip地址数据格式是:d+.d+.d+.d+,日期的数据格式是:d4-d1,2-d1,2。验证采集的数据是否符合正则表达式,将日志2011-2-30输入在线正则表达式测试框,点击按钮,正确就能得到反馈的正确结果。如下图所示:不正确匹配结果,如下图所示:4. 控制台点击按钮,可以查看DF表,运行任务,连接,定时器,单值变量,日志输出等信息。如下图所示:第7章 可视化设计7.1 操作目标FEA根据需要,还可以开发各种可视化图形,迅速的修订各种图表的显示方式,这也是FEA数据分析工具的独特优势:站在数据使用者的角度,定制打造分析工具。分析师可以根据展示需要,把数据报表整理成各种图形要求的数据格式,通过FEA把相关数据用各种图形展示出来。让用户对结果一目了然。7.2 操作步骤7.2.1 静态面板管理点击,选择,进入静态面板管理。如下图所示:输入ID,中文描述(非必填项)点击按钮,进入静态面板的构建页面,即可进行图表的绘制。如下图所示:面板选项说明:名称是否必填项名词解释图表选择否选择该面板已绘制的图表数据(Key)是用于绘图的ssdb数据库中的数据绘图标题否解释该图的作用图表类型是绘图的类型宽度是图表的宽度高度是图表的高度横坐标是图表起始位置的横坐标纵坐标是图表起始位置的纵坐标图层是图表所在的图层,共0-10层,0最低,10最高,默认为第5层图例否图表中个颜色所代表的对象,可自定义显示位置(上下左右)边框否图表的边框,有10种边框样式可供选择X轴名称否X坐标的注释Y轴名称否Y坐标的注释刷新时间否刷新图表数据的间隔时间,空表示不刷新功能键说明名称说明新建根据面板设置的参数,新建一个图表删除删除选中的图表重绘根据面板设置的参数,重新绘制选中的图表预览全新的面板,必须在保存面板设置之后才能预览保存保存当前的面板设置返回面板左上角的返回按钮,返回到静态面板管理页面缩放面板右上角的缩放按钮,点击后可以收缩、展开面板Esc构建页面的刻度尺显示快捷键,按下可以显示或隐藏刻度尺Del删除图表的快捷键,按下可删除选中的图表Ctrl多选键,按住Ctrl键,同时选中多个图表,可对多个图表进行对齐操作示例如下图所示:7.2.2 动态面板管理点击,选择,点击进入动态面板管理界面。如下图所示:输入ID,中文描述(非必填项),参数(填写格式为变量名=默认值,例如name=ww)面板选项、功能键同静态面板。注意数据(Key)选项中,动态面板可以用变量名来代替某些动态的Key名。示例如图所示:7.2.3 交互面板管理点击,选择,点击进入交互面板管理界面。输入ID,中文描述(非必填项)点击按钮,进入构建页面。交互面板共分以下5种类型:查询统计:通过查询条件,将查询统计得到的数据,通过关联的页面展示出来,只能显示单个结果。搜索:通过搜索条件,将搜索得到的数据,通过关联的页面展示出来,可以显示多个结果。CRUD:以表格的形式,对数据进行增删改查操作。CRUD2:以表格的形式,对数据进行增删改查操作。表单:以表单的形式,对数据进行编辑操作。下面以查询统计和搜索类型为例进行说明。查询统计面板选项说明名称是否必填项说明脚本是查询统计所执行的脚本参数名是查询内容所对应的变量默认值否查询内容的默认值中文名否查询框的中文描述类型是查询框的展现形态,有文本框、下拉框等15种类型是否显示否是否在交互面板显示查询框字典关联否当类型为下拉框时,激活该选项。选取字典Key作为下拉框的内容,字典Key必须以dd:开头操作可以对参数进行上移下移和删除操作页面关联是选择将查询统计的结果数据,以静态面板或动态面板或多屏互动展示位置是查询框在交互面板的位置状态是查询完成后,选择查询框是否仍显示示例如下图所示:构建一个用于主机查询的交互面板,用于查询的fea脚本为znyw_zj_info.fea,查询条件为IP地址,查询框的默认值为4,对应脚本的变量参数为ip,将查询结果通过ID为lchinfo2的动态面板展示,其中查询框位于交互面板的左侧,并且在查询完成后一直显示。脚本znyw_zj_info.fea内容详见附件。ID为lchinfo2的动态面板内容如下图所示:保存上述的交互面板设置,进行预览,可在查询框输入IP地址,查询对应的主机信息。搜索面板选项说明名称是否必填项说明名称是交互面板的标题主页面否交互面板的主页面,可引用静态面板、动态面板、多屏互动名称是搜索框的中文描述脚本是搜索所执行的脚本参数是搜索内容所对应的变量面板是选择将搜索的结果数据,以动态面板展示行数是每页显示的结果数量上限结果集是搜索得到的结果数据的集合,以Key的形式保存在ssdb数据库中,并依次将结果集中的数据,通过参数传递给关联的动态面板。结果集中有多少条数据,交互面板就会得到多少个结果(每个结果都通过关联的动态面板展示)。结果集是一种临时性的Key,一般以FPS结尾,如test_FPS。其中FPS是系统执行脚本后产生的变量,每次执行都会产生一个独立的FPS的参数内容。结果集条数是索搜结果的实际总数,单独以Key的形式保存在ssdb数据库中,也是一种临时性的Key,一般以FPS结尾,如test1_FPS,不能与结果集重复操作可以对参数进行上移下移和删除操作示例如下图所示:设置交互面板的标题为搜索城市,主页为ID为91的静态面板。添加2个搜索子类型,第一个搜索子类型为城市,用于搜索的的脚本为ww_search.fea,对应脚本的变量参数为city,将查询结果通过ID为ww1的动态面板展示,结果集为ww_search_city_FPS,每页最多显示2个结果,结果总数最多显示100个。脚本ww_search.fea内容详见附件。ID为91的静态面板内容如下图所示:ID为ww1的动态面板内容如下图所示:保存上述的交互面板设置,进行预览在搜索框输入城市名称,比如昆明,搜索对应的城市信息。当搜索结果有多个时,如下显示:7.2.4 多屏互动管理点击键,选择,点击进入多屏互动管理界面。如下图所示:输入ID,中文描述,参数(可不填)点击按钮,进入多屏互动的构建页面,即可进行图表的绘制。如下图所示:面板选项说明:名称是否必填项名词解释图表选择否选择该面板已绘制的图表数据(Key)是用于绘图的ssdb数据库中的数据绘图标题否解释该图的作用图表类型是绘图的类型宽度是图表的宽度高度是图表的高度横坐标是图表起始位置的横坐标纵坐标是图表起始位置的纵坐标屏幕选择是选择图表绘制在第几个屏幕,共11个屏幕图层是图表所在的图层,共0-10层,0最低,10最高,默认为第5层图例否图表中个颜色所代表的对象,可自定义显示位置(上下左右)边框否图表的边框,有10种边框样式可供选择X轴名称否X坐标的注释Y轴名称否Y坐标的注释刷新时间否刷新图表数据的间隔时间,空表示不刷新功能键说明名称说明新建根据面板设置的参数,新建一个图表删除删除选中的图表重绘根据面板设置的参数,重新绘制选中的图表预览全新的面板,必须在保存面板设置之后才能预览保存保存当前的面板设置返回面板左上角的返回按钮,返回到静态面板管理页面缩放面板右上角的缩放按钮,点击后可以收缩、展开面板Esc构建页面的刻度尺显示快捷键,按下可以显示或隐藏刻度尺Del删除图表的快捷键,按下可删除选中的图表Ctrl多选键,按住Ctrl键,同时选中多个图表,可对多个图表进行对齐操作示例如下图所示:保存上述多屏互动的设置,进行预览,如下所示,按屏幕顺序自动轮播:多屏互动还可将所有屏幕上的图表输出到PDF文件并下载到本地。点击“导出PDF”即可。7.2.5 导航管理一点击键,选择。进入导航管理界面,如下图所示:二输入识别ID和中文描述,点击按钮,进入导航构建界面。点击按钮,新增一级菜单,选择静态面板、动态面板、交互面板中的页面,关联页面的名称会自动作为导航名称。或者选好页面之后根据自己需要更改导航名称。选择标题显示,这个关系到门户展示界面上显示绘图标题显示,选择“是”代表显示,选择“否”代表不显示。点击按钮,如下图所示:三点击对应一级导航条右边的按钮,增加二级菜单,输入导航名称,选择标题显示,选择页面。点击按钮,如下图所示:四点击对应新菜单右边的编辑按钮打开导航菜单的编辑窗口,输入导航名称,选择标题显示,选择页面。点击按钮,如下图所示:5 点击按钮,保存上述导航设置。点击按钮,在门户1-5之间选择任意门户样式进行预览,每种门户的样式风格各不相同,用户可根据实际需求进行选择。样例预览如下图所示:7.2.6 门户展示导航管理建好后,通过13.1用户管理、13.3应用管理、13.4图片管理,将导航分配给wwq用户。打开门户登录页面http:/ip(例:12)输入用户名密码,点击登录按钮选择应用之后,登录门户页面。点击右上角按钮,可选择切换到各级导航页面或者该用户下别的应用,如下图所示:点击右上角按钮可以在最下方,通过设置页面分辨率比例,来调节页面的显示大小第8章 数据加载8.1 操作目标数据分析就需要满足来自不同接口的数据源,恰恰数据装载就能够适应各种不同类型的数据源。能够满足TXT、CSV、PKL、JDBC、NOSQL、UDB等不同方式存取的数据源。这样简单、快速。8.2 操作步骤8.2.1 装载CSV类型数据点击右上角数据图标,进入装载数据界面。点击,选择装载类型CSV。点击,选择数据源。输入参数(可以空白),输入表名(自己可任意定义),点击装载。旁边的进度显示图标100%时,表示装载完成。如下图所示:如果类型不对应或者参数不正确时,将不能装载成功,而且会有报错信息,如下图所示:8.2.2 装载TXT类型数据点击右上角数据图标,进入装载数据界面。点击,选择装载类型CSV。点击,选择数据源。输入参数(可以空白),输入表名(自己可任意定义),点击装载。旁边的进度显示图标100%时,表示装载完成。如下图所示:8.2.2 装载PKL类型数据点击右上角数据图标,进入装载数据界面。点击,选择装载类型PKL。点击,选择数据源。输入参数(可以空白),输入表名(自己可任意定义),点击装载。旁边的进度显示图标100%时,表示装载完成。如下图所示:8.2.3 装载UDB(scan)数据源点击右上角数据图标,进入装载数据界面。点击,选择装载类型UDB(scan)。根据原语load装载数据的格式输入参数,定义DF表名,点击装载。旁边的进度显示图标100%时,表示装载完成。如下图所示:8.2.4 装载UDB(query)数据源点击右上角数据图标,进入装载数据界面。点击,选择装载类型UDB(query)。根据原语load装载数据的格式输入参数,定义DF表名,点击装载。旁边的进度显示图标100%时,表示装载完成。如下图所示:8.2.5 装载JDBC数据源点击右上角数据图标,进入装载数据界面。点击,选择装载类型JDBC。根据原语load装载数据的格式输入参数,定义DF表名,点击装载。旁边的进度显示图标100%时,表示装载完成。如下图所示:8.2.6 装载NOSQL数据源点击右上角数据图标,进入装载数据界面。点击,选择装载类型JDBC。根据原语load装载数据的格式输入参数,定义DF表名,点击装载。旁边的进度显示图标100%时,表示装载完成。如下图所示:第9章 UDB连接输入基本语句,点击查询按钮,即可。现列举一些关于ESQL的基本语句。show tables查看所有表cat allocation查看磁盘空间INSERTINTOtable_name.type (insert_columns)VALUES(insert_values)插入数据SELECT * FROM table 查询语句第10章 JDBC连接10.1 操作目标 JDBC是FEA3的一个重要插件,简单介绍JDBC的一些操作,方便初学者能够快速熟悉、掌握一些基本的操作。10.2 操作步骤 1. 数据库操作登入:点击右上角的JDBC图标,输入用户名和密码,点击或回车。弹出界面如下图所示:数据库添加:1、 点击右上角进入管理界面,可以对数据库进行“添加、修改、删除、导入、导出、搜索”等操作。2、 以添加数据库作为例:点击页面上方的按钮,选择数据库类型,目前支持多种数据库ORACLE、SQL Server、PostgreSQL、Mysql、HIVE、HBASE、ODPS、RDS等。3、 输入数据库连接名,添加数据库驱动,修改数据库连接,输入数据库的用户名和密码。4、 添加好后,点击右下角进行测试,是否连接成功。如果不成功会出现提示报错,并显示报错内容。5、 点击上方的首页返回到查询界面。如下图所示:数据库查询:选择数据库,输入查询语句(例:select * from all_users;),点击查询图标,展示出该数据库的所有表。如下图所示: 2. 管理数据库点击进入管理界面,可以对数据库进行“添加、修改、删除、导入、导出、搜索”等操作。第11章 对象管理点击,打开对象管理窗口输入Key值,点击按钮进行查询,查询结果可分成表格、柱状图(内含折线图、堆积图)、散点图、JSON等4种形式展现点击按钮,可对Key的内容进行编辑第12章 脚本运行12.1 上传脚本点击,弹出界面,点击图标,就可以将fea脚本上传到服务器上。12.2 执行脚本点击,弹出界面,在fea该栏选择fea脚本,通过选择事先上传好的fea脚本,如图:更改“参数名”和“默认值”,如果脚本中没有参数,可以默认不添加“参数名和默认值”。点击,脚本执行完成。(简单脚本示例执行)如下图所示:注:参数名和默认值可以不填空着,有多个参数时,可以通过右边+-添加、删除。执行完之后有结束时间提示,错误信息为0。如果错误信息大于0,就表示脚本有问题,请检查后再上传执行。第13章 系统管理13.1 用户管理点击图标,选择图标,进入用户管理界面。如下图所示:13.1.1 搜索功能在输入关键词,可模糊搜索到相关的用户信息。如下图所示:13.1.2 新增功能点击右上角图标,输入“用户名”,输入“中文名”,选择“管理员”,选择“门户”,选择“导航”,点击图标。添加一个新用户。注:只有admin管理员才有权限添加用户,其它用户都没有该权限。名词解释选项是否必填项说明用户名是用户名,用户的唯一标识中文名否解释用户名,也可指所添加之人的名字分析员是分析员可登入后台和门户,非分析员只能登录门户引擎选择是为用户分配分析引擎应用选择是为用户分配应用,可多选,用户可同时拥有多个应用,详见附件工具栏否将导航作为自定义的工具栏,体现在分析中心模块的底部,在14章节将会详细说明数据属性否对应的是FEA的多租户功能,key出填写变量参数,如name,value处填写变量的内容,详见附件“多应用多租户V0.1.docx”,同应用选择处的附件。操作否编辑该用户的内容或者删除该用户如下图所示:结果如下图所示:13.1.3 编辑功能点击用户对应的编辑图标,可以更改“中文名”、“分析员”、“引擎选择”、“应用选择”、“工具栏”、“数据属性”,此处以更改“中文名”、“引擎选择”、“应用选择”、“工具栏”为例,点击图标。编辑一个用户,示例如下图所示:结果如下图所示:13.2 应用管理点击,选择图标,进入应用管理界面。如下图所示:点击右上角的,输入应用ID和创建者,选择导航、门户、选择logo图片、设置轮播时间。名称是否为必填项说明应用ID是应用的唯一标识中文名称否应用的中文名称导航选择是分配给非分析员的导航页面门户选择是指定导航展示的页面风格,共有5个门户可供选择选择Logo否可选择图片管理中上传的图片作为门户页面的Logo创建者否指明创建该应用的人轮播时间否只针对门户2、3、5生效,单位为秒,为空或0时,表示不轮播门户背景是只针对门户1、2、4生效。可分为纯色、渐变、图片三种形式,分别表示用纯色做背景、用渐变色做背景、用图片做背景,其中纯色和渐变两个选项中,可以通过拾色器来自定义颜色。方案选择是针对所有门户生效配置实例如下图所示:编辑用户,点击按钮,可修改除应用ID以外的选项设置,如修改门户选择为门户4,门户背景为纯色。13.3 图片管理点击,选择图标,进入图片管理界面。如下图所示:点击右上角的,输入图片ID、图片描述、上传图片,点击确认即可。如下所示:名称是否为必填项说明图片ID是图片的唯一标识图片描述否描述图片的说明上传图片是选择用于上传的图片文件,名称不能为中文编辑图片,点击按钮,更改图片描述,更改图片内容。如下图所示:删除图片,点击右边的删除标签删除即可。13.4 方案管理点击,选择图标,进入方案管理界面。如下图所示:方案管理中共分5种方案,前三种为系统推荐方案,后两种为用户自定义方案,所有方案都可以编辑value和备注的内容。通过修改相关图表插件变量的value值,调整该方案中相关图表的样式。只有admin超级管理员才有权限新增变量名称是否为必填项说明index是相关图表插件的变量名value是相关图表插件的变量内容备注是对图表插件变量的描述和内容格式的描述13.5 授权码管理 点击图标,选择,进入授权码管理界面。如下图所示:注:版本:指的是当前FEA3的引擎版本PK:指产品的序列号,请不要随便改变机器的硬件配置,导致PK码变化,影响FEA3正常使用。SN:指软件授权码第14章 分析中心14.1 登录在浏览器中输入http:/IP/cc/,如12/cc/,打开分析中心登录页面。输入用户名密码(必须分析员用户才能登录),点击登录按钮,登录分析中心14.2 功能介绍分析中心分为上方的主要功能模块区,中间的展示区,下方的工具栏区。模块说明可视化场景用于展示从预警中心接收到的预警详情场景页面可视分析同第4章节可视分析自助分析同第5章节自助分析LBS分析基于坐标信息的地图,对数据分布进行分析交互分析同第6章节交互分析导航可以在此处可以对以同一用户登录的门户页面互动交互,进行同一应用下的导航切换。数据加载同第8章节数据加载对象管理同第11章节对象管理运行脚本同第12章节运行脚本自定义工具栏在用户管理的工具栏中,引用的导航包含的面板,作为此处自定义的工具栏,点击可以快速打开,无需再去登录门户 可视化场景接收预警中心的预警信息,并显示预警详情页面 LBS分析基于坐标信息的地图,对数据分布进行分析 导航在此处点击不同的导航菜单,以相同的用户名并且登录相同的应用的门户页面,会自动做相应的导航切换。如当前登录用户为wwq,应用为4K大屏1。另一屏幕上,用wwq用户选择应用为4K大屏1登录门户。在分析中心的导航窗口,点击“仪表盘”导航另一屏幕上,自动从“4K测试”导航的页面,切换到“仪表盘”导航的页面“4K测试”导航页面“仪表盘”导航页面第15章 预警中心预警中心是一个内嵌在门户页面中,用于接收并展示实时预警数据的功能模块。15.1 登录打开门户登录页面http:/ip(例:12),以test用户登录门户,并选择test应用15.2 功能介绍当有预警信息产生时,该应用的门户页面上就会实时地自动弹出预警窗口。点击查看,可以在以相同用户名登录分析中心的页面上,弹出对应的预警详情窗口;点击指派,输入指派的用户名,以指派用户登录分析中心的页面上,弹出对应的预警详情窗口;上述二者的预警详情弹窗,见14.2章节中的可视化场景15.3 预警数据的产生预警数据是由一定数据格式的df表,存储到规则内的zbus队列中的实时流数据。数据格式如下:df表结构:字段说明示例ID自己生成的一个序列号3000761时间告警的发生时间2017-11-30 11:11:11对象告警的主题,比如IP、URL、数据库类型等10级别该告警的级别,高/中/低等高类型告警的关注等级,紧急/关注/提示等关注说明告警的类型,如威胁情报、漏洞、越权操作等威胁情报resp_type查看告警的方式,包括scene/url/sql如果resp_type是sceen,则resp_para是dashboard的方式;如果resp_type是url,则reps_para是url的地址,如:/ip/;如果reps_para是sql,则resp_para是sql语句,如:select * from event where id=xxsceneresp_para固定的字段,填写内容同上dashboard2:alarm_windowsresp_para1固定的字段,如果resp_type为scene,则resp_para1为空/ip=xx等传参方式;如果resp_type为url,则resp_para1为空;如果resp_type为sql,则resp_para1为mysql/oracle等数据库类型ip=resp_size限制弹出窗的大小,使用在resp_type为scene时,点击查看时的弹出窗大小1900*100015.4 存储预警数据通过zbus流处理实现实时的预警处理,首先在zbus中创建对应的zbus消息队列,队列名以alarm开头+应用名+用户名组合的方式,如alarm_test_test则表示应用名为test、用户名为test。 创建zbus消息队列手动创建,在交互分析页面执行以下原语:udf RS.create_zbus with (,alarm_test_test)自动创建,以test用户登录门户,并选择test应用后,系统会自动创建名为alarm_test_test的zbus消息队列 计算需要进行预警展示的结果 存储结果到zbus中udf df by RS.store_zbus_df with (,alarm_test_test,info),其中info为zbus消息队列的主题名,可以任意填写,无实际意义。 用test账号登录门户,并选择test应用,就可以看到预警弹窗。第16章 IPad导航IPad导航模块,可以在移动智能设备端

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论