FEA3飞象大数据分析系统操作手册

1 FEA3 飞象大数据分析系统飞象大数据分析系统 之操作手册之操作手册 地 址 杭州市滨江区滨安路 1180 号华业高科技产业园 3 号楼 网 址 2 文档信息文档信息 文档名称文档名称FEA3 飞象大数据分析系统操作手册飞象大数据分析系统操作手册 文档编号文档编号 编制人编制人ww 制作日期制作日期2017 12 07 文档版本文档版本V3 10 适用范围适用范围技术体系 密级密级内部公开 版本历史版本历史 序号序号文档版本文档版本时间时间说明说明修改人修改人 1V1 02016 09 04初稿wwq 2V2 02016 11 15修订稿wwq 3V3 02017 06 08修订稿wwq 4V3 102017 12 07修订稿ww 3 目录目录 第 1 章 关于本手册 6 第 2 章 在您操作之前 6 第 3 章 FEA3 入门 7 3 1 体系结构 7 3 2 登入与退出 7 3 2 1 登入 7 3 2 2 登出 9 3 2 3 修改密码 9 3 3 操作流程 9 第 4 章 可视分析 10 4 1 可视分析概述 10 4 2 操作目标 10 4 3 选取工作区 10 4 4 功能实现 11 4 4 1 新建空表 11 4 4 2 克隆 DF 表 11 4 4 3 数据增加 12 4 4 4 数据过滤 13 4 4 5 数据选择 13 4 4 6 数据排序 14 4 4 7 数据去重 15 4 4 8 列类型更改 16 4 4 9 字符串处理 17 4 4 10 单字段分组统计 18 4 4 11 行列互换 18 4 4 12 填充空值 19 4 4 13 设置索引 20 4 4 14 重置索引 20 4 4 15 分组统计 21 4 4 16 UDF 函数 21 4 4 17 机器学习 22 4 4 18 lambda 函数 23 4 4 19 简要信息 23 4 4 20 绘图 24 4 4 21 存储数据 24 第 5 章 自助分析 25 5 1 操作目标 25 5 2 操作步骤 25 第 6 章 交互分析 27 4 6 1 操作目标 27 6 2 操作步骤 27 第 7 章 可视化设计 33 7 1 操作目标 33 7 2 操作步骤 33 7 2 1 静态面板管理 33 7 2 2 动态面板管理 37 7 2 3 交互面板管理 38 7 2 4 多屏互动管理 43 7 2 5 导航管理 48 7 2 6 门户展示 52 第 8 章 数据加载 54 8 1 操作目标 54 8 2 操作步骤 54 8 2 1 装载 CSV 类型数据 54 8 2 2 装载 PKL 类型数据 55 8 2 3 装载 UDB scan 数据源 55 8 2 4 装载 UDB query 数据源 56 8 2 5 装载 JDBC 数据源 56 8 2 6 装载 NOSQL 数据源 57 第 9 章 UDB 连接 57 第 10 章 JDBC 连接 57 10 1 操作目标 58 10 2 操作步骤 58 第 11 章 对象管理 61 第 12 章 脚本运行 63 12 1 上传脚本 63 12 2 执行脚本 63 第 13 章 系统管理 64 13 1 用户管理 64 13 1 1 搜索功能 64 13 1 2 新增功能 65 13 1 3 编辑功能 66 13 2 应用管理 68 13 3 图片管理 71 13 4 方案管理 72 13 5 授权码管理 73 第 14 章 分析中心 74 14 1 登录 74 5 14 2 功能介绍 74 第 15 章 预警中心 77 15 1 登录 77 15 2 功能介绍 77 15 3 预警数据的产生 78 15 4 存储预警数据 79 第 16 章 IPAD 导航 79 16 1 登录 80 16 2 导航切换 80 附录 1 交互分析操作流程 81 附录 2 可视化分析操作流程 93 附录 3 常见问题处理 99 6 第第 1 章章 关于本手册关于本手册 本手册 适用于使用 飞象大数据分析系统 产品的客户 介绍了如何使用本产品各 个功能 及各功能的具体操作方法 1 手册组成内容手册组成内容 本手册 由以下内容组成 第 2 章 在您操作之前 介绍了在您使用本产品之前 需要的准备工作 第 3 章 快速入门 通过介绍产品的体系结构 登录退出方法 产品界面 以及产品的 操作流程顺序 帮助您快速的认识产品 第 4 到 15 章 根据第 3 章中的操作流程图 按顺序逐个展开 详细介绍各个功能的具体操 作方法 第第 2 章章 在您操作之前在您操作之前 在您使用本产品之前 请您做好如下准备工作 1 产品部署产品部署 1 已安装 飞象大数据分析系统 且系统能正常使用 建议内存不少于 128G 硬盘不少于 50G 2 集群部署 多台 FEA 部署 形成分析集群 或者 spark 集群部署 2 授权码授权码 在系统安装完成以后 需对 FEA3 注册授权码才能正常使用 发送申请授权码邮件后 会收到对应的授权码 将该授权码填入授权码页面即可 3 浏览器浏览器 火狐 谷歌 建议使用火狐浏览器 4 分辨率分辨率 显示器的屏幕分辨率 建议设置为 1280 960 1920 1080 5 软件系统需求软件系统需求 支持 64 位的 centos 系统 rehat 系统 suse linux 系统 ubuntu 系统 建议采用 centos6 5 6 名词解释名词解释 序序 号号 术语术语 定义定义 1FEA3FEA3 飞象大数据分析系统第三个版本的简称 2 DFDF表飞象大数据分析系统用于处理数据的内存表 3 交互分析飞象大数据分析系统采用的原始语言 可以参考原语手册 4 自助分析飞象大数据利用 ES 做碰撞分析 7 5 sparkspark集群部署融合常见的 hadoop spark 大数据平台 以集群方式分析数据 第第 3 章章 FEA3 入门入门 3 1 体系结构体系结构 3 2 登入与退出登入与退出 3 2 1 登入登入 1 后台管理登入 用浏览器打开管理登录页 http ip 地址 fea 例 http 10 68 23 210 fea 如下图所示 8 输入用户名密码后点击按钮 进入到主界面 说明 初始管理员用户名为说明 初始管理员用户名为 admin 密码为 密码为 ilovefeat00 新建用户初始密码统一为新建用户初始密码统一为 ilovefea 2 门户展示登入 用浏览器打开门户登录页 http ip 地址 例 http 10 68 23 210 如下图所示 9 输入用户名密码后点击按钮 进入门户首页 如下图所示 注 登录门户前 必须通过后台管理配置好用户 应用 图片等关联信息 3 2 2 登出登出 登录首页后 点击右上角的图标 显示 修改密码 和 注销 点击 按钮即可退出界面 如下图所示 10 3 2 3 修改密码修改密码 点击 右上角的按钮 修改密码 出现如下界面 输入新的密码 点击按钮 修改完成 3 3 操作流程操作流程 步骤步骤 1 注册 SN 号 参考安装手册第 6 章内容 步骤步骤 2 添加用户 为用户分配分析引擎 确定是否为分析人员进入后台 关联应用管理 设置 参考手册 13 1 章节内容 注 只有 admin 用户具有添加 编辑用户权限 步骤步骤 3 加载数据 将数据文件或者数据库中的数据导入到 DF 表中 进行分析处理 可参 考第 8 章内容或者原语手册 load 原语 步骤步骤 4 分析处理数据 目前有两种方式进行数据处理 可视分析 参考第 4 章内容 交 互分析 参考第六章内容和原语手册 步骤步骤 5 面板配置 将分析结果通过图表直观的展示出来 可以展示静态面板 动态面板 交互面板 多屏互动等等 具体操作可参考第 7 章中 7 2 1 7 2 2 7 2 3 7 2 4 注 每种 图表有具体得数据格式要求 请参照可视化设计入门培训教程 步骤步骤 6 配置导航 将配好图表的面板添加到导航中 方便以后展示给用户一个整体的内 容 可参考 7 2 5 和 7 2 6 章节内容 步骤步骤 7 图片管理 为用户展示的内容添加背景图片 契合展示的主题 可参考 13 4 章节 内容 步骤步骤 8 应用管理 提供了门户样式选择 轮播时间 门户的 logo 背景 图表方案 以 及展示的内容 导航 步骤步骤 9 方案管理 提供了各个图表插件的可自定义的样式配置方案 步骤步骤 10 用户管理 为新添加的用户配置应用 关联上一步骤配置的应用管理 每个不同 用户就能得到不同的内容 参考 13 1 章节内容 第第 4 章章 可视分析可视分析 11 4 1 可视分析概述可视分析概述 可视化分析 可以让分析师像使用 Excel 数据透视表一样 处理大量规范数据 非常 快速 高效 灵活 在数据增加 过滤 选择 排序 去重 更改类型 字符串处理 分 组统计等操作完成后 生成汇总数据 不仅具有强大的数据处理能力 而且可以将数据以 易于观察的折线图 柱状图 散点图 饼图 堆积图 面积图 排名表 信息块 文本信息 分页表 格 地图散点图 地图热力图 热力图 南丁格尔玫瑰图 迁徙图 圆形关系图 力导向图 自定 义关系图 桑基图 柱线图 横向柱状图 地图热力散点图 内外环 仪表盘 横向堆积图 面积 堆积图等方式表现出来 更好的帮助分析师处理和比较数据 使用更加灵活 呈现方式多 样 4 2 操作目标操作目标 进入可视化分析界面 可以快速查看并选取不同工作区需分析的数据 以表格的形式 透视库里的数据 根据需要做简单的分析 包括增加数据 过滤数据 选择数据 数据排 序 数据去重 更改数据类型 字符串处理 数据类型输字符串 数据分组统计 UDF 函数 lambda 函数 绘图 对数据进行存储 4 3 选取工作区选取工作区 可视化分析界面中默认工作区的是在 public 点击当前工作区的标签 输入工作区名 称 回车之后就会切换到该工作区并显示该工作区所有的 DF 表 如下图所示 4 4 功能实现功能实现 4 4 1 新建空表新建空表 在打开的 DF 表中 输入表名 点击 确定 按钮 即可简单创建一 张空表 初始界面初始界面 执行操作后界面执行操作后界面 12 4 4 2 克隆克隆 DF 表表 点击工作表区的 输入表名 点击 克隆一张数据结构相同的 DF 表 4 4 3 数据增加数据增加 点击工作区下的表名 打开要分析的数据 选取要分析的数据 点 13 击 输入 需要增加的列名 和 表达式 点击 表中的数据就会增 加一列 col1 4 4 4 数据过滤数据过滤 点击工作区下的表名 打开要分析的数据 选取要分析的数据 点 击 输入 新的表名 和 表达式 点击 表中的数据就会保留符合 条件的数据 去掉条件之外的数据 如下图所示 14 4 4 5 数据选择数据选择 点击工作区下的表名 打开要分析的数据 选取要分析的数据 点 击 输入 新的表名 选取需要保留的 列名 点击 如下提所示 15 4 4 6 数据排序数据排序 点击工作区下的表名 打开要分析的数据 选取要分析的数据 点 击 选择主要关键字和排序方式 点击 如下图所示 4 4 7 数据去重数据去重 点击工作区下的表名 打开要分析的数据 选取要分析的数据 点 击 输入 新的表名 和选取 字段名 点击 如下图所示 16 4 4 8 列类型更改列类型更改 点击工作区下的表名 打开要分析的数据 选取要分析的数据 点 击 先调整显示结果条数 选择下拉条 会有 10 25 50 100 四种显示方式 可以快速搜素到字段名进行数据类型更改 如下图所 示 17 将 col1 字段类型 int64 改成布尔类型 bool 点击右边的 该字段数据类型得 到更改 4 4 9 字符串处理字符串处理 点击工作区下的表名 打开要分析的数据 选取要分析的数据 点 击 选取字段名 输入表达式 输入新列名 点击 如下图所示 18 4 4 10 单字段分组统计单字段分组统计 点击工作区下的表名 打开要分析的数据 选取要分析的数据 点 击 输入 表名 选择 字段名 点击 4 4 11 行列互换行列互换 点击工作区下的表名 打开要分析的数据 选取要分析的数据 点 击 输入 表名 点击 19 4 4 12 填充空值填充空值 点击工作区下的表名 打开要分析的数据 选取要分析的数据 点 击 输入 表名 和 填充值 点击 20 4 4 13 设置索引设置索引 点击工作区下的表名 打开要分析的数据 选取要分析的数据 点 击 输入 表名 选取 字段名 点击 4 4 14 重置索引重置索引 点击工作区下的表名 打开要分析的数据 选取要分析的数据 点 击 即可 21 4 4 15 分组统计分组统计 点击工作区下的表名 打开要分析的数据 选取要分析的数据 点 击 输入 表名 选取 统计方式 输入 函数 点击 4 4 16 UDF 函数函数 点击工作区下的表名 打开要分析的数据 选取要分析的数据 点 击 选择 UDF 包 输入 新的表名 选取 函数包 选取 函数名 22 输入 参数 点击 函数包有 3 个 包括 udf0 包 udfA 包 可视化 VL 包 没 有参数的 UDF 函数可省略不写 如下图所示 4 4 17 机器学习机器学习 点击工作区下的表名 打开要分析的数据 选取要分析的数据 点 击 输入 新的表名 选取 机器学习函数 输入 参数 点击 没有参数的机器学习函数可省略不写 如下图所示 23 4 4 18 lambda 函数函数 点击工作区下的表名 打开要分析的数据 选取要分析的数据 点 击 选取 字段名 输入 表达式 和 新列名 点击 如 下图所示 4 4 19 简要信息简要信息 点击工作区下的表名 打开要分析的数据 选取要分析的数据 点 击 如下图所示 24 4 4 20 绘图绘图 点击工作区下的表名 打开要分析的数据 选取要分析的数据 点 击 出现空白框 选择你需要的图形即可 这里我选择了折线图 注数据类型不符注数据类型不符 合图表类型的是画不出图表的合图表类型的是画不出图表的 具体数据类型格式可参考 飞象大数据分析系统之可视化飞象大数据分析系统之可视化 设计入门培训教程设计入门培训教程 01 折线图示例 4 4 21 存储数据存储数据 25 点击工作区下的表名 打开要分析的数据 选取要分析的数据 点 击 选取 存储类型 输入 文件名 和 参数 点击 数据将 会存储在 workspace 目录下 可以直接通过 load 语句直接调用 如下图所示 第第 5 章章 自助分析自助分析 5 1 操作目标操作目标 自助分析利用表的时间轴作为索引 读取表中的数据 展示部分数据内容 自助分析 有 count max min sum arg 等统计函数 X 轴有多种选择类型 包括 terms range ip range histogram date histogram 等 简单的选择条件就能得到你想要 的分析结果 绘出图形 为不懂 SQL 语句的用户提供好的体验 另外提供了不同类型图形 下载图片 存储数据 与可视分析互动等功能 5 2 操作步骤操作步骤 1 将 ES 集群和 esql 组件安装好 通过原语 define udb0 as ip 8001 将 FEA3 连接到 udb 上 可以通过 show defines 查看是否连接对 这时我们访问自助分析 点击选择索引 的下拉框就有数据了 注 必须是 udb0 连接 其他的都导致不能访问 es 集群的数据 如下图所示 26 2 选择 ES 集群上有时间轴的表 演示表 ip day 选中该表 在面板上能展示部分数据 3 上述步骤完成后 切换到分组面板 这时需要配 X 轴 Y 轴 Y 轴函数默认不变 x 轴选择 date histogram 类型 字段是时间标识 间隔选择年 点击 标签 得到分析结果 如下图所示 4 图表切换 选择右上角的图表类型 可以切换图表类型 也可以将图表保存到图片下载 依次为数据视图 折线图 柱状图 还原 保存为图片 依次点击数 据视图 折线图 柱状图 还原 保存为图片按钮 就有不同的展现方式 其中还原是将 图表类型还原到初始图表 保存图片是将图表下载到本地 如下所示 数据视图数据视图 27 折线图折线图 柱状图柱状图 第第 6 章章 交互分析交互分析 6 1 操作目标操作目标 高级交互通过原语实现数据分析 通过每条语句就能分析数据 得到结果 保存到 ssdb 上 右边的工具箱就是快捷的操作 帮助分析师可以便捷的上传数据 脚本 查看运 行的任务 定时器 日志输出等 主要是分析师分析数据通过原语加载数据 分析数据 存储结果 6 2 操作步骤操作步骤 1 原语操作原语操作 用 use wwq 新建工作区 为避免和他人干扰 建议自己新建工作区 输入原语 show tables 点击按钮或者 回车键 可以得到结果 如下图所示 可以在调试窗口 输入原语进行调试 调试无误后 可叫调试窗口的原语保存为 fea 脚本 28 2 文件管理文件管理 点击右边的文件管理工具 进入管理界面如下图所示 数据上传操作 点击按钮 选中 数据文件 点击 按钮 即可将文件上传 目前支持的数据文件格式较多 包括 csv pkl txt EXCEL sql 下图红色部分即为新上传的文件 如下图所示 29 fea 脚本上传操作 点击按钮 选中 fea 脚本 点击 按钮 即可将脚本上传 下图红色部分即为新上传的 fea 脚本 如下图所示 30 在线创建 编辑 fea 脚本操作 在输入框中输入 fea 脚本名称 点击新建按钮 即可新建 fea 脚本进行在线编辑 如下图所示 31 里面的内容是关于 ML studio fea 脚本的原语代码 点击 标准化 fea 脚本 自动在脚本开头插入以下注释 用户可根据具体情况来编辑内 容 如果脚本中的中文乱码 则可以通过 gbk 编码转 utf8 编码 功能来实现中文的正常显示 点击上方的 在线编辑 后 出现编辑页面 可以添加 删除 修改 注释各 个原语语句 编辑好后 点击保存代码标签 上方会出现保存成功的提示 如 下图所示 32 UDF 函数上传操作 点击按钮 选中 udf 文件 点击 按钮 即可将 udf 自定义函数文件上传 3 正则表达式正则表达式 点击按钮 可以查看数据格式 规范化数据处理 避免不必要错误 比如 ip 地址数据格式是 d d d d 日期的数据格式是 d 4 d 1 2 d 1 2 验证采 集的数据是否符合正则表达式 将日志 2011 2 30 输入在线正则表达式测试框 点击 按钮 正确就能得到反馈的正确结果 如下图所示 不正确匹配结果 如下图所示 33 4 控制台控制台 点击按钮 可以查看 DF 表 运行任务 连接 定时器 单值变量 日志 输出等信息 如下图所示 第第 7 章章 可视化设计可视化设计 7 1 操作目标操作目标 FEA 根据需要 还可以开发各种可视化图形 迅速的修订各种图表的显示方式 这也 是 FEA 数据分析工具的独特优势 站在数据使用者的角度 定制打造分析工具 分析师可以根据展示需要 把数据报表整理成各种图形要求的数据格式 通过 FEA 把 相关数据用各种图形展示出来 让用户对结果一目了然 7 2 操作步骤操作步骤 7 2 1 静态面板管理静态面板管理 点击 选择 进入静态面板管理 如下图所示 34 输入 ID 中文描述 非必填项 点击按钮 进入静态面板的构建页面 即可进行图表的绘制 如下图所示 面板选项说明 名称名称是否必填项是否必填项名词解释名词解释 图表选择否选择该面板已绘制的图表 数据 Key 是用于绘图的 ssdb 数据库中的数据 绘图标题否解释该图的作用 图表类型是绘图的类型 35 宽度是图表的宽度 高度是图表的高度 横坐标是图表起始位置的横坐标 纵坐标是图表起始位置的纵坐标 图层是图表所在的图层 共 0 10 层 0 最低 10 最高 默认为第 5 层 图例否图表中个颜色所代表的对象 可自定义显示位置 上下左右 边框否图表的边框 有 10 种边框样式可供选择 36 X 轴名称否X 坐标的注释 Y 轴名称否Y 坐标的注释 刷新时间否刷新图表数据的间隔时间 空表示不刷新 功能键说明 名称名称说明说明 新建根据面板设置的参数 新建一个图表 删除删除选中的图表 重绘根据面板设置的参数 重新绘制选中的图表 预览全新的面板 必须在保存面板设置之后才能预览 保存保存当前的面板设置 返回 面板左上角的返回按钮 返回到静态面板管理页面 缩放 面板右上角的缩放按钮 点击后可以收缩 展开面板 Esc构建页面的刻度尺显示快捷键 按下可以显示或隐藏刻度尺 Del删除图表的快捷键 按下可删除选中的图表 Ctrl多选键 按住 Ctrl 键 同时选中多个图表 可对多个图表进行对齐操作 示例如下图所示 37 7 2 2 动态面板管理动态面板管理 点击 选择 点击进入动态面板管理界面 如下图所示 输入 ID 中文描述 非必填项 参数 填写格式为 变量名 默认值 例如 name ww 面板选项 功能键同静态面板 注意数据 Key 选项中 动态面板可以用 变量名来代 替某些动态的 Key 名 示例如图所示 7 2 3 交互面板管理交互面板管理 点击 选择 点击进入交互面板管理界面 38 输入 ID 中文描述 非必填项 点击按钮 进入构建页面 交互面板共分以下 5 种类型 查询统计 通过查询条件 将查询统计得到的数据 通过关联的页面展示出来 只能显示 单个结果 搜索 通过搜索条件 将搜索得到的数据 通过关联的页面展示出来 可以显示多个结果 CRUD 以表格的形式 对数据进行增删改查操作 CRUD2 以表格的形式 对数据进行增删改查操作 表单 以表单的形式 对数据进行编辑操作 下面以查询统计和搜索类型为例进行说明 查询统计查询统计 面板选项说明 名称名称是否必填项是否必填项说明说明 脚本是查询统计所执行的脚本 参数名是查询内容所对应的变量 39 默认值否查询内容的默认值 中文名否查询框的中文描述 类型是查询框的展现形态 有文本框 下拉框等 15 种类型 是否显示否是否在交互面板显示查询框 字典关联否当类型为下拉框时 激活该选项 选取字典 Key 作为下拉框 的内容 字典 Key 必须以 dd 开头 操作可以对参数进行上移下移和删除操作 页面关联是选择将查询统计的结果数据 以静态面板或动态面板或多屏 互动展示 位置是查询框在交互面板的位置 状态是查询完成后 选择查询框是否仍显示 示例如下图所示 构建一个用于主机查询的交互面板 用于查询的 fea 脚本为 znyw zj info fea 查询条件为 IP 地址 查询框的默认值为 10 68 120 74 对应脚本的变量参数为 ip 将查询结果通过 ID 为 lchinfo2 的动态面板展示 其中查询框位于交互面板的左侧 并且在查询完成后一直 显示 脚本 znyw zj info fea 内容详见附件 znyw zj info fea ID 为 lchinfo2 的动态面板内容如下图所示 40 保存上述的交互面板设置 进行预览 可在查询框输入 IP 地址 查询对应的主机信息 搜索搜索 面板选项说明 名称名称是否必填项是否必填项说明说明 名称是交互面板的标题 主页面否交互面板的主页面 可引用静态面板 动态面板 多屏互动 名称是搜索框的中文描述 脚本是搜索所执行的脚本 参数是搜索内容所对应的变量 面板是选择将搜索的结果数据 以动态面板展示 行数是每页显示的结果数量上限 结果集是搜索得到的结果数据的集合 以 Key 的形式保存在 ssdb 数 据库中 并依次将结果集中的数据 通过参数传递给关联的 动态面板 结果集中有多少条数据 交互面板就会得到多少 个结果 每个结果都通过关联的动态面板展示 结果集是 一种临时性的 Key 一般以 FPS 结尾 如 test FPS 其 中 FPS 是系统执行脚本后产生的变量 每次执行都会产生 41 一个独立的 FPS 的参数内容 结果集条数是索搜结果的实际总数 单独以 Key 的形式保存在 ssdb 数据 库中 也是一种临时性的 Key 一般以 FPS 结尾 如 test1 FPS 不能与结果集重复 操作可以对参数进行上移下移和删除操作 示例如下图所示 设置交互面板的标题为搜索城市 主页为 ID 为 91 的静态面板 添加 2 个搜索子类型 第 一个搜索子类型为城市 用于搜索的的脚本为 ww search fea 对应脚本的变量参数为 city 将查询结果通过 ID 为 ww1 的动态面板展示 结果集为 ww search city FPS 每 页最多显示 2 个结果 结果总数最多显示 100 个 脚本 ww search fea 内容详见附件 ww search feaww search city fea ID 为 91 的静态面板内容如下图所示 ID 为 ww1 的动态面板内容如下图所示 42 保存上述的交互面板设置 进行预览 在搜索框输入城市名称 比如昆明 搜索对应的城市信息 当搜索结果有多个时 如下显示 43 7 2 4 多屏互动管理多屏互动管理 点击键 选择 点击进入多屏互动管理界面 如下图所 示 输入 ID 中文描述 参数 可不填 点击按钮 进入多屏互动的构建页面 即可进行图表的绘制 如下图所示 44 面板选项说明 名称名称是否必填项是否必填项名词解释名词解释 图表选择否选择该面板已绘制的图表 数据 Key 是用于绘图的 ssdb 数据库中的数据 绘图标题否解释该图的作用 图表类型是绘图的类型 宽度是图表的宽度 高度是图表的高度 横坐标是图表起始位置的横坐标 纵坐标是图表起始位置的纵坐标 45 屏幕选择是选择图表绘制在第几个屏幕 共 11 个屏幕 图层是图表所在的图层 共 0 10 层 0 最低 10 最高 默认为第 5 层 图例否图表中个颜色所代表的对象 可自定义显示位置 上下左右 边框否图表的边框 有 10 种边框样式可供选择 X 轴名称否X 坐标的注释 Y 轴名称否Y 坐标的注释 刷新时间否刷新图表数据的间隔时间 空表示不刷新 功能键说明 名称名称说明说明 新建根据面板设置的参数 新建一个图表 删除删除选中的图表 重绘根据面板设置的参数 重新绘制选中的图表 预览全新的面板 必须在保存面板设置之后才能预览 保存保存当前的面板设置 返回 面板左上角的返回按钮 返回到静态面板管理页面 缩放 面板右上角的缩放按钮 点击后可以收缩 展开面板 46 Esc构建页面的刻度尺显示快捷键 按下可以显示或隐藏刻度尺 Del删除图表的快捷键 按下可删除选中的图表 Ctrl多选键 按住 Ctrl 键 同时选中多个图表 可对多个图表进行对齐操作 示例如下图所示 47 保存上述多屏互动的设置 进行预览 如下所示 按屏幕顺序自动轮播 多屏互动还可将所有屏幕上的图表输出到 PDF 文件并下载到本地 点击 导出 PDF 即可 7 2 5 导航管理导航管理 一 点击键 选择 进入导航管理界面 如下图所示 二 输入识别 ID 和中文描述 48 点击按钮 进入导航构建界面 点击按钮 新增一级菜单 选择静态面板 动态面板 交互面板中的页面 关联页面的名称会自动作为导航名称 或者选好页面之后根据自己需要更改导航名称 选 择标题显示 这个关系到门户展示界面上显示绘图标题显示 选择 是 代表显示 选择 否 代表不显示 点击按钮 如下图所示 三 点击对应一级导航条右边的按钮 增加二级菜单 输入导航名称 选择标题显 示 选择页面 点击按钮 如下图所示 49 四 点击对应新菜单右边的编辑按钮 打开导航菜单的编辑窗口 输入导航名称 选择标题显示 选择页面 点击 按钮 如下图所示 50 5 点击按钮 保存上述导航设置 点击按钮 在门户 1 5 之 间选择任意门户样式进行预览 每种门户的样式风格各不相同 用户可根据实际需求进行 选择 样例预览如下图所示 51 7 2 6 门户展示门户展示 导航管理建好后 通过 13 1 用户管理 13 3 应用管理 13 4 图片管理 将导航分配给 wwq 用户 打开门户登录页面 http ip 例 http 10 68 23 212 输入用户名密码 点击登录按钮 选择应用之后 登录门户页面 52 点击右上角按钮 可选择切换到各级导航页面或者该用户下别的应用 如下图所 示 点击右上角按钮可以在最下方 通过设置页面分辨率比例 来调节页面的显示大 小 53 第第 8 章章 数据数据加载加载 8 1 操作目标操作目标 数据分析就需要满足来自不同接口的数据源 恰恰数据装载就能够适应各种不同类型 的数据源 能够满足 TXT CSV PKL JDBC NOSQL UDB 等不同方式存取的数据源 这样简单 快速 8 2 操作步骤操作步骤 8 2 1 装载装载 CSV 类型数据类型数据 点击右上角数据图标 进入装载数据界面 点击 选择装载类型 CSV 点击 选择数据源 输入参数 可以空白 输入表名 自己可任意定义 点击装 载 旁边的进度显示图标100 时 表示装载完成 如下图所示 54 如果类型不对应或者参数不正确时 将不能装载成功 而且会有报错信息 如下图所示 8 2 2 装载装载 TXT 类型数据类型数据 点击右上角数据图标 进入装载数据界面 点击 选择装载类型 CSV 点击 选择数据源 输入参数 可以空白 输入表名 自己可任意定义 点击装 载 旁边的进度显示图标100 时 表示装载完成 如下图所示 8 2 2 装载装载 PKL 类型数据类型数据 点击右上角数据图标 进入装载数据界面 点击 选择装载类型 PKL 点击 选择数据源 输入参数 可以空白 输入表名 自己可任意定义 点击装 载 旁边的进度显示图标100 时 表示装载完成 如下图所示 55 8 2 3 装载装载 UDB scan 数据源 数据源 点击右上角数据图标 进入装载数据界面 点击 选择装载类型 UDB scan 根据原语 load 装载数据的格式输入参数 定义 DF 表名 点击装载 旁边的进度显示图标100 时 表示装载完成 如下图所示 8 2 4 装载装载 UDB query 数据源 数据源 点击右上角数据图标 进入装载数据界面 点击 选择装载类型 UDB query 根据原语 load 装载数据的格式输入参数 定义 DF 表名 点击装载 旁边的进度显示图标100 时 表示装载完成 如下图所示 56 8 2 5 装载装载 JDBC 数据源数据源 点击右上角数据图标 进入装载数据界面 点击 选择装载类型 JDBC 根据原语 load 装载数据的格式输入参数 定义 DF 表名 点击装载 旁边的进度 显示图标100 时 表示装载完成 如下图所示 8 2 6 装载装载 NOSQL 数据源数据源 点击右上角数据图标 进入装载数据界面 点击 选择装载类型 JDBC 根据原语 load 装载数据的格式输入参数 定义 DF 表名 点击装载 旁边的进度 显示图标100 时 表示装载完成 如下图所示 57 第第 9 章章 UDB 连接连接 输入基本语句 点击查询按钮 即可 现列举一些关于 ESQL 的基本语句 show tables查看所有表 cat allocation查看磁盘空间 INSERTINTOtable name type insert columns VALUES insert values 插入数据 SELECT FROM table 查询语句 第第 10 章章 JDBC 连接连接 10 1 操作目标操作目标 JDBC 是 FEA3 的一个重要插件 简单介绍 JDBC 的一些操作 方便初学者能够快速 熟悉 掌握一些基本的操作 10 2 操作步骤操作步骤 1 数据库操作 登入 点击右上角的 JDBC 图标 输入用户名和密码 点击或回车 弹出界 面如下图所示 58 数据库添加 1 点击右上角进入管理界面 可以对数据库进行 添加 修改 删除 导入 导出 搜索 等操作 2 以添加数据库作为例 点击页面上方的按钮 选择数据库类型 目 前支持多种数据库 ORACLE SQL Server PostgreSQL Mysql HIVE HBASE ODPS RDS 等 3 输入数据库连接名 添加数据库驱动 修改数据库连接 输入数据库的用户名和密码 4 添加好后 点击右下角进行测试 是否连接成功 如果不成功会出现提示报 错 并显示报错内容 5 点击上方的首页返回到查询界面 如下图所示 59 60 数据库查询 选择数据库 输入查询语句 例 select from all users 点击 查询图标 展示出该数据库的所有表 如下图所示 2 管理数据库 点击进入管理界面 可以对数据库进行 添加 修改 删除 导入 导出 搜索 等操作 61 第第 11 章章 对象管理对象管理 点击 打开对象管理窗口 输入 Key 值 点击按钮进行查询 查询结果可分成表格 柱状图 内含 折线图 堆积图 散点图 JSON 等 4 种形式展现 62 点击按钮 可对 Key 的内容进行编辑 63 第第 12 章章 脚本运行脚本运行 12 1 上传脚本上传脚本 点击 弹出界面 点击图标 就可以将 fea 脚本上传到服务器上 12 2 执行脚本执行脚本 点击 弹出界面 在 fea 该栏选择 fea 脚本 通过选择事先上传好的 fea 脚 本 如图 64 更改 参数名 和 默认值 如果脚本中没有参数 可以默认不添加 参数名和默认值 点击 脚本执行完成 简单脚本示例执行 如下图所示 注 参数名和默认值可以不填空着 有多个参数时 可以通过右边注 参数名和默认值可以不填空着 有多个参数时 可以通过右边 添加 删除 添加 删除 执行完之后有结束时间提示 错误信息为执行完之后有结束时间提示 错误信息为 0 如果错误信息大于如果错误信息大于 0 就表示脚本有问题 请检查后再上传执行 就表示脚本有问题 请检查后再上传执行 第第 13 章章 系统系统管理管理 13 1 用户管理用户管理 点击图标 选择图标 进入用户管理界面 如下图所示 13 1 1 搜索功能搜索功能 在输入关键词 可模糊搜索到相关的用户信息 如下图所示 65 13 1 2 新增功能新增功能 点击右上角图标 输入 用户名 输入 中文名 选择 管理员 选 择 门户 选择 导航 点击图标 添加一个新用户 注 只有注 只有 admin 管理员才有权限添加用户 其它用户都没有该权限 管理员才有权限添加用户 其它用户都没有该权限 名词解释名词解释 选项选项是否必填项是否必填项说明说明 用户名是用户名 用户的唯一标识 中文名否解释用户名 也可指所添加之人的名字 分析员是分析员可登入后台和门户 非分析员只能登录门户 引擎选择是为用户分配分析引擎 应用选择是为用户分配应用 可多选 用户可同时拥有多个应用 详见附 件 多应用多租户V0 1 docx 工具栏否将导航作为自定义的工具栏 体现在分析中心模块的底部 在 14 章节将会详细说明 数据属性否对应的是 FEA 的多租户功能 key 出填写变量参数 如 name value 处填写变量的内容 详见附件 多应用多租户 V0 1 docx 同应用选择处的附件 操作否编辑该用户的内容或者删除该用户 如下图所示 66 结果如下图所示 13 1 3 编辑功能编辑功能 点击用户对应的编辑图标 可以更改 中文名 分析员 引擎选择 应用选择 工具栏 数据属性 此处以更改 中文名 引擎选择 应用选择 工具栏 为例 点击图标 编辑一个用户 示例如下图所示 67 68 结果如下图所示 13 2 应用管理应用管理 点击 选择图标 进入应用管理界面 如下图所示 点击右上角的 输入应用 ID 和创建者 选择导航 门户 选择 logo 图片 设 置轮播时间 69 名称名称是否为必填项是否为必填项说明说明 应用 ID是应用的唯一标识 中文名称否应用的中文名称 导航选择是分配给非分析员的导航页面 门户选择是指定导航展示的页面风格 共有 5 个门户可供选择 选择 Logo否可选择图片管理中上传的图片作为门户页面的 Logo 创建者否指明创建该应用的人 轮播时间否只针对门户 2 3 5 生效 单位为秒 为空或 0 时 表示 不轮播 门户背景是只针对门户 1 2 4 生效 可分为纯色 渐变 图片三种 形式 分别表示用纯色做背景 用渐变色做背景 用图片 做背景 其中纯色和渐变两个选项中 可以通过拾色器来 自定义颜色 方案选择是针对所有门户生效 配置实例如下图所示 70 编辑用户 点击按钮 可修改除应用 ID 以外的选项设置 如修改门户选择为门 户 4 门户背景为纯色 71 13 3 图片管理图片管理 点击 选择图标 进入图片管理界面 如下图所示 点击右上角的 输入图片 ID 图片描述 上传图片 点击确认即可 72 如下所示 名称名称是否为必填项是否为必填项说明说明 图片 ID是图片的唯一标识 图片描述否描述图片的说明 上传图片是选择用于上传的图片文件 名称不能为中文 编辑图片 点击按钮 更改图片描述 更改图片内容 如下图所示 删除图片 点击右边的删除标签删除即可 13 4 方案管理方案管理 点击 选择图标 进入方案管理界面 如下图所示 73 方案管理中共分 5 种方案 前三种为系统推荐方案 后两种为用户自定义方案 所有方案 都可以编辑 value 和备注的内容 通过修改相关图表插件变量的 value 值 调整该方案中相 关图表的样式 只有 admin 超级管理员才有权限新增变量 名称名称是否为必填项是否为必填项说明说明 index 是相关图表插件的变量名 value 是相关图表插件的变量内容 备注是对图表插件变量的描述和内容格式的描述 13 5 授权码管理授权码管理 点击图标 选择 进入授权码管理界面 如下图所示 注 版本 指的是当前 FEA3 的引擎版本 PK 指产品的序列号 请不要随便改变机器的硬件配置 导致 PK 码变化 影响 74 FEA3 正常使用 SN 指软件授权码 第第 14 章章 分析中心分析中心 14 1 登录登录 在浏览器中输入 http IP cc 如 http 19 68 120 212 cc 打开分析中心登录页面 输入用户名密码 必须分析员用户才能登录 点击登录按钮 登录分析中心 14 2 功能介绍功能介绍 分析中心分为上方的主要功能模块区 中间的展示区 下方的工具栏区 模块模块说明说明 可视化场景用于展示从预警中心接收到的预警详情场景页面 可视分析同第 4 章节可视分析 自助分析同第 5 章节自助分析 LBS 分析基于坐标信息的地图 对数据分布进行分析 75 交互分析同第 6 章节交互分析 导航可以在此处可以对以同一用户登录的门户页面互动交互 进行同一应用 下的导航切换 数据加载同第 8 章节数据加载 对象管理同第 11 章节对象管理 运行脚本同第 12 章节运行脚本 自定义工具栏在用户管理的工具栏中 引用的导航包含的面板 作为此处自定义的工 具栏 点击可以快速打开 无需再去登录门户 可视化场景可视化场景 接收预警中心的预警信息 并显示预警详情页面 LBS 分析分析 基于坐标信息的地图 对数据分布进行分析 76 导航导航 在此处点击不同的导航菜单 以相同的用户名并且登录相同的应用的门户页面 会自动做 相应的导航切换 如当前登录用户为 wwq 应用为 4K 大屏 1 另一屏幕上 用 wwq 用户选择应用为 4K 大屏 1 登录门户 在分析中心的导航窗口 点击 仪表盘 导航 另一屏幕上 自动从 4K 测试 导航的页面 切换到 仪表盘 导航的页面 4K 测试 导航页面 77 仪表盘 导航页面 第第 15 章章 预警中心预警中心 预警中心是一个内嵌在门户页面中 用于接收并展示实时预警数据的功能模块 15 1 登录登录 打开门户登录页面 http ip 例 http 10 68 23 212 以 test 用户登录门户 并选择 test 应用 15 2 功能介绍功能介绍 当有预警信息产生时 该应用的门户页面上就会实时地自动弹出预警窗口 点击查看 可以在以相同用户名登录分析中心的页面上 弹出对应的预警详情窗口 点击指派 输入指派的用户名 以指派用户登录分析中心的页面上 弹出对应的预警详情 窗口 上述二者的预警详情弹窗 见 14 2 章节中的可视化场景 78 15 3 预警数据的产生预警数据的产生 预警数据是由一定数据格式的 df 表 存储到规则内的 zbus 队列中的实时流数据 数据格式如下 df 表结构 字段字段说明说明示例示例 ID自己生成的一个序列号 时间告警的发生时间2017 11 30 11 11 11 对象告警的主题 比如 IP URL 数据库类型等222 22 11 210 级别该告警的级别 高 中 低等高 类型告警的关注等级 紧急 关注 提示等关注 说明告警的类型 如威胁情报 漏洞 越权操作 等 威胁情报 resp type查看告警的方式 包括 scene url sql 如果 resp type 是 sceen 则 resp para 是 scene 79 dashboard 的方式 如果 resp type 是 url 则 reps para 是 url 的 地址 如 如果 reps para 是 sql 则 resp para 是 sql 语句 如 select from event where id xx resp para固定的字段 填写内容同上dashboard2 alarm windows resp para1固定的字段 如果 resp type 为 scene 则 resp para1 为 空 ip xx 等传参方式 如果 resp type 为 url 则 resp para1 为空 如果 resp type 为 sql 则 resp para1 为 mysql oracle 等数据库类型 ip 2 2 2 2 resp size限制弹出窗的大小 使用在 resp type 为 scene 时 点击查看时的弹出窗大小 1900 1000 15 4 存储预警数据存储预警数据 通过 zbus 流处理实现实时的预警处理 首先在 zbus 中创建对应的 zbus 消息队列 队列名 以 alarm 开头 应用名 用户名组合的方式 如 alarm test test 则表示应用名为 test 用户 名为 test 创建 zbus 消息队列 手动创建 在交互分析页面执行以下原语 udf RS create zbus with 127 0 0 1 alarm test test 自动创建 以 test 用户登录门户 并选择 test 应用后 系统会自动创建名为 alarm test test 的 zbus 消息队列 计算需要进行预警展示的结果 存储结果到 zbus 中 udf df by RS store zbus df with 127 0 0 1 alarm test test info 其中 info 为 zbus 消息 队列的主题名 可以任意填写 无实际意义 用 test 账号登录门户 并选择 test 应用 就可以看到预警弹窗 第第 16 章章 IPad 导航导航 IPad 导航模块 可以在移动智能设备端 实现与门户页面的互动交互 点击不同的导航菜 80 单 以相同的用户名并且登录相同的应用的门户页