「TongGTP v6.0技术白皮书」.doc

参考 材料1 TongTech TongGTP6 0 技术白皮书技术白皮书 东方通科技公司技术白皮书 14 参考 材料2 目目 录录 1 前言前言 3 2 TONGGTP V6 0 主要新特性主要新特性 3 3 基本术语基本术语 5 4 体系结构体系结构 6 4 1 产品组成 6 4 2 GTP 节点 6 4 3 GTP 客户端 7 4 4 监控管理中心 7 5 主要功能主要功能 8 5 1 文件收发 8 5 1 1 多种文件类型 9 5 1 2 任务的灵活调度 9 5 1 3 文件筛选及过滤 9 5 1 4 压缩加密 9 5 1 5 断点续传 9 5 1 6 流量控制 10 5 1 7 文件组播 10 5 1 8 文件发送后归档 10 5 1 9 文件重发 10 5 2 权限管理 10 5 3 系统管理 11 5 3 1 管理方式 11 5 3 2 分域管理 11 5 3 3 传输进度监控 11 5 3 4 预警及故障告警 11 5 3 5 集中任务管理 11 5 3 6 任务配置 11 5 3 7 动态配置 12 5 3 8 监控管理 12 5 3 9 查询统计 12 5 3 10 操作审计 12 5 4 日志管理 12 5 5 链路管理 13 5 6 易用工具 13 5 6 1 批量导入导出 13 5 6 2 本地日志查询统计 13 5 6 3 本地运行监控 13 5 6 4 链路检测工具 13 参考 材料3 5 7 传输扩展 14 5 7 1 任务出口 14 5 7 2 灵活的加密算法 14 6 系统特点系统特点 14 7 应用案例应用案例 15 1 前言前言 随着大型企业或机构实现业务集中处理后 各个数据中心产生的大量数据信息 以及 各种图像文件等需要及时快速地从省 市一级的服务器或终端传输到全国中心 或者从全 国中心往省 市 县级中心下发 多数企业还在使用传统的 FTP 解决传输问题 主要因为 它是一个免费的非侵入式的软件 一个技术人员稍加培训即可在基于 IP 的网络上进行各种 类型文件的传输操作 但是 FTP 解决不了以下问题 FTP 不适应现代化企业进行信息传输的需求 无法满足大量的非常准确的信息传送需 求和业务需求 安全性差 没有传输的保障 有限的错误捕获和预防措施 没有传输监控 广播 自动化 重传 重试 存储转发等必要的功能 当需要传输的系统越来越多 传输数据量越来越大的情况下 必须增加大量的人员进 行 24 小时不停的人工监控和系统维护 造成人力物力成本的大幅增加 TongGTP 以下简称 GTP 是面向分布式应用的文件传输平台 针对上述需求 提供满 足企业级应用需要的通用传输功能 GTP 系统以成熟的消息中间件 TongLINK Q 为基础进 行架构 从而保证了其核心系统稳定可靠 具有良好的可扩展性和相当好的处理性能 并 且易于管理和维护 同时 GTP 平台提供企业大数据量传输所需要的各种管理 部署和安 全功能 使其方便易用 借助此平台用户无需任何编码 只需进行简单的配置就可以轻松 实现不同节点间的文件可靠 安全 高效的传输 2 TongGTP v6 0 主要新特性主要新特性 1 支持分域管理支持分域管理 一个系统中的节点数量达到成百上千时 由一个管理中心进行维护管理就显得有些庞 大 可以将所有节点按某种共同特性划分为一个个独立的管理域 每个管理域中设立管理 中心 负责管理自己辖内的节点 这样即降低了单中心管理的压力和负担 也与企业的行 参考 材料4 政管理结构更加吻合 如按网段划分的办公网 生产网管理域 或按区域划分为 X 省管理 域 Y 省管理域 2 端到端任务配置和传输路由端到端任务配置和传输路由 在上一版本中 GTP 系统内 两个不能直接连通的节点之间要进行文件传输 必须由 操作员定义几个首尾相连的任务进行文件的中转传输 即使发送到同一个目的地不同目录 下的文件 也需要重复定义传输中转任务 为了简化用户配置工作 提高产品使用灵活度 GTP 新版本中允许用户直接配置不能 直接连通的节点间任务 文件的传输通过路由进行自动中转 任务配置数量至少减半 A节点B节点C节点 TA B1TB C1 TA B2TB C2 TA B3TB C3 A节点B节点C节点 TA C1 TA C3 TA C2 路由表 路由表 6个 任务 3个 任务 3 传输进度监控传输进度监控 传输进度是户直观查看和了解文件传输情况的重要渠道 用户查看任务时 能够显示 任务当前正在并行传输文件的传输百分比进度 每隔 5 秒钟系统会自动刷新进度 4 预警及故障告警预警及故障告警 系统运行过程中可能会出现各种故障 如节点异常 传输异常等 第一时间将故障通 知给系统维护人员 能够大大提高问题的处理和故障修复速度 增强系统可用性 5 集中任务管理集中任务管理 系统提供统一任务管理窗口 用户不必再一级一级点击单个节点 查看和修改该节点 的任务 能够直观的了解全系统中任务配置和运行情况 6 批量导入导出改进批量导入导出改进 批量导入导出模板进行了调整 不同属性使用不同的 sheet 以便于客户编辑 同时任 务导入时 支持所有字段的导入 参考 材料5 3 基本术语基本术语 由于后续对于此平台的功能描述中涉及诸多基本概念 本节将介绍 GTP 涉及的基本术 语 消息中间件消息中间件 消息中间件是实现应用之间进行广泛用途的消息传递的一类中间件 在分布式计算环 境中通过消息队列以消息投递方式实现应用间松耦合关系的信息交互 GTP 节点节点 一套 GTP 的运行环境 实现文件传输的功能 一般运行在一台物理机器上 GTP 客户端客户端 一套用于与 GTP 节点通讯的开发包 由用户的应用程序调用实现文件上传到 GTP 节 点所在机器或从 GTP 节点上下载文件 GTP 监控管理中心监控管理中心 集中进行 GTP 节点管理 用户管理 任务管理的统一平台 用户通过浏览器进行访问 任务任务 任务是指用户为 GTP 定义的工作计划 GTP 将根据用户的定义 在某个最方便的时间 自动运行任务 实现文件传输 断点续传断点续传 当文件在传输过程中由于意外原因引起传输失败时 GTP 将负责从传输失败点接续发 送该文件 而不是将整个文件重新发送 通过断点续传机制 既可以有效减少高故障率网络上的冗余通讯量 又可以避免极端 情况下 如频率极高的网络抖动 文件传输的反复失败重传 数据加密数据加密 通过某种算法 对数据进行编码 防止非法用户的阅读 比较常用的都是基于复杂的 算法 通过密钥来进行数据加密 主要的算法有 DES 3DES RC5 RSA 等 数据压缩数据压缩 对于特大数据进行压缩 对于传输系统来说也非常重要 通过标准高效的压缩算法 对要传输的大文件先进行压缩处理再进行传输 可以非常有效的利用网络带宽 提高传输 效率 参考 材料6 4 体系结构体系结构 4 1 产品组成产品组成 TongGTP 由 GTP 节点 GTP 客户端 监控管理中心三部分组成 组成结构如下图所 示 GTP节点 GTP节点 GTP节点 集中管理 中心 网络 浏览器 客户端 客户端 图 1 GTP 产品组成 GTP 节点分布在网络上需要进行文件传输的机器上 用户可以通过浏览器登录集中管 理中心 访问需要管理的节点 并定义相关的任务 交由 GTP 节点以手工或自动方式执行 发送任务 文件的接收方 可以为一个或多个节点 的 GTP 节点负责将收到的消息按照约 定的目录存放 为保证系统的的安全性 GTP 提供用户权限管理服务 用户分为管理员 操作员及访 问者三种级别 具有不同的访问权限 而且对某个用户可管理的节点也可进行指派 避免 错误操作职权范围外的节点 4 2 GTP 节点节点 GTP 节点是 GTP 在网络中的一套运行环境和基本单位 它由一组进程 配置文件和相 关系统资源所组成 为用户提供文件传输任务的监控和调度管理 在合适的时间为用户自 动进行文件的扫描与发送 GTP 节点的组成结构如下 参考 材料7 代理 服务 命令 工具 任务 管理 目录 访问 文件 收发 配置文件 核心进程 命令 工具 底层传输模块 TongLINK Q 日志 管理 GTP节点 网络 图 2 GTP 节点体系结构 GTP 节点包括代理服务 核心进程 命令工具及核心传输模块 日志管理等五大部分 代理服务负责与监控管理中心进行通讯 提供 GTP 节点管理的代理服务 底层传输模块是 提供消息存储 队列管理等职能的消息中间件产品 TongLINK Q 由其为 GTP 节点间提供 可靠高效的传输平台 核心进程提供任务管理 目录访问及文件传输等服务 按照用户的 定义的约定要求执行相关文件传输命令 命令行工具及日志管理是为用户提供的其他辅助 工具 以便用户在 GTP 节点上通过手工执行命令实现文件发送或日志的查看和管理 4 3 GTP 客户端客户端 TongGTP 客户端是一个应用开发包 应用程序可调用该开发包中的接口按需与 GTP 服务节点进行文件传输 客户端上传下载文件前 首先需要通过用户名口令验证 验证通 过后才能进行文件 包括目录 的上传下载 客户端与 GTP 节点不同 它不需要配置和维 护工作 使用方便 4 4 监控管理中心监控管理中心 TongGTP 监控管理中心是一套基于 Web 浏览器 B S 架构的集中监控管理平台 通过 监控管理中心 可以实现对网络中所有 GTP 节点的集中配置 监控 管理和维护等工作 能够大大提高系统的维护管理效率 降低系统维护成本 TongGTP 监控管理中心的体系结构如下图 参考 材料8 节点 管理 监控 控制 GTP监控管理中心 任务 管理 定义 控制 传输 实时 监控 查询 统计 用户 管理 备份 与恢 复 图 3 GTP 监控管理中心体系结构 通过监控管理中心 用户实时查看各 GTP 节点的运行状态 任务所定义的文件传输情 况 而且可以非常方便的查询及统计 GTP 节点上的文件传输结果 对于掌握系统的传输流 量可以及时掌握 通过监控管理中心也可以非常方便的对 GTP 节点进行远程的启动与停止 更加方便对系统的管理 监控管理中心是一套独立于 GTP 节点运行环境的辅助工具系统 它不依赖于 GTP 环 境 可以灵活的安装部署在专门的监控管理设备上 方便用户集中查看 监控 GTP 系统运 行状态 对监控对象进行分析 诊断 并根据系统运行需要 调整相关配置 5 主要功能主要功能 GTP 的主要功能是为用户提供点与点之间自动 可靠高效的通用文件传输服务 用户 无需要进行任何编码 只需要进行简单的设置就可以完成传输任务的定义 GTP 节点将按 照用户的要求定期扫描新的文件并负责发送到目的地 GTP 文文 件件 接接收收目目录录 传传输输服服务务器器 传传输输服服务务器器 业务系统X 放放入入文文件件 获获取取文文件件 GTP 发发送送目目录录 业务系统A 除文件传输功能之外 GTP 还提供了跨越系统多个层次的安全性机制和良好的可管理 性 以满足企业级应用的要求 GTP 系统提供的主要功能包括 5 1 文件收发文件收发 GTP 系统提供目录及文件的收发服务 用户指定要发送的目录及文件 接收节点及接 参考 材料9 收目录 向 GTP 发出发送指令 由 GTP 将该目录中的文件和子目录以相同的目录结构发 送到指定节点的指定目录下 用户可以采用手工方式逐次定义发送任务并发送 也可以采用自动方式 通过定义 自动发送任务 指定要传输的目录 接收节点和目录后 启动自动任务 则 GTP 会自动检 测该目录 随时将放入该目录的文件发送到接收节点的指定目录中 为了保证文件传输的可靠和高效 GTP 也提供了各种保证措施 5 1 1 多种文件类型多种文件类型 GTP 支持各种类型文件的传输 例如 文本文件 二进制文件 图像文件 图片文件 语音文件等 对于文件的大小 GTP 不做任何限制 只要操作系统可支持的文件大小 GTP 都可 以进行传输 无需用户手工对文件进行预先分割 再传输 5 1 2 任务的灵活调度任务的灵活调度 GTP 任务分为自动任务和手工任务两种类型 自动任务表示需要按一定的规则定期循 环执行 一直不停止 除非用户主动停止它 自动任务创建后可以立即开始执行 可以由 用户按自己的需要启动并执行 也可以定时执行 而手工任务则指将一批符合条件的文件 发送完成就停止的任务 对于运行中的任务用户可以根据自己的需要即时终止任务 也可以重新启动任务 5 1 3 文件筛选及过滤文件筛选及过滤 GTP 可以按照配置的规则对源目录下的文件进行筛选 即只发送符合某些规则的文件 而不是目录下的所有文件 文件筛选规包括通配符 和正则表达式 也支持以文件大小 范围和文件修改时间范围作为筛选条件 5 1 4 压缩加密压缩加密 GTP 产品提供数据压缩和加密功能 产品本身带有一套数据压缩 加密算法 同时也 为第三方的压缩和加密算法提供了接口 用户可以方便的将自己指定的压缩和加密算法嵌 入到 GTP 系统中 5 1 5 断点续传断点续传 通过 GTP 的底层通讯模块 TongLINK Q 提供的断点续传功能 可以有效的保证文件传 输的可靠性 文件在传输过程中 不论是系统非正常关机或网络意外中断 文件消息都将 仍保留在消息队列中 等待系统恢复后 文件将从传输失败点继续发送 而不是整个文件 重新发送 断点续传机制可以有效减少高故障率网络上的冗余通讯量 在高故障网络上进 参考 材料10 行重传 会导致反复的失败重传 保证消息的可靠性 5 1 6 流量控制流量控制 GTP 也提供流量控制功能 在传输的过程中 GTP 可以根据设置将消息拆分为不同的 小块 在网络上进行传输 传输到目的端后再重新组织为完整的消息 每个小块的大小可 以根据网络带宽和网络质量的不同灵活设置 网络质量较高的系统 可以调大每个数据块 的大小 以充分的利用网络带宽 网络质量较差的系统 可以相应调小每个数据块的大小 以减少对网络的压力 5 1 7 文件组播文件组播 GTP 既支持点对点方式的文件发送 也支持组播方式的文件发送 即可以将文件发送 到一组 GTP 节点上 对于用户而言 只需要在定义任务时 指定多个目的节点就可以 任 务所涉及到 GTP 节点之间则会自动生成所需要的相关配置 并实现文件从一个 GTP 节点 发送到多个目的节点的要求 5 1 8 文件发送后归档文件发送后归档 GTP 对目录下发送成功或失败的文件会按照用户的定义分类归档 即发送成功后转移 到成功目录下 发送失败后也可以转移到发送失败目录下 以方便用户检查和审核 在接收方文件也可以按照接收的时间归类存储 便于应用程序检索和获取 5 1 9 文件重发文件重发 当 GTP 发送的文件到达目的方后 因为对方磁盘满等原因无法正常接收时 GTP 发送 方会认为此次发送失败 而会进行不断的重发尝试 重发的尝试次数由用户配置决定 5 2 权限管理权限管理 GTP 在监控管理中心上进行用户的权限定义和管理 GTP 系统定制了各种角色 并为这些角色授予各种资源的访问权限 包括节点及用户 的定义 指增加 删除 修改等 权限 任务定义及管理权限等 对于 GTP 系统的所有用户 均需要由系统管理员为其建立唯一的用户名和口令 并为 该用户指定所属角色及可操作的节点 用户在使用 GTP 系统时 必须通过口令字认证才可 以登录成功 而该用户也只有拥有相应的权限 才能使用系统提供的任务定义 文件传输 系统管理等功能 同时也只能管理分配给自己的节点 以保证节点的安全性 为了保护 GTP 节点本地的目录资源被非法访问或读写 系统中由管理员为各个节点定 义目录资源 操作员通过控制台进行任务定义时 只能选择节点上定义的目录资源 而不 能随意指定目录 参考 材料11 5 3 系统管理系统管理 5 3 1 管理方式管理方式 TongGTP 提供命令行和 B S 监控管理中心两种类型的系统管理工具 通过系统管理工 具 可以实现任务的定义 任务的调度 可以监控各个节点的运行状态 也可以实时监控任务的运行情况及文件的传输情 况 可以实时监控各 GTP 节点的报警信息及运行日志 以便及时处理系统异常 可以查询 GTP 节点的文件传输日志 并统计 GTP 节点的文件收发情况 进行系 统审计 可以启动和停止 GTP 节点 5 3 2 分域管理分域管理 一个系统中的节点数量达到成百上千时 由一个管理中心进行维护管理就显得有些庞 大 可以将所有节点按某种共同特性划分为一个个独立的管理域 每个管理域中设立管理 中心 负责管理自己辖内的节点 这样即降低了单中心管理的压力和负担 也与企业的行 政管理结构更加吻合 如按网段划分的办公网 生产网管理域 或按区域划分为 X 省管理 域 Y 省管理域 5 3 3 传输进度监控传输进度监控 传输进度是户直观查看和了解文件传输情况的重要渠道 用户查看任务时 能够显示 任务当前正在并行传输文件的传输百分比进度 每隔 5 秒钟系统会自动刷新进度 5 3 4 预警及故障告警预警及故障告警 系统运行过程中可能会出现各种故障 如节点异常 传输异常等 第一时间将故障通 知给系统维护人员 能够大大提高问题的处理和故障修复速度 增强系统可用性 对于磁盘空间使用等资源当超出预定的阀值时 系统也能自动产生告警信息 提醒进 行系统运维 5 3 5 集中任务管理集中任务管理 系统提供统一任务管理窗口 用户不必再一级一级点击单个节点 查看和修改该节点 的任务 能够直观的了解全系统中任务配置和运行情况 5 3 6 任务配置任务配置 GTP 节点的任务配置可以通过 B S 管理控制台进行 也可以在节点上直接进行文件编 辑 即能满足集中配置的需要 也能够满足客户本地化管理的需要 参考 材料12 而每个 GTP 节点的任务配置文件可以存储为二进制 也可以为文本文件 用户可以根 据自己的需要选择存储方式 存储为二进制的任务只能通过 B S 管理控制台进行编辑 而 文本则可以直接进行任务的添加和编辑 5 3 7 动态配置动态配置 TongGTP 提供动态配置功能 用户可以使用管理工具对系统的配置参数进行动态调整 调整后的配置信息能够在运行系统中立即生效 而无需重新启动系统 TongGTP 也提供核心动态控制功能 用户可以根据需要灵活启动 停止 删除某些系 统对象 及时调节系统的核心 以节省系统资源 提高效率和可靠性 5 3 8 监控管理监控管理 通过 GTP 提供的可视化的远程监控管理中心 用户可以对多个 GTP 节点的运行进行 集中实时地监控和管理 如对节点的远程启动和停止 对节点的状态 文件的传输进度与 状态的监控 对传输日志的审计等 极大方便了系统的集中维护和管理 5 3 9 查询统计查询统计 GTP 提供查询及统计功能 用户可以通过各种组合条件查询节点间的文件传输状况 也可以非常方便的统计全网内各节点之间文件发送及接收累计信息 如发送成功的文件总 数数 发送失败的文件总数 接收成功的文件总数 接收失败的文件总数 发送成功的文 件自字节数 接收成功的文件字节数等 用来对系统的传输情况进行审计及流量监管 5 3 10 操作审计操作审计 TongGTP 提供操作审计功能 可对每个登陆控制台的用户操作进行记录 供管理查询 与审计 跟踪问题 5 4 日志管理日志管理 用户使用 GTP 系统完成的所有传输任务 均有详细的日志信息 此外 系统运行中出 现的故障 也会在日志系统中进行记录 通过日志信息 用户可以快速地进行运行故障定 位和方便地进行运行审计 GTP 的日志记录级别及日志文件的大小都可以根据用户需求灵活配置 用户进行系统 调试时 日志级别可以设置的较高 以详细记录系统传输的信息 当系统稳定运行后 日 志级别可以相应调低 以减少日志记录对资源的占用 为避免传输日志长期积累过于庞大 影响 GTP 节点的良好运行 用户可定义相关日志 处理条件 GTP 节点则按照条件进行日志自动清理或备份 对于监控管理中心上的用户操作行为也会记录详细的操作记录日志 管理员可以查看 所有用户的操作痕迹 一旦系统出现运行故障 可以非常方便的分析和跟踪用户行为 为避免监控管理中心数据库中的传输日志及操作日志过多 造成系统访问速度受到影 参考 材料13 响 GTP 提供控制台传输日志手工或自动清理功能 系统将自动进行日志的清理 5 5 链路管理链路管理 GTP 系统节点之间的拓扑结构完全由用户根据传输需要灵活组织 GTP 节点之间可以 是树型逻辑结构 网状结构和星型结构等 用户在使用时 只需根据自己的传输需要 在 GTP 节点上定义到其他 GTP 节点上的 任务 两者之间的传输链路则由 GTP 自动产生并维护 用户无需要提前构建 GTP 节点之 间的拓扑关系 GTP 的数据传输通道建立在 TCP 连接之上 利用 TCP 可靠 有序的传输服务 为用 户进行消息传送 GTP 对数据传输通道进行管理 为文件及控制信息的传送提供通路 GTP 采用断点续传技术 以避免在网络质量下降时 数据重复发送产生雪崩效应导致的网 络极度拥塞 GTP 在高速网上传输数据时 支持对网络带宽的占用进行限制 以适应用户对带宽资 源进行规划使用的要求 GTP 节点与监控管理中心的管理连接可以根据需要灵活定义 即可以选择所有节点向 管理中心统一主动注册的模式 也可以选择由管理中心主动连接节点的模式 5 6 易用工具易用工具 5 6 1 批量导入导出批量导入导出 为方便系统的快速搭建 TongGTP 提供批量导入导出功能 用户不必通过控制台逐条 添加节点 用户 目录 任务等记录 而可以预先编辑好一个批量文本 一次性导入所有 资源和任务 减少维护人员的工作量 5 6 2 本地日志查询统计本地日志查询统计 为方便用户在 GTP 节点上查看本节点文件传输情况 GTP 也提供一个命令行的管理 工具 用户可以通过该工具查询和统计本节点的文件收发情况 5 6 3 本地运行监控本地运行监控 为了方便用户在 GTP 节点上查看节点 任务 文件传输情况 GTP 提供本地化的命 令行工具 通过该工具 用户不必再登录到控制台上查看节点信息 而直接在节点上查看 和监控所有关键信息 5 6 4 链路检测工具链路检测工具 为了方便用户检测某个任务的传输链路是否正常 GTP 提供检测命令行检测工具 可 以方便的检测到指定目的地的路由及传输连接是否正常 参考 材料14 5 7 传输扩展传输扩展 5 7 1 任务出口任务出口 GTP 在文件传输的过程中 允许用户以动态库的形式嵌入自己对文件的处理 如发送 前的文件内容检查 接收后的复审等 5 7 2 灵活的加密算法灵活的加密算法 GTP 在进行任务定义时 可以指定是否对要传输的文件进行加密 而且可以选择加密 算法 如 RC5 DES 3DES 等 可以满足客户不同强度的加密需求 6 系统特点系统特点 GTP 在传输的效率 安全性 可靠性等方面都提供了相当多的技术保障机制 以适应 企业级应用的需要 作为一个运行系统 它为上层应用系统提供可靠 实时高效的文件传输服务 依靠此 平台 用户不要进行任何编码 就可以轻松实现文件的各种方式传输 GTP 的管理工具集 提供了对系统运行情况进行监控 维护的功能 同时能够根据网 络资源实际情况进行合理的配置 极大的提高系统的运行效率 系统完善的日志机制对于 进行故障排除和信息汇总分析也提供强大的支持 作为一个面向企业级应用的产品 GTP 具备了以下品质特性 高可靠性高可靠性 鉴于各种网络传输的差异性及网络环境的不确定性 在传输大容量数 据时 网络连接如果突然中断 GTP 系统能够保证数据的完整性 支持断点续传 和数据安全保存 高效性高效性 GTP 通过各种传输优化策略保证了传输高效性 传输效率已接近 FTP 另外 为提高网络传输效率 GTP 还支持压缩传输 用户可以选择将传输内容压 缩发送 接收方接收到传输内容后可以根据是否为压缩方式进行自动解压 全程可见性 全程可见性 GTP 提供可视化的监控管理工具 能够实现端到端的监控 即时掌 握文件的传输状态 传输自