TongLinkQ常见问题处理指南.doc

TongLINK QTongLINK Q 常见问题处理指南常见问题处理指南 北京东方通科技支持服务中心 目目 录录 1 引言引言 3 2 故障处理前期准备故障处理前期准备 3 3 故障处理流程故障处理流程 4 3 1 故障处理流程 4 3 2 节点运行诊断流程 4 3 2 1 操作系统核心参数 5 3 2 2 TongLINK Q环境变量 6 3 2 3 查看TongLINK Q配置文件 6 3 2 4 查看系统资源和进程 7 3 2 5 查看TongLINK sys文件 8 3 3 网络连接诊断流程 9 3 3 1 网络层连通性诊断 9 3 3 2 使用TongLINK Q命令检测节点间的连通性 10 3 4 检查队列中的消息 11 3 4 1 检查错误日志TongLink sys 12 4 附录附录 13 4 1 常用系统命令 13 4 2 核心参数 13 4 3 SETP文件 DEMO 14 1 引言引言 TongLINK Q 的常见故障主要出现在基于 TongLINK Q 架构的应用系统运行 时 此文档将重点描述如何判断和处理 TongLINK Q 常见的故障问题 2 故障处理前期准备故障处理前期准备 在进行故障处理之前 必须先了解 TongLINK Q 运行环境的相关信息 具 体的信息需求如表格所示 类型内容备注 操作系统类型 操作系统版本 TongLINK Q 产品版本 TongLINK Q 架构模式 故障现象描述 项目名称 客户名称 联系人 联系电话 图 2 1 故障处理需求表 注 1 表格中红色字体选项是东方通科技公司支持服务中心人员进行故障处理时必须了解 的信息 2 TongLINK Q 架构模式 包括多节点 转发 集群 订阅 发布 JMS 等 3 故障处理流程故障处理流程 3 1 故障处理流程故障处理流程 TongLINK Q 故障处理顺序如下 查看节点运行情况 查看网络运行状况 判断队列 中消息运行情况 查看应用日志判断故障等 具体的总流程如下 开始 客户方节点 正常运行 服务方节点 正常运行 与服务方节点 是否连通 节点运 行诊断 流程 接收队列 是否正常 是否应用问题 结束 解决应用问题 否 否 否 否 否 是 是 是 是 节点运 行诊断 流程 网络连 接诊断 流程 发送队列 是否正常 是 检查队列并 跟踪日志 发送方没有问题 与服务方节点 是否连通 否 是 网络连 接诊断 流程 检查队列并 跟踪日志 否 是否应用问题 是 解决应用问题 否 是 图 3 0 故障处理总流程 3 2 节点运行诊断流程节点运行诊断流程 在处理 TongLINK Q 可能出现的问题时 首先需要要确保客户方和服务方 的 TongLINK Q 正常运行 网络连接正常 并且机器资源够用 具体的处理流 程如下图 3 2 所示 开始 系统 IPC资源 进程是 否正常 操作系统 内存 CPU 磁盘空间 是否够用 节点 环境变量是否 正确 调整系统相关资源 TongLINK sys 是否有错误 修改节点环境变量 停止TLQ 清空所有 IPC 进程重新启动 参考 问题集 解决相关错误 结束 否 是 否 是 否 是 否 是 TLQ 配置文件是否 正常 停止TLQ 修改配置 文件重新启动 否 是 图 3 1 节点运行诊断流程 每一检查点的具体步骤描述将在下文具体描述 3 2 1 操作系统核心参数操作系统核心参数 操作系统核心参数的大小会影响 TongLINK Q 的正常运行 包括启动 TongLINK Q 运行时需要调整的操作系统核心参数包括共享内存 信号灯 打 开文件数 进程数等 另外 还必须保证当前操作系统的内存 CPU 以及安装 TongLINK Q 的当 前用户磁盘空间足够用 具体查看命令查看附录中 常见操作系统命令 部分 3 2 2 TongLINK Q 环境变量环境变量 需要检查 TongLINK Q 的环境变量是否齐全 并且指向的目录正确 在 UNIX 和 LINUX 系统中可以用命令行的方式查看 TongLINK Q 环境变量是否正 确 正确显示入下 假设安装 TongLINK Q 的是 tlq 用户 安装在 home tlq 目 录下 注 TongLINK Q 自身的环境变量包括 TLQCONFDIR 配置文件的存放目录 TLQLOGDIR 日志文件的存放目录 TLQFILESDIR 传输文件存放目录 TLQSNDFILESDIR 消息传输过程中 发送消息文件的存放目录 TLQRCVFILESDIR 消息传输过程中 接收消息文件的存放目录 TLQMSGDIR 系统中队列的映射文件存放目录 PATH 可执行程序的存放目录 CLASSPATH JMS和JAVA接口的存放目录 JAVA HOME 指向JDK的安装路径 PATH TongLINK Q核心进程已经应用程序服务方程序存放路径 假如使用 Java 应用程序还需要根据操作系统的不同设定相关的 LD LIBRARY PATH SHLIB PATH SHLIB PATH 等 以上参数的具体设定方法见 TongLINK Q 手册 TongLINKQ 系统管理 第 2 章 运行 中 配置环境变量 章节的描述 su tong env grep TLQ TLQHOMEDIR home tlq TLQMSGDIR home tlq msg TLQCONFDIR home tlq etc TLQRCVFILESDIR home tlq rcvfiles TLQSNDFILESDIR home tlq sndfiles TLQFILESDIR home tlq files TLQLOGDIR home tlq log env grep PATH PATH home tlq bin 假如需要启动管理界面或者运行 java 程序 还应该有与 java 相关的环境变量 3 2 3 查看查看 TongLINK Q 配置文件配置文件 TongUser Conf 主要关注下级节点该配置文件中 UpNodeRecord 小节的 UpName ConnPort 和 NodeIP 项的值与上级节点该配置文件中 SelfNode 的 LocalNodeName System 中的 ListenPort 以及上级节点所在机器 的 IP 地址分别一一对应 另外上级节点 DownNodeRecord 小节的 DownName 与下级节点中 SelfNode 的 LocalNodeName 一一对应 每个发送队列中 QueDestNode 必须在节点配置中配置 上级或者 下级节点 各配置文件配置项的具体描述见 TongLINK Q 手册 TongLINK Q 系统管理 第 3 章 参数配置 中各章节的描述 3 2 4 查看系统资源和进程查看系统资源和进程 TongLINK Q45 正常运行后 产生的 IPC 资源包括 5 块共享内存 3 块信 号灯 并且至少有 2 个进程启动 tld tmoni 假如远程代理或者 JMS 服务还 应该有其他的进程 如下所示 su tlq ipcs grep tlq m 3407920 0 x124c0b73 rw rw rw tlq usr m 3014731 0 x124c0b51 rw rw rw tlq usr m 11141248 0 x124c0b6d rw rw rw tlq usr m 21102732 0 x124c0b61 rw rw rw tlq usr m 14942381 0 x124c0b50 rw rw rw tlq usr s 11796510 0 x124c0b50 ra ra ra tlq usr s 18350126 0 x4624c0b2 ra ra ra tlq usr s 1441910 0 x124c0b71 ra ra ra tlq usr ps ef grep tong tlq 68928 1 1 11 56 51 0 35 home tlq bin tlqd tlq 73514 1 0 11 56 51 0 00 home tlq bin tlqmoni 如果与此不符合 说明 TongLINK Q 启动不正常 需要停止 TongLINK Q 停止与 TongLINK Q 相关的进程 清空与 TongLINK Q 相关的 IPC 资源 重新 启动 在 TongLINK Q 启动时 如果操作系统的 IPC 资源不足 则在启动时 TongLINK sys 日志中出现错误提示信息 例如 3 2 5 查看查看 TongLINK sys 文件文件 系统正常启动的日志如下 否则 说明 TongLINK Q 启动有问题 具体的问题处理详见 TongLINK Q 问题集 查看进程 ps ef grep tlq tlq 68928 1 1 11 56 51 0 35 home tlq bin tlqd tlq 73514 1 0 11 56 51 0 00 home tlq bin tlqmoni 能看到一个 tlqd 和一个 tlqmoni 进程存在 表示启动正常 停止进程 kill 9 68928 9 73514 查看 IPC 资源 ipcs grep tong m 10879106 0 x12900ee2 rw rw tlq usr s 6291495 0 x12900ee2 ra ra tlq usr 清空 IPC 资源 ipcrm m 10879106 m 13631628 s1048665 su tlq tlq Because of the large size queues Start Kernel process maybe take a few minutes TongLINK Q start OK 3 3 网络连接诊断流程网络连接诊断流程 开始 从客户方 能否ping通服务端 节点IP 从客户方 能否访问服务方节 点监听接口 调整系统相关资源 结束 否 否 是 是 下级节点机器的 hosts文件是否添加了上级节 点与IP地址对应关系 向hosts文件填写上级 节点与IP对应关系 是 否 两节点间 是否连通 使用工具判断并处理 否 是 图 3 2 网络连接诊断流程 3 3 1 网络层连通性诊断网络层连通性诊断 TongLINK Q 两个节点连接不通 如果节点自身运行 配置没有问题 那么 出现问题的原因可能是 网络不通 检查及解决方法检查及解决方法 在下级节点所在机器执行 ping 上级节点所在机器IP地址 假如 ping 不通说明网络有问题 联系网络管理员解决问题 下级节点或者上级节点机器上有防火墙 并且没有开放 TongLINK Q 监 听端口 阻值了 TongLINK Q 节点间的连通 检查及解决方法检查及解决方法 在下级节点所在机器执行如下命令 telnet 上级节点机器IP地址 监听端口号 如果执行后窗口无任何字符显示 并且锁死 不能进行任何操 作则为正常结果 即 IP 地址和端口号均可用 否则联系网络管理 员解决问题 例如 TongLINK Q 上级节点所在机器没有开通 TongLINK Q 监听端口 上级节 点 TongLINK conf 文件中 SelfPort 所指的端口号 检查及解决方法同上检查及解决方法同上 有两个下级节点重名 检查及解决方法 检查及解决方法 在服务方节点 如果用 tlqstat l 命令屏幕显示某一下级节点连 接状态时断时续 并且上级节点的 TongLINK sys 中有如下错误信 息有如下信息 CheckSIPName error already exist 等信息 说明有两个不同 IP 地址的下级节点名重名了 通用解决方法是修改其中之一节点名名称 因为在同一个 TongLINK Q 节点构造的网络中 节点名必须唯一 3 3 2 使用使用 TongLINK Q 命令检测节点间的连通性命令检测节点间的连通性 用 tlq 用户登录并执行 tlqstat 命令判断节点是否连通 在 unix 操作系统有如下显示表示端口号可用 telnet 168 1 1 111 50010 Trying Connected to 168 1 1 111 Escape character is Connection closed 如果有如下显示表示不可用 telnet 168 1 1 111 10240 Trying telnet connect A remote host refused an attempted connect operation 如果 tlqstat l 显示 DISCONN 状态 证明与接收节点的 TongLINK Q 没有成功 连接 请参看 3 3 1 网络层连通性诊断 中的诊断步骤 3 4 检查队列中的消息检查队列中的消息 检查发送队列消息数命令 tlqstat s 发送队列名 假设发送队列名是 send Num 1 表示当前名为 send 的发送队列中消息的数量是 1 如果在发送队列中有消息堆积 可能原因是 消息发向的目的地节点与此节点连接不通 或者目的节点名不对 目的节点对应此发送队列的接收对列已满 其他的原因请参看 TongLINK Q 问题集 检查接收队列消息数命令 tlqstat r 接收队列名 su tlq tlqstat l 节点不通信息显示举例如下 M123456789012 TLQ5220 DISCONN 1213 09 18 10 083 节点连通信息举例如下 M123456789012 TLQ5220 CONNECT IP 168 1 1 139 PORT 47233 1213 09 18 10 083 tlqstat s send SNDQ0 A P1 WAITMSGLINKHEAD Head 1 Tail 1 Num 1 Max 2 Min 0 Limit 1000 c Size 424 Ptr 0 假设接收队列名是 RcvQ1 Num 1 表示当前名为 RcvQ1 的接收队列中消息的数量是 1 如果在接收队列中有消息堆积 可能原因是 接收对列已满 可能原因 没有应用程序接收消息或者接收进程太 少 用条件选择模式接收消息 但队列中的消息都不符合选择条件 其他的原因请参看 TongLINK Q 问题集 3 4 1 检查错误日志检查错误日志 TongLink sys 错误日志 TongLink sys 文件位于 TLQLOGDIR 环境变量对应的目录下 即 TongLink Q 安装目录下的 log 目录 错误分析具体如下 每行的最开始是该行信息的类型 E 表示错误信息 W 表示警告 信息 I 表示正常 蓝色标识的信息 0523 17 34 22 880 是日志发生的时间 精确到 毫秒 红色标识的用冒号分割开信息 1 67 67 是 TongLINK Q 记载的 3 个错误号 其中第一个数字是 TongLINK Q 的错误号 对应的 错误信息可以用 tlqerr 错误号 去查找对应的错误信息 第二 个数字是 Unix 下的系统错误号 对应的错误信息可从 usr include error h 文件中查找 第三个数字是 Win 平台下的错误 号 使用 Microsoft Visual Studio 所带的 Tools 中的 error lookup 工 具进行查看 tlqstat r RcvQ1 ReadyMsgsLinkHandle Head 0 Tail 0 Num 1 Max 1 Min 0 Limit 2000 Size 424 Ptr 0 TongLINK sys 信息举例 E 0523 17 34 22 880 2 31698 tlqsocket c 173 1 67 67 InitListenSock bind 9 error 4 附录附录 4 1 常用系统命令常用系统命令 跟踪日志跟踪日志 tail f filename 查看查看 ipcipc 资源资源 ipcs grep tong 删除删除 ipcipc 资源资源 ipcrm m 序号 s 序号 q 序号 查看端口状态查看端口状态 netstat an 查看系统进程查看系统进程 ps ef grep tong cpucpu 使用状态使用状态 top sar vmstat 4 2 4 2 核心参数核心参数 LINUXLINUX proc sys kenerl 中的文件 msg sem shm HP UNIXHP UNIX 使用 sam 命令进入界面配置 AIXAIX Vmtune 命令 SOLARISSOLARIS etc system 文件 SCOSCO UNIXUNIX 使用 scoadmin 进入界面配置 编辑 etc conf cf d 目录下的 stune 和 mtune 两个文件 通用命令通用命令 ulimited f 同时打开文件个数 4 3 setp 文件文件 Demo Windows 举例 举例 假设 TongLINK Q 安装在 C Program Files Tongtech TLQ63 目录下 环境 变量如下 set TLQHOMEDIR C Program Files Tongt