NPM配置文件说明

NPM配置文件配置文件说说明明 导览 SmartProbe 配置 o SmartProbe配置文件 smartprobe xml dispatcher xml cleaner xml watcher xml o Pktminer配置文件 pktminer xml pm2 ini o DP配置文件 dp xml o SmartProbe 配置文件更新 NPM Data配置 o NPM Data配置文件 dataflow xml npmd xml expire xml watcher xml o NPM Data配置更新 NPM Web配置 o NPM Web配置文件 smartprobe xml sever xml npmweb xml expire xml spvd xml syslog xml o NPM Web配置更新 SmartProbe 配置配置 SmartProbe配置文件配置文件 smartprobe xml 用于配置SmartProbe的环境参数 opt smartprobe etc system local smartprobe xml Expand source 9000 web port web进程绑定的端口号 默认值 9000 var store store folder pcap包文件 NTS文件 NTA文件存储的顶层目录 默认值 opt smartprobe var store opt python27 bin python opt python27 bin supervisorctl dispatcher xml 用于配置SmartProbe与NPM Server的数据传递参数 opt smartprobe etc system local dispatcher xml Expand source anonymous auth key NPM授权smartprobe链接 默认值 anonymous 更改后需要在NPM Web上的smartprobe xml中同步更新 1000 cleaner xml 用于配置SmartProbe的数据清理 opt smartprobe etc system local cleaner xml Expand source cleaner 清理相关配置 60 tick 检查磁盘容量的频率 默认值 60 单位 秒 10 limit 磁盘空闲容量的最低值 默认值 10 可选用百分比和绝对值表示 当磁盘容量低于该值时 cleaner会被触 发清除旧数据 释放磁盘空间 10 free 每次清除操作 释放的磁盘空间 默认值 10 可选用百分比和绝对值表示 含义是 不断清除旧数据 直至 磁盘容量高于设定的limit 默认值足以满足需求 一般不需要修改此配置项 1 verbose 按容量清理时显示log详细信息的级别 task DP任务产生的临时文件存放的过期时间 默认值 1天 1 位置位置 标签标签 默默认认 值值 说说明明 60秒 检查磁盘容量的间隔时间 10 磁盘清理的阈值 即空闲容量低于10 开始清理 支持百 分比和绝对值 10 一次清理释放的空间 支持百分比和绝对值 2天DP任务临时文件保存的时间 单位为小时 天 watcher xml 用于配置SmartProbe的磁盘容量保护 opt smartprobe etc system local watcher xml Expand source 60 tick 检查磁盘容量的频率 默认值 60 单位 秒 90 stop SP停止工作时 磁盘容量占用百分比 默认值 90 当磁盘容量占用大于等于此百分比时 SP停止工作 位置位置 标签标签 默默认认 值值 说说明明 60秒 检查磁盘容量的间隔时间 90 SP停止工作的阈值 即磁盘占用空间超过90 SP停止工作 支持百 分比和绝对值 Pktminer配置文件配置文件 pktminer xml 用于配置SmartProbe的Packetminer进程对于每个网络接口的数据包捕获参数 opt smartprobe etc system local pktminer xml Expand source v2 version Pktminer的工作模式 v1代表工作在标准版模式下 v2代表工作在高性能模式下 针对标准版的配置项 pring isol cpus 绑定的cpu 安装完已确定 不能修改 针对高性能的配置项 5555 zmq port pktminer监听的端口号 默认值 5555 2000 zmq timeout pktminer请求的超时时间 默认值 2000 单位 毫秒 ms 512 buffer size 为libpcap分配的buffer size 最大为1G 512 share hwm pring所用的share memory 最大值为2G 2048 3 timeout 检查snoop packet的参数 这个一般不用改 默认值即可 15 file duration 控制数据包文件生成间隔 默认值为15秒 eth 针对特定网卡的数据包文件生成间隔 默认值 30秒 30 eth 针对特定网卡的相关配置 1000 throughput 网卡速率设置 aggregation port 汇聚模式 该模式会将多个物理网卡抽象为一个逻辑网卡 在这个标签下添加需要汇聚的网卡即可 位置位置 标签标签默默认值认值说说明明 512 MB标准版为libpcap分配的buffer size 最大为1GB 512 MB为Pring分配的缓存大小 最大为2GB 无配置汇聚端口 无为某个网口设置的速率 pm2 ini 用于配置SmartProbe的Packetminer进程对于每个网络接口的系统参数 opt smartprobe etc system local pm2 ini Expand source global core mask 0 xffffffff hugepage memory mb 12000 nic rx ring size 4032 pring data hwm 0 x7fff0000 burst size io rx r nic 4096 burst size io rx w ring 144 burst size worker w pcap 144 burst spool rate 5 burst lpool rate 10 burst upper limit 100000000 burst time span 0 sleep on 1 sleep interval 100 sleep time 1 zmq port 5555 debug 0 debug debug开关 默认关闭 nic0 enable 1 enable 是否开启此网卡的抓包功能 port 0 port 网卡编号 queue 0 io core 1 io core 配置io线程所用的core id worker core 31 worker core 配置worker线程所用的core id heartbeat ms 1000 pring p0 pring pring的id 可以和 dev shm 目录下的文件相对应 pring count 4 pring的个数 pring slice 128 file duration 60 file duration pcap sz文件生成的间隔 pring snap len 65535 pcap dir opt smartprobe var store pcap nic0 pcap dir 数据包输出目录 compress 1 compress 是否压缩为sz文件 因为目前数据清理只支持sz文件 所以默认是压缩的 compressor core 3 4 默认不开启 此时数据压缩是由worker线程来承担的 当流量 4Gbps时 需要多个线程共同压缩 此时需要开启这个选项 一般情况下 2个core用于压缩足够了 nic1 enable 1 port 1 queue 0 io core 2 worker core 30 heartbeat ms 1000 pring p1 pring count 4 pring slice 128 file duration 60 pring snap len 65535 pcap dir opt smartprobe var store pcap nic1 compress 1 位置位置 标签标签默默认值认值说说明明 nic x pring count无为单个接口分配的pring个数 高性能版可以 1 compress1是否开启存包压缩 0为不压缩 1为压缩 compressor core无执行压缩的核编号 DP配置文件配置文件 dp xml 用于配置SmartProbe的DP进程进行数据包解析的参数 opt smartprobe etc system local dp xml Expand source 2048 84 1000000 max flow count DP支持处理的最大并发连接数 默认值 1000000 120000 flow timeout 会话最长保持时间 默认值 120000 单位 毫秒 ms 9000 flow attach timeout 会话建连超时时间 默认值 12000 单位 毫秒 ms 120000 flow detach timeout 会话拆连的超时时间 默认值 9000 单位 毫秒 ms spz 200000 ways inside group 多路存储NTA NTS PCAP数据文件方式 2 export 控制NTA NTS数据多路输出 默认值 2 表示2路存储 2 store 控制PCAP数据多路存储 默认值 2 表示2路存储 400000 global known unit count 已知应用的Flow数上限 超过则合并到其他 默认值 1分钟40万 200000 global unknown unit count 未知应用的Flow数上限 超过则合并到其他 默认值 1分钟20万 0 6 unit shrinkage 被合并的Flow数比例 默认值 0 6 cache 各环节缓存区大小 20000 100000 200000 200000 100000 100000 100000 100000 100000 100000 100000 100000 200000 200000 runtime 实时模式下DP的相关配置 5000 60000 report beat 控制数据的基础颗粒度 默认值 1分钟 可用值 15秒 1分钟 60000 60000 ntae report beat 控制NTA数据输出和存储的颗粒度 默认值 1分钟 5分钟 15分钟 1小时 可选15秒 15000 300000 5分钟NTA颗粒度存储 900000 15分钟NTA颗粒度存储 3600000 1小时NTA颗粒度存储 1 400000 200000 0 6 400000 200000 0 6 400000 200000 0 6 worker count 工作线程数量配置 0 9 13 8 6 4 4 5 5 spz 200000 store 数据存储相关配置 选择各种数据的压缩格式 sz sz simple compact msgpack sz sz sz sz notMerge 1000000 dynamicFirst batch batch模式相关配置 用于数据包提取 5120 pcap extract 数据包提取相关配置 pktfilter mode 控制数据包提取模式 默认值 pktfilter 可选值 dp pktfilter 4 pktfilter worker count pktfilter模式提包并发进程数量设置 0 time span 按时间间隔控制数据包切割 默认值 0 0 packet count span 按包数控制数据包切割 默认值 0 1073741824 file size span 按文件大小控制数据包切割 默认值 1G 0 5 9 5 4 2 1 dynamicFirst tools 数据文件和数据包解压缩工具相关配置 2048 0 5 9 5 cocurrent 控制DP任务同时执行的数量 24 nts 控制应用发现的任务数 默认值 24 0表示禁止应用发现 30 ntr 控制故障诊断的任务数 默认值 30 0表示禁止故障诊断 20 20 pcap 控制下载数据包的任务数 默认值 20 0表示禁止下载数据包 zmq signal DP监听信号的相关配置项 tcp 127 0 0 1 5577 endpoing 监听的端点 默认值 tcp 127 0 0 1 5577 2000 timeout DP请求的超时时间 默认值 2000 单位 毫秒 ms adapter zmq signal DP adapter监听信号的相关配置项 tcp 127 0 0 1 5578 2000 eth 针对特定端口的相关配置 name 端口名字 true false true true eth 针对特定端口的相关配置 name 端口名字 false flowHashIncludeVlanEnable 控制VLAN数据弃用和禁止 默认为false false 位置位置 标签标签默默认值认值说说明明 1000000 支持的最大并发连接数 最大值为1200000 400000 已知应用Flow数上限 超过则合并到总量 200000 未知应用Flow数上限 超过则合并到总量 0 6 当上述两个Flow数达到 上限 被合并到总量的 比例 4提数据包并发进程数 0 按时间控制的切包 单 位毫秒 0按包数控制的切包 107374182 4 按文件大小控制的切包 单位Byte false 计算Flow是否按VLAN 区分 SmartProbe 配置文件更新配置文件更新 1 smartprobe restart 2 NPM UI中进入管理 同步配置 NPM Data配置配置 NPM Data配置文件配置文件 dataflow xml 用于配置NPM Data Server的数据统计计算参数 opt npm etc system local dataflow xml Expand source 60 base span 控制数据的基础颗粒度 默认值 60秒 可用值 15秒 60秒 worker 进程组worker的相关配置 1000 23200 port start worker进程的起始端口 默认值为23200 8 count 进程数量设置 auto auto 1 0 0 0 group 进程组group相关的配置 0 count 进程数量设置 exporter 进程组exporter相关的配置 23300 safe 4 23400 23401 2 count 进程数量设置 弃用 0 15 60 300 900 3600 50 pktcnt pktlen flow count sp 900 total memory max memory percent auto restart process 0 05 dashboarder 进程组dashboarder相关设置 23600 1 位置位置 标签标签默默认值认值说说明明 18worker进程数 0group进程数 4exporter进程数 2alerter进程数 1dashboarder进程数 npmd xml 用于配置NPM Data Server的通讯参数 opt npm etc system local npmd xml Expand source 60a55f30 f317 11e5 a452 0242ac11016c npm data服务器的ID 该NPMD实例的唯一标识 安装时指定 无需修改 172 16 15 120 npm data服务器的主机ip地址 23080 web port web data进程绑定的端口号 默认值 23080 sp loader 从Smartprobe获取数据时使用的端口范围 无需修改 28000 28300 位置位置 标签标签 默默认值认值说说明明 NPM Data的ID 唯一标识 NPM Data的IP地址 expire xml 用于配置NPM Data Server的数据清理和老化参数 opt npm etc system local expire xml Expand source 120 tick 扫描磁盘频率 默认值为2分钟 0 verbose 按时间清理时显示log详细信息的级别 data 控制永久性存储数据的清除 1 verbose 按百分比 绝对值容量清理convs和ipport数据时显示log详细信息的级别 10 limit 磁盘空闲容量的最低值 默认值 10 可选用百分比和绝对值表示 当磁盘容量低于该值时 cleaner会被触发 清除旧数据 释放磁盘空间 10 free 每次清除操作 释放的磁盘空间 默认值 10 可选用百分比和绝对值表示 含义是 不断清除旧数据 直至 磁盘容量高于设定的limit 默认值足以满足需求 一般不需要修改此配置项 1 level 按容量清理时清理的级别 默认值为1 可用值为0和1 0代表清理到天 1代表清理到小时 365 stat 统计数据 除15s颗粒度 的过期时间 默认值 365天 8 stat 15s 15s颗粒度统计数据的过期时间 默认值 8小时 365 spvstat spv统计数据的过期时间 默认值 365天 弃用 8 7 15 30 90 弃用 8 7 15 30 90 cache 控制临时任务产生的临时数据的清除 2 nts discovery临时任务数据的过期时间 默认值 2天 2 弃用 位置位置 标签标签 默默认认 值值 说说明明 120 扫描的时间间隔 单位为秒 10 磁盘清理的阈值 即空闲容量低于10 开始清理 支持百 分比和绝对值 10 一次清理释放的空间 支持百分比和绝对值 365 天 数据库中统计数据的过期时间 支持天 小时的单位 8小 时 数据库中15s精度统计数据的过期时间 支持天 小时的 单位 365 天 数据库中SPV统计数据的过期时间 支持天 小时的单位 2天应用发现临时数据过期时间 支持天 小时的单位 watcher xml 用于配置NPM Data Server的磁盘容量保护 opt npm etc system local watcher xml Expand source 60 tick 检查磁盘容量的频率 默认值 60 单位 秒 90 stop NPM停止工作时 磁盘容量占用百分比 默认值 90 当磁盘容量占用大于等于此百分比时 NPM停止工作 位置位置 标签标签 默默认认 值值 说说明明 60秒 检查磁盘容量的间隔时间 90 NPM停止工作的阈值 即磁盘占用空间超过90 NPM停止工作 支 持百分比和绝对值 NPM Data配置更新配置更新 1 opt python27 bin python opt npm npm commands genconfig pyc all 2 npm restart data 3 opt python27 bin python opt npmweb npmweb commands applyview pyc NPM Web配置配置 NPM Web配置文件配置文件 用于配置NPM Web Server与SmartProbe通讯参数 smartprobe xml opt npmweb etc system local smartprobe xml Expand source True enable spv match 控制DP是否执行匹配SPV的操作 默认 true 可选值 true和false 9000 port SmartProbe的web端口号 默认值 9000 这是一个全局配置 可以在SmartProbe实例的配置项中 覆盖此值 anonymous auth key 172 16 15 127 172 16 15 127 520cb850 f6f6 11e5 af76 0242ac110179 位置位置 标签标签 默默认认 值值 说说明明 SmartProbe别名 SmartProbe IP地址 NPM Data的ID 用作KEY 需要跟smartprobe上的dispatcher xml中 的auth key一致 sever xml 用于配置NPM Web Server与NPM Data Server的通讯参数 opt npmweb etc system local sever xml Expand source server 一个NPMD实例的配置 172 16 15 126 host NPMD实例所在服务器的IP地址 23080 web port NPMD实例的web data进程绑定的端口号 默认值 23080 172 16 11 211 23080 位置位置 标签标签默默认值认值说说明明 NPM Data的ID NPM Data的 IP地址 npmweb xml 用于配置NPM Web Server的各进程处理及web 显示参数 opt npmweb etc system local npmweb xml Expand source 172 16 15 126 host npmweb服务器的ip地址 80 web port web进程绑定的端口号 reporter 进程组reporter相关的配置 2 count 进程数量设置 默认值 2 false enable ipport 配置IP Flow的报表 可选项 false和true false 不可以配置ip和flow的报表 true 可以配置i p和flow的报表 syslogger 进程组syslogger相关的配置 1 count 配置进程的个数 默认值 2 5 0 5 dataflow 控制NPMD dataflow的配置 60 base span 控制数据的基础颗粒度 默认值为60秒 可用值 15秒和60秒 spv 控制spv中相关界面显示的配置 1000 max ip count 控制一个服务器组件的最多的IP数目 超过这个数字的IP不会在统计视图界面上显示 5 max site group count 控制SPV站点Dashboard中左侧显示的站点分组的数目 如果配置的Tag数目超过这个数目 会 合并到 其他 分组中 stat 统计视图相关配置 search 统计视图中搜索 默认颗粒度15分钟 900 span export csv 统计视图表格中导出csv中最大记录 1000 limit view top 控制LCV DCV视图中默认显示项 10 app 控制LCV DCV视图中默认显示的应用的top值 超过这个数目则不再视图中显示 10 site 控制LCV DCV视图中默认显示的应用的top值 超过这个数目则不再视图中显示 factor 根据实际所配APP Site填写 可以优化视图显示 300 300 discovery 应用发现jobber进程中可起的子进程 默认值 7 即可起7个子进程 7 sp loader 从Smartprobe获取数据时使用的端口范围 无需修改 38100 38200 troubleshooting 进程组troubleshooting相关的配置 1000000 10000 1000 20 60 report 进程组report相关的配置 panel 报表配置项panel设置 10 max count 配置报表panel的最大支持数目 默认值 10 位置位置 标签标签 默默认认 值值 说说明明 NPM Web的ID 2reporter进程数 false 是否允许配置IP Flow的报表 1sy