NPMS系统体系结构.doc

NPMS系统体系结构、功能及接口一、 系统功能定义1、 接收V5格式的NetFlow。2、 接收V7格式的NetFlow。3、 接收V8格式的NetFlow。4、 接收V9格式的NetFlow。5、 对NetFlow的处理能力不低于10,000条/秒。6、 能基于源IP地址、目的IP地址、源端口号、目的端口号、协议类型等条件对接收到的NetFlow流过滤。7、 将过滤（或不过滤）后的NetFlow流，写入二进制文件。8、 支持zlib压缩。9、 写入的文件长度可以按时间或大小来选择。10、 文件名能按照某种规则命名。11、 后台多进程方式运行。12、 自适应、健壮性。自适应一方面是指当网络设备发出的NetFlow流的速率超过设定值，则采取定时采样方式来接收NetFlow流，并将相关信息写入日志文件，以保证设备正常运行；另一方面是指系统能根据网络资源情况能动态地启动不同数量的子进程来工作。健壮性是指当启动的多个写入文件进程中的某个进程，由于各种原因成为僵死进程时，其父进程应及时将其杀死，以保证系统的健壮性。13、 日志。日志内容包括系统开关机时间，异常情况记录。14、 对自身服务器资源的监控。其内容包括CPU、内存、I/O等。15、 支持转发功能。16、 能接收多个网络设备发送的NetFlow。工具软件功能定义：1、特定要求发送特定类型的NetFlow流。2、模拟DDOS攻击。3、查看NetFlow流文件内容。二、 系统体系结构1、 硬件体系结构2、 软件体系结构FlowCollecter体系结构1设计说明：1、 FlowCollecter分成4大部分：Manager、FlowWriteFile、FlowWriteDB，FlowRedirect。2、 Manager处于该模块的总控部分。功能定义如下：（1）、负责接受网络设备或探针RTProbe以UDP方式发送来的NetFlow数据包。（2）、创建消息队列MQ。（3）、fork多个子进程，在每一个子进程中执行FlowWriteFile。（4）、创建共享内存ShMem，并将简单的NetFlow信息或统计信息存放在ShMem中。这里简单的定义是做这些工作对Manager的影响不大。（5）、根据配置文件中的过滤规则，实现对NetFlow的过滤。过滤规则，可以基于源IP地址、目的IP地址、源端口号、目的端口号、协议类型等。（6）、采用心跳（heartbeat）机制实现对子进程FlowWirteFile的监管。即当子进程没有在规定的时间（应定义为多少？），向定义的端口（1212）发送“子进程标识”信息，就认为该子进程为僵死进程，父进程监控该端口，然后杀死该子进程。3、 FlowWirteFile处于该模块的第二部分。功能定义如下：（1）、从Manager创建的消息队列中取出NetFlow数据。（2）、拆分NetFlow包。（3）、打包。将NetFlow数据按照我们自定义的协议格式xFlow，重新打包。 注：拆包和打包的任务也可以考虑在Manager部分完成。（4）、写入文件。将xFlow写入文件。注：应考虑文件格式（二进制文件，类似RRD循环文件格式等）。（5）、实现zlib压缩功能。（6）、能按照命名规则自动取文件名。（7）、能按照接收流的时间或文件长度规则，自动截取文件长度。也就是说NetFlow流文件不会是一个文件，而是一系列文件的集合。4、 FlowWriteDB处于该模块的第三部分。功能定义如下：（1）、从FlowFile文件中读取NetFlow数据。（2）、写入到PostgreSQL数据库。5、 FlowRedirect处于该模块的第四部分。功能定义如下：（1）、从FlowFile文件中读NetFlow数据。（2）、将NetFlow数据以UDP的方式转发到某台主机。FlowCollecter体系结构2：设计说明：1、 FlowCollecter分成3大部分：Manager、FlowWriteFile、FlowWriteDB。2、 Manager处于该模块的总控部分。功能定义如下：（1）、负责接受网络设备或探针RTProbe以UDP方式发送来的NetFlow数据包。（2）、创建消息队列n个有名管道。（3）、fork多个子进程，在每一个子进程中执行FlowWriteFile。（4）、创建共享内存ShMem，并将简单的NetFlow信息或统计信息存放在ShMem中。这里简单的定义是做这些工作对Manager的影响不大。（5）、根据配置文件中的过滤规则，实现对NetFlow的过滤。过滤规则，可以基于源IP地址、目的IP地址、源端口号、目的端口号、协议类型等。（6）、采用心跳（heartbeat）机制实现对子进程FlowWirteFile的监管。即当子进程没有在规定的时间（应定义为多少？），向定义的端口（1212）发送“子进程标识”信息，就认为该子进程为僵死进程，父进程监控该端口，然后杀死该子进程。3、 FlowWirteFile处于该模块的第二部分。功能定义如下：（1）、从Manager创建的管道中取出NetFlow数据。（2）、拆分NetFlow包。（3）、打包。将NetFlow数据按照我们自定义的协议格式xFlow，重新打包。 注：拆包和打包的任务也可以考虑在Manager部分完成。（4）、写入文件。将xFlow写入文件。注：应考虑文件格式（二进制文件，类似RRD循环文件格式等）。（5）、实现zlib压缩功能。（6）、能按照命名规则自动取文件名。（7）、能按照接收流的时间或文件长度规则，自动截取文件长度。也就是说NetFlow流文件不会是一个文件，而是一系列文件的集合。4、 FlowWriteDB处于该模块的第三部分。功能定义如下：（1）、从FlowFile文件中读取NetFlow数据。（2）、写入到PostgreSQL数据库。5、 FlowRedirect处于该模块的第四部分。功能定义如下：（1）、从FlowFile文件中读NetFlow数据。（2）、将NetFlow数据以UDP的方式转发到某台主机。三、 系统接口定义1、 Manager部分接口定义：（1）、NetFlow V5格式V5头格式（24个字节）字节内容英文描述中文描述0 1versionNetFlow export format version numberNetFlow导出格式的版本号2 3countNumber of flows export in this packet (1 30)包中导出的流数目（130）4 7SysUptimeCurrent time in milliseconds since the export device booted从路由器启动以来的当前时间，以毫秒为单位8 11unix_secsCurrent count of seconds since 0000 UTC 1970从0000UTC1970开始的秒数12 15unix_nsecsResidual nanoseconds since 0000 UTC 1970从0000UTC1970开始的剩余纳秒时间1619flow_sequenceSequence counter of total flows seen所有能看到的流的顺序计数器20engine_typeType of flow-switching engineFlow交换设备的类型21engine_idSlot number of the flow-switching engineFlow交换设备的插槽号2223reservedreserved未使用的字节V5记录格式 (48个字节)字节内容英文描述中文描述0 3srcaddrSource IP address源IP地址4 7dstaddrDestination IP address目的IP地址8 11nexthopIP address of next hop router下一跳的路由器IP地址12 13inputSNMP index of input interface接入接口的SNMP索引14 15outputSNMP index of output interface输出接口的SNMP索引16 19dPktsPackets in the flow流中的报文20 23dOctetsTotal number of layer 3 bytes in the packets of the flow在流的报文中第3层字节总数24 27FirstSysUptime at start of flow流开始处的SysUptime28 31LastSysUptime at the time the last packet of the flow was received流中最后一个报文被接收时的SysUptime32 33srcportTCP/UDP source port number or equivalentTCP/UDP源端口号或等价值34 35dstportTCP/UDP destination port number or equivalentTCP/UDP目的端口号或等价值36pad1Unused(zero)bytes没有使用的字节37tcp_flagsCumulative OR of TCP flagsTCP标记的累积OR38protIP protocol type (for example, TCP = 6; UDP = 17)IP协议（例如， TCP6， UDP17）39tosIP type of service (ToS)服务的IP类型40 41src_asAutonomous system number of the source, either origin or peer源的AS，原来的或对等的42 43dst_asAutonomous system number of the destination, either of peer目的AS，原来的或对等的44src_maskSource address prefix mask bits源地址前缀的掩码位45dst_maskDestination address prefix mask bits目的地址前缀的掩码位46 48pad2Unused (zero) bytes未使用的字节（2）、NetFlow V7格式（Catalyst 5000）V7头格式（24个字节）字节内容英文描述中文描述0 1versionNetFlow export format version numberNetFlow导出格式的版本号2 3countNumber of flows export in this packet (1 30)包中导出的流数目（130）4 7SysUptimeCurrent time in milliseconds since the export device booted从路由器启动以来的当前时间，以毫秒为单位8 11unix_secsCurrent count of seconds since 0000 UTC 1970从0000UTC1970开始的秒数12 15unix_nsecsResidual nanoseconds since 0000 UTC 1970从0000UTC1970开始的剩余纳秒时间1619flow_sequenceSequence counter of total flows seen所有能看到的流的顺序计数器20engine_typeType of flow-switching engineFlow交换设备的类型21engine_idSlot number of the flow-switching engineFlow交换设备的插槽号2223reservedreserved未使用的字节V7记录格式 (52个字节)字节内容英文描述中文描述0 3srcaddrSource IP address源IP地址4 7dstaddrDestination IP address目的IP地址8 11nexthopIP address of next hop router下一跳的路由器IP地址12 13inputSNMP index of input interface接入接口的SNMP索引14 15outputSNMP index of output interface输出接口的SNMP索引16 19dPktsPackets in the flow流中的报文20 23dOctetsTotal number of layer 3 bytes in the packets of the flow在流的报文中第3层字节总数24 27FirstSysUptime at start of flow流开始处的SysUptime28 31LastSysUptime at the time the last packet of the flow was received流中最后一个报文被接收时的SysUptime32 33srcportTCP/UDP source port number or equivalentTCP/UDP源端口号或等价值34 35dstportTCP/UDP destination port number or equivalentTCP/UDP目的端口号或等价值36flagsFlags indicating, among other things, what flow fields are invalid.37tcp_flagsTCP flags; always set to zeroTCP标志38protIP protocol type (for example, TCP = 6; UDP = 17)IP协议（例如， TCP6， UDP17）39tosIP type of service (ToS)服务的IP类型40 41src_asAutonomous system