移动接口规范流程实现过程说明

移动接口规范流程实现过程说明1. 移动标准简要说明移动标准中将系统分为了CU，EU，DU部分，每部分完成相对应的功能项如下：(CU)控制平台：负责与网站备案管理系统、省端执行系统进行对接；接收网站备案管理系统同步的基础数据；提供基础数据录入、添加功能；接收、保存省端执行系统上报的监测日志、过滤日志等；转发SMMS下发的违法信息监测、过滤指令、访问日志查询指令、违法信息规则库、信息安全管理指令查询指令、代码表发布指令；负责上报IDC/ISP基础数据、访问日志、监测日志、过滤日志、查询指令结果至SMMS；接收上网日志留存系统上报访问日志定时查询结果，并提取日志中的IP、URL等信息并进行除重；支持将除重后的IP、URL等信息与基础数据进行比对，实现异常IP监测和违法违规网站发现；提供系统管理功能；(EU)省端执行系统：负责保存控制平台下发的基于IP、端口、域名、URL、关键词等条件的违法信息规则库；统一DPI设备负责对现网流量进行采集，对流量数据进行分析、识别、还原；对发现的违法信息进行记录并形成监测日志；上报监测日志至控制平台；对发现的违法信息依据过滤指令进行过滤封堵处置；输出并上报过滤日志至控制平台；统一DPI将流量日志发送至日志合成服务器，日志合成服务器生成原始XDR话单并发送至网络日志服务器进行存储。(DU)上网日志留存系统：接收日志合成服务器提供的访问日志原始XDR话单，提供访问日志数据存储，提供访问日志查询接口。2. 移动接口界面配置CU对应我们使用的JAVA一级中心，JAVA一级中心升级到最新的程序后，系统提供移动接口子系统的配置。2.1. CU上接口子系统配置添加接口子系统的顺序为：备案系统-EU子系统DU子系统进入系统菜单：系统维护系统管理接口系统维护2.1.1. 备案子系统配置备案系统接口地址：15:8083/webservice/services/Idc_Command?wsdl2.1.2. EU子系统配置EU与CU的webservice连接地址：4:7070/IDCWebService/idcCommand?wsdl2.1.3. DU子系统配置DU与CU连接的webservice地址：20/IF_QUERY_IDC2.2. EU管理端上配置EU管理端主要为FTP的配置EU需向CU上传过滤监测日志，EU需向DU上传访问日志。故EU上需要配置两个FTP的上传路径。2.2.1. 菜单切换在维护平台中，界面显示设置 中可配置为CU菜单或EU菜单。CU菜单时界面显示的是一级中心的全部的菜单， EU菜单时显示与EU主要相关的一些菜单。2.2.2. FTP配置1) EU向CU端上传FTP的设置2) EU向DU端上传FTP的设置3) ftp配置数据库确认EU向CU上传时，直接从数据库中读取ftp 的配置文件，在EU管理端的数据库表tab_sysconfig表中4) 配置文件中FTP配置确认EU向DU上传访问日志时，需要在EU管理端的后台配置文件中确认配置文件中FTP的相关配置是否正确。 Vi /usr/seentech/YD_Interface/conf/ud_interface.conf3. 进程说明3.1. EU端上报日志进程1) EU生成上报报警、过滤日志到CU，生成上报访问日志上报到DU的进程为./UdProxy2) 当EU只有一个审计子端时，EU上的日志通过UdProxy直接上传到DUA. EU上进程启动配置进程开启配置进程路径为：vi /usr/seentech/netguard/conf/ ns_maintenace_server.conf增加配置process19=Y|UdProxy|cd ././YD_Interface & ./UdProxy &。同时将维护进程数配置为进程总数。B. EU上进程执行路径Cd /usr/seentech/YD_Interface./UdProxy 3) 当EU有多个，即有多个审计子端时，每个审计子端上会先通过UdProxy进程将日志上传到EU管理端（没有EU管理端时上报到CU）进行日志的汇聚，EU管理端或CU会再次通过UdProxy将访问日志上传到DUA. EU管理端（或CU）上进程启动配置进程开启配置进程路径为：vi /usr/seentech/netguardServer/conf/ ns_netsentinel.conf增加配置process19=Y|UdProxy|cd ././YD_Interface & ./UdProxy &。同时将维护进程数配置为进程总数。B. EU管理端（或CU）进程执行路径Cd /usr/seentech/YD_Interface./UdProxy3.2. DU端上报日志到CU进程1) DU上报访问日志到CU的进程为./accesslog2) 进程执行路径Cd /usr/seentech/YD_Interface./ accesslog3.3. CU解析日志进程1) CU解析EU上报的过滤、报警日志，DU上报的访问日志的进程为./cu_interface2) 进程启动配置Vi /usr/seentech/netguardServer/conf/ns_netsentinel.conf3) 进程执行路径Cd /usr/seentech/YD_Interface./ cu_interface4) 定时访问日志查询进程WebServiceCall后面的1800为秒，表示每隔半个小时查询一次IP和域名3.4. DU解析EU上传的日志进程1) DU上报访问日志到CU的进程为./accesslog进程执行路径2) Cd /usr/seentech/YD_Interface./ accesslog4. 日志上报解析说明5.1. EUCU1) EU上产生封堵日志后直接入库到EU管理端（一级中心和审计子端模式）2) EU管理端在/usr/seentech/netguardServer/data路径下的文件4或文件5中生成报警日志或封堵日志的上报文件；3) EU管理端通过./UdProxy将报警、过滤日志上报给CU的/data/1002/路径下4) CU报警日志入库为alarm_log_xxx_xx_xx，封堵日志入库为block_log_xxxx_xx_xx5.2. EUDU1) 当EU只有一个审计子端时，访问日志的上报过程如下：（以下路径全在一台设备上）A. 将/usr/seentech/netguard/data/accesslog/下生成的日志文件移动到/data/accesslogB. 通过FTP 将/data/accesslog 下的日志上传到/data/ftp_manage/internel/accesslog 目录下。该路径作为一个缓冲路径，最终该路径下的文件为空。C. 通过./UdProxy 进程不断获取 /data/ftp_manage/internel/accesslog 目录下的访问日志到 /data/accesslog_xml 目录下D. 通过FTP将/data/accesslog_xml 目录下的访问日志上报给DU2) 当有个多个EU，即有个审计子端时，访问日志文件会在审计端生成后，在EU管理端（没有EU管理端时则在CU上）进行汇聚，汇聚后统一由EU管理端（或CU）上报到DU。部分文件路径是在EU上，部分日志文件的路径在EU管理端（或CU）上。A. EU上将/usr/seentech/netguard/data/accesslog/下生成的日志文件移动到/data/accesslogB. EU通过FTP 将/data/accesslog 下的日志上传到EU管理端或（CU）/data/ftp_manage/internel/accesslog 目录下。该路径作为一个缓冲路径，最终该路径下的文件为空。C. EU管理端或（CU）通过./UdProxy 进程不断获取 /data/ftp_manage/internel/accesslog 目录下的访问日志到 /data/accesslog_xml 目录下D. EU管理端或（CU）通过FTP将/data/accesslog_xml 目录下的访问日志上报给DU4.1. DUCU1) 访问日志查询解析A. DU将访问日志的查询结果文件上报给CU的日志在CU的/data/1003/Access_Log路径下B. CU通过cu_interface 会不断解析 /data/1003/Access_Log 目录的文件，入库访问日志netlog_xxxx_xx_xx（注netlog_xxxx_xx_xx表名时间不是指当前时间,而是指上报日志数据中日志内容中的时间）2) 定时访问日志查询解析A. DU将定时访问日志的查询结果文件上报给CU的日志在CU的/data/1003/ Timing_Log路径下B. CU上通过进程cu_interface解析 /data/1003/Timing_Log 目录 下 DU 上报来的数据 ,并分析日志中的IP,URL 等信息,然后入库IP和域名表：res_ips ，res_domain，res_domain_two 二级域名表5. 后台其他配置文件确认5.1. CU的压缩配置DU上CU上传访问日志查询结果后，CU在解析访问日志文件时可以根据DU的实际配置更改是否压缩解析。vi /usr/seentech/netguardServer/conf/ns_netsentinel.conf5.2. EU上配置访问日志相关配置vi /usr/seent