3g终端蜂窝网络检测系统v3.0.doc

3G终端蜂窝网络检测系统2013-6-6目 录一、需求背景3二、需求分析3(一)3G网络数据包抓取工具4(二)抓取工具远程管理和数据分析服务程序5三、性能要求7四、系统总体设计8(一)设计思想8(二)设计原理9(三)总体架构11(四)工作流程12(五)主要功能131.抓包工具142.数据管理服务14一、 需求背景随着互联网时代的发展和新技术的不断出现，互联网成为人们交流的重要工具之一，在大大方便了人们的交流的同时也成为了不法分子进行犯罪、传播舆论、信息传递的工具。为了保护国家利益和社会和谐，国家有关部门已经通过互联网监测技术实现对网络环境的监管，并取得了很大成果。然而，进几年来，随着移动互联网技术的发展和移动智能终端设备的不断普及，人们访问互联网的方式不只局限于传统的通过网线的方式连接互联网，越来越多的用户通过3g或wifi方式进行上网进行网络信息的浏览、交流、发布等等，终端用户可以随时随地访问互联网。正是由于移动终端用户的随意行（任何地点、任何时间都可以上网），给国家有关监管部门的监管工作带来的巨大的挑战。如何实现对重点人物通过移动终端设备连接3g蜂窝网络或wifi网络所发送的网络数据进行抓取、分析是解决互联网信息监管、维护社会和谐的又一个重要问题。二、 需求分析本软件的设计就是为了达到的对通过3g或wifi网络传输的网络数据的监管作用，对3g蜂窝网络上传输的数据进行捕获，然后从中得到所有的网络数据包，并对其进行分析操作。对3g蜂窝网络或wifi上传送的数据包进行有效的监听即捕获包是目前针对移动互联网环境监管的关键技术，只有进行安全高效的数据包捕获，移动互联网监管人员员才能对所3g蜂窝数据进行一系列的分析，从而实现对通过移动终端设备进行不法网络活动的人员进行监管和取证。根据对移动网络的监管的业务要求，3G终端蜂窝网络检测系统主要包括两部分内容，一是、终端设备3G蜂窝网、wifi网络数据包抓取工具。二是、抓取工具远程管理和数据分析服务程序。(一) 3G网络数据包抓取工具抓包工具能够运行在基于安卓、ios等操作系统的移动终端设备中，其主要实现对移动终端设备对外发送的网络数据包进行捕获。工具采用后台自动运行，自动对用户访问网络的数据包进行抓取并实时上传至远程服务器。其主要实现的功能有如下几点： 终端设备通过3G、wifi等方式所产生的数据包； 可以根据参数设置如：端口、抓取内容关键字等条件，只抓取所需要的数据包； 工具自动将所抓取到的数据包上传至数据分析服务器； 能够获取当前设备的基础信息如设备ID、电话号码、大概地理位置等信息，并和所抓获的数据包按照约定格式进行组包并发送； 能够远程接受管理端所发送的操作指令； 自动判断当前设备访问网络的方式，3G或者wifi； 一旦终端设备网络处于开启状态，抓取工具自动跟远程管理端进行手机抓包工具(二) 抓取工具远程管理和数据分析服务程序为了使抓取工具能够按照我们的工作需要为我们提供服务，我们需要的对抓取工具进行远程管理功能，通过管理端可以给分布在不同终端设备的抓取工具进行参数设置、发送指令等操作。同时，为了提高所抓取的数据的利用价值和对数据内容的快速筛选，系统应提供自动分析功能自动完成数据的分析、统计、报警等。具体功能包含如下几点： 能够显示当前抓包工具处于连接状态的设备ID、IP、MAC地址等信息； 可以针对前台抓包工具进行设置，包括是否抓取数据包、是否上传、抓取关键内容、抓取频率等； 能够显示所抓取的数据包信息，信息内容应包括数据包数量和每个数据包的捕捉时间，源地址和目的地地址，每个数据包的协议，以及数据包中的文本内容，工作人员可以识别感兴趣的数据包； 设置抓取过滤器：默认情况下，可以查看所有抓取回来的数据，但是随着监管对象的明确，我们就可以有针对性的对来自特定终端或端口协议的数据内容进行查看分析； 提供舆情预警功能，能够根据工作人员所关心热点事件、敏感词汇、重要人物等条件进行自动预警； 结合GIS地图，自动标注通过3g网络传播非法消息的不法分子的大致位置及行动轨迹，为对不法分子进行快速监控提供支持。数据包记录三、 性能要求 抓包工具能够支持主流的移动终端操作系统如安卓、ios等； 采用主动推送的方式实现抓取工具的自动安装、运行（推送方式可以是彩信、邮件、链接等方式）； 抓包工具采用后台运行的方式，要具有一定的隐蔽性； 抓包工具支持多种数据包格式； 抓包工具需具备开机自动运行的功能； 抓包工具管理端支持windows、linux等操作系统，支持oracle、mysql、sqlserver等数据库。四、 系统总体设计(一) 设计思想移动终端设备上网方式基本上都是通过2G/3G网络或WIFI网络，由于移动终端具有位置移动性强特点，上网时所连接运营商基站或无线路由器不固定，如果单从网络监听或检测无线路由的方式很难获取移动终端的全部上网数据。为了有效的解决此问题，本系统的设计思路是从移动设备根源做起。移动终端设备上网的所有上传数据和接收数据都要通过终端设备的上网模块进行数据的发送和接收，因此，利用网络监听工具对移动终端的上网模块如2G/3G模块、wifi模块进行实时监听、采集，便可以获取到用户的所有上网数据。获取用户数据最终目的是要对用户数据进行分析、取证，因此，如何将用户数据传送到监听者手中，是本项目需要解决另外一个问题。我们通过在监听工具中增加数据转发和模块过滤，可以将所获取用户的上网数据包通过3G或WIFI网络有选择的转发到监听者手中。开发设计有一个管理终端可以实时与监听工具进行通信，获取监听工具的工作状态、指导工具数据包采集内容、对所截获的数据包进行分析统计并对有问题信息进行报警提示。 另外，为了保证工具的正常工作和运行，工具采用后台自动运行方式，具有较强的隐藏性。(二) 设计原理1. 网络抓包原理及技术数据在传输时，一个网络接口只响应两种数据帧：与自己硬件地址相匹配的数据帧和发向所有机器的广播数据帧。在一个实际的系统中，数据的收发由网卡来完成。每个以太网卡拥有一个全球难一的以太网地址。以太网地址是一个48位的二进制数。在以太网卡中内建有一个数据报过滤器。该数据包过滤器的作用是保留以本身网卡的MAC地址为通讯目的的数据包和广播数据包，丢弃所有其它无关的数据包，以免除CPU对无关的数据包做无谓的处理。以太网卡将接收到的数据包中与本机有关部分向上传递。抓包工具则是通过编程技术获取和监听网卡中所传输的数据包内容。2. 网络报文解析网络上有各种各样的数据包，它们以不同的帧格式在网络上进行传输，但是在传输时它们都遵循相同的格式，即有相同的长度，如果一种协议的帧格式达不到这种长度，就让其补齐，以达到传输的要求。ARP报文结构IP数据报首部格式 TCP报文段固定首部格式(三) 总体架构系统架构整体包括三部分：1) 抓包工具：抓包工具是运行于移动终端上的监控程序，主要实现网络监听、数据抓取、数据转发、数据过滤、设备定位功能。2) 网络传输：借助移动终端所连接的网络通信设备实现所收集数据包的网络传输功能。3) 数据管理端：是负责完成对所收集数据包的存储、展示、分析、统计、报警提示和对监控工具的远程管理功能。(四) 工作流程系统工作流程如下：1) 用户在上网时与目标服务器进行正常数据交互；2) 系统监听工具一直处于对用户网络的监控状况，当用户有数据交互自动对数据包进行采集；3) 通过数据过滤器，将所采集的所有数据进行过滤区分，有选择性的进行先监控服务器进行转发；4) 监控服务器收到监控工具所发来的数据包后，进行拆包、存储、展示；5) 系统可以自动分析数据包内容，对于有问题的数据内容进行报警提示；6) 监控人员可以根据数据内容和分析结果，对所发送数据的移动终端用户进行相应处理。整个流程中不影响用户的上网操作，在用户完全没有感知的情况下完成数据的采集、分析工作。(五) 主要功能系统功能分为抓包工具和数据管理服务：系统功能图1. 抓包工具 监听功能：该功能模块主要是用来监听移动终端的数据包收发状态，一旦监听到上网设备有数据流量，立刻开启抓包工具。 抓包功能：这个模块的任务就是执行抓取数据包。将通过上网设备的所有数据包抓取下来，并缓存在本地内存中。这个模块不是随着程序的启动而运行，而是在程序需要它运行的时候，调用它时才运行。 筛选功能：对所采集的数据包根据预设的条件进行过滤，将符合要求的内容进行重组，如果不设置筛选条件可以保存所有的数据包。 数据发送：驱动上网设备，将所经过筛选后的数据包，发送到数据管理服务器。 定位功能：该功能主要是通过GPRS或GPS获取移动终端设备的地理位置，并将地理位置信息作为数据包内容的一部分发送到数据管理系统。2. 数据管理服务 监听管理：主要是对监听工具的状态进行查看和管理操作，可以查看当前所有处于连接的状态的抓包工具的监听状态是开启还是关闭，并通过该模块能够对抓包工具的监听状态进行开启/关闭操作。 数据接收：通过3G蜂窝网络或WIFI网络接收抓包工具所转发的用户数据包并请其存储在数据管理系统中。 数据筛选：对所收到的数据包根据预设的条件进行过滤，将符合要求的内容进行重组，如果不设置筛选条件可以保存所有的数据包。 拆包功能：该模块是将数据包拆解开来，按照数据包结构将所得的数据一一放到已经定义好的指定的数据结构体里面去，以便其它的模块可以调用数据。 数据展示: 当程序运行以后，就会有数据产生（就是数据包拆包模块执行后的得到的包含数据的结构体）。该模块的任务就是将结构体里面的数据一一显示到界面上下。因为结构体是固定的，所以该模块就只需要将数据一一对应即可，即放到表中的每一个对应的单元格中，以表的形式显示给用户。以序号12为例 长度为617源MAC地址54：89：98：3e：5：b6目的MAC地址38：59：f9：19：50：81源IP地址183.60.49.59目的IP地址111.6.136.144帧首部（14bytes）38 59 f9 19 50 81 54 89 98 3e 5a b6 08 00Ipv4数据包首部45 00 02 5b 00 00 40 00 29 11 6f 84 b7 3c 31 3b 6f 06 88 90 数据分析：该模块主要是对经过拆包后数据内容进行分析，采用基于语义的智能分析模型、基于统计和语义相结合的舆情倾向性分析、热词自动发现技术、基于语义的舆情热点检测技术、多维度关联分析等多种分析方法； 查询统计：可以对所收集的数据进行