【毕业学位论文】（Word原稿）互联网域名抽查系统的设计及实现-软件工程

硕士学位论文 （专业学位） 互联网域名抽查系统的设计及实现 姓 名： 学 号： 所在院系：软件学院 职业类型：工程硕士 专业领域：软件工程 校内导师： 校外导师： 二 一三年十月 A in he of 2013 互联网域名抽查系统的设计及实现 同济大学 学位论文版权使用授权书 本人完全了解同济大学关于收集、保存、使用学 位论文的规定，同意如下各项内容：按照学校要求提交学位论文的印刷本和电子版本；学校有权保存学位论文的印刷本和电子版，并采用影印、缩印、扫描、数字化或其它手段保存论文；学校有权提供目录检索以及提供本学位论文全文或者部分的阅览服务；学校有权按有关规定向国家有关部门或者机构送交论文的复印件和电子版；在不以赢利为目的的前提下，学校可以适当复制论文的部分或全部内容用于学术活动。 学位论文作者签名： 年 月 日 同济大学学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师指导下，进行研究工作所取得的成果。除文中已经注明引用的内容外，本学位论文的研究成果不包含任何他人创作的、已公开发表或者没有公开发表的作品的内容。对本论文所涉及的研究工作做出贡献的其他个人和集体，均已在文中以明确方式标明。本学位论文原创性声明的法律责任由本人承担。 学位论文作者签名： 年 月 日 同济大学 硕士论文 摘要 I 摘要 在实际工作中，管理 理人员在巡查运营商 房工作过程中发现某些运营商没有按照自身实际域名备案情况来执行而是存在一些域名没有备案，这样网安人员就不清楚他们究竟有哪些域名在使用。因此管理好域名信息的确是一件繁重而重复的劳动，而且实际情况是他们花了很大力气但结果仍然收效甚微。 在此情况下我们积极配合、协助网安人员解决该棘手的难题。 在跟网安人员沟通、协商，深入获取客户需求，并经过反复的论证以后，研发了本系统 ，即互联网域名信息管理系统。 系统采用典型的三层架构设计，分为前台、数据库和后台三个部分。前台是数据比对和数据展示平台，跟用户提供领号的操作界面，注重用户体验。同时负责数据比对，找出报备的和未报备的域名和 据库是中间部分，负责存储从后台解析出来的域名和 台是解析平台，具有千兆的解析能力，抓取原始数据包以后负责解析数据，获取里面的原始域名和 后再向数据库存储。形成一个完整的工作流程。 从产品设计之初，我们就决定坚持从实际情况出发，做到操作简单，使用方便，结果准确，注重实战。将易用性和准确 性相结合，将具体功能与实际应用相结合，确保本系统能解决用户的实际问题。 使用该系统可以准确获取最原始的域名信息，可以有效鉴别跟运营商存在的未报备的域名和 对违法信息发现后及时处置并生成报表，既降低了网安人员的工作强度，又提高了工作效率，彻底解放了网安人员在域名管理方面的困扰。 实践证明，该系统的确是网安人员做域名信息管理的“好助手”。 关键词 ： 管，报备域名，解析 络监测 n DC is a to DC is no so do is a is a of In we to In in to of A is in is on P is P is is to of P; to a at we to be to on of of to of of of P. of of of of in is a II to P, 济大学 硕士论文 目录 录 第 1章 . 绪论 . 1 课题背景 . 1 国内外研究现状 . 1 本课题的目的意义 . 2 课题研究内容 . 2 本文的组织结构 . 3 第 2章 . 相关理论或技术 . 4 协议分析技术 . 4 据库 . 4 C+ 和面向对象思想 . 4 . 5 第 3章 . 系统的需求分析 . 6 功能性需求 . 6 管理平台需求 . 6 解析平台需求 . 8 整体功能结构 . 10 非功能性需求 . 10 系统用例图分析 . 11 第 4章 . 系统设计 . 15 整体架构设计 . 15 管理平台模块介绍 . 19 解析平台模块介绍 . 24 划分各类简介 . 24 子模块介绍 . 27 第 5章 . 数据库设计 . 36 数据表类 . 36 . 40 数据 (库 )关系图 . 41 触发器 . 43 据触发器 . 43 据触发器 . 45 第 6章 . 系统实现 . 47 系统关键技术 . 47 系统运行界面和代码 . 47 同济大学 硕士论文 目录 V 系统运行主页 . 47 状态信息 . 62 第 7章 . 系统测试 . 64 部署测试环境 . 64 硬件和软件环境 . 64 网络环境拓扑图 . 64 测试目的 . 65 测试执行情况 . 66 功能性测试 . 66 非功能性测试 . 71 测试结论 . 72 测试综述 . 72 测试情况统计 . 72 测试结论 . 73 第 8章 . 总结 . 74 总结 . 74 下一步工作 . 74 致谢 . 76 参考文献 . 77 个人简历、在读期间发表的学术论文与研究成果 . 79 第 1 章 绪论 1 第 1章 . 绪论 课题背景 近年来，随着信息化和网安工作的快速发展，互联网基础数据采集和互联网安全监管 等基础工作的重要性日益凸现。为进一步夯实网安部门基础工作，推进网安基础工作信息化建设，按照公安部党委“基础工作信息化，信息工作基础化”的总体要求，公安部第十一局正组织全国网安部门集中开展互联网基础数据采集和基础数据库建设工作。 为配合业务工作的开展，根据公安部十一局新颁布的互联网基础数据库数据格式规范对数据采集的要求，实现对各类基础数据的录入、维护，对网安业务基础信息进行汇总、查询和分析，向全国各级网安部门提供在线网安基础信息的综合查询服务，同时向其他警种业务部门提供相关基础数据共享，为处置网上安全 事件和突发事件、侦办网络违法犯罪案件提供信息支持。不过如何保证基础库信息被完全上报，如何保证准确上报，公安机关也不能时刻去检查，只能采用抽查的方式去做调研。 但是对公安人员来说，基础库（ 案信息的监督管理是非常困难的。就一线城市而言，每个城市向网安备案的域名信息达到几十万个，没有备案的域名信息更多，而且备案的域名信息又存在变更后没有再次备案的。如何保证运营商数据报备的准确？如何保证运营商将数据完全报备？可见管理机房备案信息是一件繁重而重复的劳动，网安人员根本没有足够多的精力来完成这项工作 ，而且实际情况是，他们花了很大力气但结果仍然收效甚微。 在此情况下，我们积极协助网安人员解决该棘手的问题，在跟网安人员沟通、协商、深入获取客户需求，并经过反复的论证以后，我们研发了本系统，即互联网服务商备案信息抽查系统，简称互联网域名抽查系统或抽查工具。 国内外研究现状 本系统的核心技术在网络内容监控方面，国内的网络内容监管是这一技术点同济大学 硕士论文 互联网域名抽查系统的设计及实现 2 的本土化延伸。 由于 网络内容监管 是在流量识别的基础上进行的，因此流量识别可以看作是系统中最为核心的部分，其识别技术的性能对于一个 内容 管理系统的评价指标优劣至关重要。 国外对 内容 管理 方面的研究同样开展较多，并且已经较成熟，并采用了先进的聚类分析、 度流检测）等手段来，结合传统的端口， 度包检测）等手段来对网络流量进行分类，分类准确度较高，并且自适应性较好 ，传统的方法是镜像数据 。 科等传统网络设备厂商根据此类技术推出了专门的行为管理解决方案。而国内研究机构也在流量分析领域取得了一些进展，比如基于连接模式的特征识别，同时也涌现出了一批网络 内容 管理厂商，根据自己的技术，结合国内的网络应用环境，定制开发了一系列的网络 内容监管 产品，其中目前占据市场份额比较大的前两位公 司分别为深信服公司和 启明星辰 。 本课题的目的意义 在日常工作中，我们经过多次客户调研，意识到客户对该方面要求较为强烈，繁忙的日常工作让他们整天疲于应对而仍然得不到彻底解决。公安人员问机房管理者是否已经将基础信息域名和 全报备，他们肯定说是，至于是否真的报备或者报备到什么程度，公安人员也是束手无策，无法验证。通过使用该系统能够可以解决此问题。一方面能够提高上报数据的质量，另一方面也能够避免漏报。有效地起到了监督规范的作用。同时也在很大程度上解放了公安人员的日常工作，使他们在浩如烟海的基础数据中操作起来游 刃有余。 课题研究内容 本课题主要研究基础数据信息上报的准确性，检查 谓 即 互联网数据中心 ，是指在互联网上提供的各项增值服务的机构。它包括：申请 域名 、租用 虚拟主机 空间、 主机托管 等业务的服务。 机位、机架、 、资源出租 (如 虚拟主机 业务、 数据存储 服务 )、系统维护 (系统配置、数据备份、故障排除服务 )、管理服务 (如带宽管理、流量分析、负载均衡、入侵检测、系统漏洞诊断 )，以及其他支撑、运行服务等。 第 1 章 绪论 3 拟主机和电子商务等。比如网站发布，单位通过托管 主机，从电信部门分配到互联网 静态 址 后，即可发布自己的 自己的产品或服务通过互联网广泛宣传；虚拟主机是单位通过托管主机，将自己主机的海量硬盘空间出租，为其他客户提供虚拟主机服务，使自己成为 子商务是指单位通过托管主机，建立自己的 电子商务系统 ，通过这个商业平台来为供应商、批发商、经销商和最终用户提供完善的服务。 根据公安部相关规定，任何 系统就是为了检查 本文的组织结构 本文后续各章的具体组织如下： 第二章介绍了系统用到的相关理论和技术。为后面系统开发和设计做铺垫。 第三章是系统的需求分析，按照需求规格说明书的模板，详细描述了本系统的业务需求。 第四章是系统的设计部分，详细介绍了系统的分层架构设计、模块划分和各个 子模块的功能和流程设计、数据库设计、开发技术和运行环境选择。 第五章介绍了数据库设计，给出了关键模块的数据表， ，触发器等。 第六章是系统的实现部分，分别按前台系统和后台管理系统两块，详细描述了主要类图和主要业务功能的实现流程。 第七章是系统的性能测试与调优。详细介绍了系统性能调优步骤，以及检验调优效果所使用的压力测试工具，同时给出了基于该压力测试工具的调优前后的测试结果。 最后，在第八章中，对本文的研究内容进行了总结，并对进一步研究工作做了展望。同济大学 硕士论文 互联网域名抽查系统的设计及实现 4 第 2章 . 相关理论或技术 本系统的设计和开发都采用了 目前主流的技术比如协议分析技术、面向对象思想、 论和 计模式。 下面我们分别介绍这几种将要使用到的技术理论： 协议分析技术 协议分析（ 一个程序或设备是解码网络协议头部和尾部来了解这个数据和在分组内部由一个协议压缩的信息的过程。为了管理协议分析，避免数据分组丢失，必须实时捕获数据分组并用于线路速度分析或随后分析。比如分析后解开数据包是 议，通过数据包重组技术获取整个数据流的实体内容，通过该技术解析，最终得到我们需要的域名信息和 息。 据 库 联数据库将数据保存在不同的表中，而不是将所有数据放在一个大仓库内，这样就增加了速度并提高了灵活性 。 于其体积小、速度快、总体拥有成本低的特点，一般中小型网站的开发都选择 可以搭配 组成良好的开发环境。 C+ 和面向对象思想 C+语言是一种优秀的面向对象程序设计语言，它在 C 语言的基础上发展而来，但它比 C 语言更容易为人们学习和掌握。 C+以其独特的语言机制在计 算机科学的各个领域中得到了广泛的应用。面向对象的设计思想是在原来结构化程序设计方法基础上的一个质的飞跃， C+完美地体现了面向对象的各种特性。面向对象程序设计有 4 个主要特点：抽象、封装、继承和多态性。 第 2 章 相关理论或技术 5 言及 术具有卓越的通用性、高效性、平台移植性和安全性，广泛应用于个人 据中心、游戏控制台、科学超级计算机、移动电话和互联网，同时拥有全球最大的开发者专业社群。在全球云计算和移动互联网的产业环境下， 计模式的优点 图 2模型 (视图 (控制器(缩写，一种软件设计典范，用于组织代码用一种业务逻辑和数据显示分离的方法，这个方法的假设前提是如果业务逻辑被聚集到一个部件里面，而且界面和用户围绕数据的交互能被改进和个性化定制而不需要重新编写业务逻辑 理和输出功能在一个逻辑的图形化用户界面的结构中。同济大学 硕士论文 互联网域名抽查系统的设计及实现 6 第 3章 . 系统的需求分析 通过市场人员收集用户的需求， 包括用户对本产品的需求，包括功能需求 (包含协议需求 )、性能需求、非功能需求。对各个需求方向的需求点进行了初步的描述，功能需求描述了系统的基本功能，这是一个系统的基础部分，是一个底层的平台，是其他需求的载体。性能需求描述了产品应该达到的性能标准，它反应了系统的工作效率。非功能需求描述了系统的健壮性，包括系统安全性、可靠性、可扩展性、可伸缩性等。下面我们分别通过可访问的 管理平台和底层采集平台来分别介绍。 功能性需求 管理平台需求 管理平台是向用户展示数据的一组用户界面。它从数据库里面读取数据，根据用户的需要，向 用户提供数据接口，用户可移植性插入、修改、删除、查询、导入、导出、分析等操作。 用户登录 需求 用户通过该页面输入控制面板的用户名、密码、验证码，身份认证后进入主机控制面板。本页面为用户登录主机控制面板页面，用户输入用户名、密码、验证码，点击登录按钮，进行验证后登录到控制面板。 密码修改需求 用户通过系统主页的“密码修改”功能项进入密码修改控制面板。本页面为用户进入修改密码控制面板页面，用户输入旧密码、新密码、重复新密码，点击提交按钮，进行验证后提示修改成功。 退出系统需求 用户通过系统主 页的“退出”功能注销当前用户的登录状态，释放相应的资源并回到系统登录首页。本功能没有多次交互的流程，用户直接点击“退出”按钮。 第 3 章 系统的需求分析 7 据采集需求 始采集后，提取用户端 过 础信息库的 把最终的报备情况保存在数据库中。 据采集需求 始采集后，提取 取服务器 名信息，通过和 把最终的报备情况保存在数据库中。 础信息库需求 照一定格式的模版进行导入到本系统的 询，删除功能。 础信息库需求 照一定格式的模版进行导入到本系统的 础信息库中。 询，删除功能。 统计报表需求 主页在结束采集后，用户点击生成报表，根据当前采集的数据类型生成不同的报表。 备详情中显示 址，报备情况。 对应关系错误； 名未报备；域名正确报备， 备详情中显示序号，顶级域名，域名， 备情况，其中顶级域名一样的需要单元格合并。 位”为统计条件，显示该“单位”的域名报备情况，报备情况分“域名报备”和“域名未报备”两种。 备需求 位”为统计条件，显示该“单位”的 备情况分“ “ 种。 同济大学 硕士论文 互联网域名抽查系统的设计及实现 8 状态查询需求 状态查询主要是为了完成对系统当前网卡接收包数、丢弃包数、丢弃比例、当前流量、平均流量，以及操作系统 存，硬盘使用率情况。 解析平台需求 并行接入需求 解析平台 式捕包时，只需要把镜像好的旁路数据接入过来，简单配置捕包的网卡就可以开始工作了。 千兆网络接入需求 采集平台工作正常的情况下，其采集和解码能力要达到 1000右，在此流量下正常解析能力应该在 95%，平均连续工作 7*24小时无异常退出。 接入方式 镜像数据可以通过电口方式输入，也可以通过光口方式输入，底层对光口和电口类型的数据抓包要一致 ,数据类型需要支持 种类型的互联网数据。 采集信息 系统同时支持 统的功能区域应该显示的把 示区分开来，避免混淆。 后台与管理平台处理分离 采集平台是指“后台”，管理平台是指“前台”。要求前后台各自独立，耦合性小。后台可以通过下发 标准格式的配置文件或数据库交互实现对前台的控制。比如前后台都需要单独的安装包，安装包做到一键安装或直接解压缩运行。前后台都需要自启动脚本和监控脚本，做到开机自启动。 管理平台对采集平台的控制 虽然前台与后台各自保持独立，但是后台对前台有一定的控制能力。管理平台，下发标准格式的配置文件控制后台，后台根据配置信息作为采集或者采集策略，对数据进行提取、过滤和输出。包括前台采集控制开关通过启动和停止后台解析程序的脚本实现；采集数据的类型（ 采集单位通过点击开始采集时更新数据库某个字段实现；后台程 序采集到数据时把记录输出到一个临时第 3 章 系统的需求分析 9 文件中，前台采集信息输出页面通过定期读取临时文件把最新的采集信息展示在页面中。 采集方式调度处理 不同的网络环境下采用不同的采集模式，比如在问题跟踪时采用文件模式，在实际工作环境下采用 集平台采用灵活的配置，要求只需要修改配置参数就能够运行不同的模式工作。 加密保存需求 鉴于数据的极其保密性，坚决避免任何环节的数据被非法获取，在数据还原以后关键数据需要加密保存到硬盘，就是说硬盘上保存的是密文。 数据加密需求 数据从后台回传到前台时，要求传输 的是密文。 硬盘 I/O 控制需求 硬盘使用超过一定阀值（由用户通过配置文件设定，默认值为 90）之后所有数据都不保存，检测主要是检测数据分区（由用户指定数据分区，默认值为/ 内存 I/O 控制需求 内存使用大小，要求可以在内存使用超过一个阀值（由用户通过配置文件设定）之后，内存不足程序退出，再自动重启，且在重启之前进行日志输出。 流量统计需求 为方便定位问题和跟踪程序运行过程，可以即时的观察采集平台的工作状态，比如：数据包数，丢包数， 接数， 接数，当前数据流量，最大数据流量。 日 志信息 为方便定位问题和跟踪程序运行过程，增加日志信息，分为错误日志和系统日志。错误日志是用来在运行过程中如果该关键代码处出现异常，比如创建线程失败，需要写入错误日志。有时候跟踪程序运行状态，内存使用超过设定值后台程序退出，写入系统日志。 同济大学 硕士论文 互联网域名抽查系统的设计及实现 10 整体功能结构 根据以上管理平台和采集平台两个部分的需求点描述，我们初步搭建了系统整体的功能模块图，见下图所示： 图 3能模块图 非功能性需求 表 3功能性需求表 非功能性需求项 要求 类型 需求项 性能需求 响应时间 简单查询 2秒；复杂查询 5秒 第 3 章 系统的需求分析 11 更新处理时间 单条更新 1秒；批量更新 5秒 数据传输时间 视数据量而定，可参照相应时间。 计算时间 一般性的计算 10 秒；复杂的条件计算 30 秒 连接建立时间 3秒 并发数支持 支持 1000 界面数支持 10 个以上 页面内存占用 不超过 150M 表单字段数 200 个以上 荷率 正常情况下服务器 25%（ 5分钟间隔），工作站 35%（ 5 分钟间隔）；事故情况下：服务器 40%（ 5分钟间隔），工作站 50%（ 5分钟间隔） 网络负荷率 正常情况下平均负荷 10%（任意 5 分钟内），事故情况下平均负荷 20%（任意 5分钟内） 稳定性需求 平均无故障时间 3104h 系统故障恢复时间 2h 系统用例图分析 本系统分为 备管理、 础数据库管理和状态管理四大模块。用例图关系如下： 同济大学 硕士论文 互联网域名抽查系统的设计及实现 12 图 3能管理用例图 用户在使用该系统以前，必须先导入对应的基础数据。基础库数据分为两种，分别是 图 3础库管理用例图 报备查询模块式系统主要模块之一，它包含总体报备查询、 名报备查询、 备查询、域名二次分析，共 5 个子模块。其中总体报备查询可以查询名查询可以查询所有捕获到的域名信息， 询可以查询该 应的若干个域名信息，域名二次分析可以在才、基础库比对结果的基第 3 章 系统的需求分析 13 础上再根据其他方式进行进一步的比对，进而提高数据结果的准确性。见下图： 图 3角色管理模块，可以实现对各角色和其对应的权限管理。比如 管理员权限可以实现对普通用户的添加、修改、删除等操作，也可以查询某用户的信息。 同济大学 硕士论文 互联网域名抽查系统的设计及实现 14 图 3色管理用例图 第 4 章 系统 设计 15 第 4章 . 系统设计 整体架构设计 本 系统总体由三部分组成，分别是采集平台部分、数据库部分和管理平台部分（见下图）。其中采集平台也成为解析平台，负责采集数据，解析数据，最后还原数据成明文，进而获取该数据里面的域名信息。数据库模块是将获取到的域名信息添加到数据库，同时将本地基础库信息导入到数据库，进而作结果比对。管理平台负责结果展示，比如获取到的 息、域名和 面分别描述 这三部分模块的具体设计。 采 集 平 台数 据 库 管 理 平 台图 4体结构图 管理平台 根据设计要求，管理平台需要划分为六大模块，首页查询、 备情况、备情况、 据信息、 据信息和状态信息模块。其中 备情况模块划分为 体报备情况、 据信息模块划分为基础库 息和 记两个子模块。 据信息模块划分为基础库 性结构展示如下图所示：同济大学 硕士论文 互联网域名抽查系统的设计及实现 16 I S P / I D C 机 房应 用 系 统 客 户 端互 联 网 服 务 商 备 案 信 息 抽 查 系 统数 据 采 集 基 础 信 息 库 统 计 报 表 状 态 查 询解 析 平 台 系统镜 像 网 络 数 据 流数 据 库 系 统I S P 采 集信 息I D C 采 集信 息I S P 基 础库 信 息I D C 基 础库 信 息系 统 配 置信 息数 据 分 析 、入 库缓存数据入库图 4理平台结构图 管理平台通过基础库 入互联网基础数据库 息，并根据解析系统解析的 域名信息与 息进行比对，将比对结果存入数据库中，通过 理平台总体流程图如下： 第 4 章 系统 设计 17 C T - 2 3 0 0 互 联 网 服 务 商 备 案 信 息 抽 查 系 统首页I D 报备情况I D 理平台功能结构图 下表是管理平台的主要模块信息： 表 4块信息表 模块名 程序文件名 运行平台 编程语言 数据库模块 权模块 务模块 持模块 面展示模块 济大学 硕士论文 互联网域名抽查系统的设计及实现 18 采集平台 采集平台共分为十二个模块，分别是主控模块、管理调度模块、文件采集模块、 层解码模块、链接管理模块，协议识别模块，应用层解码模块、业务处理模块，数据格式化输出模块、资源模块和统计模块。图 4集平台功能结构图 第 4 章 系统 设计 19 采集平台的主要模块如下表： 表 4集模块表 编号 模块名称 功能描述 1 主控模块 程序入口，控制采集平台的开始采集，结束采集等操作。 2 管理调度模块 通过解析输入配置脚本作为控制参数，确定平台数据输入的方式，是文件方式还是驱动方式。 3 文件采集模块 第一代解析平台支持解析 4 通过 后提交给协议解码模块。需要考虑 持百以太网络。 5 底层解码模块 对捕获到的数据包进行底层解码，解析出数据包的包头部分，即 6 链接管理模块 做链接维护，超时处理工作。 7 协议识别模块 识别过来的数据属于哪一种协议，目前仅关注 8 应用层解码模块 对捕获到的数据包进行应用层解码，解析出每个的 分。 9 业务处理模块 应用层解码完成 后，做输出前的预处理工作，根据用户设置的过滤条件，将符合条件的数据传递到输出模块，其他不符过滤条件的被丢弃。 11 资源模块 主要是内存管理、日志管理等。 12 统计模块 运行过程中实时统计数据，比如：当前流量值、最大流量值、据包数，丢包数等。 上面我们描述了系统整体结构，对系统有了一个概括地认识，接下来我们对系统个子模块做详细的描述。我们还是分成管理平台和解析平台两个模块来介绍。 管理平台模块介绍 用户登录子模块 同济大学 硕士论文 互联网域名抽查系统的设计及实现 20 用户通过该页面输入控制面板的用户名、密码、验证码， 身份认证后进入主机控制 面板。本页面为用户登录主机控制面板页面，用户输入用户名、密码、验证码，点击登录按钮，进行验证后登录到控制面板。其 业务流程图如下：页 面 初 始 化输 入 用 户 名 输 入 密 码是 否 为 空长 度 是 否 小于 6 位数 据 校 验是 否 通 过否 否登 录 系 统是是 是否图 4录流程图 密码修改子模块 用户通过系统主页的“密码修改”功能项进入密码修改控制面板。本页面为用户进入修改密码控制面板页面，用户输入旧密码、新密码、重复新密码。点击提交第 4 章 系统 设计 21 按钮，进行验证后提示修改成功。其 业务流程图如下： 系 统 主 页输 入