硅丰佳盾互联网内容过滤软件技术白皮书.doc

硅丰佳盾产品介绍硅丰佳盾互联网内容过滤软件技术白皮书简 介武汉市硅丰科技发展有限公司是专业从事网络安全和数据保障的软件企业，主要研发、生产、销售互联网内容过滤产品和数据安全产品。针对互联网上有害网络泛滥的现状，本公司自主研发了硅丰佳盾(GuardForce)互联网内容过滤系统，该系统集成了网络开关、内容识别和AGENT技术，运行在WINDOWS平台上，支持WIN98/Me/2000/XP等操作系统，可以过滤监控IE、NETSCAPE、MSN, ICQ, realplayer, quicktime等网络应用程序，系统自带的过滤库包含10大类55万个主要的不良网站，能有效地过滤网络中的黄、毒、邪等有害内容。系统还有“手动网址过滤”、“关键字过滤”、“端口控制”、“时间控制”、“日志管理”、“过滤库升级”、“分类过滤”等功能。管理员可根据需要配置过滤规则：手工控制，禁止或允许访问某网址；在URL主机、路径、参数部分过滤关键字；关闭应用程序通讯端口；设置上网时间计划并启用网络对时功能；审查上网日志记录调整过滤规则；企事业单位还可启用“分类过滤”功能，能在员工上班时间限制访问聊天、股票、娱乐、MP3等类型的网站，根据关键字限制游戏、聊天、视频播放应用程序执行，可节约大量网络资源费用，并提高工作效率。安装、使用简便，是适用于家庭、学校、政府、企事业单位等的网络内容过滤产品。质量标准2002年8月硅丰佳盾获得公安部颁发的“计算机信息系统安全专用产品销售许可证”，许可证编号：XKC30271。 主要功能l 系统过滤55万个不良网站； l 手动网址过滤； l URL关键字过滤； l 通讯端口控制； l 上网时间表计划控制； l 用户上网行为记录、追踪审计；l 根据关键字限制应用程序执行；l 过滤数据库升级；l 远程规则管理、配置、发布；l 远程计算机屏幕抓取；l 向远程计算机发送短消息；系统要求操作系统：Windows 9X/Me/Win2000/XP浏览器： Internet Explorer5.x/6.0, Netscape5.x/6.x, Opera处理器： Pentium 以上；内 存： 至少32MB硬盘空间：至少100MB空间上网方式：28.8k,33.6k,56k, ISDN, ADSL, 10/100 Ethernet“硅丰佳盾”的技术优新A.“硅丰佳盾”采用先进的分布式通过检查（pass-through）过滤技术，是精确的、可靠的、可扩展的互联网过滤技术，每台计算机发出的互联网访问请求将通过“硅丰佳盾”的检查点进行实时检查，判断其是否被允许或禁止访问。B.“硅丰佳盾”通过一个系统附带的过滤数据库（Master Database）对网络访问请求进行过滤，过滤数据库中包含超过55万个站点，分成10个大类，包括了：色情、在线电影, 赌博、暴力、毒品、黑客等类型的站点。管理者可以依据时间限制上网的时段；手动添加允许或禁止访问的站点；定义在URL中过滤的关键字；同时“硅丰佳盾”还具备端口管理功能，您可以限制计算机上各种联网游戏的运行（例如：网上扑克，网络围棋，QQ聊天等）。每天都有新的站点加入到我们的数据库之中，“硅丰佳盾”将自动（或手动）下载过滤数据库升级包，以确保您的网络内容过滤引擎和互联网的发展相一致。C.“硅丰佳盾”软件作用于WINDOWS网络层，不在运行任务列表之中，也不占用WINDOWS系统资源，其它非授权程序或操作员无法终止它的运行。D.“硅丰佳盾”可以对WINDOWS网络的流通实施内容控制，检查URL的关键字和主机地址、通讯时间、端口等。“硅丰佳盾”使用起来相当容易，应用程序（IE、Netscape、outlook）中无需设置就可以直接使用本系统。任何发生的IP数据流都通过经过“硅丰佳盾”代理中继（relay）、检查（check）、转发(forward)。E.“硅丰佳盾”可以根据应用程序标题栏关键字禁止运行EXE应用程序；例如：输入“Windows Media Player”可禁止媒体播放机程序运行。同理可以基于语义的内容识别算法“语义识别”是硅丰佳盾内容过滤系统的另一项关键性技术创新。HTML是一个结构化的文档，分析其结构可以获得许多关于网页内容和类别的描述信息。通过对大量网页的分析发现，以下几个特定位置中最有可能出现与图像相关的文本。要从HTML文档中提取有用的关键字，需要进行以下几个步骤的处理，首先通过HTML标志符过滤器，去除文本中夹杂的HTML标签，如CENTER，FONT等，此后得到的是句子和短语的集合，我们再运用词典技术将集合切割成独立的单词，但这些词还不足以构成描述，因为许多单词并无确切的含义，再通过小词过滤器（small word filter）过滤掉助词、介词、连接词等无意义词，至此文本已抽象成为关键字的集合，再以每个关键字为分量构造一个高维向量，其中每个分量的长度是用“TF*IDF”算法得到该关键字的权值。计算机对特定内容的识别率需要达到一定的准确度，需要具备分类的基础知识库，将知识库的语义数学模型与网站内容的语义数学模型相比较，研判二者的相似度，给出分类及分级指数。基础知识库的知识覆盖面和语义数学模型决定了机器内容识别的准确度。我们采用一系列的方法搜集：通过门户网站搜索引擎，利用专用软件检索、识别、分类，将已被门户分类的成人、色情、恐怖、邪教等不良网址复制到数据库中；我们还采用了软件机器 人在网络中爬行访问，采用QBE（Query By Example）和LSA（Latent Semantic Algorithm）查询含有特定内容的网址，分析语义，判断网址的分数。该计算程序使用分布式并行计算结构，运行时耗用大量计算和网络资源，通常只在夜间或下班时间运行。运行的结果增量经过人工核查后发布到升级数据库中。还有一部分数据来源于人工检索，用户的反馈信息等；在运行期同时结合关键字过滤，可以达到比较高的不良网址覆盖率。过滤数据库采用加密数据格式，无阅读意义，因此，您不必担心数据库泄漏造成不良的影响。与其他过滤软件的比较答：目前一些使用其他技术（如HOOK钩子函数）的过滤软件都属于EXE执行程序类型，往往只对一种宿主程序有效，（他们通常只对IE有效，只能钩出IE的内容，换了浏览器就无能为力了。其他几种国外产品也属于这种情况，有的产品甚至强迫上网者只能使用IE，使用其他程序上网会被关闭.），且需要常驻内存才行，效率不高，这样就要占用CPU时间且有被终止运行的可能；如果是应用程序，就需要某种启动方式，就会留下痕迹，容易被找出破绽；有些系统仅仅使用关键字过滤，加之数据库记录有限，以致准确率不高，误杀的情形频频出现，如遇到其他文字编码（如：日文、德文、西班牙文）时就无从判断了。总而言之，硅丰佳盾没有这些弱点，不在其列。硅丰佳盾与IE自带的网址分级安全区域设置的区别？微软浏览器Internet Explorer自带的安全设置功能属于IE自身的选项，无法被监察或约束其他浏览器、聊天程序的上网活动。另外，IE使用的分级算法是第三方ICSA提供的，处理效果不甚理想，启用时该选项时，几乎每开一个网页都要输入一次密码，再者，ICSA分级算法支持的语言种类有限，遇到其他无法识别的文字编码也会要求使用者输入密码，给使用者造成极大的不便。硅丰佳盾作用于操作系统内核，可以过滤处理包括IE、NETSCAPE、OFFICE在内的各种不同类型的网络应用程序的联网请求，过滤的标准采用“数据库关键字自定义”，是精确的，可扩展的，跨平台的，高效率的通用网络过滤系统。技术可靠性（1）技术鉴定情况“硅丰佳盾”已通过“公安部计算机信息系统安全产品质量监督检验中心”的检测，该机构得出以下检测结论：“由武汉硅丰科技发展有限公司送检的硅丰佳盾互联网内容过滤系统V1.0，经本中心检验，所测项目符合产品说明书所述的有关功能。”（2）技术检验情况公安部检验报告中写到：“由武汉硅丰科技发展有限公司送检的硅丰佳盾互联网内容过滤系统v1.0，是具有IP地址和域名过滤的信息过滤产品，该产品在URL范围内还具有关键字过滤的功能。”过滤数据库硅丰佳盾在技术上实现上采用了分布式技术，在人机交互的边界上作用，可以解决“二级代理”、“URL重定向”、“IP地址伪装”等规避手段。本产品的过滤数据库较为全面，覆盖了决大多数日本、美国、欧洲、台湾、香港以及国内的不健康网站，已达10大类（见第20页“分类过滤”）55万个，准确率在95%以上。因而可有效地过滤不良网络，大大降低了管理工作量，且工作性能大大优于国内其他产品，用户基本感觉不到过滤时间延迟（小于30毫秒）。佳盾标准版功能手动网址过滤佳盾附带一个55万条不良网址的数据库，该数据库是硅丰科技公司自行开发的网络机器人在网络中运行、搜索的结果,准确率达95%。其中包含色情、暴力、极端主义、恐怖内容等10大类含有不良内容的域名或IP，佳盾将阻止访问这些网址或IP地址的请求。由于使用了先进的网址拦截技术对用户的网络使用进行实时监控，在不影响用户正常的网络访问的同时，能够屏蔽绝大多数对不良网站的访问，管理者同时根据自己的需要手动“禁止”或“开放”某网站的访问权限。佳盾提供“允许访问”和“禁止访问”的两个列表，用户以手动方式操作，添加需要屏蔽的网址或开放某些被系统屏蔽的网址。关键字过滤 硅丰佳盾可以屏蔽包含特殊关键字的网址，可以在过滤关键字，例如： 规则中定义在域名部分过滤关键字“nasty”，则网址/将被禁止访问； 规则中定义在网页路径部分过该滤关键，则网址/nasty/将被禁止访问； 规则中定义在网页参数部分过滤“porn”关键字，那么网址/bin/search?p=porn将被禁止访问，也就是说禁止利用搜索引擎查找与关键字有关的内容。如果域名、路径、参数三个选项都被选中，则URL字串的所有部分都将被扫描。过滤将更为严苛。 端口管理 各种网络程序，都是通过端口实现通讯，例如WWW浏览器使用的是80号端口，电子邮件程序使用的是25和110端口，网络扑克和下棋程序通常使用1080端口，QQ聊天使用8000端口,网络游戏有各自的专用端口。为了规范用户的上网行为，有必要对用户使用的上网服务进行限制。例如在某些场合关闭聊天、网络棋牌等通讯端口，禁止相应网络应用的通讯流。计划时间表计划时间表按照一个星期作为计划周期的单位，每周七天，每天上午、下午各12个小时，每小时用一个单元格来表示，单元格有两种状态：黄色表示“允许上网”，红色表示“禁止上网”，用鼠标点击单元格可更改其状态。点击【清除】按纽将清除所有设置，恢复到全部开放的状态。 本系统支持网络对时功能，上网者将不能随意更改系统时间绕过时间控制。日志管理硅丰佳盾将自动记录下上网浏览的记录，以便管理者对互联网的使用状况有详细的了解，记录项分为三个字段：网站地址，日期时间，状态；列表框缺省按时间的先后排序。 “禁止访问”和“允许访问” ：将选中的网址加入到“手动网址过滤”中相应的规则表中去。通过这项功能，管理者可以根据自己的需要动态的调节用户的上网行为，实时控制用户访问的网站在自己的管理范围之内，这也不失为主库功能的一种延伸。“导出日志” ：将用户访问的日志记录导出到文本文件中，以便管理者日后查阅。系统选项 在“系统选项”中，管理者可以进行与硅丰佳盾系统相关的设置。“卸载系统”：从操作系统中完全删除硅丰佳盾系统； “系统升级”：升级网络数据库；“提示信息”：您可以设置是否提示过滤信息； “修改密码”：修改进入硅丰佳盾控制台的密码； “功能控制”：启用或停止相关的功能模块。操作方法是从控制项的下拉列表中选中相应的功能选项，或者在右边的状态列表中选中需进行操作的功能模块，控制项下方的“启用”、“停止”按钮会根据所选种功能模块当前的状态激活或被禁用。远程控制 通过硅丰佳盾网络控制台，可以从一台PC工作站上管理局域网内安装本过滤系统的终端机，您可以预先定义过滤规则集和工作组，并将规则应用到组或计算机上，实现集中管理、控制。分类过滤 企事业单位还可启用“分类过滤”功能，能在员工上班时间限制访问聊天、股票、娱乐、MP3等类型的网站，可节约大量网络资源费用，并提高工作效率。佳盾网络版功能 网络版在标准版的基础上增加了网络控制功能,如:远程控制，远程监视，分组管理，网络消息传递等功能。使得网络管理员在一台管理计算机上监控局域网内所有计算机的上网，程序活动等。查看网络版管理控制系统界面 标准版所具有的所有过滤、控制功能包括：系统网址过滤，关键字过滤，端口控制，时间控制，日志，数据库升级等 远程控制，规则发布功能集中管理局域网内的终端计算机，统一编辑规则，按工作组划分终端计算机，并将过滤规则部署到局域网内的终端计算机，在学校和网吧等使用硬盘保护卡的地方，可以采用规则定时发布的方式更新规则。通过硅丰佳盾网络控制台，可以从一台PC工作站上管理局域网内安装本过滤系统的终端机，您可以预先定义过滤规则集和工作组，并将规则应用到组或计算机上，实现集中管理、控制。 远程计算机屏幕监看功能在佳盾网络管理系统计算机上截获终