中国电信号百综合数据平台数据信息安全解决方案.doc

号百各平台数据信息安全解决方案2009-4-8翁清顺目录1.1 概述31.2 系统级安全与策略31.2.1 实施vpn策略41.2.2 高效配置防火墙41.3 网络层安全与策略41.3.1 严格设置防火墙：51.3.2 其他安全策略：51.4 数据信息安全与策略61.4.1 首先介绍下网络蜘蛛爬虫原理：71.4.2 正则表达式（正则表达式介绍，请见附件中）91.4.3 解决方案一：在系统根目录下配置robots.txt文件91.4.4 解决方案二：用户密码登录+图片验证码认证登陆系统91.4.5 解决方案三：采用动态不规则的html/wml模版和标签101.4.6 解决方案四：采取防盗链措施101.4.7 解决方案五：url重写，隐藏真实url地址131.4.8 解决方案六：通过图片验证码认证后，才能查看内容141.4.9 解决方案七：通过下发手机短信认证后，才能查看内容141.4.10 解决方案八：采用图片形式来呈现数据信息内容151.5 应用级安全与策略231.5.1 安全与策略231.5.2 采用第三方安全工具进行扫描24号百综合数据平台数据信息安全解决方案 中国电信集团号百信息服务有限公司1.1 概述随着计算机信息系统的广泛应用,带来极大方便的同时，也带来了诸多安全方面的问题，广泛应用的tcp/ip协议是在可信环境下为网络互联专门设计的，加上黑客的攻击及病毒的干扰，使得网络存在很多不安全因素。如：网络蜘蛛爬虫对企业重要机密信息的大量挖掘、sql入注漏洞、javascript脚本攻击、开发商人为制作黑夹子、tcp端口盗用、对域名系统和基础设施破坏、利用web破坏数据库、传输数据被窃听或篡改、连接盗用、邮件炸弹、病毒携带等。使得许多重要数据信息完全暴露在用户的面前，然而，在市场经济条件下，数据信息已经成为一种极其重要的“商品”，许多企业大量重要信息轻易被竞争对手获得，给企业带来巨大损失。（如：目前市场上有许多trs、bi、sp/cp等公司专业从事数据采集、分析出有价值的大量数据进行交易）。现大家越来越重视数据信息的安全性，为了防止数据泄露，采取了各种办法来保护数据。安全存在隐患大致可分为4大块：1、系统级安全；2、网络层安全；3、数据信息安全；4、应用级安全。1.2 系统级安全与策略信息平台应用服务器运行在unix或windows系统平台上。对于系统级安全的实现，通过科学合理的设置来充分利用unix和windows操作系统本身提供的安全机制，弥补操作系统的安全漏洞；从物理安全、登录安全、用户安全、文件系统、数据安全、各应用系统安全等方面制定强化安全的措施。linux/unix平台具有良好的稳定性和病毒免疫力，系统关键节点采用unix或linux操作系统。利用主机监控与保护来增强实际运行安全；操作系统的安全是整个防病毒的关键，每个操作系统都存在安全的漏洞，为了最大限度的防止操作系统的漏洞，就需要即使安装最新的操作系统的补丁，将漏洞的危险降到最低。另外操作系统的用户和密码也是操作系统容易出问题的部分，为了避免由于用户和密码的原因，需要尽量减少系统的用户，将不需要的用户和密码删除，并且密码长度要求8位以上，密码的组成为数字、字母、特殊字符的组合，避免密码被攻破。以下是一些采取的策略：1.2.1 实施vpn策略采用vpn方案，通过使用一台vpn服务器既能够实现与整个企业网络的连接，又可以保证保密数据的安全性。路由器虽然也能够实现网络之间的互联，但是并不能对流向敏感网络的数据进行限制。但是企业网络管理人员通过使用vpn服务器，指定只有符合特定身份要求的用户才能连接vpn服务器获得访问敏感信息的权利。此外，可以对所有vpn数据进行加密，从而确保数据的安全性，没有访问权利的用户无法看到部门的局域网络。1.2.2 高效配置防火墙防火墙是现今企业网中应用最多的安全产品。因此建议高效地利用防火墙的功能：启用防火墙的高级管理特性。默认状态下，用户拿到的防火墙产品只做了基本的安全配置，这需要进行更加完善的配置以利用其高级特性。实施网络防病毒系统。病毒对企业网的危害是有目共睹的，尤以今年为盛。据统计，全球每年遭受病毒的损失正成几何级数增长。因此建立一套完善的防病毒系统是企业信息网络建设的首要任务。一套完善的防病毒系统应由以下部件组成：文件服务器防病毒系统（file server protection）：用于文件服务器的防病毒组件；桌面防病毒系统（desktop protection）：用于工作站的防病毒组件；电子邮件防病毒系统（email protection）：用于电子邮件系统的防病毒组件；internet网关防病毒系统（internet gateway protection）：用于internet出口的防病毒组件；无线网络防病毒系统（wireless protection）：用于无线网络设备连接到防病毒组件；防病毒控制中心（management control center）：用于以上防病毒组件的代码、病毒库的自动或强制更新和管理的组件。以上组件缺一不可，方能构成一套完善的防病毒系统。1.3 网络层安全与策略网络的安全是保证系统安全的基本，主要内容包括内部安全管理、安全审计、病毒防范以及防止外部侵入等。现在很多病毒、木马、蠕虫都是通过网络来传播，因此网络的安全就额外重要。1.3.1 严格设置防火墙：解决网络层安全的总体思路是业务隔离，分层实施。网络完全的保证主要由双层防火墙来保证将内网和外网分离，平台将所有服务器放置在内网，在防火墙上仅可开放必要的端口，这样的结构能够很好的防止网络的攻击。在防火墙上不开放不必要的端口和协议，严格设置防火墙的访问策略以保证网络的安全。通过定制设备安全策略、部署防火墙和ips（入侵检测系统）、部署网管系统和日志系统、日常维护流程保证等措施来保障网络层的安全。确保网络系统的正常运行，包括网络设备、应用系统的正常运行、信息存储和传输的安全和可靠。 防火墙用于维护网络系统内局域网边界的安全，如果使用支持多网段划分的防火墙，可同时实现局域网内部各网段的隔离与相互的访问控制。采用的防火墙产品具有以下功能： 基于状态检测的分组过滤； 多级的立体访问控制机制； 面向对象的管理机制； 持多种连接方式，透明、路由； 支持ospf、ipx、netbeui、snmp等协议； 具有双向的地址转换能力； 透明应用代理功能； 次性口令认证机制； 带宽管理能力； 内置了一定的入侵检测功能或能够与入侵检测设备联动； 远程管理能力； 灵活的审计、日志功能。1.3.2 其他安全策略：（1） 通过冗余措施保证系统的可靠性，具体包括线路冗余、设备备份、负载均衡措施。（2） 在外部网与internet互连区采用符合安全标准的可靠的防火墙。（3） 在两个方面防范。一方面建立完整的网络防毒机制。另一方面建立严格完善的防毒管理规范。 （4） 确保必须的网络服务的安全和可靠性，如dns；对其它网络基本服务，限制使用范围，建立严格的使用管理规定，防止被黑客利用，绝对禁止匿名ftp服务，对需要使用又必须保证安全的场合，要经过身份认证、访问授权和审计记录机制的控制。 （5） 在两个层次保证应用系统的安全。一方面采用通用安全应用平台，为各种业务应用提供统一的安全机制；另一方面结合应用系统自身专有的安全机制。 （6） 在两个方面防护黑客攻击。一方面在internet互联区域及与内部广域网互连区域设置防火墙。另一方面采用防黑客攻击软件，实现安全漏洞的扫描，结合系统管理及时修补安全漏洞；提供网络实时入侵检测，在一定程度上实现对内部网与外部网用户的入侵阻隔；做好攻击的跟踪审计（7） 制定严格完善的安全管理制度及规范。一方面确保技术措施正常发挥作用，另一方面对技术措施进行补充1.4 数据信息安全与策略数据库的安全也是系统安全的重要的一环，数据库是整个系统的核心，数据的安全是数据库安全的根本。数据库的安全的保证需要及时的安装数据库的补丁，严格控制数据库的用户和密码，以及各个用户的权限。每天检查防火墙、操作系统、数据库的日志，及时发现问题，针对问题及时解决。要做数据库的备份解决方案：一种是基于lan环境的备份结构，在该备份架构下，数据流将经过局域网并通过备份服务器备往带库或者是磁盘；另外一种是基于san环境的备份结构，在该备份架构下，数据流将通过lan-free的备份方式直接备往带库或者是磁盘。针对系统情况，提出如下建议：1.磁带备份与恢复速度较慢，系统数据量较大，推荐采用磁盘或者虚拟带库进行备份数据存储，不建议采用磁带。2.在独享千兆交换机的情况下,通过网络进行备份,备份速度平均在40m/s,无法满足本系统的备份恢复要求,不建议采用lan方式进行备份。建议：备份通过lan free的方式来实现,避免与生产网络抢占网络资源。oracle在归档模式下运行，软件调用oracle rman进行在线的热备份.针对oracle的总数据量和增量数据量大小，可以利用oracle的备份机制，结合软件的备份数据追踪寻址能力和介质管理功能，制定灵活的备份策略，实现全自动的备份数据的全生命周期管理。全量备份期间，每天都做数据库归档日志、控制文件和catalog用户所有对象的备份，每周做两次全备份，保留前面一周期和当前周期的备份，每个周期有两份冗余。对于oracle系统的数据备份和恢复的性能，可以通过开辟多个oracle数据备份通道和多重数据迁移的技术得到保障。对于以上的备份文件文件，根据管理的要求设定其保存时间，当此类数据过期时， 软件将自动进行清理，无须管理人员参与。以上备份通过软件的定时机制自动完成。除以上从数据库方面考虑外，数据信息受到被窃取的威胁，造成商业机密泄漏，也是及其重要的安全问题。如网络蜘蛛爬虫对企业重要机密信息的大量挖掘。到目前为止，无论是国内还是国外，市场上现还没有能有效抵制的产品。以下我将着重从数据反扒角度提出一些可行性的有效解决方案。1.4.1 首先介绍下网络蜘蛛爬虫原理：网络爬虫是一个自动提取网页的程序，通过分析http的头包信息，并结合正则表达式来挖掘所需要的数据，它为搜索引擎从internet网上下载网页，是搜索引擎的重要组成。传统爬虫从一个或若干初始网页的url开始，获得初始网页上的url，在抓取网页的过程中，不断从当前页面上抽取新的url放入队列,直到满足系统的一定停止条件。聚焦爬虫的工作流程较为复杂，需要根据一定的网页分析算法过滤与主题无关的链接，保留有用的链接并将其放入等待抓取的url队列。然后，它将根据一定的搜索策略从队列中选择下一步要抓取的网页url，并重复上述过程，直到达到系统的某一条件时停止，另外，所有被爬虫抓取的网页将会被系统存贮，进行一定的分析、过滤，并建立索引，以便之后的查询和检索；对于聚焦爬虫来说，这一过程所得到的分析结果还可能对以后的抓取过程给出反馈和指导。 归纳下三个过程： (1) 对url的搜索策略： 网页的抓取策略可以分为深度优先、广度优先和最佳优先三种。目前常见的是广度优先和最佳优先方法。最佳优先方法，可以自定义所要采集的目标 (2) 对抓取目标的描述或定义；（定义html/wml标签、模板）(3) 对网页或数据的分析与过滤.（采用正则表达式）。网络蜘蛛爬虫，它具有： 1）网络爬虫高度可设置性。2）网络爬虫能解析抓到的网页里的链接3）网络爬虫有简单的存储设置4）网络爬虫拥有智能的根据网页更新分析功能5）网络爬虫的效率相当的高以下是http的头包部分分析:get （请求）get /styles/esales.css http/1.1accept: */*referer: http:/localhost:81/login.aspx?returnurl=%2fdefault.aspxuser-agent: mozilla/4.0 (compatible; msie 6.0; windows nt 5.2; sv1; .net clr 1.1.4322; .net clr 2.0.50727; .net clr 3.0.04506.648; .net clr 3.5.21022)post（请求）post /login.aspx?returnurl=%2fdefault.aspx http/1.1referer: http:/localhost:81/login.aspx?returnurl=%2fdefault.aspxuser-agent: mozilla/4.0 (compatible; msie 6.0; windows nt 5.2; sv1; .net clr 1.1.4322; .net clr 2.0.50727; .net clr 3.0.04506.648; .net clr 3.5.21022)host: localhost:81_viewstate=%2fwepdwukltgzotg3ntizowqyaquexha6o%3d&txtusername=wqs&txtpassword=wqs&_eventvalidation=%2fwewbalb%2blxudqkl1bkzcqk1qbsrcwkc3iegdi4i%2bi94gjor%2fjgt%2bal36hfd7z4v&btnlogin.x=37&btnlogin.y=14返回location: /default.aspxset-cookie: spoa.aspxauth=46d9b8ac2c252fdc5e95e502e0954e68a42;path=/;1.4.2 正则表达式（正则表达式介绍，请见附件中）1.4.3 解决方案一：在系统根目录下配置robots.txt文件几乎所有的搜索引擎类的网络蜘蛛都遵循robots.txt给出的爬行规则，协议规定最先进入某个网站平台的入口即是该网站平台的 robots.txt，为防止搜索引擎类爬行器（如：百度baiduspide网络蜘蛛爬虫器、google的googlebot网络蜘蛛爬虫器、雅虎yahoo! slurp 及yahoo! china slurp）等爬虫器对重要数据信息的爬取，要各数据平台在软件应用系统的根目录下存放个配置robots.txt文件，用于告诉网络蜘蛛,哪些内容不能被抓取。robots.txt文件名必须全部小写，内容为：禁止所有搜索引擎爬行器访问系统的任何部分 user-agent: * disallow: /或禁止所有搜索引擎访问网站的几个目录下（下例中的admin、manager目录）user-agent: *disallow: /admin/disallow: /manager/1.4.4 解决方案二：用户密码登录+图片验证码认证登陆系统所有需要用户账号登录、注册的平台，建议都要求+图片验证码认证，以防有人利用机器人自动批量注册、对特定的注册用户用特定程序暴力破解方式进行不断的登陆、灌水、用户和密码猜测破解。因为验证码是一组电脑随机生成的数字或符号，具有安全保护作用。1.4.5 解决方案三：采用动态不规则的html/wml模版和标签对要显示重要数据信息部分的html/wml模版，建议都采用动态不规则的动态、标签。如。因为采用动态不规则模版和标签，使爬行器事先制定的固定模版失效，采集到的数据为空。1.4.6 解决方案四：采取防盗链措施防盗链原理：http标准协议中有专门的字段记录referer ，一来可以追溯上一个入站地址是什么 ；二来对于资源文件，可以跟踪到包含显示他的网页地址是什么。 因此所有防盗链方法都是基于这个referer字段。网络蜘蛛爬虫器的特点都是事先定义好的url直接入侵的，而通过采取防盗链措施，只允许通过本平台层层链接，才能查看信息；通过读取请求，来判断该访问者的请求是否是来自本平台网站层层链接的，从而限制网络蜘蛛爬虫器的攻击。1、java环境下,利用apache 防盗链实现，主要有两种方法实现：1).利用rewrite 确认你的apache 能使用rewrite modrewriteengine onrewritecond %http_referer !http:/118114.cn/size/.*$ ncrewritecond %http_referer !http:/118114.cn$ ncrewritecond %http_referer !/.*$ ncrewritecond %http_referer !$ ncrewriterule .*.(gif|jpb|png|css|js|swf)$ r,nc其中有色的地方都是要改为你的：红色：就是改为你提供下载页面的地址，也就是只有通过这个地址才可以下载你所提供的东东。蓝色：就是要保护文件的扩展名(以|分开)，也就是说以这些为扩展名的文件只有通过红色的地址才可以访问。紫色：如果不是通过红色的地址访问蓝色这些为扩展名的文件时就回重定向到紫色地址上。2).利用setenvifnocase 和 accesssetenvifnocase referer “http:/118114.cn” local_ref=1setenvifnocase referer “” local_ref=1order allow,denyallow from env=local_ref红色为信任站点，蓝色为受保护的文件扩展名。2、.net环境下防盗链实现：利用request.servervariables(http_referer)下面我举个.net的例子：if (!page.ispostback) string onlyurl = ; string from = ; 来源 from = request.servervariableshttp_referer; onlyurl = request.servervariablesserver_name; response.write(只有: + onlyurl + 才能访问); response.write(你的ip是: + request.servervariablesremote_addr); response.write(request.servervariableshttp_url); 访问的文件路径); if (from = null) response.write(你是直接输入网址或采集者，我们拒绝你!); else int i = from.indexof(onlyurl, 0, from.length); if (i = 0) 返回 0 (没有找到 ; response.write(你的来源是: + from); response.write(我们拒绝你!); else if (i = 7) response.write(来源3: + from); response.write(你来源正常，请查看我们的信息：); response.write(); response.write( 新闻); else response.write(找到从第: + i + 个); response.write(你的来源是盗链：: + from); response.write(我们拒绝盗链!); 1.4.7 解决方案五：url重写，隐藏真实url地址通过采取url重写，隐藏真实url地址，给爬行器的采集制造难度。举例 /viewthread.jsp?id=1234 重写后，可以用 /viewthread/1234.htm访问使用tomcat+apache，尝试过三种重写的方法：一、tomcat的过滤器 最典型的就是用 urlreweite的类库。首先要在web.xml中声明一个filter urlrewritefilter org.tuckey.web.filters.urlrewrite.urlrewritefilter urlrewritefilter /* 然后在web-inf目录下新建urlrewrite.xml在其中进行重写规则的定义，它使用正则表达式来进行规则的定义。 /viewthread/(d+).htm$ /viewthread.jsp?id=$1 二、使用apache的mod # 去掉这个前面的#,启用它loadmodule rewrite_module modules/mod_rewrite.so# 其它的配置数据rewriteengine on# 下面三行实现动态解析rewriterule /viewthread/(d+).htm$ /viewthread.jsp?id=$1 l,pt第一种修改麻烦，但对于平稳运行的系统，是个不错的选择第二种需要配置apache,但 apache的重启速度很快，适合于有可能经常变得情况，而且apache mod的效率还是不错的1.4.8 解决方案六：通过图片验证码认证后，才能查看内容不用用户账号登陆系统，但要通过图片验证码认证后，才能查看内容。此方法增加了数据被采集的难度，可以防止大部分的网络爬虫采集器1.4.9 解决方案七：通过下发手机短信认证后，才能查看内容通过图片验证码认证后，才能查看重要信息内容。此方法增加了数据被采集的难度，可以防止绝大部分的网络爬虫采集器1.4.10 解决方案八：采用图片形式来呈现数据信息内容此方法用于对那些如：电话号码、地址等比较简短、但数据价值又比较敏感的信息内容。增加了数据被采集的难度，对绝大部分网络爬虫采集器可以起到有效的防止。以下举个以图片形式显示电话号码、地址的例子：1./加密类请见附件中“3des加密算法.rar”2.test.jsp文件a href=/hb/adminjsp/basicinfo/test3.jsp?imagetel=图片加密3.test3.jsp文件 电话： img border=0 src=/hb/adminjsp/basicinfo/telimage.jsp?imagetel= 地 址： 4./电话号码生成图片类255) fc=255; if(bc255) bc=255; int r=fc+random.nextint(bc-fc); int g=fc+random.nextint(bc-fc); int b=fc+random.nextint(bc-fc); return new color(r,g,b); color getbackcolor()/给定范围获得随机颜色return new color(206,231,255);%15)width = 190;else if(srand.length()13 & srand.length()=15)width = 170;elsewidth = 140;bufferedimage image = new bufferedimage(width, height, bufferedimage.type_int_rgb);/ 获取图形上下文graphics g = image.getgraphics();/生成随机类random random = new random();/ 设定背景色g.setcolor(getbackcolor();g.fillrect(0, 0, width, height);/设定字体g.setfont(new font(times new roman,font.plain,18);/画边框/g.setcolor(new color();/g.drawrect(0,0,width-1,height-1);/ 随机产生155条干扰线，使图象中的认证码不易被其它程序探测到g.setcolor(getrandcolor(160,200);for (int i=0;i155;i+) int x = random.nextint(width); int y = random.nextint(height); int xl = random.nextint(12); int yl = random.nextint(12); g.drawline(x,y,x+xl,y+yl);for (int i=0;i5./电话号码生成图片类package com.besttone.tool;import java.io.ioexception;import java.io.printwriter;import java.io.*;import java.awt.*;import java.awt.image.*;import javax.servlet.*;import javax.servlet.http.*;import com.sun.image.codec.jpeg.*;/* * author liao xue feng */public class createimageservlet extends httpservlet protected void doget(httpservletrequest request, httpservletresponse response) throws servletexception, ioexception response.setcontenttype(image/jpeg); createimage(response.getoutputstream(); private void createimage(outputstream out) string text =上海市四川北路61号14楼; int width = 300; int height =30 ;/text.length()/20*20 bufferedimage bi = new bufferedimage(width, height, bufferedimage.type_int_rgb); graphics2d g = bi.creategraphics(); / set background: g.setbackground(color.green); g.clearrect(0, 0, width, height); font mfont = new font(宋体,font.plain,20);/默认字体 g.setcolor(new color(integer.parseint(000000,16); g.setfont(mfont); int x=3; int y=3; int count = text.length(); int i = 0; string getone = null; while(count 0) getone = text.substring(i,i+1); if(i % 27 = 0) y = y + 20; x = 10; /g.drawstring(integer.tostring(i),x,y); g.drawstring(getone,x,y); x = x + 20; i+ ; count-; / end draw: g.dispose(); bi.flush(); / encode: jpegimageencoder encoder = jpegcodec.createjpegencoder(out); jpegencodeparam param = encoder.getdefaultjpegencodeparam(bi); param.setquality(1.0f, false); encoder.setjpegencodeparam(param); try encoder.encode(bi); catch(ioexception ioe) ioe.printstacktrace(); 6./在web.xml中加 createimage com.besttone.tool.createimageservlet debug true createimage /servlet/admincreateimage 1.5 应用级安全与策略1.5.1 安全与策略主要通过分权分域管理、加强操作系统自身安全、双机集群、用户数据加密存储、接口数据加密传输等方式。分权分域：对操作员实施分权分域管理，涉及操作员的角色（权限）设置、地区设置和可管理信息类别设置。操作系统自身安全：加强操作系统用户管理、关闭不常用的端口和服务、及时安装操作系统补丁。双机集群（f5负载均衡）：系统中的消息业务服务器采用双机群集技术，可以保证当任何一台主机出现故障的时候，另一台主机可以接替援用，将原来运行在该主机上的应用软件包接管过来，从而确保对用户的不间断服务。同时中心服务器上的硬盘都应支持热插拔，当出现故障时，可以在不断电、不停机的情况下替换这些部件。从而保证局部的故障不会影响整个系统的运行，同时也方便系统的维护。用户数据加密存储：任何系统维护人员都不能直接看到用户数据。而只能的得到系统的统计结果。同时对用户关键数据，如密码等采用不可逆的加密算法如md5进行加密存储。接口数据加密传输：在和其它外部系统接口交换数据过程中，接口数据采用base64编码，或也采用加密算法进行加密传输。1.5.2 采用第三方安全工具进行扫描目前市场上有较成熟的应用级安全监控产品，如：hp的webinspect、ibm的rational appscan、还有webravor等。以下介绍其中的一个产品:hp的webinspect。1）hp webinspect介绍hp webinspect是一款易用、可扩展、精确的web应用安全评估软件，能帮助专业安全人员和入门者查找与发现web应用和服务中存在的高风险安全漏洞。支持最复杂的环境大多数应用扫描程序面向原有的web技术，无法自动扫描使用ajax、soap、javascript和flash技术开发的新型web 2.0应用。而hp webinspect能对如今的web应用技术，包括使用双重身份鉴定及其它改进技术的内容丰富的网站进行分析。其架构支持hp webinspect查看整个应用，减少漏报（false negative）现象。快速分析应用与web服务通过有向导指导的直观界面，您可以指定要分析的应用或web服务。此外，您还可以选择评估类型以及评估web应用的安全策略。企业安全评估hp webinspect可以和hp assessment managemen platform软件集成，能对整个企业进行分散式评估。hp assessment management platform具有可扩展特性，能对用户权限、安全策略和远程扫描管理实施集中控制，可全面了解整个组织的应用安