[2010.05.27]数据资源平台项目补丁数据整理流程和规范-魏郧峰.doc

数据资源平台项目补丁数据整理流程和规范上海三零卫士信息安全有限公司版本1.0，2010-4-14本文档版权归上海三零卫士信息安全有限公司所有，未经上海三零卫士信息安全有限公司允许，本文档里的任何内容都不得被用来宣传和传播。未经上海三零卫士信息安全有限公司书面批准，文档或任何类似的资讯都不允许被发布。文档控制数据资源平台项目数据分析和建设（SCAP）提 交 方上海三零卫士信息安全有限公司提交日期2010-4-14版本信息日期版本撰写者审核者描述2010-04-141.0魏郧峰创建2010-05-081.1魏郧峰修订和细化所有权声明文档里的资料版权归上海三零卫士信息安全有限公司（“三零卫士”）所有。未经上海三零卫士信息安全有限公司事先书面允许，不得复制或散发任何部分的内容。任何团体或个人未经批准，擅自观看建议书将被认为获取了上海三零卫士信息安全有限公司的私有信息而遭受法律的制裁。目录1概述41.1基本属性41.2基本原则51.3数据采集分析51.4数据存储62整理规范62.1补丁整理流程62.2补丁信息整理62.3补丁下载63文档确认6数据资源平台项目补丁数据整理流程和规范说明：以下文中“CNITSEC”是指用户单位。1 概述1.1 基本属性补丁类业务数据基本属性：1.2 基本原则业务数据属性定义基本原则：1） 属性项有明确的来源；2） 业务数据要能够如实的反应业务对该数据的需要和定义；3） 属性项要符合标准规范（如果有参考标准）；4） 对于没有确定数据来源，或数据来源比较复杂，应该有增加相关业务流程保证数据的获取；5） 属性项要进行分类，至少应该包括基本（重要）属性项和可选属性项，基本（重要）属性项的标准主要包括能够描述该数据的基本属性，与业务相关的属性项，与应用相关的属性项等；补丁类业务数据采集基本原则：1） 要对补丁类业务数据进行分类，不同类型要提供相应处理规则和流程；2） 要对补丁类业务数据的重要性进行分析，重点保障重要补丁类数据，重要性标准应该参考相关厂商产品的知名度、应用范围和分布等，具体标准和范围由承建方和用户共同制定；补丁类业务数据分析基本原则：1） 要重点对基本（或重要）属性项进行分析研究；2） 要对重要属性项数据质量进行分析，并提供质量检查标准；3） 要对属性项数据的获取途径进行分析研究；1.3 数据采集分析补丁数据采集方法分析：1） 定制补丁采集爬虫，该方法主要针对较大和重要级别较高补丁来源，并且该来源需要较为稳定（包括流程、格式、内容等）。此类补丁下载最重要的工作是对补丁源的分析，分析工作包括：下载流程、下载内容（属性）和下载方法。注：该补丁源的分析确认工作由承建单位和用户共同确定；2） 手动补丁采集：对于还没有提供爬虫工具或无法自动抓取的重要补丁数据采用手动采集方式，考虑到该部分数据的抓取难度，要对范围、进度进行分析；1.4 数据存储补丁类业务数据存储采用Excel + 目录（CVE编号）补丁文件方式，或DB + 目录 （CVE编号）补丁文件方式。2 数据整理流程2.1 原始数据流程针对较大和常用软件，厂商针对软件使用中出现的问题一般会提供相应的安全公告和补丁包，可以通过分析相应网站的结构，定制一定的网络爬虫工具下载补丁包和收集补丁相关原始信息。其他危急级别较高的补丁包和补丁信息，可以通过手动下载。3 整理规范3.1 补丁整理流程图1 补丁数据整理流程该整理流程主要针对通过爬虫获取的补丁数据的整理流程，数据存储形式为： DB + 文件。如图1 补丁数据整理流程所示，整理工作包括：1） 整理工具为对数据库数据进行清洗、整理的工具，包括SQL语句工具；2） 整理平台可对数据项进行增、删、改、查基本操作，加工数据对象为数据库原始数据；（入库后对原始数据进行备份）3） 对数据属性项的整理检查内容参考相关规范（主要是本文档）；3.2 补丁信息整理3.2.1 补丁厂商厂商：该补丁提供厂商,命名规范参考CPE或厂商类数据。厂商主页：http:/3.2.2 补丁对象3.2.3 补丁编号手工编号与系统自动编号结合。3.2.4 补丁命名数据采集，采集不到的情况下使用补丁文件名称作为补丁名称。3.2.5 补丁描述数据获取方式采用数据采集，描述组成包括：1、 补丁针对漏洞的描述信息；2、 补丁自身描述信息（根据具体采集数据确定）；3.2.6 补丁日期数据获取方式采用数据采集。3.3 补丁下载补丁下载方式：1、 人工采集；2、 爬虫工具；4 补丁下载流程根据所给的漏洞表优先下载漏洞公告中显示为有补丁的漏洞的补丁，有补丁的漏洞中也要根据厂商以及补丁评分下载分先后顺序下载。目前主要下载1、 Microsoft、Adobe厂商的补丁。2、 有BID号的漏洞的补丁。3、 漏洞CVE评分为10-7分的漏洞的补丁。4.1 补丁链接查找（时间2/条漏洞）根据NVD页面的参考网址查找，具体链接如下：/view/vuln/detail?vulnId=CVE-2010-1290优先考虑顺序是：1、BUGTRAQ网站,具体显示形式如下：External Source: BID Name: 40146Hyperlink:/bid/40146 打开链接，通过solution页面查找补丁链接。可能出现三种情况：a、有补丁并且直接给出链接，直接下载，根据页面信息记录补丁名称等基本信息。b、有补丁但是没有直接链接，需要查看references页面查找补丁链接信息的，可以参考VUPEN或者其他来源的链接。2、VUPEN网站，具体具体显示形式如下：External Source: VUPEN Name: ADV-2010-1127Type: Advisory; Patch InformationHyperlink:/english/advisories/2010/1127 打开链接，通过页面的solution项查找补丁链接。具体具体显示形式如下：Affected ProductsAdobe Shockwave Player version 06 and prior (Windows and Macintosh)SolutionUpgrade to Adobe Shockwave Player version 09 :/shockwave/直接点击打开链接就能下载。3、厂商网站External Source: CONFIRM Name: /support/security/bulletins/apsb10-11.htmlType: Advisory; Patch InformationHyperlink:/support/security/bulletins/apsb10-11.html 参考网址中有些信息明显是厂商信息，逐层打开链接即可找到补丁。4.2 补丁下载（7分/个补丁）根据补丁链接地址，下载补丁包。需要注意补丁包的形式多种多样，不一定是压缩包，可能是文本或者HTML页面中的代码。该流程需要完成的内容：1、 补丁包的下载。2、 补丁包上一级页面的保存。3、 补丁清单的填写。(原则：大厂商的补丁信息尽量全面，对应难找的填写补丁名称、厂商、补丁文件名称即可)4.3 补丁下载流程参照表名称厂商BIDVUPEN其他时间（分钟/个）3157微软ABCDAdobeABCDBIDABC10-7ABC备注：优先考虑顺序是A-B-C-D；微软：microsof产品的漏洞、Adobe：Adobe产品的漏洞；BID：有BID号的漏洞、10-7：CVE评分为10-7分的漏洞。5 时间进度要求按漏洞进行统计：2009年漏洞30漏洞.补丁人.日6 厂商补丁下载6.1 Microsoft补丁包微软中国官方网站提供微软的软件和服务、技术支持、安全与更新等信息，包括正版Microsoft Windows、Office、IE的下载、试用与验证等。针对存在的安全问题，微软安全技术中心提供指向技术公告、建议、工具、说明性指南和社区资源的链接，帮助 IT 专业人员保持 Microsoft 服务器、桌面和应用程序处于最新和安全状态。微软中国官方网站/zh/cn/微软安全技术中心/zh-cn/security/default.aspx微软安全公告/china/technet/security/current.mspx6.2 Adobe补丁包Adobe 的中文网站,包括 Acrobat 系列、 Photoshop、 Flash、 Dreamweaver 等产品的介绍、新闻、技术支持等。针对存在的安全问题针对存在的安全问题，Adobe支持中心及时的提出安全建议。Adobe中文网站/Adobe支持中心/cn/support/Adobe安全建议/cn/support/security/安全建议的安全公告会提供相关补丁包的下载信息，并且有相应的CVE号可以和漏洞做一定关联。6.3 Apple补丁包Apple中国（Apple中文网站）, 发布Apple公司最新资讯,介绍最新产品,遍布全国的销售网点为您提供便捷服务。含热点新闻、硬件产品、软件产品、教育应用、专业领域、商用及个人客户、开发人员、维修中心.Apple技术支持中心对各类应用软件的下载，如果存在的安全问题，提供有关本更新的安全性内容的信息。Apple中文网站/Apple各类应用软件下载/zh_CN/downloads/Apple安全信息/kb/HT1222?viewlocale=zh_CN通过安全信息页面下载补丁的相关信息，通过Apple各类应用软件下载页面下载补丁包，通过相关新版本修复的安全问题中的安全信息获取补丁的详细信息。数据资源平台项目文档中国电子科技集团公司第三十研究所2上海三零卫士信息安全有限公司、北京三零盛安信息系统有限公司附件一：补丁数据属性分析条目名称条目含义条目维护产生方式取值范围缺失可否补丁编号补丁库中唯一的编号，格式：CNPD-YYYYMM-XXXX系统自动按规则编号NO漏洞编号该补丁对应的CNNVD网站漏洞编号系统自动可以为空目前通过CVE_ID与漏洞库建立关系CNNVD-YYYYMM-XXXYESCVE编号该补丁对应的CVE漏洞编号数据采集采集补丁页面信息目前补丁包尽量下载和CVE相关的内容YES编码信息补丁的编码信息即是可执行文件（二进制）、源码或者其他系统自动系统能否自动识别二进制、源码、其他NO补丁大小补丁包大小系统自动系统能否自动识别NO重要级别补丁的严重级别（严重、重要、可选、推荐）数据采集可以为空采集补丁页面信息严重、重要、可选、推荐YES补丁名称补丁名称数据采集可以为空采集补丁下载页面信息原则：中文优先NO发布时间补丁的发布日期数据采集采集补丁页面信息YYYY-MM-DDNO更新时间补丁的更新日期可以为空采集补丁页面信息YYYY-MM-DDYES最大安全影响该补丁相关漏洞可能导致的影响可以为空采集补丁页面信息原则：中文优先YES补丁简介关于补丁的相关介绍采集补丁页面信息，具体网站具体分析，可能需要多个条目的信息进行组合原则：中文优先NO厂商该补丁的发布者厂商名称采集补丁页面信息，根据补丁所对应的产品分析NO厂商主页该补丁的发布者厂商主页采集补丁页面信息，根据补丁所对应的产品分析NO修补对象名称该补丁具体修补的对象名称可以为空采集补丁页面信息，根据具体内容分析（可能需要人工处理）YES修补对象详情该补丁具体修补的具体对象，和修补对象名称一样可以为空采集补丁页面信息，具体网站具体分析YES修补对象类型所修补对象的分类（操作系统、应用软件、数据库、硬件）可以为空采集补丁页面信息（建议由一定的分类规则和标准）YES系统需求所运行的系统可以为空微软有，其他厂商的补丁具体分析YES英文参考网址补丁下载页面地址（如果是英文）可以为空采集补丁页面信息，具体网站具体分析原则：中文优先，和英文参考网址只选其一YES中文参考网址补丁下载页面地址