数据脱敏_项庆虎 修改

数据脱敏,项庆虎xiangqh咨询电话:400-711-8011,1,前言,数据脱敏简介,敏感数据管理,数据脱敏工具,4,3,2,5,自己写脱敏工具,数据安全和业务安全,数据安全正变得越来越重要,数据安全主要围绕着战略级情报信息展开,在过去几十年中、信息安全主要围绕着业务安全保障进行，数据安全很重要，但并不是很迫切的安全任务,业务安全损失VS数据安全损失,Ddos攻击导致业务终止1小时,信用卡信息被盗取100万张,亡羊补牢无法阻止失窃的100万张信用卡持续产生危害,100万张信用卡信息永远不可挽回,大部分攻击的发生是不可发觉的或者延迟发觉的,只要学会亡羊补牢就可以止损,业务安全损失是可以计算的，可以被弥补的,攻击发生的时候大部分是可察觉的,安全威胁集中爆发,敏感数据保护整体解决方案,1,前言,数据脱敏简介,敏感数据管理,数据脱敏工具,4,3,2,5,自己写脱敏工具,什么是数据脱敏?,数据脱敏(DataMasking)，又称数据漂白、数据去隐私化或数据变形。指对某些敏感信息通过脱敏规则进行数据的变形。在涉及客户安全数据或者一些商业性敏感数据的情况下，在不违反系统规则条件下，对真实数据(如身份证号、手机号、卡号、客户号等个人信息)进行改造并提供测试使用，实现敏感隐私数据的可靠保护。这样，就可以在开发、测试和其它非生产环境以及外包环境中安全地使用脱敏后的真实数据集。,敏感数据,脱敏规则,使用环境,三个关键字,什么是数据脱敏?,敏感数据,敏感数据，又称隐私数据，常见的敏感数据有:姓名、身份证号码、地址、电话号码、银行账号、邮箱地址、所属城市、邮编、密码类(如账户查询密码、取款密码、登录密码等)、组织机构名称、营业执照号码、银行帐号、交易日期、交易金额等。随着大数据时代的到来,大数据商业价值的挖掘,用户的精准定位,大数据中蕴藏的巨大商业价值被逐步挖掘出来,但是同时也带来了巨大的挑战-个人隐私信息的保护。个人信息与个人行为(比如位置信息、消费行为、网络访问行为)等，这些都是人的隐私，也是我们所关注的一类敏感信息，在大数据价值挖掘的基础上如何保护人的隐私信息，也将是数据脱敏必须解决的难题。,敏感数据分类,客户个人隐私数据姓名、地址、电话、身份证号码、邮箱、邮编、所在城市、公司等。其他敏感业务数据组织机构名称、客户账号信息（银行账号等）、营业执照号码、税务登记证号、交易日期、识别码（交易号等）、密码类（如账户查询密码、取款密码等）、交易数据等。,脱敏规则,脱敏规则，一般的脱敏规则分类为可恢复与不可恢复两类。可恢复类，指脱敏后的数据可以通过一定的方式，可以恢复成原来的敏感数据，此类脱敏规则主要指各类加解密算法规则。不可恢复类，指脱敏后的数据被脱敏的部分使用任何方式都不能恢复出。一般可分为替换算法和生成算法两大类。替换算法即将需要脱敏的部分使用定义好的字符或字符串替换，生成类算法则更复杂一些，要求脱敏后的数据符合逻辑规则，即是“看起来很真实的假数据”。,使用环境,使用环境，主要指脱敏之后的数据在哪些环境中使用。普遍按照生产环境和非生产环境（开发、测试、外包、数据分析等）进行划分。非生产环境主要用于业务开发、新业务测试、内部培训、第三方数据分析、数据挖掘统计等，非生产环境对真实数据的依赖越来越高。从生产环境至非生产环境的数据脱敏，就至关重要了。,使用环境,在Gartner关于数据脱敏的报告中,根据数据脱敏产品应用场景的将数据脱敏划分为静态数据脱敏（staticdatamaskingSDM）和动态数据脱敏（dynamicdatamaskingDDM）。静态数据脱敏（SDM）与动态数据脱敏（DDM）主要的区别是：是否在使用敏感数据当时进行脱敏。,使用环境,静态数据脱敏（SDM）一般用在非生产环境，在敏感数据从生产环境脱敏完毕之后再在非生产环境使用，一般用于解决测试、开发库需要生产库的数据量与数据间的关联，以排查问题或进行数据分析等，但又不能将敏感数据存储于非生产环境的问题。动态数据脱敏（DDM）一般用在生产环境，在访问敏感数据当时进行脱敏，一般用来解决在生产环境需要根据不同情况对同一敏感数据读取时需要进行不同级别脱敏的问题。,数据脱敏系统,1,前言,数据脱敏简介,敏感数据管理,数据脱敏工具,4,3,2,5,自己写脱敏工具,敏感数据管理,全生命周期的敏感信息保护和管理通过完善和制定生产数据使用管理制度，明确生产数据中敏感信息数据字典规范和生产数据申请、提取、安全预处理、使用、清理销毁等环节的处理流程，根据生产数据中敏感信息数据的相关信息采购符合业务情况的脱敏工具，并明确在生产数据使用过程中所涉及部门的职责分工，提高生产数据使用管理规范化、制度化水平，防范生产数据泄露等安全隐患，完善信息科技风险管理体系。,敏感数据管理,1、定义敏感信息敏感数据分类和分级是成功实施数据保护的第一步，分类主要依据包括数据的用途、价值、保存时间、泄露破坏影响、法律法规对数据保护的要求、访问维护和修改数据人员等。在敏感信息内容梳理中要和业务部门、开发测试部门、安全管理部门协调工作，共同确定敏感信息范围，包括但不限于账号、卡号、磁道信息、户名、身份证号码、地址、电话号码等信息，同时还要明确数据使用部门、管理部门、监管部门、风险管理部门职责。,敏感数据管理,2、理清敏感信息开发测试使用各种场景分析生产数据使用流程和敏感数据使用的各种场景，场景主要分为三类:一类是在开发测试时不必使用敏感生产数据，例如开发部门单元测试。一类是开发测试时必须使用脱敏的敏感数据，例如业务系统集成测试。一类是开发测试时必须使用不脱敏的敏感数据，例如黄金系统、公积金系统的测试。,敏感数据管理,3、确定业务系统中敏感数据关联关系本阶段是落实脱敏工作比较关键的部分，在这个阶段要对脱敏数据的各种使用场景下的关联性进行分析，确认敏感数据脱敏后能保证系统开发测试的数据可用性，并明确敏感信息字段名称、字段类型、字段长度、赋值规范等内容。,敏感数据管理,4、数据脱敏本阶段制订不同类型数据脱敏变形方案，例如针对客户编号、金额、客户名称、证件号码等进行加密、变形或置换等，对于工作单位名称、营业执照、客户信息等其它敏感信息置换为无意义信息等。整个脱敏基本流程包括制作提取方案，相关操作人员进行数据提取工作，根据不同信息类型进行实际的数据脱敏工作，完成后进行数据的交接登记，并确保生产数据安全传输途径。,敏感数据管理,敏感数据管理总结：生产数据的保护，尤其是对其中敏感数据的保护既要在管理上制订完整的流程，明确敏感信息范围、各部门人员工作职责，以及脱敏工作流程，又要在技术上落实脱敏算法和脱敏工作的使用。对于安全的信心应该来自于我们在整个生命周期中对生产数据风险的识别、关注和准备。通过建设生产数据管理体系，加强敏感数据的安全管理，推进数据脱敏工具化、流程化，提高敏感数据防护水平，健全信息安全管理体系。,1,前言,数据脱敏简介,敏感数据管理,数据脱敏工具,4,3,2,5,自己写脱敏工具,数据脱敏工具,工具选择,OracleDataMasking,Informatica,美创脱敏工具,OracleDataMasking,安装OEM实施示例技术要点常用案例,安装OEM,第1步：删除原有的配置检查是否存在SYSMAN用户SQLselectusernamefromdba_userswhereusername=SYSMAN;USERNAME-SYSMAN删除命令$emca-deconfigdbcontroldb-reposdrop,安装OEM,安装OEM,第2步:创建仓库$emca-reposcreate第3步:配置dbcontrol$emca-configdbcontroldb2，3步也可以直接合在一起$emca-configdbcontroldb-reposcreate,安装OEM,安装OEM,第4步:通过浏览器访问地址https:/localhost:1158/em，确认配置是否成功命令检查OEM的状态$emctlstatusdbconsole命令启动OEM$emctlstartdbconsole命令停止OEM$emctlstopdbconsole,安装OEM,登录OEM：,安装OEM,数据掩码：,安装OEM,安装OEM,数据掩码定义:这部分主要是定义要做的掩码作业。,安装OEM,格式库:,OracleDataMasking,安装OEM实施示例技术要点常用案例,实施示例,hr_test用户下的4张表:employeesdepartmentsjob_historymanagers,实施示例,掩码作业前employees表的数据:,实施示例,掩码作业前departments表的数据:,实施示例,掩码作业前job_history表的数据:,实施示例,掩码作业前managers表的数据:,实施示例,创建掩码定义：,实施示例,添加从属列：,实施示例,设计掩码格式：,实施示例,设计掩码格式：,实施示例,生成脚本：,实施示例,生成脚本：,实施示例,调度作业：,实施示例,调度作业：,实施示例,掩码作业后employees表的数据:,实施示例,掩码作业后departments表的数据:,实施示例,掩码作业后job_history表的数据:,实施示例,掩码作业后managers表的数据:,OracleDataMasking,安装OEM实施示例技术要点常用案例,技术要点,以下是OEM里面掩码作业生成的脚本：,技术要点,第一步：创建掩码中间表,技术要点,第二步：删除关联departments表的constraint,技术要点,第三步：删除departments表自身的constraint,技术要点,第四步：删除departments表的索引,技术要点,第五步：将表departments重命名为departments$mask,技术要点,第六步：重建departments表，脱敏数据,技术要点,第七步：修改departments表为logging、noparallel,技术要点,第八步：删除表departments$mask,技术要点,第九步：为脱敏后的表departments创建索引,技术要点,第十步：为脱敏后的表departments添加constraint,技术要点,第十步：为脱敏后的表departments添加constraint,技术要点,第十步：为脱敏后的表departments添加constraint,技术要点,第十步：为脱敏后的表departments添加constraint,技术要点,步骤总结创建掩码中间表删除关联departments表的其他表的constraint删除departments表自身的constraint删除departments表的索引将表departments重命名为departments$mask重建departments表，并将需要脱敏列里的值替换成脱敏值修改departments表为logging、noparallel删除表departments$mask为脱敏后的表departments创建索引为脱敏后的表departments添加constraint,技术要点,相关技术细节参考文件：,OracleDataMasking,安装OEM实施示例技术要点常用案例,OracleDataMasking,常用案例:使用格式库创建掩码作业创建并使用自定义格式库按不同条件使用不用的掩码规则,使用格式库创建掩码作业,定义掩码格式：,使用格式库创建掩码作业,导入格式：,使用格式库创建掩码作业,导入格式：,使用格式库创建掩码作业,导入格式：,使用格式库创建掩码作业,生成脚本，并调度作业：,使用格式库创建掩码作业,核心代码查看：,使用格式库创建掩码作业,格式库中各个掩码格式和相关函数对照表：,详细函数细节，可以参考$ORACLE_HOME/sysman/admin/emdrep/sql/db/latest/masking,OracleDataMasking,常用案例:使用格式库创建掩码作业创建并使用自定义格式库按不同条件使用不用的掩码规则,创建自定义格式,创建一个新的格式库：,创建自定义格式,填写名称，并选择一个格式条目：,创建自定义格式,选择作为掩码的表和列：,创建自定义格式,点击确定，完成自定义格式的创建:,创建自定义格式,自定义的掩码格式已经在格式库的列表里面：,创建一个新的格式库：,创建自定义格式,编辑已有的数据掩码定义：,使用自定义格式,编辑格式：,使用自定义格式,使用自定义格式,导入格式：,使用自定义格式,选择刚才创建的自定义格式，MyFirstName：,使用自定义格式,这里可以看到数据的来源：hr_test.mask_data的first_name列：,核心代码查看：,使用自定义格式,OracleDataMasking,常用案例:使用格式库创建掩码作业创建并使用自定义格式库按不同条件使用不用的掩码规则,按不同条件使用不用的掩码规则,编辑数据掩码定义：,按不同条件使用不用的掩码规则,添加掩码列：,定义掩码格式：,按不同条件使用不用的掩码规则,按不同条件使用不用的掩码规则,添加条件：,按不同条件使用不用的掩码规则,添加条件：national_idin(selectnational_idfromhr_test.employeeswherecountry_id=UK),按不同条件使用不用的掩码规则,导入格式：NationalInsuranceNumberFormatted,按不同条件使用不用的掩码规则,导入格式：NationalInsuranceNumberFormatted,按不同条件使用不用的掩码规则,继续添加条件：national_idin(selectnational_idfromhr_test.employeeswherecountry_id=US),按不同条件使用不用的掩码规则,导入格式：SocialSecurityNumberFormatted,按不同条件使用不用的掩码规则,导入格式：SocialSecurityNumberFormatted,按不同条件使用不用的掩码规则,给默认条件添加格式:,核心代码查看：,按不同条件使用不用的掩码规则,1,前言,数据脱敏简介,敏感数据管理,数据脱敏工具,4,3,2,5,自己写脱敏工具,自己写脱敏工具,开发流程:明确关联关系定义脱敏规则写工具脚本,明确关联关系,hr_test用户下的4张表:employeesdepartmentsjob_historymanagers,自己写脱敏工具,开发流程:定义敏感数据定义脱敏规则写工具脚本,定义脱敏规则,随机利用函数随机生成一个数据，其值与原数据无关。表达式通过表达式，产生与原数据有一定相关性的数据。置换通过中间表、平面文件等对原数据置换。分段处理将数据分成多段进行处理。,脱敏规则详细说明-姓名、公司,脱敏概述脱敏成符合生成规则且与原数据不同的姓名或公司名，如果同一原数据多次出现，脱敏生成的新数据也保持唯一生成规则普通姓名：姓+名，例如：王立特殊姓名：名+姓（少数民族）例如：库尔班热合曼公司名称：公司名+公司，例如：华夏公司。规则描述建立字库原数据拆分成姓和名或公司名和公司，分别在字库中匹配，脱敏生成新数据，例如：王立-张华、司馬義阿不都熱依木-余幽堑鸣搏本池化茶、华夏公司-秦霞公司所有位数均脱敏，数字和特殊字符不脱敏，例如：王立3-张华3空或空格不脱敏，直接返回空或空格返回字段长度不大于脱敏字段长度,脱敏规则详细说明-证件号码,脱敏概述脱敏成符合真实证件号生成规则且与原数据不同的身份证或军官证，如果同一原数据多次出现，脱敏生成的新数据也保持唯一生成规则身份证号：1-2位省、自治区、直辖市代码，3-4位地级市、盟、自治州代码，5-6位县、县级市、区代码，7-14位出生年月日，比如19670401代表1967年4月1日，15-17位为顺序号，其中17位（倒数第二位）男为单数，女为双数，18位为校验码，0-9和X规则描述建立字库、全国区域代码库、数字库和字母库判断证件类型，军官证、身份证或其他军官证分别在汉字、数字和字母库中匹配组合生成唯一仿真且与原数据不同的新数据身份证分别在区域代码库、数字库中匹配将地区号码段、出生日期、顺序码分别脱敏，通过公式生成验证码，组合生成唯一仿真且与原数据不同的新数据,脱敏规则详细说明-手机号码,脱敏概述脱敏成符合真实电话号生成规则且与原数据不同的电话号码，如果同一原数据多次出现，脱敏生成的新数据也保持唯一生成规则*手机号码：前3位：网络识别号，第411位：用户号码，例如电话号码编码规则：国家代码