经营分析系统隐私数据保护项目.doc

中国移动业务服务创新奖励申报书项目名称：经营分析系统隐私数据保护项目申报单位：黑龙江公司/集团公司业务支撑系统部中国移动通信集团公司2011年11月7日一、项目基本情况项目名称中文经营分析系统隐私数据保护项目英文protection of business analysis support system private data主要完成单位中国移动通信集团黑龙江有限公司业务支撑中心中国移动通信集团业务支撑管理部主 题 词隐私数据 去隐私化、映射 数据封装、置换任务来源a.中国移动通信集团公司计划 项目起止时间 起始： 2010年 10月 1 日 完成： 2011年5月31日二、项目简介(不超过800个汉字)随着电信运营商的客户隐私信息泄露而引起不良社会影响的事件的频繁发生，如何进行客户隐私数据的保护越来越重要，经分系统不但从上游数据源系统中获取了明细的客户基本信息，还将它们进行深入分析和挖掘，得到了更为丰富的客户行为特征信息,这些与客户相关的行为特征包含了大量的客户隐私数据和敏感数据，一旦出现泄漏的情况，对我们移动公司的影响非常大,我省经分系统已经对部分客户隐私数据进行了简单保护，但存在以下几方面的问题：1、客户隐私数据的查全率有待提高；2、未形成客户隐私数据的完整保护体系；3、部分数据的保护存在不可逆行为； 针对经营分析系统数据存在的问题，本项目的研究思路是按照隐私数据的识别、处理、还原这个闭环流程来展开，并建立数据加密策略和版本管理模块，主要包括以下内容：1、建立隐私数据识别模块：根据隐私数据的表现形式，将隐私数据分为显式标识符、准标识符和敏感属性三类；建立隐私数据知识库，采用人工和自动识别的模式对隐私数据进行管理；2、建立去隐私数据管理模块：去隐私化处理模块是客户隐私数据保护模块的核心，负责封装和管理去隐私化处理的方法。提供给获取层的数据转换过程（etl的转换阶段）调用，对原始数据进行去隐私化处理。加密后入库。保证去隐私化处理的准确性和高效性。3、建立隐私数据还原模块：将“还原处理模块”与数据封装层进行整合，隐私数据在经过数据封装层时，对其进行还原，明文展示于前台。调用还原隐私引擎，将数据以明文方式由封装层传给内部应用、外部系统等模块。因此此处加扰加密算法都是可逆的。4、建立策略/版本管理模块策略/版本管理子模块主要是为去隐私处理模块和隐私还原处理模块提供处理策略配置和版本管理，处理过程中所用到的位置变换算法、映射转换关系、密钥都在本模块统一管理和保存项目自上线以来，虽然增加了大量的数据处理运算，但是由于采用了高效的算法和基于内存的etl数据处理，未对系统的处理性能造成影响；且利用数据隐私数据保护项目，提升了数据的安全级别，防患于未然，大大提升了经分数据的安全管控力度。项目直接产出专利一项，还有一项正在申请。三、项目详细内容1、 立项背景（不超过800个汉字）作为全国31个省级经分系统之一，黑龙江经营分析系统自系统建设至今，主数据仓库中已经纳入120tb的海量信息数据。其中绝大部分的数据中存在客户隐私信息。隐私数据主要是来自上游boss、crm、客服系统、网管等系统，主要包括客户的基本资料、以及包括用户服务号码、对端通话号码及位置信息的用户使用清单；同时经营分析系统通过各种数据统计分析技术，对海量数据进行数据挖掘和知识发现，也衍生出一些客户的隐私数据。例如：客户职业、数据业务爱好的信息。目前，黑龙江分公司经分系统对部分隐私数据进行了保密处理。主数据仓库的详单数据主要是通过使用权限进行控制。个人用户来说，只能通过视图方式访问详单信息，视图中对号码的后四位是进行加密处理。现有的隐私保护方案起到了一定的保护作用，但存在以下几方面的问题：1、数据保护安全级别不高，并且存在数据不可逆的问题。2、大部分隐私数据以明文存放，4a平台可以控制用户访问，但不能控制有权限用户恶意访问。经分数据存在以下几个方面的特点：1、所有的数据处理都不需要识别具体的客户，超过80%的分析应用集中在大趋势和群体客户行为，只有20%的分析应用需要对应具体的客户来采取营销或服务行动。所以可以在经分后台“去隐私化”，对20%的应用通过具体模块来还原隐私信息。2、客户的隐私数据分类特征明显，可以针对不同级别的隐私数据采取不同的加密策略通过对隐私数据泄露途径进行分析，数据泄露主要途径是后台操作人员非法提取数据，因此，可以通过“去隐私”技术手段，在数据底层构建一条防线，使得非法入侵者即使获取了权限也无法理解数据详细技术内容（不超过1000个汉字）经营分析系统客户隐私数据保护按照隐私数据的识别、处理、还原这个闭环流程来展开。客户隐私数据保护各模块属于数据及运维管理域，隐私数据保护处理模块细分为多个子处理模块，包括：隐私策略管理、去隐私化管理模块、还原管理模块等。客户隐私数据保护技术体系最核心的、最关键的处理都集中在去隐私化中。在获取层的转换模块中，数据转换处理（etl模块中的t模块）需要进行改造增加去隐私化处理引擎，引擎需要调用客户隐私数据保护模块所封装的算法和规则。在数据层的数据封装模块中，同样需要进行改造，支持对去隐私化的数据进行还原处理。隐私数据保护管理相关的模块在经营分析系统中的布位置如下图：图1. 客户隐私数据保护体统架构图如上图结构所示：采用“客户隐私数据保护模块”对经分系统的敏感数据去隐私化，隐私数据还原，隐私策略等进行统一管控。1、 隐私数据从crm、boss等外围系统经过etl工具加载进数据仓库dw时，启动etl“去隐私化处理引擎”，调用去隐私方法，对需要去隐私化的数据进行加扰或者加密处理，然后入库。2、 应用访问层、外网系统需要获取数据仓库里的隐私数据时，通过“还原引擎”模块启动“隐私还原管理”将加密数据或者加扰数据进行还原之后返给请求方。3、 “隐私策略管理”模块，对数据加密的策略进行管理，通过对密钥版本的控制从而变更隐私数据的加密策略，提升数据安全性。客户隐私保护模块技术体系具备如下能力： 1、无损处理：去隐私化处理是无损的、可逆的，也就是说能还原隐私信息原文；无损的隐私保护技术使用加密保护技术以及基于可逆置换的加扰技术。2、降低对现有系统影响：经营分析系统是稳定运行的系统，隐私数据保护模块建设保证对原有应用程序无影响；例如：为了避免影响数据库设计，采用“格式保留加密”的算法，保持密文和原文保持同样的属性和字段长度；为了不影响现有系统的数据处理和访问中的关联(join)操作，转换保持一对一的转换关系。3、算法简单、处理高效：经营分析系统中的数据规模非常庞大，系统资源更多的需要提供给etl统计分析等资源消耗大的数据操作，去隐私化处理技术做到了简单、高效，不占用系统太多资源。如：去隐私化处理放在etl过程中不影响数据仓库处理性能；大规模数据处理采用了效率较高的可逆置换技术。4、 实现版本管理：即使是再严密的管控和再强大的处理技术，在使用时间越长其泄密的风险也会越高。为此，客户隐私数据保护处理采用的策略、密钥等信息都有版本管理，实现了版本的定期更新。2、 主要技术创新点（不超过800个汉字）1、通过加密算法和映射转换的方式实现“格式保留加密”，支持sql关联操作快速处理；本项目的难点是解决效率的问题，通过一种格式保留的加密算法，支持通过sql进行快速处理，去隐私化处理后的字段还可以作为sql的关联条件继续生效，不影响现有的程序逻辑，且去隐私化处理后的数据能够还原。2、通过数据封装技术实现隐私数据的还原操作，并记录明细访问信息； 利用数据封装技术调用去隐私化服务进行隐私数据还原，增强项目的标准化程度和可移植性。3、通过版本管理的策略进一步增强加密和映射两种去隐私化方法的保密性；策略/版本管理子模块主要是为去隐私处理模块和隐私还原处理模块提供处理策略配置和版本管理，处理过程中所用到的映射转换关系、密钥都在本模块统一管理和保存。策略/版本管理模块与其他模块之间的关系如下图4、通过基于内存的etl数据处理技术，提升数据处理效率。 利用基于内存数据库技术，采用多进程对隐私数据的加密和还原进行操作，大大提升了系统的处理效率。应用情况（不超过800个汉字）本项目上线以来，对经营分析系统数据仓库中xxx张表中xxx个涉及敏感数据的字段进行了加密处理，并不断进行经验积累，形成了隐私数据加密规则库，为企业数据安全保障工作积累了丰富的经验。在系统运行中，持续对加密算法进行优化，目前隐私化和隐私数据还原已基本不影响经分系统数据处理效率。将原有的只能单纯依靠管理手段及事后审计方式，转变为以技术手段为基础配合管理手段，彻底阻断敏感信息泄露途径，将数据安全工作落到了实处。对公司来讲，这些需要加以保护的信息，尤其是客户敏感信息，其价值不可估量。一旦泄露将会造成灾难性后果，其经济损失远大于前期防护的投入。通过本系统进行未雨绸缪的防护，其经济效益只能通过所阻拦的时间性质来衡量，所带来的回报必将是长久的。另一方面，我省使用自行研发的隐私数据保护方法代替专业数据保护软件，至少节省60万投资。如果推广到全国，也将节约大量成本投入。从客户的角度，如果发生了严重的从客户的角度，如果发生了严重的客户信息泄露事件，公司整体声誉必将受到严重创伤，客户的内心会对中国移动产生一种不信任感，严重影响我公司品牌价值。而修复这种不信任感将会更加的费事费力，所耗费的将不仅仅是资金。唯一的办法就是做好预防工作，防止发生泄漏，最大程度地做好可能泄露途径的管控工作，严格管控好隐私数据泄露的途径。本项目最大的社会效益就是使公司保持良好的社会声誉，不断提升品牌价值。经济效益（单位：人民币万元）项目总投资额10回收期（年）1 栏目年份新增利润新增税收创收外汇（美元）节支总额201150 各栏目的计算依据：项目节约软件购置费 ：60万元投资10万元合计创收 50 万元生产、应用单位财务专用章和财务负责人签字 李兰英 年 月 日6、社会效益如果发生了严重的客户信息泄露事件，公司社会声誉必将受到严重创伤，客户的内心会对中国移动产生一种不信任感，严重影响我公司品牌价值。而修复这种不信任感将会更加的费事费力，所耗费的将不仅仅是资金。唯一的办法就是做好预防工作，防止发生泄漏，最大程度地做好可能泄露途径的管控工作，彻底堵死隐私数据可能泄露的漏洞。本项目最大的社会效益就是使公司保持良好的社会声誉，不断提升品牌价值。 四、本项目曾获奖励情况获奖时间奖 项 名 称奖励等级授奖部门（单位）2011业务服务创新奖二等奖黑龙江移动本表所填奖励是指： 1.国家设立的科技奖励；2.各省、自治区、直辖市公司设立的奖励3.各省、自治区、直辖市政府设立的奖励；4.经科技部批准的社会力量设立的奖励。 五、申请、获得专利情况表国 别申 请 号专 利 号项 目 名 称zc1107001一种基于可逆置换技术的去隐私化处理方法 六、主要完成人情况表七、主要完成单位情况 单位名称中国移动通信集团黑龙江有限公司第二完成单位中国移动通信集团业务支撑系统部联系人传真联系电话电子信箱主要贡献黑龙江公司主要负责负责工作：1、项目的发起，需求驱动，核心功能设计，主要实现方式的确认工作。 2、负责隐私数据识别、去隐私化算法选择、算法性能测试、隐私数据还原算法选择和性能测试。 3、负责隐私策略管理模块设计。 4、负责etl算法优化 5、负责系统测试和上线工作。集团公司业务支撑系统部负责工作：提供技术支持和建设方案指导单位公章： 2011 年 11 月 7 日八、申报单位意见申报单位中国移动通信集团黑龙江有限公司通信地址邮编150090联系人基本信息姓名电话部门手机职务传真电邮同