数据共享自动授权工具的研制

数据共享自动授权工具的研制

XX公司数据中心创意工厂QC小组

XX公司数据中心创意工厂QC小组成立于2021年，小组成员的学历基本为硕士，涵盖

领导、技术和一线生产岗位，层次完整，具有很强的创造力和问题解决能力。

小组名称数据中心创意工厂QC小组

活动课题名称数据共享自动授权工具的研制

注册时间202】年3月课题类型创新型

活动次数8次出勤率100%

小组成员情况

姓名性别学历职务组内分工

XX男研究生组长全面负责

XX男研究生副组长全面负责

XX男研究生组员技术指导

XX女本科组员组织协调

XX女研究生组员组织协调

XX女研究生组员问题分析

XX女研究生组员资料收集

XX女研窕生组员资料收集

XX男研究生组员资料收集

XX女研究生组员资料收集

小组获奖情况

2022年11月，《研发数据自助申请平台》获得2022年度xx省一等质量科技成果

2021年1月，《利用机器学习系统增强电力企业大数据分析能力的研究》获得省公司2020

年度科技成果奖三等奖

2020年12月，《以“五化”为核心的数据运营体系构建与实施》获得省公司2020年度管理

创新成果三等奖

2020年9月，《面向“三流合一”数据共享新机制的构建》获得xx省省级企业管理现代化

创新成果二等奖

2020年5月，《提升停电损失估算准确率》获得省公司2019年度优秀QC小组成果

小组为顺利完成此次研究课题，按照PDCA的要求，制作了活动计划表。

阶段内容时间负责人

3月4月5月6月7月8月9月10月11月

选择

——A

课题

XX

现状

调查

P

设定

------►XX

目标

确定----.

XX

方案

制定

-------►XX

对策

对策

D--->XX

实施

确认

CXX

效果

标准

-------►XX

化

总结

A--------A

和下

XX

一步

工作

划完舟之时间：►

制表/图人：XX时间：2022-3-1

一、选择课题

（一）识别需求

自2021年6月xx公司数据运营平台上线试运行以来，基于数据中台的数据共享模式从

线下邮件、纸质工单的申报方式转为线上自动化流转，实现了全流程在线管控，状态实时呈

现，极大提升了工单的流转效率及提报便捷性。但是由于数据运营平台未与数据中台集成，

工单审核通过后，仍需人工编写SQL命令的方式进行数据表的授权配置操作。为了进一步提

升工单全流程的办结效率，降低操作失误率，小组成员迅速响应，对数据授权现状及影响授

权效率的原因进行探索调研。

现状分析：目前数据共享全流程包含“需求受理”、“业务审核”及“授权配置”3个环

节，分别由不同部门角色人员负贡，其中，需求受理及业务审核环节均已实现线上流转，而

授权配置环节仍需依赖线下手动配置.，因此判断授权配置环节可能是影响整体效率的主要要

因。为验证这一结论，小组收集了自系统上线以来的全部数据共享工单记录，并对各环节处

理时间进行分析统计，结果如下：

表12021年9月-2021年11月数据共享工单

数据共享环节流程阶段样本数责任部门平均耗时（h）

用户所在部门初审需求受理3278用户所属部门领导3.2

业务部门审核业务审核3278数据表所属业务部门3.8

数据准备及授权授权配置3278省信通公司7.8

制表/图人：xx时间：2022-3-5

由上表看出，公司2021年9月-2021年11月所提报的全量3278条工单中，数据授权

配置环节平均耗时最长，为7.8小时，相比需求受理及业务审核环节平均时长分别高出

143.8%,105.3%o为避免因样本随机性误差导致时长差异，对该组数据按〃检验法进行统计

学检验。

统计学验证：（使用户检验法）

步骤一：设定零假设，即各环节耗时均等，所产生的差异均为随机误差；

步骤二：在excel中导入明细记录数据（样例数据见下表）；

表2F检验样例数据

工单编号需求受理耗时业务审核耗时授权配置耗时

15.592.057.06

25.215.895.96

34.485.566.37

42.542.687.11

55.091.347.10

61.964.7910.29

74.572.467.50

83.403.847.63

92.772.577.62

103.071.398.59

110.963.626.09

124.224.7110.00

132.284.927.29

143.342.686.72

153.752.217.99

165.494.827.47

•••♦・♦••••♦•

32784.244.477.40

制表/图人：xx时间：2022-3-5

步骤三：经确认三组样本均符合正态分布规律，故选择〃检验法；

步骤四：通过Excel内置函数对三组样本进行方差分析，最终计算F值为183,其对应

的概率系数p=0.002,远远低于统计学上规定的0.05阈值；

步骤五：故可判定零假设不成立，即授权配置环节与其他环节耗时不是偶然造成的，存

在明显要因造成该环节耗时较长。

需求识别：基于以上统计学分析结果并结合业务实际，可确定，由于授权配置环节存在

手动操作因素，造成该环节耗时明显高于其他环节，降低数据共享效率。为此，小组开展了

借鉴查新以拓展思路。

（二）借鉴查新

查新关键词：数据共享、自动授权、系统集成

查新范围：中国知网、国家科技图书文献中心、国家科技成果网、维普资讯、万方数据、

中国学术期刊网。

小组通过借鉴查新，在《基于ECC的区块链数据共享系统设计》文献中，发现可通过系

统自动化处理技术来代替数据共享流程中人工编写脚本对数据表进行授权的过程。在《南水

北调工程数据共享现状分析》文献中，发现可通过优化数据共享机制，取消不影响数据安全

的非必要操作（如在系统完成授权后需手动点击确认按钮完成最终授权），以进一步提高数

据共享效率。

提出创新构想：小组整合借鉴内容，决定将自动化授权技术应用到数据共享全流程，简

化数据共享环节，实现数据共享自动授权，缩短数据共享流程中授权配置环节耗时，提升整

体数据共享效率及用户数据获得感。

（三）确定课题

根据课题需求及查新借鉴结果，小组成员一致认为有必要且有能力开展自动授权工具研

究，确定本次课题为“数据共享自动授权工具的研制工

二、设定目标及目标可行性论证

（一）设定目标

课题目标：研发数据共享自动授权工具，实现数据共享全流程线上化运营管理。

量化目标；经过讨论和论证决定将活动目标设定为，将原有的数据授权配置环节平均手

工授权时间从7.8小时缩短至5分钟以内，以实现有效降低数据共享时间的目标。

数据授权配置目标时长（h）

9

7.8

8

7

6

5

4

3

2

1

0

当前授权时长目标授权时长

图1自动授权配置目标时长

制表/图人:xx时间：2022-4-12

（二）目标可行性论证

针对设定的课题目标，从数据可行性、人力两个方面来论证课题目标的可行性。

1.数据可行性

参考借鉴文献的技术思路，结合公司现有系统环境，进行多次模拟操作实验，反复比对

实验数据，从数据支撑上验证实现既定目标的可行性。模拟实验数据如下表所示。

表3基于借鉴文献的技术实验数据比对

具体

借鉴文献借鉴方法模拟实验

环节

在数据中台编写虚拟授权脚本并封装成API接11,

从数据运营平台多次请求该接口模拟自动授权行

系统自动化处为并统计接口响应时长，在数据运营平台进行人工

《基于ECC理技术来代替授权确认并统计操作人员登录平台和点击“授权确

自动的区块链数数据共享流程认”时长。

授权据共享系统中人工编写脚

实验平均

设计》本对数据表进123••50

次数值

行授权的过程。

耗时

180220145129182

（s）

在数据中台编写虚拟授权脚本并封装成API接口，

优化数据共享

从数据运营平台多次请求该接口模拟自动授权行

机制，取消不影

为并统计接口响应时长，在数据运营平台使用接口

《南水北调响数据安全的

测试工具在不同时间段多次模拟点击“授权确认”

授权工程数据共非必要操作（如

操作行为，并统计该接口响应时长。

确认享现状分在系统元成授

实验平均

析》权后需手动点123••50

次数值

击确认按钮完

耗时

成最终授权）29.1835.2229.1331.229.38

（s）

制表/图人:XX时间：2022-4-17

由上表模拟实验数据可知，木研究通过系统自动化流程来实现所设定0.08小时的授权

目标从技术实现上来看切实可行。

2.资源条件

（1）小组成员的学历均为硕士，涵盖领导、技术和一线生产岗位，具有多年工作经验，

其中正高级工程师1名，副高级工程师1名，中级工程师8名。小组始终以解决生产现场

实际问题为导向，以提升生产工作效率为目标，拥有软件开发项目的实际经验，能够熟练

运用质量管理理论知识和工具方法开展创新活动。

（2）本次技术创新活动目的是提高基层单位数据共享工作效率，得到领导高度重视和

肯定，从财力、物力等方面提供有力支持:，有良好的研发环境和活动氛围。

（3）小组依托物联网信息通信技术创新中心，具有实验室软件测试的条件，可解决

课题在项目研制过程中的试验问题。

三、提出方案并确定最佳方案

（一）总体方案

针对课题目标，根据借鉴思路和技术，小组成员提出了“数据共享自动授权工具研制”

的总体方案，通过自动授权工具打通数据运营平台与数据中台的数据共享流程，缩短数据

授权时间，提升数据共享效率，结构如下图所示。

数据运营平台PC用户

授权请求

［接口调用］数据请求］

数据中台

DAYU账号创建

自DAYU平台

账号创建

动MRS

授接口调用］

权DWSIfifX

工MRS服务

具DWS

Hive授权数据库Hive数据库

图2总体方案架构图

制表/图人：xx制图日期：2022-5-7

（二）方案分解

小组成员召开会议，围绕课题目标和总体方案，提出了可行的分级方案及目标，绘制

树状图，如下图所示。

数据运营平台调用

接口调用方式

数据中台调用

Http接口

接口类型

Webservice

接口交互

Session方式

身份认证

Token方式

数

据

共

享回传方式

自

动

授

权单张表授权

工

具

的批■表授权

研程序执行

制

数据库执行

客户端命令

页面提醒

用户提醒提醒方式

短信提醒

图3总体方案图

制表/图人：xx制图日期：2022-5-12

1.交互接口分析

（1）接口调用方式

数据中台表授权命令封装在数据服务中，对表进行授权操作需要调用数据中台表授权

接口，接口调用方式有数据运营平台调用和数据中台调用两种方式，小组成员对两种方式

进行对比分析，如下表所示。

表4接口调用方式对比论证

方案一方案二

方案

数据运营平台调用数据中台调用

1.安全性高。

比选点2.易用性好。

3.连通性强。

由数据运营平台直接调用DAYU平台、由数据运营平台调用数据中台接口，数

方案

MRS平台、DWS数据库、Hive数据库接据中台对DAYU平台、MRS平台、DWS数

描述

口。据库、Hive数据库等接口进行封装处理。

1.安全性比对。小组成员对两种接口调用方式的安全性进行比对，如下表所示。

接口调用方式数据运营平台调用数据中台调用

向数据运营平台提供数内部服务，无数据泄露风

据中台管理员权限账号。险，向数据运营平台提供

分析安全方面

权限外放，存在数据泄露数据中台封装的数据授

测试

风险。权接口。

结果

2.易用性方面，数据中台DAYJMRS各组件文档俱全，采用数据运营平台调用方

式需按组件分别调用。采用数据中台调用，数据中台接口对各组件进行了封装，

只需调一个接口，且调用方式简便并提供样例。易用性方面数据中台调用较好。

3.连通性方面，通过数据库工具与接口测试SoapUI工具对两种方式进行连通性

测试，全部成功连接无异常，对比两者无明显差异。

根据方案对比分析，采用数据运营平台接口谎用方式，需要提供数据中台管理员

方案权限账号，数据安全存在隐患，数据中台接口调用方式只需向数据运营平台提供

评价数据中台封装的数据授权接口，无数据泄露风险，易用性方面数据中台调用较好，

连通性方面两者无明显差异。因此，小组选择采用数据中台接口调用方式。

结论不选用选用

制表/图人：XX时间:2022-5-15

结论：综上所述，数据中台接II调用方式的数据应用安全性及易用性更好，因此小组

选用数据中台调用方式。

（2）接口类型

数据运营平台与数据中台通过接口进行数据传输，接口类型有Http接口和Webservice

接口两种类型，将这两种接口类型进行对比分析，如表5所示。

表5接口类型对比论证

方案一方案二

方案

Http接口Webservice接口

1.数据调用速度更稳定。

比选点

2.接口特点与自动授权业务的适配性强。

基于Http协议，通过路径来区分调用方基于SOAP协议，通过SOAP在Web上

方案法，请求报文一般是key-value形式，提供的软件服务，使用WSDL文件进行

原理返回报文一般是json串，常用的是gel说明，并通过UDDI进行注册。

和post方法来请求。

1.数据调用速度试验。小组成员对这两种方案进行50次试验并记录调用速度,

对比两种方案的平均调用速度，试验结果如下图所示。

(

专

)

««<

置

胃

在数据调用速度上，Hltp接口与Webservice接口调用速度相似，都约为42ms,

小组成员通过绘制直方图，比较两种方案的数据分布情况，如下图所示。

实验

均值42.62

设计及均值42.36标准差1.341

标准匠1.024

结果N50

15

山I

394041424344

webservice接口调用速度(ms)

从图中看出，Http接口调用速度均值低于Webservice接口调用速度均值，标准

差1.024小于Webservice接口调用速度标准差1.341,采用Http接口方式数据

分布较好。

2.接口特点与自动授权业务的方面,Http与Webservice接口两者协议不同，http

简单、灵活，易于扩展，Webservice可处理较复杂的数据类型，相对复杂。自

动授权业务无需复杂的数据类型，不通过跨域处理事务，且按需调用不需长连接。

经分析认为Htip接口的方式适合业务特点，可快速实现。

根据方案对比分析，采用Http接口方式数据调用速度较快，且小于50亳秒，且

方案

接口本身特点与自动授权业务适配性更强。因此，小组选择采用Http接口方式

评价

进行数据访问传输。

结论选用不选用

制表/图人:xx时间:2022-5-15

结论：综上所述，Http接口方式数据调用速度较快，且符合业务特点，因此小组选用

Hllp接口类型进行数据访问传输。

(3)身份认证

为保障平台的访问安全，访问时需进行身份认证，身份认证可以分为Session方式和

Token方式两种类型。小组成员对Session方式和Token方式进行对比论证，如表6所示。

表6身份认证方式对比论证

方案一方案二

方案

SessionToken

比选点抗攻击成功率＞二98机

浏览器第一次访问服务器时，根据传

Session是服务端存储的一个对象，主过来的唯一标识userid,服务端会通

方案要用来存储所有访问过该服务端的客户过算法，生成一个Token,然后将这个

原理端用户信息，从而实现保持用户会话状Token发送给客户端，客户端将Token

态。保存起来，下次请求时，带着Token

请求，服务器收到请求后验证Token。

抗攻击成功率试验。小组成员采用DD0S攻击工具对具有身份认证的数据中台进

行100次攻击性试验，抗攻击成功率二（成功抵抗攻击的次数）/100。试验结果

如下图所示。

抗攻击成功率（单位：%）

实验101----------------------------------------------------k

F=|^

设计及

结果

Seaion身分认注tMn#份认证

方案

Token身份认证方案抗攻击成功率100%,满足性能指标。

评价

结论不选用选用

制表/图人：xx时间：2022-5-17

结论：综上所述，Token身份认证抗攻击成功率较高，因此小组选用Token身份认证方

案。

（4）回传方式

数据中台授权情况需及时反馈给数据运营平台，数据回传方式有异步回传方式和同步回

传方式两种，小组成员对这两种方式进行对比论证，如表7所示。

表7接口调用回传方式对比论证

方案一方案二

方案

异步回传同步回传

1.数据回传成功率高。

比选点

2.页面响应时间短。

方案当接口调用请求发出后，等待响应结果当接口调用请求发出后，等待响应结果

原理同时可进行下一个操作。反馈后才可进行下一个操作。

1.数据回传成功率试验。依托实验室，设置采用异步回传方式回传数据，试验100

次；设置采用同步回传方式回传数据，试验1。0次。成功率=（回传数据成功的次

数）/1（）0。试验结果如下表所示。

回传方式异步回传同步回传

回传成功率试验试验次数（次）100100

回传成功次数（次）10098

回传失败次数（次）02

成功率（％）10098

2.页面响应时间试验。分别用两种数据回传方式回传数据，测量其不间断1可传100

组数据授权信息的时间，重复8次，最终取页面响应时间平均值，试验结果如下

表所示。

单次回

实验

传页面

设计及试验序

12345678响应平

结果号

均等待

时间（s）

采集次

100100100100100100100100

数（次）

异步回

传用户

3.43.72.62.62.53.33.72.00.03s

等待耗

时（s）

同步回

传用户

3100260028002500320035002900290029.38s

等待耗

时（S）

采用异步回传方式，用户不必进行响应等待，可同步进行其他操作。回传成功率

方案

为100%,页面响应平均耗时为0.03s,回传成功率较高且页面响应平均耗时较短，

评价

符合比选要求。

结论选用不选用

制表/图人：XX时间：2022-5-17

结论：综上所述，异步回传方式回传成功率高且页面响应平均耗时短，因此，小组选用

异步回传方案。

2.程序执行分析

（1）授权命令方式

对用户在数据运营平台提出数据共享申请表单进行自动授权，表自动授权方式包括单表

授权方式和批量授权方式两种，小组成员对两种方式进行对比论证，如下表所示。

表8授权方式对比论证

方案L方案二

方案

单表授权批量授权

选择1.程序实现授权操作的稳定性。

依据2.授权操作消耗时间。

方案对数据库授权时进行多张表同时授权操

对数据库授权时进行一张表授权操作

描述作

1.参考口常运维人员授权的经验，多表F习时授权执行时，一张表操作错误会导致

多张表授权操化失败。单表授权，多表之.间无影响，程序实现稳定性好。

实验2.利用数据库工具连接中台数据库对比很种方式的授权时间，发现无明显差别。

设计及授权命令方式单表授权批量授权

结果

表授权操作表授权数最（张）5050

时间测试授权操作消耗时间（秒）6.15.9

方案根据方案对比分析，程序按照单表授权的方式稳定性好，批鼠授权时存在一张表

评价操作错误导致多张表操作阿1滚授权失败现象，因此，采用单表授权方案。

结论选用不选用

制表/图人:xx时间：2022-5-17

结论：综上所述，程序采用单表授权方式稳定性好，因此小组选用单表授权方案。

（2）程序执行模式

自动授权程序需在运行环境中执行，才能使表授权成功。程序执行模式有客户端命令执

行和数据库执行两种方式，小组成员对两种方式进行对比分析，如下表所示。

表9程序执行模式对比论证

方方案一方案二

案客户端命令执行数据库执行

选

择

数据库执行效率更高，适应性强。

依

据

方

案在服务器安装数据库客户端，通过客户端命

由程序连接数据库，对数据库进行操作。

描令执行程序。

述

实小组成员对选取的两种程序执行模式进行测试，对不同数量的表依次执行授权程序，

验记录并分析授权表数量与程序执行时间。

设执行方式序号123...484950平均

计

及授权表数

客户端命51

量（张）246・・・9698100

令执行

程序执行

0.14

时间（s）0.120.320.59.689.8511.2

授权表数

数据库执51

量（张）2469698100

行

程序执行

0.09

时间（S）0.10.420.79.79.7611

数据库执行测试拟合曲线客户端执行测试拟合曲线

数据库执行模式拟合方程为y=0.lOOlx+O.0073,相关系数R2=0.9993；

客户端命令执行模式拟合方程为y=0.1018X-0.0473,相关系数『=0.996；

从线性拟合图可以看出：

方两种程序执行模式相关性系数均接近于1,两者的自动授权表数量和程序执行时间呈

案极强正相关性，说明无论数据库执行还是客户端执行均具备极强的线性稳定，氏此，

评比较二者的平均执行时长能更加说明方案的优势性。

价数据库执行单个数据表平均耗时为0.09,客户端执行单个数据表平均耗时为0.14,可

以发现采用数据库授权具备更高的执行效率。

结

不选用选用

论

制表/图人：xx时间:2022-5-21

结论：综上所述，数据库执行模型程序执行效率更高，因此小组选用数据库执行模式。

3.用户提醒分析

表授权成功后，需及时将授权情况反馈至用户，有页面提醒和短信提醒两种方式，小组

成员对两种方式进行对比论证，如下表所示。

表10提醒方式对比论证

方案一方案二

方案

页面提醒短信提醒

选择1.用户使用倾向性较高。

依据2.用户体验好。

方案用户请求操作后通过页面展示提示用户用户请求操作后通过发送短信提示用户

描述操作结果。操作结果。

1.用户使用倾向性调研。针对两种用户提醒方式，对50人使用意愿进行调研，对

代1史用映网'1王，珀米加「衣物Z、。

用用用用•♦•用用用川

户户户户户户户户

123447484950

虫血提J

醒

短信提VJV

醒

可随时J

访问数

实验

据运营

设计及

平台

结果

不能实JV

时访问

数据运

营平台

愿意通过短信提醒用户占比：62%；

愿意通过页面提醒用户占比：38%；

2.用户体验方面，采用短信提醒方式，当用户在数据运营平台提交数据访问申请

后，可关闭数据运营平台，表授权结果会通过短信方式提醒用户，用户无需在数

据运营平台等待结果；采用页面提醒方式，兰用户在数据运营平台提交数据访问

申请后，用户需停留在数据运营平台数据申请页面或者反复登录系统等待表授权

结果。

根据方案对比分析，相比较于页面提醒方式，用户更愿意通过短信提醒方式获知

方案

表授权情况，用户无需反复登录系统查看结果，收到短信即可开展场景数据探索。

评价

因此，小组选择采用短信提醒方式。

结论不选用选用

制表/图人：XX时间：2022-5-23

结论：综上所述，用户更愿意通过短信提醒方式获知表授权情况，因此小组选用短信提

醒。

（三）确定最佳方案

根据以上方案的选择分析，小组最终确定最佳方案，如下图所示。

接口调用方式数据中台调用

接口类型Http接口

接口交互

身份认证Token方式

数

据

共

享回传方式异步回传

自

动

授

权

工

单张表授权

具

的

研

制

数据库执行

用户提醒提醒方式短信提醒

图4最佳方案图

制表/图人：xx时间：2022-5-27

四、制定对策

望过小组成员的讨论分析，对于提出的方案，按照“5晅H”原则，制定对策表，如下

表所示。

表11对策表

序地

对策目标措施负责人完成时间

号点

（1）无数据

泄露风险，权

（1）基于数据中台，开发表多

数据中台调限自主可控2022年7

1授权接口调用程序。经XX

用接口（2）接口调月10日

（2）测试接口调用情况。楼

用成功率

100%

2接口类型采（1）数据调（1）采用Http接口，实现实XX2022年7

用Http接口用速度小于数据运营平台与数据中台的验月1E日

50ms数据传输室

(2)接口访(2)测试数据调用速度及访

问成功率问成功率

100%

(1)采用Token方式，完成

以Token方多

抗攻击成功身份认证功能开发2022年7

3式进行身份经XX

率100%(2)采用CSRF软件进行攻月M口

认证楼

击性试验

(1)数据回

传成功率

(1)采用异步回传方式，实

100%实

现授权信息回传至数据运营2022年7

4异步回传(2)页面响