数据交易沙箱系统需求说明_第1页
数据交易沙箱系统需求说明_第2页
数据交易沙箱系统需求说明_第3页
数据交易沙箱系统需求说明_第4页
免费预览已结束,剩余1页可下载查看

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

数据交易沙箱系统需求说明序号货物名称技术指标1数据交易沙箱系统1.平台采用软件化部署,供应商提供平台镜像安装包配合安装在指定环境中,并完成基本配置调试,集群部署支持最低不少于20个节点的管理;提供一键部署的运行脚本,及部署软件的源代码。2.支持在ARM架构和X86架构下部署和运行,至少支持KylinOSV10和CentOS。3.支持同时以用户/用户组、结构化数据资源、非结构化数据资源为核心要素设置多对多的访问控制策略,创建的访问控制策略条数无限制。针对结构化数据,支持最小权限原则,从表级、行级、字段级对数据的访问权限进行严格化管控。4.提供集数据预处理、特征选择、模型训练、模型预测与评估为一体的机器学习工作台,支持Notebook实验类型,提供交互式编程和调试环境,支持pandas,支持tensorflow,pytorch,sklearn,mindspore等框架,自定义python程序中支持图像处理框架及工具以及多个jupyter,提供该模块可供前后端功能扩展二次开发的源代码。5.支持对所有用户的所有数据操作进行全生命周期的日志记录,对不少于7类恶意数据行为进行记录(包括但不限于修改/删除用户、用户组,修改/删除访问控制策略,修改/删除样本数据,修改/删除实验,私自导出审计报表,修改系统管理员配置,修改资源管理策略与配置)实现所有数据操作可追溯、可审计、可定责。并支持将日志审计记录进行导出。6.无缝对接适配数据源平台及外部的数据应用,无需数据源平台改变底层代码和数流转方式,支持多种方式进行新建数据源添加,数据库类型支持HDFS、MYSQL、ORACLE、HIVE、CACHE、SQLSERVER,通过数据库添加数据源时可进行测试连通性,并支持上传xlsx、xls、csv格式的数据字典文件进行同步数据;文件类型支持ZIP、XLS、CSV、XLSX,ZIP格式支持四种文件数据类型上传,并内置各类型模板文件,编码格式支持UTF-8和GBK。支持在平台上对上述数据源进行预览,无需借助额外工具。并支持实现适配实验室的数据接入模块中多种数据源的接入功能。7.支持对结构化和非结构化等数据源的敏感数据自动识别,并针对敏感数据进行数据置换操作,在去除数据敏感性的同时,保留原始数据的数据属性和关联关系;并可基于深度学习的敏感数据识别技术对个人隐私信息进行识别,包括人名、机构名、地址等。8.支持多用户配置,提供一对多的安全数据挖掘环境与数据分析环境。用户管理包括但不限于:密码管理、有效期管理、登录时段管理、登录IP管理、登录地址管理、用户组管理等。提供该模块与用户自定义存储架构适配的二次开发源代码。9.合同签订后提供面向受控载体、策略控制、策略加解密相关功能适配的二次开发API接口;支持定制化适配虎鲸云际调度平台;支持定制化适配账户管理、安全策略管理等;并可在合同签订后提供上述定制需求的源代码及设计说明。10.支持扫描申报文件,自动识别常用模型文件,检测模型文件结构防止夹带数据(包括但不限于.index;.ckpt;.pt等格式),支持检测ZIP、XLS、CSV、XLSX、PDF、TXT、MD等格式的文件夹带数据。支持对全量运行结果的申报自动审核机制(如结构化数据中敏感信息字段自动识别、非结构文件文字类敏感信息识别检测并提示、模型文件结构检测并可视化展示等),确保结果安全流出。11.平台内置10种以上敏感数据规则模板,并支持自主新建模板用于敏感数据发现,支持通过正则表达式或字典的模式创建规则,支持通过初始精度的相似程度创建规则;敏感数据发现任务运行完成后支持进行校验。12.创建Notebook实验时可根据需求添加数据集,可基于资源策略配置单个实验的本地资源配置,内置至少四种镜像,提供内置镜像可修改的接口和方法,支持用户自定义容器镜像添加,镜像类型包括但不限于Python、TensorFlow、PyTorch、mindspore;支持在实验管理界面进行文件或代码操作,操作类型包括但不限于Python3、PySparkSQL、终端、文本文件、Markdown文件、Python文件。13.平台支持数据合成与数据抽样功能,数据合成任务创建时可根据需要选择剔除或保留若干字段,至少支持4种模型类型选择,包括CTGAN、TVAE、CoupulaGAN、GaussianCopula;数据抽样任务创建时可根据需要选择剔除或保留若干字段,抽样策略支持固定行数或依据比例抽样,抽样方法支持随机抽样、快速抽样、分层抽样。14.支持适配多种异构算力基础设施(X86CPU、ARMCPU、GPU、NPU);支持适配modelarts计算调度平台。15.支持调试环境和运行环境安全加密连接,支持多种传输协议(如TCP/WS等)接入,提供端到端透明加密功能。16.支持基于生效时间、失效时间、用户、用户组的方式进行数据访问策略控制,通过关联对应的数据表或数据文件,实现允许特定用户/用户组在特定时间内访问特定数据的目的。17.为考虑产品隐私计算基础能力,产品需具备《区块链辅助隐私计算基础能力专项评测证书》。18.配置清单:(1)数据交易沙箱系统 1 套。(2)产品白皮书文档 1 项。(3)产品功能规格列表与使用指南文档 1 项。(4)针对ARM架构、x86架构集群系统的部署方案及一键部署脚本 1 项。(5)可供二次开发的源代码

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论