版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
Informati
ca替换案例实践分享——从
ETL到数据集成治理,
国产化升级解析22
目录
CONTENT02
FineDataLink核心优势04
制造
、金融行业应用案例01
行业趋势和客户痛点03历史任务迁移方案01行业趋势和客户痛点Why
Change参考信息•国务院《“十四五
”数字经济发展规划》•
国资委2022年9月下发《79号文件》帆软
|
FDL国产化替换方案
第
4
页•企业内业务系统,
未来会更换为国产化数据库
、
中间件和操作系统,
所以企业需要数据集成软件支持信创环境
,对接国产化数据库(达梦
、人大金仓)
、国产化大数据平台(
Vertica
、星环ArgoDB);•传统国外ETL工具Informati
ca
、IBM
DataStage
、
SSIS
、Talend无法响应。•推动软件国产化,包括企业内基础类软件(数据库
、中间件
、操作系统)和应用类软件(办公软件
、业务管理软件
、数据分析软件
、数据集成软件);•到2027年,在国资央企尤其是制造领域,应做到能替就替
,完成信创要求;•逐步建立自有知识产权的IT架构和标准。国产化适配政策解读
FineDataLink
国产化政策驱动不适配ELT模式-某银行客户银行客户的数据量达到TB级别,
会
开始应用ELT模式
,
数据集成工具
负责调度管理
、
大数据平台负责加工计算;
Informatica
PowerCenter核心支持ETL模式,
ELT模式较弱
,
不支持复杂SQL开发。治理能力缺失-某银行客户ETL工具深度使用客户,
ETL任务多
、数仓链路长,
当ETL任务报错后,
需要层层追溯会对哪些下游表
产生影响;
还需要关注数据准确性,
对数据定期开展检测
、治理。运维成本高-某银行客户Informatica
PowerCenter是C/S架构,任务开发-编排-调度-运维是多个窗口
,任务上线后遇到报错,
需要切换多个
窗口运维;
由于业务系统频繁DDL
,
导致经常需要手动调整目标表结构
,
运维成本很高。实时能力缺失-某制造行业客户制造行业生产车间看板
、
IOT设备数
据监控等高时效场景,
都依赖数据集
成平台的实时计算能力,
海外ETL工
具历史版本不支持CDC能力,
也不支
持MQTT协议,
无法支撑场景。产品使用成本高-某消费客户海外ETL工具产品界面的交互体验一般,
画布中的组件
、连线经常卡顿,无法操作。产品涉及的技术名词众多,
ETL新人需要很高的学习成本。部署成本高-某保险客户海外ETL工具产品部署过程中需要安装多个JDBC驱动
、
指定多个配置数据库,
某保险行业客户第一次部署耗时30h,
完全熟悉产品后部署也需要5
~8h。帆软
|
FDL国产化替换方案
第
5
页
产品应用与体验瓶颈
FineDataLink产品功能产品体验产品服务•
Informatica
、IBM
DataStage原厂退出中国市场,
当前国内是代理商服务
,存在断供风险;经常出现遇到问题到不到人,即使找到人问题解决效率也很慢的问题;•
Informatica产品中文文档缺失
,导致故障排查耗时翻倍。•
服务响应慢
、资料不完善
,影响服务体验。帆软
|
FDL国产化替换方案
第
6
页
FineDataLink
服务困境02FineDataLink核心优势Why
Us数据管理治理库表管理数据血缘数据检测清洗规则任务和系统管理任务调度任务运维权限管理版本管理消息预警数据应用数据服务数据开发数据管道数据源关系型数据库
非关系型数据库接口类型数据文件数据简道云国产化数据库大数据消息队列第三方系统
生态上下游数据服务数据发布
数据接收黑白名单
鉴权认证批量同步实时同步应用连接器开箱即用断点续传进度监控资质免申隔周迭代定时计算引擎定时同步
可视开发批量计算
Spark引擎实时计算引擎实时来源
可视开发流式计算
F
link引擎PowerCenter
、DataEngineering
Integration功能3(升级能力+新增能力+基建能力)1(统一平台,统一底座,统一管理)FineReport
FineBI
简道云
FVS应用系统FineDataLink新增功能实时管道
定时管道
FineDataLink
产品对比架构帆软
|
FDL国产化替换方案第
8页After
FDL全面适配信创环境•FineDataLink产品全面支持国产化数据库
,根据市场需求变化趋势,每周发布新支持数据源类型。•FineDataLink信创版全面适配信创环境部署
,包括信创芯片
、系统
、
中间件和配置数据库
,满足信创软著。Before
海外ETL工具不适配信创•企业完成基础类软硬件(数据库
、中间件
、操作系统)
改造后
,应用
类软件需要支持在以上环境中运行;•业务系统存储在切换国产化数据库时,
需要数据集成平台支撑新旧系
统的数据迁移工作。•
数据库
:达梦
、人大金仓
、OceanBase等几十余种•
大数据平台
:GaussDB200
、阿里云MaxCompute
、Ti
DB
、HPVertica等几十余种•
数据库
:达梦
、人大金仓
、OceanBase等几十余种•
大数据平台
:GaussDB200
、阿里云MaxCompute
、Ti
DB
、HPVertica等几十余种•芯片
:鲲鹏
、海光
、兆芯等;•
系统:银河麒麟
、统信等;•中间件
:东方通
、宝蓝德
、金蝶天燕等•
除普通版支持内容外
,还支持达梦
、人大金仓
、南大通用Gbase8A等国产化数据库•MySQL
、Oracle
、DB2•
SQLServer
、PostgreSQL等数据库FDL普通版FDL信创版帆软
|
FDL国产化替换方案
第
9
页•
系统:
Linux•
芯片
、中间件没有额外要求基础软硬件(芯片、系统、
中间件)平台外接数据库
数据集成支持数据库 升级能力-信创支持
FineDataLink
升级能力
新增能力
基建能力
帆软
|
FDL国产化替换方案第
10
页7类数据源任意终端到任意终端3种数据结构任意结构转换为任意结构60+种数据类型每周发布新支持数据源类型After
FDL全面适配信创环境•FineDataLink产品全面支持国产化数据库
,根据市场需求变化趋势,每周发布新支持数据源类型。•FineDataLink信创版全面适配信创环境部署
,包括信创芯片
、系统
、
中间件和配置数据库
,满足信创软著。Before
海外ETL工具不适配信创•企业完成基础类软硬件(数据库
、中间件
、操作系统)
改造后
,应用
类软件需要支持在以上环境中运行;•业务系统存储在切换国产化数据库时,
需要数据集成平台支撑新旧系
统的数据迁移工作。 升级能力-数据源支持
FineDataLink
升级能力
新增能力
基建能力
After
一键部署,
开箱即用•平台支持环境直接部署和FineOps运维平台容器化部署;可视化启动
、
停止
、重启
、备份
、升级工程,
降低运维门槛;•FineOps运维平台支持服务器级/应用级负载监控和并发监控
,及时告
警通知,
同时留存告警记录
,让告警复盘有迹可循。Before
部署成本居高不下•Informati
ca等海外ETL工具部署过程中需要安装多个JDBC驱动
、指定多个配置数据库
,不熟悉工具客户部署需要几天时间
,熟悉产品客
户也需要5
~8h。帆软
|
FDL国产化替换方案第
11
页 升级能力-产品部署
FineDataLink
升级能力
新增能力
基建能力
Before
适配场景存在局限•Informatica
PowerCenter核心推广ETL开发模式,
引导客户使用工具
内可视化组件进行数据开发,
当企业数据量庞大时,
需要应用ELT模式
,应用大数据平台进行数据计算时
,适配程度弱
,不支持复杂SQL
开发。帆软
|
FDL国产化替换方案第
12
页After
双核引擎,
应对多种场景•ETL模式
:平台内可视化开发组件
,转化为SparkSql交给内置引擎进行计算,开发路径敏捷
,适合数据处理逻辑复杂的场景;•ELT模式:
FDL将生产系统数据采集至大数据平台
,大数据平台承接计算
、
FDL负责任务调度管理
,适合大数据量计算场景。
ETL
模式
数据关联FineReport数据清洗FineBI数据转换
ELT
模式
FineReport数据清洗据平台数据转换 升级能力-任务开发
FineDataLink
升级能力
新增能力
基建能力
数据结果表
数据结果表数据采集FineBI高性能数数据源A数据源A数据源B数据源BAfter
上手门槛低,
能力上限高•FDL的设计理念是用C端产品的体验设计B端的产品
,所以产品功能基于命
名即可清楚应用场景
,会写SQL的用户就可开发企业级数据仓库。•画布流程支持自动布局
,节点之间支持自动吸附
,开发流程纵享丝滑。Before
学习成本高,
难以上手•在开发Inforam
tica数据流时,配置项众多,Mapplets
、
Transforamations等概念难理解
、易混淆
,初学者需要经过专门的培训和训练才能使用。•海外ETL工具的交互设计偏向传统
,画布中的组件
、连线拖拉经常卡顿,不够丝滑
,影响任务开发效率。帆软
|
FDL国产化替换方案第
13
页 升级能力-任务开发
FineDataLink
升级能力
新增能力
基建能力
After
基于场景切换合适调度模式•
一站式
:任务开发-编排-调度-运维在平台内一站式完成
,各环节之间自由切换
与跳转
,用户不再需要多窗口之间来回切换。•定时调度
:支持按时间周期
、自定义日历
、corn表达式设置调度。•
事件调度:
为数仓下游任务设置上游依赖任务
,可实现上游任务更新结束后自动触发下游
,避免下游对上游不相关任务的无效等待。•
批量调度:
多个任务均是一致的调度周期
,可将多个任务设置为批量调度
,一个调度即可管理多个任务
,节省配置成本。Before
多窗口切换,
操作繁琐•任务开发完成后,
需要将任务从开发阶段发布为生产阶段,
同时设置
任务运行周期
,满足企业的数据更新需求。•Informati
ca
PowerCenter是C/S架构
,任务开发-编排-调度-运维是多个窗口
,为完成一个流程需要多个窗口切换
,操作繁琐。帆软
|
FDL国产化替换方案第
14
页 升级能力-任务调度
FineDataLink
升级能力
新增能力
基建能力
帆软
|
FDL国产化替换方案第
15
页After
高效运维•数据变更监控
、DDL监控:
平台利用数据库日志监听技术,
自动识别来源表数据和字段变化
,实时将数据和字段变化同步到目标地。•自动重跑
、消息预警
、版本管理:
当平台内任务运行报错后
,会自动重跑尝试恢复;
若重跑后仍无法恢复可通过企业微信/钉钉/等通讯软件进行实时消息预警;使用版本管理能力进行任务版本回滚。Before
运维困境•来源表数据量较大时,
为提升同步效率会使用基于时间戳的增量更新
同步方式;
业务系统会存在手动改数场景
,但是时间戳不会变化,
导
致数仓会出现丢数漏数问题;•业务系统还存在字段新增和修改场景(
DDL变更),
导致任务运行报
错
、
目标表需要手动维护表结构
,运维成本很高。 升级能力-任务运维
FineDataLink
升级能力
新增能力
基建能力
After
实时同步与计算•实时数据同步:
通过实时数据监听技术,
可进行多库多表批量实时采集
,快速完成业务系统数据读写分离
、数据仓库ODS层构建。•实时数据计算
:通过实时可视化开发能力
,完成多表实时Join和实时计算
,处理后数据还可实时发布到数据分析平台FineBI和数据大屏平台Fi
neVis
中。Before
实时能力缺失•企业内业务系统数据库需要进行读写分离
,实时构建备份库;•制造行业生产车间看板
、IOT设备数据监控;消费行业促销活动销售大屏等高时效场景,
需要依赖平台的实时能力,
Informati
ca数据集成平台不支持CDC能力
,不支持MQTT协议
,无法落地以上场景。帆软
|
FDL国产化替换方案第
16
页 新增能力-实时能力
FineDataLink
升级能力
新增能力
基建能力
After
数据查询和接收API发布•数据发布与接收API:
FineDataLink支持将各类数据源的数据
,发布为API
,供第三方平台调用;
最新版本FDL支持发布API接口,
实时接收外部系统推送数据
,将数据落库。•API全生命周期管理
:开发完成API支持设置黑白名单
,支持根据不同数据安全要求,
自定义认证方式。Before
API数据服务能力缺失•业务系统之间的数据交互
、企业上下游伙伴的数据共享,
为了保证数
据安全性
、传输稳定性
,通过需要API接口方式进行,
Informati
ca
数
据集成平台缺乏API接口开发能力。帆软
|
FDL国产化替换方案第
17
页 新增能力-API数据服务能力生成接口
文档调用API
返回结果可视化配置接口信息
FineDataLink申请权限
调用监控应用
升级能力
新增能力
基建能力
数据仓库设置安全策略按权限查看开发者调用者API绑定创建查询After
数据治理管理能力升级•问题发现•问题定位•问题解决Before
数据治理能力缺失•ETL工具深度使用客户,
ETL任务多
、数仓链路长,
当ETL任务报错后,需要层层追溯会对哪些下游表产生影响;•随着业务系统增加
、同一指标在不同系统出现多个口径;
由于业务系统录入数据不符合规范
,导致员工信息表中邮箱
、手机号等数据不可用
,需要进行识别与治理。质量规则库质量任务管理确定检测对象检测任务创建定时调度依赖调度运行维护与管理质量问题分析单任务检测报告(通过情况
、异常明细)数据血缘质量问题库质量规则管理通用
非通用标标准准内置
全局规则规则质量问题发现
质量问题定位
质量问题解决帆软
|
FDL国产化替换方案第
18
页 新增能力-数据管理与治理问题上报问题分配问题督办问题解决数据处理数据质量报告质量问题发现报告质量问题解决报告
FineDataLink
升级能力
新增能力
基建能力
自动登记手动登记任务规则质量问题管理指标应用业务系统实时数据同步(Debedium
)数据架构&构建方法ADS(应用层)DWS(公共汇总)DWD(公共明细)ODS(操作数据)日志采集技术Nacos注册配置中心GRPC通信框架部署运维大运维平台(FineOps)进程管理Docker容器配置存储FTP对象存储(MinlO
)FineDBPolars公式输入离线数据同步离线采集技术
自研抽数引擎理数据采集和计算集帆软
|
FDL国产化替换方案第
19
页MysqlGreenPlumFTPKafkaHTTPMQTTSAPSaaS输出Flink计算引擎输入
FineDataLink
产品技术架构Doris
Stream
Load输出集群管理Redis状态管理用数据应用RDBMS(公共数据)json/xml数据解析引擎Spark计算引擎Binlog
CDC对平台/系统/应用消息队列:KafkaLogMinerDIM维度表GPLoad离线链路实时链路存资产中心数据编排数据服务FR/BIXstream对外对内稳定性保障•
环境稳定性•集群部署:集群部署支持高可用能力
,可实现工程节点的高可用;
同时支持高并发能力
,通过集群提高平台任务并发上限;•内存预警
:平台内存
、CPU持续压力较高
,资源占用持续较高时
,系统存在宕机风险,
即刻进行消息告警;•
任务稳定性•自动重跑
:定时任务执行失败后
,支持自动重跑
,数据库波动等临时问题不影响任务正式运行;•内存分配
:平台内功能模块较多
,各模块对于资源占用程度不同
,可按照功能模块使用深度
,为模块自定义设定资源占用区间,
内存
、并发数均可设定。帆软
|
FDL国产化替换方案
页 基建能力-稳定性保障
FineDataLink新增能力基建能力升级能力FineDataLink性能保障•并行读写:
FDL数据同步任务支持多线程并发执行,
大幅提升数据
同步效率;•高速装载:
充分利用大数据平台特性进行数据高速写入
,
比如
Greenplum并行装载和COPY装载模式
、GaussDBCOPY装载模式
、
DorisStream
Load装载模式等。安全性保障•HSTS设置:
平台开启
HSTS后,浏览器自动采用
HTTPS
访问平台,保障用户始终访问平台的加密链接
,保护数据传输安全。•SQL防注入:
平台支持用户自定义添加特殊关键字SQL语法
,若数据服务API的参数包括特殊关键字
,平台自动拦截。;•SSL/TLS:
通过SSL/TLS协议的加密通信通道
,确保数据从来源到目标地之间传输的安全性,
防止信息被窃取或篡改。帆软
|
FDL国产化替换方案第
21
页 基建能力-安全性和性能保障
FineDataLink
升级能力
新增能力
基建能力
After
体系化服务与运营•常规技术支持服务
:5*8工单自助查询
,城市课堂线下培训;•高级技术支持服务:7*24专人专线
、年度巡检4次;•客户成功顾问服务
:基于客户产品采购预期
,梳理客户产品使用规划
,提供
同行业标杆客户产品应用场景参考
,给出客户针对性业务场景解决方案。Before
缺乏原厂服务与支撑•Informati
ca原厂退出中国市场,
当前国内仅有代理商服务
,存在断供风险;
经常出现遇到问题到不到人,
即使找到人问题解决效率也很慢
的问题;•Informatica产品中文文档缺失
,导致故障排查耗时翻倍。•
服务响应慢
、资料不完善
,影响服务体验。帆软
|
FDL国产化替换方案第
22
页 基建能力-服务保障
FineDataLink
升级能力
新增能力
基建能力
海外ETL工具部署架构复杂,依赖多种环境组件,且仅支持手动部署,第一次部署需要几天时间
。平台支持环境直接部署和FineOps运维平台容器化部署;
可视化启动
、重启
、升级工程
,2h完成平台部署官方中文文档简略,产品风格接近传统代码开发工具,初期使用
上手时间超过2周;具备完善的官方使用教程
,画布式拖拉拽开发
,更优的交互逻辑,
1天即可上手开发;当业务系统还存在字段新增和修改场景,导致任务运行报错
、目标表需要手动维护表结构,运维成本很高
。来源表DDL自动同步,支持灵活便捷的调度配置管理;全局任务整体监控
,异常任务预警
。离线模式进行数据加工,仅支持T+1数据更新,无法满足高时效
性场景基于日志监控技术,可实现数据库实时同步
、实时数据计算场景传统ETL架构,核心支持定时ETL模块
,不支持API数据服务
、数据治理管理等场景基于数据全链路建设平台能力,数据集成-开发-服务-治理一体化设计,满足企业数据全生命周期应用诉求数据仓库构建场
景
中
,
F
i
n
e
D
at
a
L
i
n
k
平
均
可
节
约
4
0
%
学
习
和
开
发
时
间
。Informati
ca等传统海外ETL产品FineDataLink7
×
24小时官方服务
,完善的服务机制,保障问题解决;两周一次版本更新
,业务需求快速响应和解决原厂服务团队退出中国,产品使用存在异常时,
问题解决效率低,造成数据稳定性风险
。国资央企客户响应国产化诉求,海外ETL工具不满足信创要求,同时不适配国产化数据库
。帆软
|
FDL国产化替换方案第
23
页信创软著,满足信创诉求,
同时适配几十余种国产化OLTP
、OLAP数据源
。
FineDataLink
升级能力总结国产化政策学习成本任务运维数据时效性增量能力产品部署服务与维护03历史任务迁移方案How
to
Migrate
客户希望将Informatica任务迁移到新平台FineDataLink中,但是担心Informatica任务在FDL中需要全部重新开发,是巨大工作量的付出
。帆软
|
FDL国产化替换方案第
25
页
历史任务迁移解决方案
FineDataLink
客户希望将Informatica任务迁移到新平台FineDataLink中,但是担心Informatica任务在FDL中需要全部重新开发,是巨大工作量的付出
。数据管道任务Informatica任务迁移工具1
、数据管道任务:操作简便,一次性可以直接利用FDL数据管道生成多个表的数据同步任务
。适合那些结构较简单且无需复杂逻辑处理的任务
。开发人员可以快速生成多个数据任务,提高开发速度和灵活性
。2
、Informatica任务迁移工具:
FDL平台提供Informatica迁移插件
,Inf中SQL脚本
、调用存储过程等任务
,平台可解析元数据自动生成任务
。迁移过程高效,适合大规模迁移任务;帆软
|
FDL国产化替换方案第
26
页
历史任务迁移解决方案
FineDataLink帆软
|
FDL国产化替换方案第
27
页
客户希望将Informatica任务迁移到新平台FineDataLink中,但是担心Informatica任务在FDL中需要全部重新开发,是巨大工作量的付出
。3
、元数据自动生成任务工具:
ETL任务自动创建插件,用户将历史工具的ETL任务配置信息维护至
Excel文档中,如:来源表名
、目标表名
、sql语句等;文档上传平台后
,FDL自动创建ETL任务
,大幅降低用户任务迁移成本;4
、自定义开发:适用于复杂任务的迁移
,能够将原有的Mapping转换为数据转
换任务,确保在迁移完成后不再依赖历史平台
。开发者可对任务完全控制,适合特殊需求或业务逻辑复杂的任务
。
历史任务迁移解决方案任务元数据维护文档自定义开发
FineDataLink元数据自动生成任务工具04客户案例与效果验证Proof
of
Success2
2
年
正
式
发
布
至
今
,
1
2
0
0
+
客
户
认
可
,
预
计
2
5
年
底
突
破
1
5
0
0
家帆软
|
FDL国产化替换方案第
29
页 FineDataLink合作客户墙
FineDataLinkxx车身(Informatica)xx
日化(Informatica)xx新能安(Talend)xx新能源(Talend)xx电器(Informatica)xx医学院附属医院(Informatica)xx财经高等职业技术学校(Oracle
ODI)2
2
年
正
式
发布
至
今,
I
n
f
o
r
m
ati
c
a、
T
a
l
e
n
d、
SS
IS、
O
D
I
等
海外
ET
L产
品
的
替
换
客
户
几
十余
家xx化工股份有限公司华北分公司xx工业技术股份有限公司
(SSIS)帆软
|
FDL国产化替换方案第
30
页
Informati
ca等海外产品替换客户墙xx基金(Informatica)xx证券(Informatica)
FineDataLink(Informatica)能力升级•
平台任务开发难度大,产品学习成本高,特招聘原Informatica顾问进行任务开发,其他同事并不熟悉,知识转移难度高;•
任务同步效率需要提升,企业内数据量越来越大,但是Informatica不适配国内大数据平台的数据源特性,无法使用高速装载等能力
。政策驱动•2027年年底,公司需要完成信创要求,包括基础类软件
、应用层软件;•
现有工具不支持信创环境
,即使升级也无法满足对接国产数据库
、中间件和操作系统的适配;•由于Informatica厂商是美国公司,受到外部因素影响,
已退出中国,无法提供原厂服务,有断供风险
。能力不足•Informatica仅能满足定时从数据源端抽取相关数据进入数据平台工作,无法满足数据底层未来扩展需求;•车身数据
,需要与第三方应用和生态上下游进行对接
,平台
不支持API发布能力;•平台无法与BI平台进行集合
,需要定制开发,增加额外成本
。•Informatica产品按照软件+配置+使用量计费,年费投入较高,若进行功能补充,年度费用达到60万/年
,需要考虑进行降本增效
。帆软
|
FDL国产化替换方案第
31
页费用投入
某车身公司数据建设背景
FineDataLink数据应用FineReportHadoopHive企业数字大屏FlinkSparkClick
House其他数据大数据计算+存储引擎FineDataLink平台基于日志的异构数据源
整库实时增量同步低代码
、高性能
、易操
作ETL/ELT数据开发数据管理(数据资源
、标准
、血缘分析
、数据质量
、数据安全)WEB数据FR填报数据SaaS平台服
务帆软
|
FDL国产化替换方案第
32
页数据服务&应用
某车身公司整体数据架构
FineDataLink数据集成处理数据源SAP其他业务系统…
…数据仓库Mysql数据平台FineMobile主题数据集市指标数据集API数据FineBI主数据AI…
…背景:
历史Informatica开发了几百个脚本任务,
由于Informatica的调度能力有限,
使用windows系统应用命令行工具pmcmd,
使用pwc命令来调度Informatica任务,
由于运行不稳定,
导致Informatica中的Hive数仓任务更新经常失败,Hive数据存在不准确的问题
。方案:
通过使用FineDataLink的调度平台,
定时调度和事件调度两种能力,
不仅可以满足客户的调度需求,
同时还可压缩数仓的更新时间,
解决了数据不准确的问题
。客户评价:
FDL上手难度低
,流批一体,
效率高很多
。
目前还没有性能瓶颈,
能满足未来几年的信息化要求
。帆软
|
FDL国产化替换方案第
33
页
某车身公司应用效果
FineDataLinkTalend替换常规的技术支持服务缺乏,
出现问题时无法及时响应软件版本更新慢,新需求也无法得到满足使用方式类似于传统代码开发软件,使用要求高,
新人IT上手很困难
大批量数据处理 电池的生产数据量非常庞大且复杂,每天要新增的数据就有20GB以上,要处理的数据更是超过200GB交叉维护数据流任务,容易出现错误
,需要及时回退到之前的任务版本因网络等不确定因素容易导致任务失败
,需要回滚,避免脏数据写入作为帆软FineBI的用户,使用非常的深,建设了12000+的自助分析模板
,月度访问量
:30000+,
已经深入到每一个业务职能中
。随着BI的使用和推广
,需要自动化手段来实现自动更新多个厂区,每个厂区负责不同的业务,这些业务数据都需要传递到总部来实现数据汇集,数据量非常之庞大BI自助更新帆软
|
FDL国产化替换方案第
34
页任务管理和回滚
某新能源公司数据建设背景
FineDataLink帆软
|
FDL国产化替换方案第
35
页共计有20+业务系统,
且随着业务发展还在逐年增加包含关系型数据库
、Mpp架构数据库
、时序数据库等多种类型BSS业务系统情况
某新能源公司业务系统&数据库情况DB数据库情况PLMSAP
HANA......WMSSQL
ServerTDengine......数仓存量900TBERP-SAPSRM仅ERP月增50+GBOracleYMatrixMES-达索*
N年增量300TB
FineDataLinkDV数据量数据量很庞大背景:历史通过Talend构建了5000+脚本任务,产品订阅即将到达有效期,需要快速将任务迁移到FineDataLink上,保障数据的可用性,
同时希望尽可能减少人工的重复操作,提高效率。方案:通过使用FineDataLink的批量迁移插件,只需要填写对应的Excel信息,即可快速生成任务,价值:通过此方式,花费2周时间,生成了3000+的数据同步/处理任务并进行了调试,实现了任务的快速批量迁移。
(图片为部分测试数据)帆软
|
FDL国产化替换方案
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 牙科医院前台工作制度
- 民情赶集工作制度规定
- 枫桥式税务所工作制度
- 残联乡村振兴工作制度
- 检察院团支部工作制度
- 水洗公司车间工作制度
- 检查站日常工作制度
- 水处理透析工作制度
- 会议记录工作制度
- 精准扶贫十项工作制度
- 会务服务招投标方案(3篇)
- DB1304T 400-2022 鸡蛋壳与壳下膜分离技术规程
- 广西玉林市2024-2025学年下学期七年级数学期中检测卷
- 别墅装修全案合同样本
- 侨法宣传知识讲座课件
- DB35∕T 84-2020 造林技术规程
- 企业研究方法知到智慧树章节测试课后答案2024年秋华东理工大学
- 《交易心理分析》中文
- DB50-T 547-2024 消防安全管理标识
- DB11 994-2021 平战结合人民防空工程设计规范
- 家庭医生签约服务手册
评论
0/150
提交评论