帆软FineTube产品介绍

FineTube产品介绍Sec01引Sec02FineTube产品介绍Sec03FineData产品介绍Sec02其他内容介绍01引整体平台架构业务系统MESNCERPOACRM其他…数据采集kettle（定时采集）FineTube（实时采集）数据补录区EXCEL数据仓库传统数据仓库（oracle/sqlserver）数据应用数据访问数据采集计算存储数据应用服务查询|统计|分析|决策…数据分析服务项目质量|项目水平…数据可视化服务数据报送管控项目运营数据报送管理…数据门户（报表+驾驶舱+个人信息中心+…）大屏应用财务管理（集团->项目中心:财务指标）生产主题质量主题等指标管理MPP分布式数据仓库(FineData)运行服务支持数据中台运行生态移动数据平台（手机、平板）FineReport和FineBI本地机房硬件支撑共有云私有云其他项目数据中心销售分析架构1：关系型数仓架构源数据财务系统种植加工库存系统主题分析大屏展示…..ODS(操作数据存储)领导驾驶舱销售、市场数据抽取转换数据仓库数据集市整合分析展现数据集市关系数据模型

多维数据模型自助分析移动驾驶舱固定报表大屏展示EDW(数据仓库)数据抽取数据转换数据加载ETL物流系统人力系统合同采购系统研发系统质量系统驾驶舱固定报表架构2：MPP数仓架构主题分析生产监控看板…..ODS(操作数据存储)FineTube调度Kettle调度领导驾驶舱ERP数据源数据仓库-FineData/MPP架构整合分析前端展现填报报表移动驾驶舱固定查询报表驾驶舱看板DW(数据仓库)实时数据抽取-E实时数据转换-T实时数据加载-LETL批处理MES手工填报EHR主题分析报表固定查询报表线下excelOA移动端报表KettleKettle调度宽表化分主题/分模块结果集宽表DM(数据集市)数据建模批量数据转换-TFineTube调度数据质量管理数字化建设—应用架构源数据财务分析生产分析…..数据管理（指标体系）ODS(贴源层)大屏看板、门户、移动设备等形式发布销售分析数据抽取转换加载数据仓库数据集市整合分析展现数据集市(DM)关系数据模型多维数据模型采购分析品质分析管理驾驶舱移动端DWD(数据建模)自助分析数字化综合分析平台（FineReport+FineBI）OAMESERP风险管控指标预警业务调整多维分析管理战略决策

Excel数据量在PB以下：关系型数据库PB及以上：大数据平台(FineDate等）FineTube实时同步ETL工具Kettle等系统对接：通过JDBC的方式直连多个业务系统，将各个系统的元数据通过ETL同步到数据仓库的ODS中，实现贴源层数据全量存储；数据建模：对ODS的数据进行面向主题域建模，从而形成EDW（数据仓库）；分析模型：利用数据仓库的数据，根据用户需求建立多维分析模型（CUBE多维立方体）；数据集市：为了解决灵活性和性能之间的矛盾，数据集市主要面向部门级业务，并且只面向某个特定的主题，从而满足用户对性能的需求；前端展示：按照用户的分析需求，把数据仓库系统中的信息和分析结果通过可视化处理后，提供给最终用户。产品选型建议数据仓库架构介绍1、ETL工具：使用成熟开源的kettle或者FineTube(有实时要求）2、数据仓库：使用Oracle、sqlserver等常用数仓工具；数据量较大时用FineDate3、前端展示：使用专业的报表工具Finereport数据仓库建设：整体步骤思路②数据接入④数据预处理⑥数据标准化③数据勘探⑤数据标准体系⑩生命周期管理⑦数据仓库建设⑪数据开放共享⑧数据加工处理⑨元数据管理数据组织数据处理数据治理数据服务数据接入①业务&数据盘点ODS数据预处理DW层的构建产品入库的业务过程表转化为入库模型订单的实体表转化为订单模型ODS层至DW层的转化当前增量数据合并到历史全量数据中数据清洗，去空值，去错误值，去重，指标一致化，ID一致化多业务系统的数据整合，例如十多个子公司的erp数据合并不做数据的聚合，数据粒度保持与ODS层一致可维度退化，可冗余事实分解成可加事实ODS层至DIM层的转化数据清洗，去空值，去重，去错误值，维度一致化多业务系统的数据整合DM的构建——业务对象宽表维度退化公共指标计算维度聚合数据仓库搭建基础—指标体系构建主题域数据域业务过程维度修饰词原子指标时间周期派生指标度量属性主题域：一般为业务主题，比如财务主题、采购主题数据域：一般为业务主题下的关键实体，比如客户、订单、供应商、仓库、产线等等，数据域是构建DM层的依据业务过程：实体参与的业务过程，例如仓库相关的业务过程包括入库、盘点、出库

实体：客观存在并可相互区别的事物，实体参与业务过程。比如，员工、客户、产品、地点、发票等等指标=时间+修饰词+原子指标本月应收金额=本月+应收+金额指标体系构建顺序一般为：即先梳理主题和指标，再梳理指标相关的业务过程，然后梳理业务过程相关的数据域数仓层次架构数据清洗是ETL过程中的一个重要环节,主要任务是检测并删除/改正将装入数据仓库的脏数据。元素化标准化校验匹配消除重复记录归档将非标准的数据格式化成结构数据。将元素标准化，根据字典消除不一致的缩写。对标准化的元素进行一致性校验，即在内容上修改错误。在其它记录中寻找相似的记录，发现重复记录。根据匹配结果进行处理，删除部分记录或者合并多个记录为一个完整信息的记录。结果写入数据存储中心。这样可以更好地进行后续的清洗过程，而且可以更加容易理解数据源以便在数据仓库中进行切片、整合等操作。数据清洗过程数据清洗数仓模型概览数仓星形模型数仓日期维度示例事实表中本来就有日期字段了，直接用SQL处理就可以了，为什么还需要日期维度？日期维度表中还可以按照分析者的意愿添加更多的属性，比如是否促销日、是否特定节日、月初、月末、季初、季末、年初、年末等。第一步：业务建模-需求调研第二步：领域建模-概念分析第三步：逻辑建模-逻辑设计第四步：物理建模-物理设计确定需要哪些信息，建立哪些应用，常用操作及对象等，确定主题域数据分布调研数据CRUD调研对需求调研所得数据的高层抽象描述，形成基础概念模型概念模型（PDW模型）：实体-关系将概念模型映射为某个特定类型的DBMS模式数据。确定数据字典、数据流图逻辑模型：实体-关系-属性对已经确定的逻辑结构选择适当的物理结构，包括存储结构、存取路径、存储分配等。物理模型：实体—关系—属性—定义数仓建模过程开放性规范性松紧耦合3NF、星型、宽表、细粒度数据与汇总数据并存安全性易用性稳定性数仓建模原则02FT产品介绍实时同步自定义组件增量更新可支持和开发cdc、binlog、logminer、时间戳、日志，API接口等实现各种不同数据系统的实时增量同步数据数据开发批处理流处理在线批处理、流处理等多引擎任务开发，构建复杂的调度依赖，提供可视化数据开发模式数据存储实现海量数据的数据存储配置数据质量字段监控脏数据清洗通过表级别、字段级别监控规则定义，第一时间感知脏数据。数据安全数据暂存数据恢复基于kafka消息中间件随时恢复数据，保证数据一致性结构化非结构化FineTube产品特点基于cdc、binlog、logminer、时间戳等技术实现实时增量同步数据FineTube实时同步自定义参数，无需临时表操作，同步过程参数自动更新FineTube-实时同步FineTube数据开发在线流处理在线批处理可视化数据开发数据开发在线批处理、流处理等多引擎任务开发，构建复杂的调度依赖，提供可视化数据开发模式FineTube-数据开发FineTube-数据服务数据服务零代码快速生成Serverless化的APIFineTube数据服务旨在为企业搭建统一的数据服务总线，帮助企业统一管理对内对外的API服务。数据服务为您提供快速生成数据API的能力，同时支持您快速注册现有的API至数据服务平台，进行统一的管理和发布数据服务可以自定义配置一个url对外发布，提供接受数据推送的功能，把推送过来的数据存储到kafka中，后续可以走正常的同步任务流程，使用kafka输入组件消费推送过来的数据、转换、装载等等FineTube-数据质量通过表级别、字段级别监控规则定义，第一时间感知脏数据FineTube字段类型监控FineTube脏数据自动提醒FineTube-数据安全FineTube数据安全将数据置于kafka容器中存储，基于kafka消息中间件随时恢复数据，保证数据一致性FineTube-智能监控FineTube任务监控FineTube服务器监控1任务监控：查看全部任务的运行状态，查看每个任务已处理的数据总量，查看单个任务内部每个组件的运行情况2服务器监控：查看服务器当前和历史的CPU、内存、磁盘和网络的使用情况FineTube可视化界面任务发布任务监控任务提醒任务管理2.2FineTube产品特点API接口敏捷发布完整的DataAPI开发管理，支持标准RESTfulAPI的订阅和发送，提供监控和分析能力，支持自助式服务。数据管道实时同步基于CDC、Binlog、LogMiner等技术实现实时增量同步数据，避免了对源数据库的影响，响应大数据量数据实时同步需求。数据编排灵活调度在线流、批处理的多引擎任务开发，可视化开发模式，构建复杂的调度依赖，打造符合企业级数仓的功能模块，为数字化转型提供支持。统一平台协同开发提供协同任务开发平台，支持可视化、低代码地快速高效地完成数据同步、编排、API接口开发和发布等工作，提高合作效率。2.3FineTube平台架构2.4FineTube技术架构2.5FineTube同步任务流程LifecycleAwareListenerEventEvent输出Task读取Process消息提醒开发者控制器调取任务启动Process日志监控模块Process注册邮件短信系统消息查看数据库文件RestfulKafka监听提醒守护线程失败重启InputStepStepOutput

任务调度引擎唤醒创建2.6FineTube数据服务流程开发者业务包创建创建数据集数据服务API创建API配置数据库查询创建引用发布授权AccessKey导出调用者申请权限调用API返回结果3.1异构数据库的迁移、批量实时同步跨局域网数据融合云数据与本地数据进行融合数据仓库ODS层数据同步FineTube实时数据采集同步3.2云上、云下数据实时互通FineTube数据编排面向业务交互云上应用后台数据&云下数据实时互通3.3实时DW、中台下的ELT场景FineTube实时数据采集同步在线流处理在线批处理可视化数据开发数据开发架构化、非结构化数据同步转换数据中台下的实时ELT数仓分层、数据总线、主数据管理等3.4对实时数据大屏直接进行数据引入FineTube数据编排为帆软的数据可视化产品提供实时数据准备3.5跨平台、应用、终端的自定义指标提醒FineTube跨应用数据互通与通讯软件进行即时信息推送基于API灵活即时递进式交互第三方应用数据实时接收3.6通过API构建数据资产FineTube数据发布和查询订阅第三方API，与本地数据进行融合数据仓库数据发布API，供第三方订阅参数化查询，应对大并发和大流量的访问4.1FineTube助力史密斯业务系统治理脏数据客户需求业务系统的工作流程中会经常产生一些不合法的消息，这时需要及时提醒对应的人员去处理，但是