帆软数采+数仓解决方案

@FanRuan数采+数仓解决方案e7d195523061f1c07797a755f80b33936a4bdb71a1e2e9b3B62BFFCC95B79A52B69A880DC502B9E829A24DBA5CC298944ED7C125A3C86A656AA7F644DB8944AD014E04A9878B8132B29416743944FF5DCC507526376A5AC58EE0F1A5FC8F59998C0CD06DB888E7E35498044740ECB45703F93F7CBDEB7090867790094660804162A6986075B2B43D1–公司介绍TheMainStructureContents2–整体架构3–数据采集4–数据仓库e7d195523061f1c07797a755f80b33936a4bdb71a1e2e9b3B62BFFCC95B79A52B69A880DC502B9E829A24DBA5CC298944ED7C125A3C86A656AA7F644DB8944AD014E04A9878B8132B29416743944FF5DCC507526376A5AC58EE0F1A5FC8F59998C0CD06DB888E7E35498044740ECB45703F93F7CBDEB7090867790094660804162A6986075B2B43D01公司介绍历经14年发展，帆软已成长为国内领先的商业智能厂商2006注册成立帆软软件开始公司化运营推出FineReportV3.02008发布FineReportV6.0开始大步流星进入新的发展阶段

2012FineReport成为报表软件领导品牌市场占有率业内第一2013发布FineBIV1.0掀起国内自助式BI浪潮20152015年销售额破亿将国内商业智能产业带到新的起点2019年销售突破6.7亿连续两年获得IDC认证国内商业智能市场占有率第一总部无锡，员工超1300人，全国与海外共设立15处分支机构无锡南京东京安养新竹新加坡曼谷组织规模员工总数超1300人，国内BI领域人员规模第一，产品和研发超过50%，以产品和技术驱动;总部：无锡研发中心：南京分支机构：上海、北京、深圳、杭州、济南、成都、武汉、西安、沈阳、安养、新竹、东京、曼谷、新加坡;机构分布14年的发展，帆软也获得众多行业组织和机构的认可ForbesGartnerCCIDIDC帆软商业智能产品与服务体系概览工具商业智能工具终端展示FineReportFineBIFineMobile移动BI大屏数据可视化方案行业方案阿米巴零售管家微信小秘书商业风控通医药数据魔方行长驾驶舱行业产品化工地产医药零售保险交通证券时尚建筑银行医疗电子电气电力新能源······交流平台品牌活动数据应用研究院智数大会百城巡展行业峰会FineDay商业智能创新实践峰会理论建设趋势报告案例研究前沿书籍服务售后服务实施服务社区服务人才培养技术支持二次开发客户成功项目管理数仓搭建可视化开发问答直播讲堂认证文档任务数据运营官报表工程师BI工程师帆软商业智能工具方案BI工具满足企业不同的数据应用场景终端展示满足企业不同的数据展示场景行业方案基于行业共性的指标体系和场景方案行业产品基于产品应用和管理思路整合成的产品化解决方案服务交流平台售后与实施服务售后的项目实施以及服务响应社区服务线上的学习、交流与互助服务平台人才培养企业数据化人才的培养支持品牌活动覆盖区域/行业/职位多维度的会议交流平台数据应用研究院专注企业数据化应用以及BI技术/理论的交流和研究帆软售后-多渠道为客户提供精细化的售后服务支持分类服务通道获取途径通道特点自助解决帮助文档FineReport()/FineBI()百科式文档，已收录2627余篇智能客服-小帆智能问答机器人，可解决3000+问题寻求帮助帆软论坛（互助版块）番薯互助问答，已累计解决28025个问题，响应时间5分钟技术支持QQ800049425官方主要服务通道，日均处理426个问题技术支持电话400-811-8890官方次要服务通道技术支持E-mailsupport@官方次要服务通道服务投诉投诉电话（总裁热线）186-0252-2339官方主要投诉受理通道投诉E-mailcomplain@官方次要投诉受理通道微信服务号投诉finesoftware官方次要投诉受理通道搭建行业优质的活动交流平台，为企业数据价值落地赋能百城巡展78场次11885

家到场交流企业275

家标杆企业分享12

个行业17场高峰论坛2

场次1600

用户到场800

家企业到场100家场均与会企业2

场次1600家企业到场2600客户参与交流行业峰会智数大会FineDay城市课堂41

个城市286

场城市课堂11508

惠及学员数2018首届智数大会帆软行业解决方案：基于行业的深耕，为行业客户提供更有价值的咨询服务*更多行业咨询请联系当地销售顾问*交通运输物流电力新能源电子电气医疗行业证金保险期货建筑行业精益生产管理；精益供应链管埋；智能制造可视化应用实践；报表体系建设探索经验分享；数字化管理；数据大屏展示；交通运输大数据平台建设；跨部门多应用数据共享平台；智能电站、智慧电厂；能源互联网；坚强智能电网；泛在电力物联网；智慧能源综合服务平台；企业数据管理指标体系建立方式集团数据资产建设思路如何应用数据手段加快业财一体化项目管理数据应用工程数字化指挥中心与智慧工地建设数据发掘医疗客源专科医院利用数据提升科研水平运营管理型数据平台建设新环境下医疗机构的数据之路集团数据化管理的部分场景医疗数据的服务价值管理驾驶舱数据治理监管报送精细化自助分析全面风险管理02整体架构架构1：关系型数仓架构源数据财务系统种植加工库存系统主题分析大屏展示…..ODS(操作数据存储)领导驾驶舱销售、市场数据抽取转换数据仓库数据集市整合分析展现数据集市关系数据模型

多维数据模型自助分析移动驾驶舱固定报表大屏展示EDW(数据仓库)数据抽取数据转换数据加载ETL物流系统人力系统合同采购系统研发系统质量系统驾驶舱固定报表架构2：MPP数仓架构主题分析生产监控看板…..ODS(操作数据存储)FineTube调度Kettle调度领导驾驶舱ERP数据源数据仓库-FineData/MPP架构整合分析前端展现填报报表移动驾驶舱固定查询报表驾驶舱看板DW(数据仓库)实时数据抽取-E实时数据转换-T实时数据加载-LETL批处理MES手工填报EHR主题分析报表固定查询报表线下excelOA移动端报表KettleKettle调度宽表化分主题/分模块结果集宽表DM(数据集市)数据建模批量数据转换-TFineTube调度03数据采集大数据平台ApacheKylin华为FusionSight华为DWSAPACHEIMPALAHadoopHiveSPARKAmazonRedshiftPresto······程序数据源JAVAAPI Hibernate数据源Webservice/SOA标准数据源文件数据源EXCELTXTCSVXML分析型数据库VerticaGreenPlumSAPHANA阿里云ADS多维数据库BWSSASESSbase关系型数据库OracleDB2MySQLSQLServerAccessInformix……NOSQL数据库MongoDBIT采集：数据源连接IT采集：支持开发者深入地开发与控制模板导入文件导入简单程序数据源带参程序数据源EJB程序数据源WebSerive程序数据源自定义函数自定义样式自定义交互自定义填报文件导出文件打印XML程序数据源报表再处理帆软开放平台导入接口数据源接口逻辑处理接口导出打印接口IT采集：丰富的填报控件样式，支持大数据量填报文本数字下拉框视图树下拉复选框单选按钮组日期按钮复选框网页框复选框组文件密码下拉树表格树列表控件预定义控件自定义控件提供多种填报控件风格，创新的分页加载技术，支持大数据量填报表填报示例模板IT采集：支持多种智能的数据提交控制内置4种提交类型支持自定义提交智能绑定字段和单元格提交条件和提交事件内置智能提交，插入提交、删除提交，更新提交等入库方式。可设定单元格未被编辑时不参与提交。支持自定义JAVA类提交智能添加字段，智能添加单元格，快速实现字段和单元格的绑定支持提交条件，只有满足预设条件的数据才会入库。支持编辑提交事件。IT采集：支持全方位的数据校验，确保数据合乎规范典型数据校验示例Finereport数据校验及时校验提交校验强制提交JS校验对单元格内容及时校验，比如文本的长度/数字的精度提交时对全局数据进行校验，支持公式/自定义java类支持编写js事件来实现复杂的数据校验可设置数据校验不通过仍强制提交数据IT采集：在线导入excel数据，支持多种匹配逻辑导入行式报表：支持固定行和不定行的导入，提供按标题匹配和按位置匹配等智能匹配逻辑，支持双向扩展报表的导入EXCEL导入设置导入自由报表：支持导入自由格式的报表，按照单元格位置匹配，实现完整样式的导入自定义导入：支持行式报表的自定义导入，用户可以选择要导入的行、列以及sheet123实时同步自定义组件增量更新可支持和开发cdc、binlog、logminer、时间戳、日志，API接口等实现各种不同数据系统的实时增量同步数据数据开发批处理流处理在线批处理、流处理等多引擎任务开发，构建复杂的调度依赖，提供可视化数据开发模式数据存储实现海量数据的数据存储配置数据质量字段监控脏数据清洗通过表级别、字段级别监控规则定义，第一时间感知脏数据。数据安全数据暂存数据恢复基于kafka消息中间件随时恢复数据，保证数据一致性结构化非结构化IT采集：FineTube产品特点基于cdc、binlog、logminer、时间戳等技术实现实时增量同步数据FineTube实时同步自定义参数，无需临时表操作，同步过程参数自动更新IT采集：FineTube-实时同步FineTube数据开发在线流处理在线批处理可视化数据开发数据开发在线批处理、流处理等多引擎任务开发，构建复杂的调度依赖，提供可视化数据开发模式IT采集：FineTube-数据开发IT采集：FineTube-数据服务数据服务零代码快速生成Serverless化的APIFineTube数据服务旨在为企业搭建统一的数据服务总线，帮助企业统一管理对内对外的API服务。数据服务为您提供快速生成数据API的能力，同时支持您快速注册现有的API至数据服务平台，进行统一的管理和发布数据服务可以自定义配置一个url对外发布，提供接受数据推送的功能，把推送过来的数据存储到kafka中，后续可以走正常的同步任务流程，使用kafka输入组件消费推送过来的数据、转换、装载等等IT采集：FineTube-数据质量通过表级别、字段级别监控规则定义，第一时间感知脏数据FineTube字段类型监控FineTube脏数据自动提醒IT采集：FineTube-数据安全FineTube数据安全将数据置于kafka容器中存储，基于kafka消息中间件随时恢复数据，保证数据一致性IT采集：FineTube-智能监控FineTube任务监控FineTube服务器监控1任务监控：查看全部任务的运行状态，查看每个任务已处理的数据总量，查看单个任务内部每个组件的运行情况2服务器监控：查看服务器当前和历史的CPU、内存、磁盘和网络的使用情况04数据仓库数仓层次架构数据清洗是ETL过程中的一个重要环节,主要任务是检测并删除/改正将装入数据仓库的脏数据。元素化标准化校验匹配消除重复记录归档将非标准的数据格式化成结构数据。将元素标准化，根据字典消除不一致的缩写。对标准化的元素进行一致性校验，即在内容上修改错误。在其它记录中寻找相似的记录，发现重复记录。根据匹配结果进行处理，删除部分记录或者合并多个记录为一个完整信息的记录。结果写入数据存储中心。这样可以更好地进行后续的清洗过程，而且可以更加容易理解数据源以便在数据仓库中进行切片、整合等操作。数据清洗过程数据清洗数仓模型概览数仓星形模型数仓日期维度示例事实表中本来就有日期字段了，直接用SQL处理就可以了，为什么还需要日期维度？日期维度表中还可以按照分析者的意愿添加更多的属性，比如是否促销日、是否特定节日、月初、月末、季初、季末、年初、年末等。第一步：业务建模-需求调研第二步：领域建模-概念分析第三步：逻辑建模-逻辑设计第四步：物理建模-物理设计确定需要哪些信息，建立哪些应用，常用操作及对象等，确定主题域数据分布调研数据CRUD调研对需求调研所得数据的高层抽象描述，形成基础概念模型概念模型（PDW模型）：实体-关系将概念模型映射为某个特定类型的DBMS模式数据。确定数据字典、数据流图逻辑模型：实体-关系-属性对已经确定的逻辑结构选择适当的物理结构，包括存储结构、存取路径、存储分配等。物理模型：实体—关系—属性—定义数仓建模过程开放性规范性松紧耦合3NF、星型、宽表、细粒度数据与汇总数据并存安全性易用性稳定性数仓建模原则蓝色表示共享资源灰色表示无共享资源DBSAN/共享存储DBDBDB共享式集群数仓——SharedDiskDBDBDBDBDiskDiskDiskDisk分布式数据中心—SharedNothingSAN/共享存储DiskDiskDB传统数仓—SharedEverthtingFineData-分布式架构的先进性Gartner2019排名：Greenplum跃居第三1.经典数据分析领域排名第三Greenplum在经典数据分析领域排名第三，仅次于Teradata和Oracle。逻辑数据分析领域排名第四。2.实时数据分析领域排名第四随着物联网、工业互联网等流式数据分析需求的兴起，实时数据分析能力越来越受重视。Greenplum凭借卓越的性能，在此领域排名和内存数据库HANA并列第四。3.前十唯一开源Greenplum是全球十大经典和实时数据分析产品中唯一的开源数据库，这就意味着如果选择开源，前十名中别无选择，唯此一款。4.行业Rediscovery经过多年对Hadoop/NoSQL/NewSQL的探索，用户最终转向以已验证的经典技术为基础的成熟解决方案。5.数据科学技术下沉至数据库最近几年数据库领域的一个新趋势：内建数据分析和数据科学技术于数据库内部。Greenplum于2011年开始引领这一领域的研发，其开源项目MADlib目前亦是Apache顶级项目。6.Greenplum大数据平台持续快速演进即将发布的Greenplum6在数据库内核、HTAP、混合负载、高可用性、异构数据源、多样化数据类型支持等方面进行了重大改进。高性能可以高效快速稳定地进行大数据量的数据装载，数据计算和数据分发，支持行列混合存储和数据压缩，满足PB级数据高性能分析要求。高性价比可搭建在各种开放式硬件平台上，硬件选型上有很大的自由性，相比其他的封闭式数仓专用系统要有每TB数据量下软硬件价格优势。高可用单节点错误不影响整个系统使用，要有天然的数据热备机制，能够在单点故障的时候能够持续的对外进行数据服务高兼容支持HADOOP组件功能扩展预置MADlib数据挖掘算法库易使用支持主流SQL语法和开窗函数，使用方便，学习成本低。支持多语言的自定义函数和自定义类型.满足即席分析和复杂查询的场景需求数据中心产品特点动态扩容支持主流SQL语法，使用方便，学习成本低。支持多语言的自定义函数和自定义类型.提供常用的维护的可视化工具，使用及维护都相对简单方便；能够进行资源管理。场景FineData（MPP）Oracle支持的数据量100TB最大几十TB海量存储下查询能力设计架构十分适合于进行海量数据的存储和查询，某些场景下性能超过Oracle和DB2数十倍需要丰富经验的架构师对数据库进行合理的设计，才会有很好的查询效率，对数据库使用要求较高计算时间窗口秒级分钟级数据装载卸载速度快慢系统在线扩容支持不支持线性扩展支持不支持FineData-与传统数据库（Oracle）对比帆软大数据场景支撑案例-合作客户部分列举客户大数据平台原数据系统设计数据量级数据时效提升查询效率提升中南控股FineDatasqlserver6TT+1提升至秒级50倍+绿城房地产FineDatasqlserver5TT+1提升至秒级80倍+无锡市公安局FineData+HadoopOracle+HADOOP30TT+3提升至小时级40倍+江苏省公安厅FineData+HadoopOracle+HADOOP100TT+3提升至小时级40倍+上汽集团Hadoop+kylinsqlserver8TT+1提升至秒级80倍+安吉物流Hadoop+ImpalaOracle10TT+1提升至秒级80倍+星巴克FineData+Hadoopsqlserver20T小时级提升至秒级30倍+太平财险FineData+Hadoop各种关系型数据库20T小时级提升至秒级30倍+中百仓储FineDataOracle10TT+1提升至分钟级80倍+酷乐潮玩FineData+HadoopMySQL20TT+1提升至分钟级60倍+惠科金渝光电Hadoopsqlserver30TT+1提升至分钟级60倍+

随着大数据时代的来临，公安信息化迎来了一个飞速发展的黄金时期，经过“大整合、高共享”，公安信息化综合应用体系已覆盖了公安主体业务，数据种类不断丰富、总量急速增长、结构不断异化，警务大数据体系已见雏形，信息资源已成为继警力资源、装备资源之后的新一类的核心资源。据不完全统计，目前全国公安机关掌握的数据资源已达100多类上千亿条,江苏全省达几百亿条，仅无锡市局多达几十亿条，数据总量达100TB，其中迫切分析数据近30TB，分布在十数个业务系统和数据平