第十章第五节 大数据架构

大数据架构202410.5.1大数据架构概念10.5.2Lambda架构10.5.3Kappa架构

第十章第五节大数据架构contents目录10.5.1大数据架构概念01大数据架构概念对于复杂的业务系统，数据的价值尤显突出，对于海量数据的处理、价值的挖掘诉求是必然存在的。数据的海量存储、提取、传输、清洗、计算、挖掘等能力需要通过大数据架构的模式进行设计。大数据平台架构是一种集成了多种大数据技术的系统，用于存储、管理、处理和分析大规模、高速、多源的数据。大数据平台通常包括数据采集、数据存储、数据处理、数据分析和数据可视化等组件，可以帮助用户深入挖掘数据中的价值，支持决策制定和业务创新。图10-17大数据平台架构01大数据架构概念在大数据平台架构中，数据采集模块可以从多个数据源中获取数据，包括结构化数据、半结构化数据和非结构化数据，如传感器数据、设备数据、交易数据、文本数据等。数据存储模块通常采用分布式文件系统或分布式数据库，如HDFS、Cassandra、HBase等。数据处理模块可以对存储在数据仓库或数据湖中的数据进行分析和处理，如MapReduce、Spark等。数据分析模块可以对处理后的数据进行挖掘和分析，如机器学习、数据挖掘等。数据可视化模块可以将分析结果以可视化的方式展示给用户，如报表、图表等。大数据平台架构的优点包括可以处理海量的数据，提供更准确的分析和预测，支持快速决策和业务创新，帮助企业降低成本和提高效率。但是，大数据平台的建设和运维需要较高的技术和成本投入，需要根据具体业务场景进行规划和实施。图10-17大数据平台架构10.5.2Lambda架构01Lambda架构图10-18Lambda架构Lambda架构是由Storm的作者NathanMarz提出的一个实时大数据处理框架。Marz在Twitter工作期间开发了著名的实时大数据处理框架Storm，Lambda架构是其根据多年进行分布式大数据系统的经验总结提炼而成。Lambda架构的目标是设计出一个能满足实时大数据系统关键特性的架构，包括有：高容错、低延时和可扩展等。整合离线计算和实时计算，融合不可变性，读写分离和复杂性隔离等一系列架构原则，可集成Hadoop，Kafka，Storm，Spark，Hbase等各类大数据组件。02Lambda架构的关键特性图10-18Lambda架构Lambda架构具有以下关键特性：容错性和鲁棒性：对大规模分布式系统来说，机器是不可靠的，可能会当机，但是系统需要是健壮、行为正确的，即使是遇到机器错误。除了机器错误，人更可能会犯错误。在软件开发中难免会有一些Bug，系统必须对有Bug的程序写入的错误数据有足够的适应能力，所以比机器容错性更加重要的容错性是人为操作容错性。对于大规模的分布式系统来说，人和机器的错误每天都可能会发生，如何应对人和机器的错误，让系统能够从错误中快速恢复尤其重要。02Lambda架构的关键特性图10-18Lambda架构低延时：很多应用对于读和写操作的延时要求非常高，要求对更新和查询的响应是低延时的。横向扩容：当数据量/负载增大时，可扩展性的系统通过增加更多的机器资源来维持性能。也就是常说的系统需要线性可扩展，通常采用scaleout（通过增加机器的个数）而不是scaleup（通过增强机器的性能）。通用性：系统需要能够适应广泛的应用，包括金融领域、社交网络、电子商务数据分析等。可扩展：需要增加新功能、新特性时，可扩展的系统能以最小的开发代价来增加新功能。02Lambda架构的关键特性图10-18Lambda架构方便查询：数据中蕴含有价值，需要能够方便、快速的查询出所需要的数据。易于维护：系统要想做到易于维护，其关键是控制其复杂性，越是复杂的系统越容易出错、越难维护。易调试：当出问题时，系统需要有足够的信息来调试错误，找到问题的根源。其关键是能够追根溯源到每个数据生成点。10.5.3大数据架构案例分析01Smartbi银行应用产品大数据架构以Smartbi银行应用产品总体解决方案为例，Smartbi建设方案：1.Smartbi在存储层之上构建了数据分析中台，它包括了完整的数据中台、技术中台与业务中台。其本质上是构建具备数据共享能力的应用中心；2.Smartbi以连接数据中台与业务中台，实现应用呈现为目标，构建了满足技术中台要求的银行数据分析技术中台产品。产品包括可视化组件、数据分析组件、数据挖掘组件等，将数据背后的价值展现在人们面前；3.通过这个产品的部署，连接银行现有的数据，根据银行的个性化需求，可简单的满足对于自助分析、报表、数据挖掘、管理驾驶舱等系统的要求。我们也抽象了些应用模板、数据模板。图10-19Smartbi银行应用产品大数据架构02Smartbi银行应用产品大数据架构方案价值方案价值：1.管理驾驶舱：指标全面性、移动监控性、监管目标性、响应快速性、工作汇报便捷性；2.数据准确性、分析即时性、风险预警性和辅助决策性；3.自助分析：数据回归业务、数据答疑、图表快速自助、简化工作流程、业务价值共享；4.