《大数据存储技术》课件-项目二：分布式数据存储技术

e7d195523061f1c09e9d68d7cf438b91ef959ecb14fc25d26BBA7F7DBC18E55DFF4014AF651F0BF2569D4B6C1DA7F1A4683A481403BD872FC687266AD13265C1DE7C373772FD8728ABDD69ADD03BFF5BE2862BC891DBB79E29A9EA08C41FBAAAEBA9838744021BA1A549F215E22F9DF55A2786735D9CE05356CBEF0EA947A60887D8B18533B9D50651C047EA81072EB9ENTER学习导航2.1认知地图系统性思维知识模块实践环节能力目标逐一关联？前言目录CONTENTS目录2.1.2项目导航2.1.1每课一语「每课一语」建立精神锚点「项目导航」落地实践理论实践价值观三维闭环为什么要把人文启发和专业实践结合？这背后体现了职业教育怎样的培养逻辑？2.1.1每课一语PARTONE2.1.1每课一语哲学隐喻「心怀梦想，逐梦而飞」食品大数据领域梦想是用数据优化配方用分析保障健康2.1.1每课一语哲学隐喻「荆棘与崇山」数据清洗的繁琐模型构建的瓶颈请思考：如何让「逐梦精神」转化为解决专业难题的行动力？2.1.1每课一语本质是专业精神的具象化「专注脚下道路」「邂逅梦想之光」食品成分分析的创新探索数据存储仓库建设扎实实践2.1.1每课一语本质是专业精神的具象化当行业追求「效率与标准」时，如何平衡「梦想的浪漫」与「实践的严谨」？批判性思考2.1.2项目导航PARTTWO理论落地的战场专业知识的动态整合生成营养成分报告数据采集的规范性算法模型的适配性与生产端的协同逻辑如何避免「为做项目而做项目」，真正理解其行业价值？思考2.1.2项目导航2.1.2项目导航报告与价值核心是「专业的社会属性」为生产商优化配方分析必须精准且实用为消费者健康服务批判性思考当商业利益与公共健康冲突时，作为技术人，如何坚守数据的客观性？职业伦理的关键考题2.1.2项目导航生产监测与优化体现的是「数据驱动的工业逻辑」实时展示成分数据动态调整参数Hadoop平台的实时计算数据仓库分层的高效支撑技术迭代如此之快，该如何平衡「现有知识学习」与「未来技能更新」？思考今天所学的「项目导航」，如何呼应行业数字化转型需求？掌握的技能，能否真正推动食品行业的健康发展？课程小结ENTER数据的存储(1)大数据与数据库知识体系关键部分关乎数据有效管理与应用2.2e7d195523061f1c09e9d68d7cf438b91ef959ecb14fc25d26BBA7F7DBC18E55DFF4014AF651F0BF2569D4B6C1DA7F1A4683A481403BD872FC687266AD13265C1DE7C373772FD8728ABDD69ADD03BFF5BE2862BC891DBB79E29A9EA08C41FBAAAEBA9838744021BA1A549F215E22F9DF55A2786735D9CE05356CBEF0EA947A60887D8B18533B9D50651C047EA81072EB9数据仓库数据存储的重要载体整合多源异构数据支撑企业决策分析数据仓库如何实现高效数据存储与按需调用e7d195523061f1c09e9d68d7cf438b91ef959ecb14fc25d26BBA7F7DBC18E55DFF4014AF651F0BF2569D4B6C1DA7F1A4683A481403BD872FC687266AD13265C1DE7C373772FD8728ABDD69ADD03BFF5BE2862BC891DBB79E29A9EA08C41FBAAAEBA9838744021BA1A549F215E22F9DF55A2786735D9CE05356CBEF0EA947A60887D8B18533B9D50651C047EA81072EB9目录2.2.1明确任务2.2.2探究新知2.2.3研析应用2.2.4设计调试2.2.5测评总结锚定学习目标深入数据存储原理与数据仓库核心逻辑结合实际场景理解落地方式动手实践强化技能查漏补缺2.2.1明确任务e7d195523061f1c09e9d68d7cf438b91ef959ecb14fc25d26BBA7F7DBC18E55DFF4014AF651F0BF2569D4B6C1DA7F1A4683A481403BD872FC687266AD13265C1DE7C373772FD8728ABDD69ADD03BFF5BE2862BC891DBB79E29A9EA08C41FBAAAEBA9838744021BA1A549F215E22F9DF55A2786735D9CE05356CBEF0EA947A60887D8B18533B9D50651C047EA81072EB9PARTONE2.2.1明确任务任务引入食品营养成分数据数据存储数据仓库怎么构建指标计算的流程在Hive里创建数据库和表怎么读写数据数据仓库的分层架构搭建完整体系数据清洗和分区的作用指标分析的实践掌握Hive数据仓库的构建方法2.2.1明确任务任务目标知识目标1.认识创建数据库和数据表的语法能力目标素质目标2.掌握分区表的创建方法3.掌握验证数据库和数据表的基本语句1.在Hive中成功创建数据库和表2.能把本地CSV文件读取并写入到Hive中3.能在Hive里查看操作的结果1.小组协作完成任务，提升职业素养能力和创新能力2.培养心怀梦想、逐梦前行，眼里有光、积极向上的精神2.2.1明确任务任务目标任务名称数据的存储学习目标知识目标(1)认识创建数据库和数据表的语法；(2)掌握分区表的创建；(3)掌握验证数据库和数据表的基本语句。能力目标(1)能在Hive中建库建表；(2)能读取本地CSV文件写入Hive中；(3)能在Hive中查看结果。素质目标(1)通过小组协作完成工作任务，提升学生的职业素养能力以及创新能力；(2)培养学生心怀梦想，逐梦而飞；眼含曙光，向光而生的精神。2.2.1明确任务任务目标任务名称数据的存储学习环节探究新知收听每课一语“心怀梦想，逐梦而飞；眼含曙光，向光而生”，将自己的感触体会在平台进行交流。通过自主研读教材探究新知环节基础内容，掌握创建数据库、表的语法以及导入数据表的语句。通过自主研读教材探究新知环节拓展内容，掌握数据库和数据表的创建以及本地CSV文件导入数据表中。研析应用学习分析存储数据在学生信息数据中的应用，并完成相应的小试牛刀环节的测试题。设计操作小组合作完成数据库和数据表的创建，派代表进行分享汇报，并按照考核标准完成该环节的评价。小组合作完成本地CSV文件写入到数据表中并查看数据，派代表进行分享汇报，并按照考核标准完成该环节的评价。测评总结(1)按照任务考核表的要求完成该任务的测评。(2)利用思维导图完成任务的分析总结。(3)完成赛证链接环节中与本任务相关的考核测试题。2.2.1明确任务数据的存储任务目标各环节要求Hive相关操作小组协作2.2.2探究新知创建数据库、表的语法e7d195523061f1c09e9d68d7cf438b91ef959ecb14fc25d26BBA7F7DBC18E55DFF4014AF651F0BF2569D4B6C1DA7F1A4683A481403BD872FC687266AD13265C1DE7C373772FD8728ABDD69ADD03BFF5BE2862BC891DBB79E29A9EA08C41FBAAAEBA9838744021BA1A549F215E22F9DF55A2786735D9CE05356CBEF0EA947A60887D8B18533B9D50651C047EA81072EB9PARTTWO怎么把本地CSV文件导入数据表2.2.2探究新知数据库：集中存管数据DBMS实现用户交互对数据安全和检索效率至关重要通过示例命令建库需求分析，明确数据类型、关系和访问需求，制定统一命名规范选好关系型或非关系型数据库类型建库时指定字符集和排序规则保障数据正确存储检索2.2.2探究新知小试牛刀题目是创建名为

schooldb

的数据库，指定字符集为utf8，排序规则为用UTF-8存，比较时大小写不敏感，按简单字节规则快速排序，该用哪个SQL语句？（

）（1）CREATEDATABASEschooldbCHARACTERSETutf8mb4COLLATEutf8mb4_unicode_ci;CREATEDATABASEschooldbCHARACTERSETutf8COLLATEutf8_general_ci;ALTERDATABASEschooldbCHARACTERSETutf8COLLATEutf8_general_ci;USEschooldb;CREATETABLEstudents(...);B2.2.2探究新知小试牛刀在创建数据库时，哪个选项用于设置数据库的最大连接数？（

）（2）CHARACTERSETCOLLATEMAX_CONNECTIONSAUTO_INCREMENTCe7d195523061f1c09e9d68d7cf438b91ef959ecb14fc25d26BBA7F7DBC18E55DFF4014AF651F0BF2569D4B6C1DA7F1A4683A481403BD872FC687266AD13265C1DE7C373772FD8728ABDD69ADD03BFF5BE2862BC891DBB79E29A9EA08C41FBAAAEBA9838744021BA1A549F215E22F9DF55A2786735D9CE05356CBEF0EA947A60887D8B18533B9D50651C047EA81072EB9课程总结1.题目是创建名为

schooldb

的数据库，指定字符集为utf8，排序规则为用UTF-8存，比较时大小写不敏感，按简单字节规则快速排序，该用哪个SQL语句？（B）2.在创建数据库时，哪个选项用于设置数据库的最大连接数？（C）创建数据库语句以及相关参数的理解e7d195523061f1c09e9d68d7cf438b91ef959ecb14fc25d26BBA7F7DBC18E55DFF4014AF651F0BF2569D4B6C1DA7F1A4683A481403BD872FC687266AD13265C1DE7C373772FD8728ABDD69ADD03BFF5BE2862BC891DBB79E29A9EA08C41FBAAAEBA9838744021BA1A549F215E22F9DF55A2786735D9CE05356CBEF0EA947A60887D8B18533B9D50651C047EA81072EB9ENTER数据的存储（2）2.2知识回顾1.创建一个名为schooldb

的数据库，并指定字符集为utf8，排序规则为utf8_general_ci，应使用哪个SQL语句？（B）2.在创建数据库时，哪个选项用于设置数据库的最大连接数？（C）e7d195523061f1c09e9d68d7cf438b91ef959ecb14fc25d26BBA7F7DBC18E55DFF4014AF651F0BF2569D4B6C1DA7F1A4683A481403BD872FC687266AD13265C1DE7C373772FD8728ABDD69ADD03BFF5BE2862BC891DBB79E29A9EA08C41FBAAAEBA9838744021BA1A549F215E22F9DF55A2786735D9CE05356CBEF0EA947A60887D8B18533B9D50651C047EA81072EB92.2.3研析应用把知识运用到实际场景PARTTHREE分析和解决具体的数据存储相关问题2.2.3研析应用最高的山峰不在天边，而在脚下；最远的旅程不在万里之外，而在持续的坚持之中。心灵驿站学习数据存储坚持去探索实践2.2.3研析应用教育平台建数据仓库医疗机构建仓库整合数据监测患者提供健康建议整合多源数据分析学生信息定制学习计划2.2.3研析应用数据整合中如何保障质量？个性化应用还可拓展哪些维度？教育和医疗行业数据仓库应用案例数据存储数据仓库在实际场景中的巨大价值e7d195523061f1c09e9d68d7cf438b91ef959ecb14fc25d26BBA7F7DBC18E55DFF4014AF651F0BF2569D4B6C1DA7F1A4683A481403BD872FC687266AD13265C1DE7C373772FD8728ABDD69ADD03BFF5BE2862BC891DBB79E29A9EA08C41FBAAAEBA9838744021BA1A549F215E22F9DF55A2786735D9CE05356CBEF0EA947A60887D8B18533B9D50651C047EA81072EB92.2.4设计调试设计并调试相关的数据存储方案PARTFOUR2.2.4设计调试创建ods_food

数据库createdatabaseods_food;创建数据库useods_food;切换数据库结果2.2.4设计调试创建数据表将food_product.csv文件上传到hive中loaddatalocalinpath'/opt/data/food_product.csv'intotablefood;把本地的CSV文件加载到Hive表中2.2.4设计调试查看数据启动本地模式，auto=true；调整参数控制何时使用本地模式inputbytes的最大值达到固定值后，再调用本地模式进一步优化小数据量操作的执行速度提升Hive在处理小数据量查询时的性能2.2.4设计调试查看数据查看food表前三行数据，以及查看food总共有多少条数据。sethive.exec.mode.local.auto=true;sethive.exec.mode.local.auto.inputbytes.max=1021125928;数据库表创建数据导入在Hive里进行实践调试2.2.4设计调试执行数据查看语句select*fromfoodlimit3

查看表的前三行数据2.2.4设计调试执行数据查看语句

selectCOUNT(*)fromfood

统计总条数对数据入库结果的验证2.2.4设计调试每完成一层就要检查质量数据操作也需实时验证数据未验证准确基于错误数据的分析得出误导性结论给决策带来巨大风险2.2.4设计调试如何通过多次验证，保障数据的准确性与可用性思考2.2.4设计调试ODS层基本数据清洗generic_namequantitypackaging创建新表food_ods筛选多个关键字段同时不为空的数据为后续分析奠定基础2.2.4设计调试ODS层基本数据清洗CREATETABLEfood_odsASSELECT*FROMfoodWHERE字段不等于空的条件generic_name!=nullquantity!=null生成新表food_ods为数据分析提供优质的数据数据清洗和新表创建的操作+2.2.4设计调试ODS层基本数据清洗查看

food_ods

表的前三行数据和总条数清洗后数据可用后续分析数据“提纯”是否达标数据清洗并非一劳永逸业务变化导致数据特征改变清洗规则需反复调整持续保障数据质量课程总结e7d195523061f1c09e9d68d7cf438b91ef959ecb14fc25d26BBA7F7DBC18E55DFF4014AF651F0BF2569D4B6C1DA7F1A4683A481403BD872FC687266AD13265C1DE7C373772FD8728ABDD69ADD03BFF5BE2862BC891DBB79E29A9EA08C41FBAAAEBA9838744021BA1A549F215E22F9DF55A2786735D9CE05356CBEF0EA947A60887D8B18533B9D50651C047EA81072EB9ENTER数据的存储（3）2.2e7d195523061f1c09e9d68d7cf438b91ef959ecb14fc25d26BBA7F7DBC18E55DFF4014AF651F0BF2569D4B6C1DA7F1A4683A481403BD872FC687266AD13265C1DE7C373772FD8728ABDD69ADD03BFF5BE2862BC891DBB79E29A9EA08C41FBAAAEBA9838744021BA1A549F215E22F9DF55A2786735D9CE05356CBEF0EA947A60887D8B18533B9D50651C047EA81072EB9数据库创建数据导入数据清洗知识回顾e7d195523061f1c09e9d68d7cf438b91ef959ecb14fc25d26BBA7F7DBC18E55DFF4014AF651F0BF2569D4B6C1DA7F1A4683A481403BD872FC687266AD13265C1DE7C373772FD8728ABDD69ADD03BFF5BE2862BC891DBB79E29A9EA08C41FBAAAEBA9838744021BA1A549F215E22F9DF55A2786735D9CE05356CBEF0EA947A60887D8B18533B9D50651C047EA81072EB92.2.5测评总结检验对知识和技能的掌握情况PARTFIVE对“数据的存储”进行总结梳理2.2.5测评总结爱迪生曾言，天才不过是百分之一的灵感加上百分之九十九的汗水，成功的诀窍，关键就在持之以恒、不懈努力，哪怕觉得累了想放弃，也要回头看看，坚持走下去。心灵驿站2.2.5测评总结数据引入层数据仓库核心组成部分ODS把原始数据不做改动导入数据仓库为后续分析提供基础的“原材料”2.2.5测评总结ODS层的核心职责数据同步与存储保持数据原始性数据粒度细致数据实时或者定期同步到数据仓库要保证数据完整、一致数据结构和源业务系统高度一致确保数据是原始、及时的包含业务系统里所有的细节信息为后续准备丰富的基础数据2.2.5测评总结ODS层的特点同构性数据结构和源业务系统一致简化数据处理的复杂度数据清洗主要负责同步存储处理异常字段统一字段命名历史数据存储存处理过的历史数据节省存储空间只保存3到6个月2.2.5测评总结理解数据仓库的底层架构数据是怎么一步步被处理的2.2.5测评总结ODS层的应用场景实时数据分析实时获取数据及时分析、决策历史数据查询历史数据分析和比较了解业务发展历史趋势数据整合与共享数据仓库的基础层和明细层、汇总层一起整合、共享数据2.2.5测评总结任务测评创建新数据表时，必须指定的是什么？（）（1）表的索引结构表所属的数据库表的物理存储位置表的触发器B2.2.5测评总结任务测评使用SQL语句查询数据库中的某个表时，如果希望返回表中的所有记录，应该使用哪个条件？（）（2）WHERE1>1HAVINGCOUNT（*）>0不使用任何条件（即仅使用SELECT语句和表名）使用LIKE操作符匹配所有记录C2.2.5测评总结任务测评创建表时指定某个字段为主键，用哪个SQL关键字？（

）（3）UNIQUEPRIMARYKEYFOREIGNKEYCHECKB课程总结1.创建新数据表时，必须指定的是什么？（B）3.创建表时指定某个字段为主键，用哪个SQL关键字？（B）2.使用SQL语句查询数据库中的某个表时，如果希望返回表中的所有记录，应该使用哪个条件？（C）课后持续巩固知识积极动手实践将理论转化为实操能力在数据存储与管理的知识领域中，不断探索、持续进步。e7d195523061f1c09e9d68d7cf438b91ef959ecb14fc25d26BBA7F7DBC18E55DFF4014AF651F0BF2569D4B6C1DA7F1A4683A481403BD872FC687266AD13265C1DE7C373772FD8728ABDD69ADD03BFF5BE2862BC891DBB79E29A9EA08C41FBAAAEBA9838744021BA1A549F215E22F9DF55A2786735D9CE05356CBEF0EA947A60887D8B18533B9D50651C047EA81072EB9ENTER数仓的建设（1）2.3目录目录2.3.1明确任务2.3.2探究新知2.3.3研析应用2.3.4设计调试2.3.5测评总结e7d195523061f1c09e9d68d7cf438b91ef959ecb14fc25d26BBA7F7DBC18E55DFF4014AF651F0BF2569D4B6C1DA7F1A4683A481403BD872FC687266AD13265C1DE7C373772FD8728ABDD69ADD03BFF5BE2862BC891DBB79E29A9EA08C41FBAAAEBA9838744021BA1A549F215E22F9DF55A2786735D9CE05356CBEF0EA947A60887D8B18533B9D50651C047EA81072EB92.3.1明确任务面临着海量数据处理与分析的挑战PARTONE构建高效、灵活且可扩展的数据仓库系统2.3.1明确任务数据仓库的分层架构管理和维护数据提升数据一致性与复用性优化数据处理流程为业务决策和数据挖掘提供支撑数据时代迈向成功的重要基石2.3.1明确任务ODSDWDDWSADS操作数据存储层数据仓库明细层数据仓库汇总层应用数据存储层设计和实现数据仓库分层架构食品营养成分数据分析领域，数据的精确性是核心要求2.3.1明确任务数据整合把多个业务系统数据整合到统一数据仓库保障数据连贯性与完整性数据清洗与规范化ODS层对原始数据深度处理剔除无效和不一致数据2.3.1明确任务数据加工与汇总构建明细事实表DWD层为高层分析提供支撑适度汇总数据DWS层打造公共粒度汇总指标事实表提升查询效率提供定制化数据应用与分析服务ADS层支持报表生成KPI考核2.3.1明确任务任务目标知识目标能力目标素质目标2.3.1明确任务任务目标知识目标深入领悟数据仓库的基本概念与核心原理掌握并应用数据仓库的分层架构设计原则研习并掌握数据整合与清洗的专业技术与方法精通数据加工与汇总的多种策略与实践在团队项目中协作，共同推进数据仓库设计、构建与维护工作在数据仓库构建维护中快速识别解决技术难题依据业务需求独立设计构建高效数据仓库分层架构2.3.1明确任务任务目标具备利用数据仓库数据进行深度业务分析与决策支持的能力能力目标2.3.1明确任务任务目标素质目标应对数据工作有热情、有责任心；面对新挑战灵活运用创新思维解决问题；具备自我驱动学习能力，适应技术与业务需求迭代；拥有出色沟通协调能力，保障项目顺利实施；处理数据时严守法律法规，重视数据隐私安全；批判性审视项目假设与决策，提出改进建议，推动项目优化升级。e7d195523061f1c09e9d68d7cf438b91ef959ecb14fc25d26BBA7F7DBC18E55DFF4014AF651F0BF2569D4B6C1DA7F1A4683A481403BD872FC687266AD13265C1DE7C373772FD8728ABDD69ADD03BFF5BE2862BC891DBB79E29A9EA08C41FBAAAEBA9838744021BA1A549F215E22F9DF55A2786735D9CE05356CBEF0EA947A60887D8B18533B9D50651C047EA81072EB92.3.2探究新知PARTTWO数据仓库的分层架构分层架构的目的2.3.2探究新知010203数据的存储、管理和使用更清晰有序提高数据一致性与准确性实现数据清晰化、标准化和规范化优化数据处理流程提高数据处理效率与灵活性满足复杂数据分析和决策制定需求简化数据管理和维护工作降低数据管理复杂性常见的分层架构2.3.2探究新知（ODS）操作数据存储层（ODS）存储来自业务系统的数据ERPCRMPOS为后续数据处理和分析提供原始素材常见的分层架构2.3.2探究新知（DWD）数据仓库明细层（DWD）存储处理过的业务数据结合事实和维度信息数据粒度详细但已处理保留业务事件细节为高级分析提供干净、详细的业务数据，是后续数据分析的重要基础。常见的分层架构2.3.2探究新知（DWS）数据仓库汇总层（DWS）存储经过汇总和统计的数据数据粒度较粗时间区域产品常见的分层架构2.3.2探究新知数据仓库汇总层（DWS）核心作用支持中期分析需求大幅提高查询效率减少数据查询时的运算量常见的分层架构2.3.2探究新知（ADS）应用数据存储层/数据集市（ADS）专注于数据的业务应用提供定制化的数据服务和支持数据粒度最粗高度汇总以满足业务需求常见的分层架构2.3.2探究新知应用数据存储层/数据集市（ADS）支持决策制定快速响应业务需求优化业务流程提升客户满意度e7d195523061f1c09e9d68d7cf438b91ef959ecb14fc25d26BBA7F7DBC18E55DFF4014AF651F0BF2569D4B6C1DA7F1A4683A481403BD872FC687266AD13265C1DE7C373772FD8728ABDD69ADD03BFF5BE2862BC891DBB79E29A9EA08C41FBAAAEBA9838744021BA1A549F215E22F9DF55A2786735D9CE05356CBEF0EA947A60887D8B18533B9D50651C047EA81072EB9ENTER数仓的建设（2）2.3目录目录2.3.1明确任务2.3.2探究新知2.3.3研析应用2.3.4设计调试2.3.5测评总结分层架构的优势2.3.2探究新知提高数据可靠性严格数据处理流程和质量控制确保进入数据仓库的数据质量优化数据查询效率按层次分类数据优化查询路径减少不必要的数据扫描分层架构的优势2.3.2探究新知简化数据管理和维护每一层明确的职责和边界让数据维护更有序统一数据口径不同业务系统间数据口径一致提高数据可用性和可靠性实际应用2.3.2探究新知数据仓库分层架构企业具体需求业务场景灵活调整实际应用2.3.2探究新知物流行业仓库管理系统运输管理系统客户订单实际应用2.3.2探究新知物流行业实时跟踪货物运输状态库存情况客户需求优化运输路线和库存管理策略为物流企业提升运营效率提供支持2.3.3研析应用通过行业案例进一步理解数据仓库的实际价值PARTTHREE医疗健康行业数据分析仓库2.3.3研析应用医疗健康机构提升医疗服务质量患者满意度构建面向医疗健康管理的数据分析仓库医疗健康行业数据分析仓库2.3.3研析应用电子病历系统医疗影像系统患者预约系统药品管理系统医疗健康行业数据分析仓库患者健康状况治疗进度药品使用情况医疗健康行业数据分析仓库2.3.3研析应用优化医疗资源配置和服务流程医疗健康行业数据分析仓库2.3.3研析应用医疗服务效率成本效益维护数据进行分析和评估提高运营效率和医疗服务质量为患者提供更优质的医疗服务教育行业数据仓库案例2.3.3研析应用在线教育平台优化教学内容提升学习效果教育行业数据仓库案例2.3.3研析应用教育行业数据仓库在线学习系统课程评价系统学生管理系统为教学分析与优化提供数据基础教育行业数据仓库案例2.3.3研析应用维护数据学生学习行为维护数据兴趣偏好维护数据课程完成率优化课程设置、教学方法，并实现个性化推荐；教育行业数据仓库案例2.3.3研析应用教育投入与产出效益用户满意度维护数据进行分析和评估提高教育服务质量和市场竞争力吸引更多学生使用平台学习制造业数据仓库案例2.3.3研析应用制造企业提升生产效率提升产品质量面向制造流程管理的数据分析仓库制造业数据仓库案例2.3.3研析应用设备监控系统生产计划系统质量控制系统为生产管理提供全面数据支持制造业数据仓库案例2.3.3研析应用生产进度设备运行状态产品质量情况及时发现并解决生产中的问题制造业数据仓库案例2.3.3研析应用生产成本生产效率产品合格率进行分析和评估优化生产流程降低生产成本提高产品质量增强企业在制造业领域的竞争力2.3.3研析应用讨论一刻在构建和运营数据仓库时，如何平衡数据的高效利用与隐私保护之间的关系？思考2.3.3研析应用讨论一刻医疗健康教育如何确保数据的安全存储、合规使用和隐私保护，同时又能充分利用数据价值来推动业务发展和社会进步？课程小结明确任务探究新知研析应用设计调试测评总结e7d195523061f1c09e9d68d7cf438b91ef959ecb14fc25d26BBA7F7DBC18E55DFF4014AF651F0BF2569D4B6C1DA7F1A4683A481403BD872FC687266AD13265C1DE7C373772FD8728ABDD69ADD03BFF5BE2862BC891DBB79E29A9EA08C41FBAAAEBA9838744021BA1A549F215E22F9DF55A2786735D9CE05356CBEF0EA947A60887D8B18533B9D50651C047EA81072EB9数仓的建设（3）2.3ENTER数仓的基础认知、建设核心流程、关键保障在食品营养成分分析场景中的实际应用掌握数仓建设的逻辑框架与实践要点e7d195523061f1c09e9d68d7cf438b91ef959ecb14fc25d26BBA7F7DBC18E55DFF4014AF651F0BF2569D4B6C1DA7F1A4683A481403BD872FC687266AD13265C1DE7C373772FD8728ABDD69ADD03BFF5BE2862BC891DBB79E29A9EA08C41FBAAAEBA9838744021BA1A549F215E22F9DF55A2786735D9CE05356CBEF0EA947A60887D8B18533B9D50651C047EA81072EB9数仓的建设（3）2.3ENTER数仓的基础认知、建设核心流程、关键保障在食品营养成分分析场景中的实际应用掌握数仓建设的逻辑框架与实践要点目录目录2.3.1明确任务2.3.2探究新知2.3.3研析应用2.3.4设计调试2.3.5测评总结确定数据仓库建设的关键因素与挑战了解应对挑战策略加深对理论的实践认知确保系统稳定运行评估整个建设过程e7d195523061f1c09e9d68d7cf438b91ef959ecb14fc25d26BBA7F7DBC18E55DFF4014AF651F0BF2569D4B6C1DA7F1A4683A481403BD872FC687266AD13265C1DE7C373772FD8728ABDD69ADD03BFF5BE2862BC891DBB79E29A9EA08C41FBAAAEBA9838744021BA1A549F215E22F9DF55A2786735D9CE05356CBEF0EA947A60887D8B18533B9D50651C047EA81072EB92.3.4设计调试将前面的理论和规划付诸实践PARTFOUR检验方案的可行性，及时发现并解决问题数据仓库建设的关键因素和挑战2.3.4设计调试数据仓库企业数据管理决策支持数据仓库建设的关键因素和挑战2.3.4设计调试明确讨论目标识别建设关键因素分析建设过程挑战探讨应对挑战的策略方法数据仓库建设的关键因素和挑战2.3.4设计调试业务需求明确性是基础01数据仓库建设的关键因素确保数据准确相关数据源整合要有效02保证数据完整一致数据质量要保障准确、完整、一致和时效04数据存储与管理需选合适技术架构03支持高效访问数据安全与隐私要保护数据05确保合规数据仓库建设的关键因素和挑战2.3.4设计调试挑战技术复杂性ETL数据库管理数据分析需专业知识与技能数据整合难度大数据格式结构质量造成整合困难数据仓库建设的关键因素和挑战2.3.4设计调试挑战性能优化高性能高可用性成本控制人力、物力和财力合规与隐私保护遵守相关法规和政策2.3.4设计调试应对挑战的策略和方法加强技术培训和人才引进提升团队专业素养2.3.4设计调试应对挑战的策略和方法清洗工具转换工具采用先进的数据整合技术加载工具2.3.4设计调试应对挑战的策略和方法优化数据存储和查询性能运用分布式存储技术提高效率实施成本控制措施合理规划预算优化资源配置加强数据安全与隐私保护采用加密机制确保数据安全2.3.4设计调试小组汇报分工明确，准备含讨论内容、观点等的详细汇报材料准确表达观点结论并回答提问，汇报后接受点评建议完善改进2.3.4设计调试引入DWD层存储原始未聚合、元组完整的数据为数据分析挖掘打基础2.3.4设计调试引入DWD层食品营养成分分析DWD层存储的明细数据提供各环节信息支撑准确分析与深入挖掘2.3.4设计调试任务目标知识目标理解DWD层概念功能掌握食品营养成分分析原理熟悉DWD层在分析中的应用2.3.4设计调试任务目标能力目标素质目标2.3.4设计调试任务目标能力目标数据分析能力问题解决能力团队协作能力运用DWD层数据进行食品营养成分分析解决实际问题并提升团队协作2.3.4设计调试任务目标素质目标培养科学素养培养数据意识培养创新意识尊重科学方法形成数据驱动思维探索新分析方法2.3.4设计调试DWD层处于数据仓库架构中ODS与DM间负责存储初步处理的原始详细数据围绕数据完整性和一致性采用分布式存储技术索引机制和压缩算法提升查询效率

DWD层2.3.4设计调试设计时可依据业务需求和数据特点选择星型或雪花模型进行数据建模存储管理备份恢复为数据分析提供可靠环境

DWD层2.3.4设计调试大型电商平台提升用户体验提升销售转化率基于DWD层个性化推荐数据仓库

DWD层2.3.4设计调试海量用户商品交易数据分散于不同业务系统，难以直接用于个性化推荐

DWD层2.3.4设计调试

DWD层整合多数据源数据形成统一视图清洗转换原始数据去除无用信息并统一格式2.3.4设计调试

DWD层分布式存储技术保障海量数据存储管理效率索引和压缩算法提升查询效率2.3.4设计调试

DWD层基于DWD层的仓库分析用户习惯与偏好提供个性化推荐提升用户体验显著提高销售转化率2.3.4设计调试金融机构面临复杂业务环境与风险挑战基于DWD层的风控管理数据仓库整合交易信用评估客户管理形成全面的客户风险视图2.3.4设计调试金融机构对原始数据清洗转换确保准确性与一致性按需格式转换和扩展2.3.4设计调试存储管理DWD层采用高效技术保障数据实时可用加密访问控制确保数据安全2.3.4设计调试存储管理金融机构实时监测分析客户交易和信用状况及时防控潜在风险2.3.4设计调试存储管理降低金融机构的风险水平提升业务运营的稳定性与可持续性在ODS层数据基础上，经初步清洗整理得到DWD层数据来实现课程总结数仓建设数据仓库建设的关键因素数据仓库建设的挑战数据仓库建设的应对策略DWD层在不同行业的应用e7d195523061f1c09e9d68d7cf438b91ef959ecb14fc25d26BBA7F7DBC18E55DFF4014AF651F0BF2569D4B6C1DA7F1A4683A481403BD872FC687266AD13265C1DE7C373772FD8728ABDD69ADD03BFF5BE2862BC891DBB79E29A9EA08C41FBAAAEBA9838744021BA1A549F215E22F9DF55A2786735D9CE05356CBEF0EA947A60887D8B18533B9D50651C047EA81072EB9数仓的建设（4）2.3ENTER在当今数据驱动的时代至关重要为后续的数据处理和分析提供强大支撑目录目录2.3.1明确任务2.3.2探究新知2.3.3研析应用2.3.4设计调试2.3.5测评总结对数仓建设有更深入的认识和理解数据仓库建设的流程明确任务探究新知研析应用设计调试测评总结保障数据仓库稳定运行e7d195523061f1c09e9d68d7cf438b91ef959ecb14fc25d26BBA7F7DBC18E55DFF4014AF651F0BF2569D4B6C1DA7F1A4683A481403BD872FC687266AD13265C1DE7C373772FD8728ABDD69ADD03BFF5BE2862BC891DBB79E29A9EA08C41FBAAAEBA9838744021BA1A549F215E22F9DF55A2786735D9CE05356CBEF0EA947A60887D8B18533B9D50651C047EA81072EB92.3.4设计调试检验前期规划是否可行PARTFOUR调试过程中具体操作和可能遇到的问题2.3.4设计调试createdatabasedwd_food;usedwd_food；SQL语句创建DWD层数据库2.3.4设计调试从ods_food的food_ods表抽取数据到dwd_food的food_dwd表创建DWD层数据表清除六个无效字段citiesno_nutriments数据更精炼提高数据分析的效率和准确性2.3.4设计调试“Select*fromfood_dwdlimit3”语句查看food_dwd表前三行数据2.3.4设计调试DWS层在食品营养成分分析中的应用DWS层高容量高性能高可靠性有效应对食品营养成分分析中的海量数据处理需求2.3.4设计调试DWS层在食品营养成分分析中的应用食品营养成分分析DWS层数据存储和处理能力整合多源营养成分数据深度挖掘分析助力准确了解食品营养价值有助于制定科学饮食计划，为食品行业的健康发展提供有力支持2.3.4设计调试任务目标知识目标理解DWS层定义与特性掌握食品营养成分分析基本概念了解DWS层在食品营养成分分析中的应用场景2.3.4设计调试任务目标能力目标具备数据整合与分析能力，能挖掘食品营养成分关联趋势；拥有问题解决与决策支持能力，为饮食计划提供依据；具备技术应用与创新能力，探索新技术应用。2.3.4设计调试任务目标素质目标提升科学素养与数据意识增强团队协作与沟通能力培养持续学习与创新能力适应数据分析领域的变化2.3.4设计调试DWS层定义清晰功能明确集成清洗转换总结DWS层接收下层数据进一步加工聚合核心层次生成面向主题的中间数据连接数据源头与最终分析应用2.3.4设计调试DWS层特点与优势整合多数据源数据数据聚合操作生成中间表提升公共指标复用性减少重复加工2.3.4设计调试DWS层应用场景商业智能分析历史数据存储2.3.4设计调试DWS层应用场景决策支持系统跨部门信息共享2.3.4设计调试DWS层应用场景食品营养分析整合多源数据深度挖掘分析助力食品行业健康发展2.3.4设计调试DWS层应用场景金融行业基于DWS层风控管理数据仓库传统风控难以应对复杂业务环境和风险挑战提升风控效率和准确性整合风险数据进行深度分析适应行业发展的必然选择2.3.4设计调试DWS层应用场景金融机构的风控管理交易信贷客户管理形成全面风险视图2.3.4设计调试DWS层应用场景对原始数据进行清洗转换聚合生成风险指标与模型输入数据为后续分析奠定坚实基础2.3.4设计调试DWS层应用场景实时监测预警风险及时采取措施2.3.4设计调试DWS层应用场景支持风控模型的训练和验证构建基于DWS层的风控管理数据仓库金融机构提升风控效率和准确性风险监测和预警系统及时识别潜在风险为决策提供有力支持风控模型让风险评估更科学客观2.3.4设计调试DWS层应用场景零售行业竞争激烈客户需求多样提升业绩和满意度构建基于DWS层的销售分析数据仓库2.3.4设计调试DWS层应用场景门店销售电商平台客户关系管理形成全面销售视图2.3.4设计调试DWS层应用场景清洗转换聚合生成销售指标与客户画像数据开展销售趋势客户行为分析产品组合优化为营销策略制定和效果评估提供依据2.3.4设计调试DWS层应用场景提升销售业绩和客户满意度了解市场需求和客户偏好提高盈利能力和市场竞争力2.3.4设计调试创建DWS层数据库createdatabasedws_food；建设第三层DWS层数据分区分桶创建名为dws_food的数据库usedws_food；使用该数据库2.3.4设计调试创建DWS层分区数据表建设第三层DWS层为数据处理和分析搭建好基础框架2.3.4设计调试添加分区数据表数据首次插入ingredients_from_palm_oil_n=0的数据，以此构建0分区第二次插入ingredients_from_palm_oil_n=1的数据作为1分区进一步细化数据的分类存储第三次插入ingredients_from_palm_oil_n=2的数据形成2分区使数据的分区更加完善2.3.4设计调试添加分区数据表数据提升数据的管理效率和查询性能为后续数据深度分析奠定坚实基础DWS层定义特点应用场景设计调试操作e7d195523061f1c09e9d68d7cf438b91ef959ecb14fc25d26BBA7F7DBC18E55DFF4014AF651F0BF2569D4B6C1DA7F1A4683A481403BD872FC687266AD13265C1DE7C373772FD8728ABDD69ADD03BFF5BE2862BC891DBB79E29A9EA08C41FBAAAEBA9838744021BA1A549F215E22F9DF55A2786735D9CE05356CBEF0EA947A60887D8B18533B9D50651C047EA81072EB92.3.5测评总结检验对DWS层知识的掌握程度PARTFIVE通过一系列题目2.3.5测评总结数据仓库分层架构DWS层主要功能数据集成数据清洗数据转换数据总结数据采集存储数据挖掘预测可视化报表生成2.3.5测评总结数据仓库分层架构食品营养成分深度分析场景显著提升效率和精度2.3.5测评总结数据仓库分层架构操作数据存储层（ODS）存储业务系统原始数据应用数据存储层/数据集市（ADS）数据粒度最粗支持决策优化流程2.3.5测评总结数据仓库分层架构DWD层存储源系统原始详细数据采用分布式存储技术课程总结DWS层定义特性DWS层应用场景DWS层实际操作DWS层在数据仓库体系DWS层在食品营养成分分析e7d195523061f1c09e9d68d7cf438b91ef959ecb14fc25d26BBA7F7DBC18E55DFF4014AF651F0BF2569D4B6C1DA7F1A4683A481403BD872FC687266AD13265C1DE7C373772FD8728ABDD69ADD03BFF5BE2862BC891DBB79E29A9EA08C41FBAAAEBA9838744021BA1A549F215E22F9DF55A2786735D9CE05356CBEF0EA947A60887D8B18533B9D50651C047EA81072EB9ENTER指标的计算（1）明确任务、探究新知2.4食品营养数据指标计算核心逻辑，ADS层知识目录目录2.4.1明确任务2.4.2探究新知2.4.3研析应用2.4.4设计调试2.4.5测评总结2.4.1明确任务PARTONE结合已有数据，分析食物每100克的热量的最高值和最低值。2.4.1明确任务掌握食品营养成分指标计算的基础方法为后续更复杂的数据分析打下基础2.4.1明确任务任务目标知识目标了解食品营养成分各数据项的定义及其统计方法。“energy_100g”代表每100克食品所含热量掌握计算最值的统计思路掌握数据分析的基本概念，包括数据收集、数据清洗、数据转换和数据解释。完成所有数据分析任务的基础框架了解如何使用图表和图形来展示数据分析结果。让复杂的数据结论更易于理解和传播2.4.1明确任务任务目标能力目标能够从原始数据中提取相关信息，并进行清洗和转换以满足分析需求。能够运用统计学方法对数据进行分析，计算命中率等关键指标。从海量食品数据筛选“energy_100g”相关数据处理缺失值或异常值计算热量的最高值和最低值具备问题解决能力，在分析过程中遇到数据缺失、异常值等问题时，找到合理解决方案，确保分析顺利推进。2.4.1明确任务任务目标素质目标在处理和分析数据时，能够关注细节，确保数据的准确性和完整性。热量数值录入错误导致对食品热量等级的误判保持持续学习的态度，对新的数据分析技术和方法保持好奇心和学习热情，不断提高自身分析能力，适应数据分析领域的快速发展。在处理个人数据时，严格遵守数据隐私和伦理标准，保障数据使用的合法性和安全性。e7d195523061f1c09e9d68d7cf438b91ef959ecb14fc25d26BBA7F7DBC18E55DFF4014AF651F0BF2569D4B6C1DA7F1A4683A481403BD872FC687266AD13265C1DE7C373772FD8728ABDD69ADD03BFF5BE2862BC891DBB79E29A9EA08C41FBAAAEBA9838744021BA1A549F215E22F9DF55A2786735D9CE05356CBEF0EA947A60887D8B18533B9D50651C047EA81072EB92.4.2探究新知重点学习ADS层的相关知识PARTTWO2.4.2探究新知ADS层数据仓库架构中的关键层次应用数据存储层（ApplicationDataStore）应用数据服务层（ApplicationDataService）在食品营养成分数据分析中发挥重要作用定义与功能特点与优势2.4.2探究新知ADS层的定义与功能存储和管理被清洗、转换和整合的数据数据来自不同源系统食品生产系统检测系统通过ETL（提取、转换、加载）被导入到数据仓库2.4.2探究新知ADS层的定义与功能核心功能提供高性能的数据访问支持各种业务应用和分析需求2.4.2探究新知ADS层的定义与功能食品热量指标计算清洁数据从ADS层获取为指标计算提供数据支撑2.4.2探究新知ADS层的特点与优势将来自不同数据源的数据整合食品检测系统的热量数据生产系统的批次数据在一个统一的视图中进行访问和分析避免数据分散带来的查询不便数据整合2.4.2探究新知ADS层的特点与优势高性能查询ADS层的数据通常经过优化创建索引数据分区数据聚合在查询不同类别食品的热量最值时，可快速得到结果。大幅提升查询效率2.4.2探究新知ADS层的特点与优势灵活的数据访问提供各种接口，使得用户能够方便地访问和分析数据。SQL查询OLAP工具数据可视化工具能便捷地从ADS层获取所需的食品营养数据2.4.2探究新知ADS层的特点与优势数据安全与隐私保护涉及食品生产企业的商业数据需要遵守数据安全和隐私政策包含敏感数据2.4.2探究新知ADS层的特点与优势数据安全与隐私保护权限控制数据加密确保数据安全性和保密性课程总