商业大数据应用基础（AI+微课版） 课件 项目三 商业数据存储

项目三商业数据的存储商业数据的存储学习目标01知识目标•了解大数据存储的概念•掌握大数据存储的方式•理解数据存储安全策略•熟悉分布式文件系统与NoSQL02技能目标•能使用Python生成Excel文件•能使用Python在Excel中写入数据•能设计合理的存储方案•能实现带时间戳的自动备份03素质目标•具备大数据的敏感思维•具备创新思维与创业精神•具备团队协作精神•具有较强的应变与抗压能力目录01理解大数据存储02数据存储安全策略03任务实施与实践理解大数据存储Part01导入案例：医疗大数据的智能存储痛点：数据孤岛医疗大数据价值极高——从海量病例、影像到基因序列，能显著提升诊断精度与治疗个性化。但长期面临核心挑战：分散存储、格式不一、难以互通，形成了"数据孤岛"。破局：统一存储平台分布式文件系统：可靠存储PB级医学影像NoSQL数据库：灵活管理多变的电子病历云存储：跨机构安全共享与弹性扩展存储，是医疗大数据价值释放的第一步。理解大数据存储任务发布：健康科技公司数据工程师你是健康科技公司数据工程师，公司开发基于可穿戴设备的健康管理App，每天生成数百万条用户数据，包括结构化数据（用户ID、心率、步数、睡眠时长）和半结构化数据（运动记录JSON、设备日志）。实战任务一AI辅助存储方案设计：说明如何存储这些数据（存储格式、存储方案、备份策略）实战任务二使用Python生成Excel文件：合理运用AI工具辅助完成Python编程，将模拟运动数据写入Excel文件实战任务三实现带时间戳的自动备份机制：避免文件覆盖，便于版本管理理解大数据存储理解大数据存储什么是大数据存储大数据存储是指在大数据环境中，使用特定的技术和工具，将海量、多样的数据保存到计算机或服务器中。它不是简单地把数据存到硬盘，而是为解决传统存储在面对海量、高速增长、多样数据时容量瓶颈、速度慢、扩展难、成本高等问题而发展起来的技术体系。核心目标•可靠及高效存取•弹性扩展•低成本管理解决的问题•容量瓶颈•处理速度慢•扩展困难•成本高昂重要地位大数据存储是数据分析与应用的前提。在进行大数据分析之前，必须先将海量数据存储起来，以便后续使用。理解大数据存储大数据存储与传统存储的区别对比维度传统数据存储大数据存储数据规模GB级到TB级，规模有限、增长平稳TB级到PB级甚至EB级，指数级爆发增长系统架构集中式，靠升级硬件纵向扩展，有天花板分布式，廉价服务器集群，横向扩展节点数据模式模式优先，预先定义表结构，SQL查询模式灵活，支持JSON/日志，批量/流式处理成本运维高端服务器+许可费用高，运维复杂廉价硬件+开源软件，按需付费，运维自动化一句话总结：传统存储是"精耕细作的数据庄园"，大数据存储是应对"数据汪洋的现代化港口与舰队"。理解大数据存储大数据存储的三种核心方式分布式文件系统DFS海量非结构化数据的仓库•代表：HDFS•适用：视频、图片、日志备份•思想：化整为零，分散存储，统一管理NoSQL数据库NotOnlySQL灵活多变数据的处理引擎•键值/列/文档/图数据库•代表：Redis、MongoDB、HBase、Neo4j•适用：用户画像、实时排行榜、社交关系云存储CloudStorage按需取用、弹性扩展的服务•公共云/私有云/混合云•代表：AWSS3、阿里云OSS•适用：弹性扩展、跨机构共享、备份归档理解大数据存储分布式文件系统HDFSNameNode（主节点）充当"图书管理员"，管理文件系统命名空间（目录树、元数据）和数据块映射表，是集群的"大脑"和单一管理入口。DataNode（从节点）充当"书架"，实际存储数据块。文件被切分为128MB数据块，以3副本分散存储在不同DataNode上，保持高容错性。优势支持TB/PB级海量存储；兼容廉价硬件，故障自动恢复；一次写多次读简化一致性；数据自动负载均衡局限不适合低时延小数据访问；大量小文件消耗NameNode内存；不支持多用户同时写入同一文件理解大数据存储NoSQL数据库的四种类型键值对存储数据库

Redis、DynamoDB简单的键到值映射，性能极高适用：缓存、会话存储、实时排行榜列存储数据库

HBase、Cassandra按列存储，擅长超大规模稀疏表，可扩展性极强适用：时序数据、消息服务、宽表查询文档数据库

MongoDB、Couchbase以JSON文档为单位，结构可动态变化，模式灵活适用：用户画像、产品目录、内容管理图数据库

Neo4j、TigerGraph以节点和边存储实体及关系，关系查询高效适用：社交网络、欺诈检测、推荐系统理解大数据存储云存储：按需取用的弹性存储云存储通过互联网将大量异构存储设备整合成统一资源池，利用虚拟化和分布式技术实现智能调度。用户只需按实际使用量付费，即可获得透明、可靠的存储能力。成本效益按需付费，降低前期投入弹性扩展用时即有，不用即无高可用安全多副本同步，SLA保障简化运维统一控制台，自动管理公共云存储AWS、阿里云，按需付费，适合非敏感数据私有云存储OpenStack、华为云Stack，高安全合规混合云存储兼顾成本、灵活与安全，核心数据私有实施数据存储安全策略Part02数据存储安全策略数据存储安全的四大威胁来源外部恶意攻击网络入侵与漏洞利用；勒索软件、木马等恶意软件；DDoS分布式拒绝服务攻击内部人员威胁恶意窃取与泄露；误操作与疏忽；权限滥用技术与物理风险硬件故障与损耗；软件缺陷；火灾洪水地震等自然灾害；备份恢复机制失效合规与法律风险违反《数据安全法》《个人信息保护法》；数据出境合规；数据主权与管辖权冲突任务实施与实践Part03任务实施与实践实战任务一：存储方案设计①存储格式选择结构化数据：CSV/Parquet半结构化：JSON/XML非结构化：按原始格式存储②文件夹结构规划按数据类型分目录按日期/版本分层次命名规范统一可读③备份策略制定定期全量备份增量备份补充异地副本防灾难设计示例：健康科技公司可穿戴数据存储目录data/├──raw/原始传感器数据（按日期分）├──processed/清洗后的数据（Parquet格式）├──models/训练好的模型与特征库└──backup/每周全量备份（异地）任务实施与实践实战任务二：用Python生成Excel数据importpandasaspdimportos#模拟可穿戴设备数据data={'user_id':[1001,1002,1003,1004],'steps':[8523,5210,12080,3340],'heart_rate':[72,68,85,76],'sleep_hours':[7.5,6.2,8.1,5.8]}df=pd.DataFrame(data)#确保目录存在，再保存os.makedirs('data/processed',exist_ok=True)df.to_excel('data/processed/health_2026.xlsx',index=False)print("Excel已生成")代码要点•pandas.DataFrame构造数据•os.makedirs自动建目录•to_excel写入指定路径•index=False去掉行号列思考与拓展如何用循环批量生成多个日期的Excel？如何在写入前自动判断文件是否已存在？Parquet格式相比Excel有什么优势？任务实施与实践实战任务三：带时间戳自动备份importshutilimporttime#生成时间戳，如20261009_143025ts=time.strftime('%Y%m%d_%H%M%S')src='data/processed'dst=f'data/processed_backup_{ts}'#复制整个目录到带时间戳的备份目录shutil.copytree(src,dst)print(f"备份完成：{dst}")#输出：备份完成：data/processed_backup_20261009_143025时间戳的作用•避免备份文件互相覆盖•一眼看出备份时间点•支持快速回滚到任意版本生产环境进阶•加入定时任务（crontab/任务计