物流信息技术（微课版 第3版）课件 项目三 物流数据存储技术

物流信息技术logisticsinformationtechnology讲授：朱海鹏项目三

物流数据存储技术2026任务一

数据库技术的认知讲授:朱海鹏CONTENTS目录01

数据库技术概述02

数据模型03

数据仓库与数据挖掘数据库技术概述01数据库技术的定义

研究相关理论与方法数据库技术会研究数据库的结构、存储、设计、管理以及应用的基本理论和实现方法，以便利用这些理论和方法来实现对数据库中数据的处理、分析和理解。

建立数据库和数据仓库通过对数据的统一组织和管理，按照指定的结构建立相应的数据库和数据仓库，为后续的数据管理和挖掘工作奠定基础。

设计数据应用系统利用数据库管理系统和数据挖掘系统设计出数据管理和数据挖掘的应用系统，实现对数据库中数据的多种功能操作，最终实现对数据的处理和分析。数据库技术是通过研究数据库的结构、存储、设计、管理以及应用的基本理论和实现方法，并利用这些理论和方法来实现对数据库中的数据进行处理、分析和理解的技术。具体内容如下：数据库技术的发展数据库技术的发展人工管理阶段该阶段硬件外存只有纸带、卡片、磁带，无直接存取设备；软件没有操作系统及管理数据的软件；数据量小、无结构，由用户直接管理，依赖特定应用程序，缺乏独立性。

数据库技术的发展文件系统阶段此阶段硬件有磁鼓、磁盘等直接存取数据的存储设备，软件方面文件处理系统迅速发展。不过数据面向特定应用程序，共享性、独立性差，冗余度大，管理和维护代价高。数据库技术的发展

数据库系统阶段硬件具备大容量磁盘，存储容量大增且价格下降；软件有数据库管理系统。数据有整体结构性，共享性高、冗余度小，有一定程序与数据间的独立性，实现了统一控制。数据库系统的组成

数据库数据库是长期存储在计算机内有组织的共享的数据的集合，是数据库系统的重要组成部分，为用户提供数据存储和管理的基础。数据库系统的组成

用户用户是指使用数据库的人，他们对数据库进行存储、维护和检索等操作，是数据库系统得以运转和发挥作用的关键因素。数据库系统的组成

软件数据库系统软件主要指支持数据库运行的操作系统、数据库应用系统和数据库管理系统，这些软件协同工作，保障数据库系统的正常运行。数据库系统的组成

硬件数据库的硬件指存储和运行数据库系统的硬件设备，主要是计算机硬件系统，为数据库系统提供了物理运行环境。数据库管理系统核心组成部分数据库管理系统是数据库系统的核心组成部分，承担着重要的数据管理职责，它的性能和功能直接影响着整个数据库系统的运行效率和质量。转换逻辑与物理数据处理它能把用户抽象的逻辑数据处理转换成计算机中的具体的物理数据的处理，让用户的操作能够在计算机中得以实现，为用户提供了便利。方便用户操作用户在数据库系统中的一切操作，如数据定义、查询、更新及各种控制，都是通过DBMS进行的，这使得用户可以更便捷地使用数据库系统。数据库管理系统数据库技术的发展趋势面向对象的数据库技术面向对象的数据库技术将成为下一代数据库技术发展的主流，它能更好地处理复杂的数据结构和关系，满足各种新的应用需求。非结构化数据库非结构化数据库是全面基于因特网应用的新型数据库理论，支持重复字段、子字段以及变长字段，能对变长数据、重复字段进行处理和存储管理。数据库与其他学科技术的结合数据库与其他学科技术的结合将会建立一系列新型数据库，如分布式数据库、并行数据库等，这将是数据库技术重要的发展方向，拓宽了数据库的应用领域。面向专门应用领域的数据库技术适合专门应用领域的数据库技术必然会得到大力发展，如工程数据库、统计数据库等，能满足不同领域对数据管理的特殊需求。云存储云存储通过集群应用等功能，将网络中大量存储设备集合起来协同工作，对外提供数据存储和业务访问功能，保证数据安全并节约存储空间。智能化、融合化发展随着技术的不断演进，数据库技术将朝着融合化、智能化方向发展，不同类型数据库之间的界限将逐渐模糊，形成更具综合性与适应性的解决方案。数据模型02数据模型的组成数据模型的组成数据结构

数据结构是数据模型的重要要素之一，它描述了数据的组织形式和存储方式。合理的数据结构能够提高数据的存储效率和查询速度，为后续的数据操作提供基础。数据操作

数据操作规定了对数据可以执行的操作类型，如查询、插入、删除和修改等。通过这些操作，用户可以对数据库中的数据进行处理和管理，以满足不同的业务需求。数据的约束条件

数据的约束条件是对数据的限制和规则，确保数据的完整性和一致性。例如，规定某个字段必须为非空值，或者两个字段之间存在特定的关联关系，防止错误数据的录入。数据库中的数据模型

层次模型层次模型采用树型结构表示实体及实体间的联系，只有一个根结点，除根结点外其他结点有且只有一个父结点。这种结构简单直观，适合表示具有层次关系的数据，如组织结构图。数据库中的数据模型网状模型网状模型与层次模型不同，允许一个以上的结点没有父结点，一个子结点可以有多个父结点。它能更灵活地表示复杂的数据关系，适用于描述多对多的关系场景。数据库中的数据模型

关系模型关系模型用二维表结构来表示实体以及实体间的联系，结构简单易懂。它通过行和列的形式组织数据，便于进行数据的存储、查询和分析，是目前应用最广泛的数据模型。三种数据模型比较数据仓库与数据挖掘03数据仓库（DataWarehouse）

数据仓库的定义数据仓库是指面向主题的、集成的、不可更新的、随时间变化的数据集合，是用于支持企业的决策分析过程的独立数据库。它为企业决策提供有力的数据支持。

数据仓库的体系结构数据仓库的体系结构主要包括数据源、数据存储与管理、联机分析处理（OnlineAnalyticalProcessing，简称OLAP）服务器及前段工具等。数据源是基础，存储与管理是核心，OLAP服务器用于分析，前端工具有多种类型。数据仓库（DataWarehouse）数据挖掘

数据挖掘的定义数据挖掘（DataMining，DM）就是从大量的、不完全的、有噪声的、模糊的、随机的数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。能为企业发现有价值的信息。数据仓库与数据挖掘在物流管理中的应用

数据仓库技术的作用数据仓库技术提供了存储物流海量数据的方法和手段，为后续的数据分析和决策提供了基础。它能将分散的数据进行整合和存储，方便企业对数据进行管理。

数据挖掘技术的作用数据挖掘技术能对物流海量数据进行深度分析，帮助决策者快速、准确地做出决策。通过挖掘数据中的潜在信息，实现对物流过程的控制，提高企业运作效率，降低成本。任务二

数据库技术的设计与应用2026朱海鹏项目三

物流数据存储技术

1.关系数据库关系数据库是建立在关系数据库模型基础上的数据库，它借助于集合代数等概念和方法来处理数据库中的数据。一、关系数据库

2.关系数据模型（1）关系。关系模型的数据结构是一个“二维表框架”（即关系模式）组成的集合，所以关系模型是“关系框架”的集合。客户代号姓名性别电话K001张三002李四003王老五004刘二麻子005马大炮架结构：客户（客户代号，姓名，性别，联系方式）一、关系数据库

2.关系数据模型（2）元组。表格中的一行，如订单表中的一张订单记录即为一个元组。

（3）属性。表格中的一列，相当于记录中的一个字段，如客户表中有4个属性（客户代号，姓名，性别，联系方式）。

（4）关键字。可唯一标识元组的属性或属性集，也称为关系键或主码，如客户表中客户代号可以唯一确定一个客户，为客户关系的主码。

（5）域。属性的取值范围，如性别的域是（男，女）。

（6）分量。每一行对应的列的属性值，即元组中的一个属性值。

（7）关系模式。对关系的描述，一般表示为：关系名（属性1，属性2，……属性n）一、关系数据库

3.关系数据库的优缺点优点：

（1）与非关系模型数据库不同，关系数据库的关系模型有较强的数学理论根据。（2）数据库的数据结构简单、清晰，用户易懂易用，不仅用关系描述实体，而且用关系描述实体间的联系。（3）关系模型的存取路径对用户透明，具有更高的数据独立性、更好的安全保密性；同时，也简化了程序员的工作和数据库建立、开发的工作。缺点：查询效率往往不如非关系模型，因此必须对用户的查询表示进行优化，增加了开发负担。一、关系数据库

1.三个世界的划分现实世界信息世界认识抽象计算机世界信息模型数据模型二、关系数据库的设计

2.信息世界中的基本概念

（1）实体。客观存在并且可以相互区别的“事物”称为实体。实体，如一个学生，一本书，一辆汽车；抽象的事件，如一堂课，一次比赛等。（2）属性。实体的某一特性称为属性。如学生实体有学号、姓名、年龄、性别、系等方面的属性。属性有“型”和“值”之分，“型”即为属性名，如姓名、年龄、性别是属性的型；“值”即为属性的具体内容，如（990001，张立，20，男，计算机），这些属性值的集合表示了一个学生实体。（3）实体型。若干个属性型组成的集合可以表示一个实体的类型，简称实体型。如学生（学号，姓名，年龄，性别，系）就是一个实体型。（4）实体集。同型实体的集合称为实体集。如所有的学生、所有的课程等。

二、关系数据库的设计

2.信息世界中的基本概念（5）键。能唯一标识一个实体的属性或属性集称为实体的键，如学生的学号。但是，学生的姓名可能有重名，不能作为学生实体的键。（6）域。属性值的取值范围称为该属性的域，如学号的域为6位整数，姓名的域为字符串集合，年龄的域为小于40的整数，性别的域为（男，女）。

（7）联系。现实世界中，事物内部以及事物之间是有联系的，这些联系同样也要抽象和反映到信息世界中来，在信息世界中将被抽象为实体型内部的联系和实体型之间的联系。1:11:nm:n二、关系数据库的设计

3.计算机世界中的基本概念（1）字段。对应于属性的数据称为字段，也称为数据项。字段的命名往往和属性名相同。如学生有学号、姓名、年龄、性别、系等字段。（2）记录。对应于每个实体的数据称为记录。如一个学生（990001，张立，20，男，计算机）为一个记录。（3）文件。对应于实体集的数据称为文件。如所有学生的记录组成了一个学生文件。二、关系数据库的设计

4.三个世界中各术语的对应关系

现实世界信息世界计算机世界事物总体实体集文件事物个体实体记录特征属性字段事物间联系信息模型数据模型二、关系数据库的设计

5.数据库设计的步骤需求收集和分析设计概念结构设计逻辑结构数据模型优化设计物理结构物理实现使用和维护数据评价设计性能预测试验运行需求分析阶段概念结构设计阶段逻辑结构设计阶段

物理结构设计阶段

数据库实施阶段

数据库运行和维护阶段

应用需求（数据、处理）转换规则功能、优化方法满意不满意不满意满意二、关系数据库的设计

6.E-R图模型

矩形表示实体型，矩形框内写明实体名；

椭圆表示实体的属性，并用无向边将其与相应的实体型连接起来；

菱形表示实体型之间的联系，在菱形框内写明联系名，并用无向边分别与有关实体型连接起来，同时在无向边旁标上联系的类型（1：1，1：n或m：n）。

客户订单实体型：客户订单客户代号姓名性别联系方式订单代号客户代号订购日期运费属性：客户订单下单1n联系：二、关系数据库的设计

具体数据库设计实例见书上文档

二、关系数据库的设计2026任务三

物流大数据存储技术认知讲授:朱海鹏CONTENTS目录01

物流大数据02

物流大数据存储技术物流大数据01什么是大数据大数据定义大数据指规模大到在获取、存储、管理、分析方面超出传统数据库软件工具能力范围的数据集合，具有海量规模、快速流转、多样类型和价值密度低四大特征。什么是大数据海量的数据规模大数据的数据量极为巨大，从GB到TB再到PB级，甚至开始以EB和ZB来计数，体现了其在数据规模上的庞大程度。快速的数据流转数据产生、处理和分析的速度持续加快，数据流量大，这是大数据快速流转特征的体现，使得数据能在短时间内被大量处理和利用。多样的数据类型大数据的类型复杂，涵盖多种不同形式的数据，这增加了数据处理和分析的难度，也体现了大数据类型的多样性。价值密度低单位数据的价值密度在不断降低，尽管大数据规模庞大，但其中有价值的信息占比相对较小，需要通过特定方法挖掘。数据的计量单位

Byte与bit换算数据存储中，1Byte等于8bit，这是最基础的数据计量单位换算关系，是构建其他更大数据计量单位的基石。

常见数据单位换算常见的数据单位换算为1KB等于1,024Bytes，1MB等于1,024KB，1GB等于1,024MB，1TB等于1,024GB，1PB等于1,024TB。

超大数据单位换算对于超大的数据单位，有1EB等于1,024PB，1ZB等于1,024EB，1YB等于1,024ZB，1BB等于1,024YB，1NB等于1,024BB，1DB等于1,024NB。物流大数据

物流大数据定义物流大数据是大数据的子集，是物流数据在大数据环境下呈现出的状态，也是物流数据不断积累所形成的结果，反映了物流领域的数据特征。物流大数据存储技术02物流大数据的结构类型

结构化数据结构化数据遵循一定的数据格式和长度规范，通常存储在关系型数据库中，具有固定的数据模型和预定义的数据类型，能够进行高效的查询和处理。

非结构化数据非结构化数据的特点是数据结构不规则或不完整，没有预定义的数据模型。它包括办公文档、文本、图片等，存储占比高，数据格式多样，结构不标准且复杂，但信息量丰富。

半结构化数据半结构化数据介于结构化数据和非结构化数据之间，虽然没有严格的数据模型，但可能具有某种程度的标记或标签以便组织和查询，可在一定程度上提高数据处理效率。物流大数据的存储方式

分布式系统存储分布式系统存储允许将数据分散在多个计算节点上存储，如Hadoop分布式文件系统(HDFS)和Google文件系统(GFS)，从而实现数据的并行处理和大规模数据管理。

列式存储列式存储将数据按照列进行组织和存储，例如ApacheHBase数据库，有利于对数据进行高效的压缩、统计和分析，能提高数据处理的效率。

键值存储键值存储以键值对的形式存储数据，像腾讯的键值对存储系统MMKV，适用于快速查找和访问的场景，可满足物流大数据对快速响应的需求。

文档存储文档存储以文档的形式存储数据，如MongoDB和Couchbase数据库，适用于存