《数据库技术》课件-第1章数据库技术概述

第1章数据库技术概述了解数据库发展趋势了解数据库技术发展历程了解国产数据库的发展历程学习目标1.1数据库技术发展历程1.网络数据库模型阶段120世纪60年代末至70年代初，数据库系统起步阶段。由于随着计算机科学和信息技术的发展，人们开始意识到需要一种更有效地组织和管理数据的方法，数据库概念应运而生。为了解决数据组织和存储的问题，尝试寻找一种更有效的方式来管理大量数据。在这个阶段，主要采用的是网络数据库模型，数据以有向图的形式组织，代表性的数据库系统有CODASYL数据库管理系统。1.1数据库技术发展历程2.关系数据库模型阶段170年代初至90年代初，对于数据的组织和管理需要更为灵活和高效的解决方案，关系数据库模型提供了更符合实际需求的数据组织方式。解决了当下数据之间的关联和查询的问题，提供了更直观、规范的数据组织方式，并引入了关系代数和关系演算等理论。其代表性数据库系统包括Oracle、IBMDb2和MicrosoftSQLServer等关系数据库管理系统，关系数据库模型成为主流。1.1数据库技术发展历程3.商业化数据库系统阶段170年代中期至今，商业化数据库系统开始崭露头角。由于企业对于数据安全、稳定性和性能提出了更高要求，需要专业化、商业化的数据库系统来满足需求。为了解决企业级数据管理的问题，商业化数据库系统提供了更强大和稳定的数据管理解决方案。其中Oracle、IBM、Microsoft等公司推出了各自的商业化RDBMS产品，这些系统为企业提供了强大的数据管理解决方案。1.1数据库技术发展历程4.开源数据库系统阶段190年代末至今，开源文化的兴起以及对于成本的考量，促使开源数据库系统逐渐受到关注和应用。该阶段为了解决经济实惠的数据管理解决方案，为许多初创企业和项目提供了可行的数据管理选项。其中具有代表性数据库系统包括MySQL、PostgreSQL等开源数据库系统，为许多企业和项目提供了经济实惠的数据管理解决方案。1.1数据库技术发展历程5.NoSQL数据库阶段12000年代后期至今，随着大数据和分布式系统的兴起，传统关系数据库在处理大规模、高并发数据时遇到了挑战，需要更加灵活的数据存储方式。该阶段解决的是非结构化或半结构化数据的管理问题，为大规模、高并发数据场景提供了更灵活的数据存储选择。其中具有代表性数据库系统包括MongoDB、Cassandra等NoSQL数据库系统，采用文档型、列型、键值型等非关系型数据存储方式。1.1数据库技术发展历程6.NewSQL数据库阶段1近年来，由于传统关系数据库在大规模、高并发场景下的局限性，需要兼顾传统关系数据库的事务特性和NoSQL数据库的分布式特性。这个阶段需要解决的是传统关系数据库在大规模、高并发场景下的性能和扩展性问题。其中具有代表性数据库系统包括Spanner、CockroachDB等NewSQL数据库系统，试图兼顾传统关系数据库的事务特性和NoSQL数据库的分布式特性。1.1数据库技术发展历程赛迪顾问《核心数据库升级选型参考》列出中国市场数据库品牌与占有率1.2国产数据库的发展历程国产数据库的前世今生11.初期阶段在上世纪80年代末和90年代初，中国开始引进和研发数据库技术，希望借鉴国外先进经验，并满足快速发展的信息化需求。初期阶段主要解决数据库技术的引入和学习问题，提高数据管理和处理效率。有部分国际数据库系统开始在中国使用和研究，为后续自主研发奠定了基础。2.自主研发阶段随着中国信息技术产业的兴起，国内市场对数据库系统的需求逐渐增加，需要自主研发满足国内需求的数据库产品，提供本土化的技术支持和服务。在这一阶段，诸如达梦数据库、神通数据库等国产数据库产品相继问世，并在国内市场取得一定影响力。1.2国产数据库的发展历程国产数据库的前世今生13.开源数据库兴起在21世纪初，开源文化的影响和国内开源软件的兴起，促使国内开始关注开源数据库系统的研发和应用。对此提供开源的数据库系统，降低成本，增加灵活性，并促进开源社区的合作与创新。其中华为的OceanBase等开源数据库系统逐渐崭露头角，为中国开源数据库的发展奠定了基础。1.2国产数据库的发展历程国产数据库的前世今生14.创新发展阶段近年来，随着中国信息技术产业的快速发展和创新能力的提升，国产数据库系统开始注重技术突破和创新，以应对更复杂的应用场景需求。为此提高了数据库系统的性能、安全性和可靠性，适应大规模数据处理和云计算等新兴领域的需求。因此一些国产数据库系统在性能、安全性和可靠性方面取得了显著突破，如阿里巴巴的PolarDB等。1.2国产数据库的发展历程国产数据库的前世今生15.国际化竞争阶段部分中国国产数据库系统开始走向国际舞台，与国际知名数据库系统展开竞争，这是中国数据库技术发展的一个重要里程碑。为了提高国产数据库系统的国际竞争力，适应全球化的市场需求，并推动国内数据库技术的进一步创新和发展。中国国产数据库系统在国际市场上取得了一定的成绩，展示了中国在数据库技术领域的实力和潜力。1.2国产数据库的发展历程国产数据库的前世今生11.2国产数据库的发展历程1.2国产数据库的发展历程国产数据库产品特点及应用21.云数据库阿里云的RDS（关系型数据库服务）、腾讯云的CDB（云数据库MySQL版）等云数据库产品被广泛用于互联网应用、电子商务平台、企业信息化系统等场景，例如像淘宝、京东这样的电子商务平台。1.2国产数据库的发展历程国产数据库产品特点及应用22.分布式数据库华为的PolarDB、PingCAP的TiDB等分布式数据库产品在大数据处理、高并发应用、物联网等领域得到广泛应用。智能城市项目中，需要处理大量的传感器数据和设备状态信息，分布式数据库可以提供高可用性和横向扩展的能力。1.2国产数据库的发展历程国产数据库产品特点及应用23.内存数据库达梦数据库、南大通用数据库等公司开发的内存数据库产品在金融交易系统、实时数据分析等场景中应用广泛，例如，在证券交易所和银行的交易系统中，使用内存数据库可以实现高速的交易处理和实时的风险控制。1.2国产数据库的发展历程国产数据库产品特点及应用24.图数据库图灵数据库、咚咚云图数据库等产品用于社交网络分析、推荐系统、知识图谱构建等领域。例如，利用图数据库进行社交网络的关系分析，推荐系统的构建，以及研究用户行为模式等方面。1.2国产数据库的发展历程国产数据库产品特点及应用25.NoSQL数据库华为的HBase、阿里巴巴的TableStore等NoSQL数据库产品用于大规模数据存储、实时数据处理等场景。例如，通过NoSQL数据库进行大规模数据的存储和实时分析，支持企业的决策制定和业务发展。1.2国产数据库的发展历程1.2国产数据库的发展历程1.2国产数据库的发展历程1.2国产数据库的发展历程1.2国产数据库的发展历程1.2国产数据库的发展历程1.2国产数据库的发展历程1.2国产数据库的发展历程1.2国产数据库的发展历程达梦数据库产品介绍3达梦数据库管理系统的最新版本是8.0版本，简称DM8。DM8采用全新的体系架构，在保证大型通用的基础上，针对可靠性、高性能、海量数据处理和安全性做了大量的研发和改进工作，极大提升了达梦数据库产品的性能、可靠性、可扩展性，能同时兼顾OLTP和OLAP请求，从根本上提升了DM8产品的品质。1.2国产数据库的发展历程1.2国产数据库的发展历程调查报告数据显示，达梦数据库是企业使用率第一的中国数据库1.2国产数据库的发展历程93.9%的企业计划使用中国数据库，达梦成为企业未来最想使用的中国数据库云数据库及空间地理数据库11.云数据库数据库一直是应用开发中非常重要的一部分。从MySQL到亚马逊的RDS(关系型数据库服务，RelationalDatabaseService)，业界有很多数据库系统供开发者存储、查询和管理数据。随着海量计算的持续发展，给传统数据库带来了不少挑战，一方面是传统数据库不能满足互联网企业新需求，另一方面是传统数据库不能适应云计算技术新需求，云数据库的诞生为用户需求提供了更好的解决方案。1.3数据库发展趋势1.3数据库发展趋势云数据库结构示意图云数据库及空间地理数据库12.地理空间数据库空间数据（spatialdata）指带有空间坐标的数据，地理空间数据是空间数据的一种特殊类型，指带有地理坐标的数据，是地理实体的空间特征和属性特征的数字描述。地理空间数据库用于管理地理数据，包括地图、地理坐标、地形、地貌、气候、土地利用等，是一种专门用于存储、查询和分析地理空间数据的数据库系统。1.3数据库发展趋势数据仓库与联机分析处理技术2数据仓库（DataWarehouse）是一个用于集成、存储和管理企业各种数据的中心化存储系统，旨在支持企业的决策支持系统（DSS）、联机分析处理（On-LineAnalyticalProcessing，OLAP）以及数据挖掘等应用。与传统的数据库系统不同，数据仓库专注于将来自多个源头的数据集成到一个统一的数据模型中，以支持复杂的查询和分析。OLAP是基于数据仓库进行数据分析的一种技术，通过对多维信息以很多种可能的观察方式进行快速、稳定一致和交互性的存取，允许管理决策人对数据进行深入观察。1.3数据库发展趋势数据挖掘技术3数据挖掘是一种从大规模数据集中发现模式、关系、趋势和规律的过程。通过应用统计学、机器学习、人工智能和数据库系统等技术，数据挖掘可以帮助用户从海量数据中提取有价值的信息，并进行预测、分类、聚类、关联分析等任务。鉴于数据仓储技术的发展和大数据的增长，数据挖掘技术的采用在过去几十年中迅速加快，它通过将原始数据转化为有用的知识来助力公司发展。1.3数据库发展趋势数据挖掘技术31.关联规则关联规则是一种基于规则的方法，用于发现给定数据集中各变量之间的关系。这些方法常用于市场购物篮分析，使企业能够更好地了解不同产品之间的关系。了解顾客的消费习惯有助于企业制定更好的交叉销售策略，开发更出色的推荐引擎。1.3数据库发展趋势数据挖掘技术32.神经网络神经网络主要用于深度学习算法，通过节点层模拟人脑的互联性来处理训练数据。每个节点由输入、权重、偏差（或阈值）和输出组成。如果该输出值超过给定的阈值，它会“触发”或激活节点，并将数据传递到网络中的下一层。神经网络通过监督式学习来学习这个映射函数，并通过梯度下降过程根据损失函数进行调整。当损失函数等于或接近于零时，我们可以相信模型的准确度，从而得出正确答案。1.3数据库发展趋势数据挖掘技术33.决策树这种数据挖掘技术使用分类或回归方法，基于一系列决策对潜在的结果进行分类或预测。顾名思义，它使用树状可视化效果来表示这些决策的潜在结果。1.3数据库发展趋势数据挖掘技术34.K近邻算法(KNN)K近邻算法，又称KNN算法，是一种非参数算法，它根据数据点的邻近程度以及与其他可用数据的关联程度，对数据点进行分类。这个算法假设相似的数据点可以在彼此的附近找到。因此，它通常通过欧氏距离计算数据点之间的距离，然后根据出现频率最多的类别或平均值来分配类别。1.3数据库发展趋势大数据技术4大数据技术是一组用于存储、处理和分析大规模数据集的技术和工具。这些数据集通常包含结构化、半结构化和非结构化数据，且具有高速、多样和庞大的特点。大数据技术的体系庞大且复杂，基础的技术包含数据的采集、数据预处理、分布式存储、NoSQL数据库、数据仓库、机器学习、并行计算、可视化等各种技术