计算机科学导论-计算思维程序实践 课件 第17、18讲-从表的管理看数据库-结构化与非结构化数据管理、炒股不看股盘看微博-关联规则挖掘与大数据思维

第17讲从【表】的管理看数据库

--结构化与非结构化数据管理哈尔滨工业大学计算学部教学委员会主任国家教学名师战德臣传统社会：业务工作信息社会：业务工作+计算机支持网络/Internet

数据库EverythingOverDBEverythingWithInternet为什么需要数据库--工作方式的转变信息社会的工作方式不要相信经验，一切以数据说话什么是数据库？学生成绩单表名表标题(格式)表内容(值)列名列值行/元组/记录(row/tuple/record)列/字段/属性/数据项(column/field/attribute/dataitem)关系模式表/关系数据库起源于规范化“表(Table)”的处理Table:以按行按列形式组织及展现的数据。什么是数据库基本形式的数据：“表”和“关系”这组概念很重要,要熟悉并记住相互有关联关系的表形式数据的集合关系数据库学生成绩单一个表聚集了具有相同结构类型的若干个对象,表与表间也存在着相互关联一行数据反映了某一对象的相关内容,一列数据具有相同的数据类型这种“表”形式的数据，被认为是结构化数据用数学定义的无重复元组的【表】又被称为【关系】，其数据库又被称为关系数据库数据库：相互有关联关系的数据的集合学生登记表什么是数据库结构化数据库：关系数据库数据库系统(工作环境)数据库(DB):Database数据库管理系统(DBMS):DatabaseManagementSystem数据库应用(DBAP):DataBaseApplication数据库管理员(DBA):DataBaseAdministrator计算机基本系统DBMS管理数据库的一种系统软件DBA完成某一功能的应用程序1应用程序2应用程序nDBAP1DBAP2DBAPn相互有关联关系的表形式数据的集合数据库//Database什么是数据库系统数据库系统的构成DBMSOracle或SQLServer或DB2或PolarDB或MySQL或GaussDBDBATable1:出版社T2:出版社图书目录T3:采买记录T4:图书；T5:读者T6:借阅登记T7:工作人员数据库//Database图书采买管理程序图书借阅管理程序读者管理程序DBAP1DBAP3DBAPn采买员借还管理员借书证管理员图书编目管理程序DBAP2编目员DBMS如何支持用户操纵数据库？有哪些运算?并：RS差：RS积：RS选择：

(R)投影：(R)怎样操纵数据库表之间有哪些运算并(Union)R

S

定义：设关系R和关系S是并相容的(即：属性数目相同，其对应的域也相同)，则关系R与关系S的并运算结果也是一个关系，记作：R∪S,它由或者出现在关系R中，或者出现在S中的元组构成数学描述：R

S={t|t

RtS}，其中t是元组特性：R∪S与S∪R运算的结果是同一个关系RS怎样操纵数据库第1种运算：【并】运算怎样操纵数据库第2种运算：【差】运算

定义：假设关系R和关系S是并相容的，则关系R与关系S的差运算结果也是一个关系，记作：R

S,它由出现在关系R中但不出现在关系S中的元组构成

数学描述：R

S={t|t

R

t

S}

，其中t是元组注意：R

S与S

R是不同的RSR

SRSS

R差(Difference)

定义：关系R(<a1,

a2,…,an>)与关系S(<b1,b2,…,bm>)的广义笛卡尔积(简称广义积)运算结果也是一个关系，记作：RxS,它由关系R中的元组与关系S的元组进行所有可能的拼接(或串接)构成。

笛卡尔积可将两个表串接起来作为一个表进行操作

数学描述：Rx

S={<a1,

a2,…,an,b1,b2,…,bm>|<a1,

a2,…,an>

R

<b1,b2,…,bm>

S}广义笛卡尔积(CartesianProduct)怎样操纵数据库第3种运算：【积】运算

定义：给定一个关系R,同时给定一个选择的条件condition(简记con),选择运算结果也是一个关系，记作

con(R)

,它从关系R中选择出满足给定条件condition的元组构成数学描述：

con(R)={t|tR

con(t)=‘真’}

选择(Selection)怎样操纵数据库第4种运算：【选择】运算

定义：给定一个关系R,投影运算结果也是一个关系，记作

A(R)

,它从关系R中选出属性包含在A中的列构成数学描述：

Ai1,Ai2,…,Aik(R)={<t[Ai1],t[Ai2],…,t[Aik]>|tR}投影(Projection)怎样操纵数据库第5种运算：【投影】运算查询表达式组合各种运算查询学习课程号为002的学生学号和成绩πS#,Score(

)查询学习课程号为001的学生学号、姓名πS#,Sname()查询学习课程名称为数据结构的学生学号、姓名和这门课程的成绩πS#,Sname,Score(σCname=“数据结构”andStudent.S#=SC.S#

andSC.C#=Course.C#

(Student

SC

Course))SC

C#=“002”()

C#=“001”andStudent.S#=SC.S#()Student

SCStudent

SC

CourseσCname=“数据结构”andStudent.S#=SC.S#

andSC.C#=Course.C#

(Student

SC

Course)怎样操纵数据库综合运用关系运算表达复杂的查询若要掌握，则需要不断练习…由关系模型到结构化数据库语言SQL数据库语言SQL（结构化的查询语言）

Select列名[[,列名]…]

From表名1[[,表名2],…][Where检索条件];语义：将From后面的所有表串接起来，检索出满足“检索条件”的元组，并按给定的列名及顺序进行投影显示。

列名,…,列名(

检索条件(表名1

表名2…))关系运算式πS#,Sname,Score(σCname=“数据结构”

Student.S#=SC.S#

Course.C#=SC.C#(Student

SC

Course))SelectS#,Sname,ScoreFromStudent,SC,CourseWhere

Cname=‘数据结构’andStudent.S#=SC.S#andCourse.C#=SC.C#;结构化数据库操纵语言SQL语言有丰富的表达能力-如嵌套查询、模糊查询、统计、分组统计、分组过滤等，同学可继续自学之…基本动作对基本动作

的抽象【并】操作

【差】操作

【积】操作

【选择】操作

【投影】操作

解释这种组合,并按次序调用基本动作予以执行程序执行机构程序指令基本动作SelectSnameFromStudent,SCWhereStudent.S#=SC.S#andSC.C#=‘001’OrderByScoreDESC;

Sname(student.s#=sc.s#(StudentSC))关系模型基本运算关系模型基本运算的各种组合SQL语言数据库管理系统复杂动作=基本动作的各种方式的组合结构化数据库管理系统的实现思路关系运算

数据库语言

关系数据库管理系统关系数据库（按行存储数据，按列按类型区分）第一种NoSQL数据库（按“属性名：属性值”对存储数据，均为字符串数据）第二种NoSQL数据库（按文档存储数据，一行是一个文档）第二种NoSQL数据库（按文档存储数据，一行是一个文档，文档中还可能嵌入文档）与关系数据库相比，最大的优点：（1）可扩展性—可随时增加新属性列和减少属性列，而无须改变以前存储的数据。（2）无需事先定义模式，可直接操纵数据（3）并行/分布处理—可适应大规模并行/分布计算。关系数据库

键值对数据库

文档数据库由结构化数据库管理到非结构化数据管理【NoSQL】“不仅是SQL，而不是NO-to-SQL”，不仅能管理结构化数据，而且能管理半结构化甚至非结构化数据的数据库。为处理大数据，多数都采用分布式存储技术<标记>文本</标记>“标记”:“文本”其他非结构化数据库：图像数据库与图数据库由结构化数据库管理到非结构化数据管理图数据库—一种由结点和边表达数据的数据库图像/视频/多媒体数据库抽象理论设计理论支持设计：设计正确性、完备性判定方法先抽象再设计：从管理一个具体的表，到可管理所有的表抽象：区分并命名表的每一个形式要素理论：数学化逻辑严密化各种概念；设计：语言/实现/系统理论指导下的抽象：抽象更为严密小结从【表】的管理看数据库E.F.Codd,基于对“表(Table)”的理解:

提出了“关系”及关系模型，提出了关系数据库理论开创了数据库的时代，当前普遍应用的数据库管理系统的奠基者获得了计算机领域最高奖“图灵奖”第18讲炒股不看股盘看微博

—关联规则挖掘与大数据思维哈尔滨工业大学计算学部教学委员会主任国家教学名师战德臣炒股不看股盘，看微博，为什么？假如炒股，你看什么--股盘？微博？学习完本讲后再回答吧？数据挖掘，又称为数据库中知识发现，它是一个从大量数据中抽取挖掘出未知的、有价值的模式或规律等知识的复杂过程。简单地讲就是从大量数据中挖掘或抽取出知识。概要归纳关联规则挖掘分类与预测聚类分析异类分析演化分析怎样运用数据库—数据挖掘什么是数据挖掘怎样挖掘呢？啤酒与尿布的故事…数据对超市经营有无帮助呢?客户购买习惯商品组合方式及策略……营销策略价格策略货源组织数据挖掘示例之背景超市数据库超市数据库数据挖掘示例之背景超市数据库数据挖掘之关联规则挖掘商品的关联规则“尿布”⇒“啤酒”

[支持度=2%，置信度=60%]

“由尿布的购买，能够推断出啤酒的购买”支持度2%意味着所分析事务的2%同时购买尿布和啤酒置信度60%意味着购买尿布的顾客60%也购买啤酒。关联规则挖掘的基本概念什么是关联规则这样的规则能否由机器挖掘出来呢？是否相信这条规则呢?1.项、项集与事务设P

={p1,p2,...,pm

}是所有项(Item)的集合。D是数据库中所有事务的集合，其中每个事务T(Transaction)是项的集合，是P的子集，即T

P；每一个事务有一个关键字属性，称作交易号或事务号以区分数据库中的每一个事务。设A

是一个项集(ItemSet)，事务T包含A当且仅当A

T。2.关联规则关联规则是形如A

B

的蕴涵式，即命题A(如“项集A的购买”)蕴涵着命题B(“如项集B的购买”)，或者说由命题A能够推出命题B，其中A

P，B

P，并且A∩B=

。

关联规则挖掘的基本概念基础概念P是超市所有商品的集合T是某一顾客一次购买的商品的集合3.支持度与置信度Support(A

B)=P(A∪B)=包含A和B的事务数

D中事务总数。

confidence(A

B)=P(B|A)=包含A和B的事务数

包含A的事务数。支持度反映一条规则的实用性，置信度反映规则的“值得信赖性”的程度4.强规则同时满足最小支持度阈值(min_s)和最小置信度阈值(min_c)的规则称作强规则。

5.k-项集与k-频繁项集项的集合称为项集，包含k个项的项集称为k-项集。项集的出现频率是包含项集的事务数，简称为项集的频率、支持计数或计数。如果项集的出现频率大于或等于min_s与D中事务总数的乘积,则项集满足最小支持度min_s。如果项集满足最小支持度，则称它为频繁项集。频繁k-项集的集合通常记作Lk。

{面包，果酱}

---2-项集{面包，果酱，奶油}

---3-项集关联规则挖掘的基本概念基础概念由频繁项集产生强关联规则。依定义，这些规则必须满足最小支持度和最小置信度。找出所有频繁项集。依定义，这些项集出现的频率至少和预定义的最小出现频率一样。如何挖掘频繁项集?Apriori算法项K-项集支持度置信度事务/

交易K-频繁项集关联规则{面包，果酱}

---2-项集{面包，果酱，奶油}

---3-项集关联规则挖掘的基本概念怎样进行关联规则挖掘-基本思想商品购买明细数据库频繁项集挖掘计算过程对问题域数据进行抽象候选1项集．频繁1项集．支持度计数

最小支持度计数5

(min_sup=5/20=25%)频繁项集挖掘计算过程形成候选1-项集，并求出频繁1-项集候选2项集．C2=L1JoinL1频繁1项集频繁2项集．支持度计数

最小支持度计数5频繁项集挖掘计算过程形成候选2-项集，并求出频繁2-项集候选3项集．C3=L2JoinL2频繁2项集候选3项集的支持度计数频繁3项集频繁项集挖掘计算过程形成候选3-项集，并剪枝，进一步求出频繁3-项集候选４项集---频繁４项集支持度计数>=5

频繁3项集频繁项集全集＝频繁1项集

频繁２项集

频繁3项集

频繁4项集频繁项集挖掘计算过程迭代地求出最终结果-频繁项集由频繁项集产生强关联规则。依定义，这些规则必须满足最小支持度和最小置信度。找出所有频繁项集。依定义，这些项集出现的频率至少和预定义的最小出现频率一样。项K-项集支持度置信度事务/交易K-频繁项集关联规则{面包，果酱}

---2-项集{面包，果酱，奶油}

---3-项集关联规则挖掘的基本概念怎样进行关联规则挖掘-基本思想关联规则生成{P1,P2,P5,P6}可以产生的潜在规则A⇒B,其中A

B={P1,P2,P5,P6},A

B=

.

频繁项集关联规则关联规则产生过程潜在关联规则的生成并计算输出的规则表，A

B=

，“购买A能够推出购买B”．置信度>＝70%的规则．

关联规则产生过程潜在关联规则的生成并计算组合形成规则表，频繁3项集能推出哪些频繁项集?置信度标记红色为置信度>＝70%的规则．支持度标记蓝色的为满足置信度前提下的支持度>=40%的规则关联规则产生过程潜在关联规则的生成并计算最终输出的规则表关联规则产生过程最终输出的关联规则示例age(X,"30...39")∧income(X,"42K...48K")⇒buys(X,"high_resolution_TV")X代表顾客buys