目录
6.1 基本概念
数据库
数据库(Database,缩写为DB)是指长期存储在计算机内的、有组织的、可共享的数据集合。数据库中的数据按一定的数据模型组织、描述和存储,具有较小的冗余度、较高的数据独立性和易扩展性,并可为各种用户共享。
数据库管理系统
数据库管理系统(DatabaseManagement System,DBMS)是数据库系统的核心软件,要在操作系统的支持下工作,解决如何科学地组织和存储数据,如何高效地获取和维护数据的系统软件问题。其主要包括数据定义功能、数据操纵功能、数据库的运行管理、数据组织、存储、管理和数据库的建立与维护。
特征
- 数据结构化且统一管理。
- 有较高的数据独立性。
- 提供数据控制功能。
分类
- 关系数据库系统:是支持关系模型的数据库系统。
- 面向对象的数据库系统:是支持以对象形式对数据建模的数据库系统。
- 对象关系数据库系统:在传统的关系数据模型基础上,提供元组、数组、集合等更丰富的数据类型以及处理新的数据类型操作的能力,这样形成的数据模型称为对象关系数据模型。基于对象关系数据模型的DBS称为对象关系数据库系统。
6.2 数据库三级模式两级映像

数据库系统采用三级模式结构,这是数据库管理系统内部的系统结构。
- 外模式:也称用户模式或子模式,是用户与数据库系统的接口,是用户用到的那部分数据的描述,由若干个外部记录类型组成。描述外模式的数据定义语言称为外模式DDL。
- 概念模式:也称模式,是数据库中全体数据的逻辑结构和特征的描述,它由若干个概念记录类型组成,只涉及行的描述,不涉及具体的值。概念模式的一个具体值称为模式的一个实例,同一个模式可以有很多实例。
- 内模式:也称存储模式,是数据物理结构和存储方式的描述,是数据在数据库内部的表示方式,定义所有的内部记录类型、索引和文件的组织方式,以及数据控制方面的细节。描述内模式的数据定义语言称为内模式DDL。
外模式/模式映像:该映像存在于外部级和概念级之间,实现了外模式到概念模式之间的相互转换。 模式/内模式映像:该映像存在于概念级和内部级之间,实现了概念模式到内模式之间的相互转换。 DBMS的两级映像功能保证了数据的独立性。
6.3 数据库的分析与设计过程

6.4 数据模型
模型就是对现实世界特征的模拟和抽象。
数学模型是对现实世界数据特征的抽象。
而数据模型是用来描述数据的一组概念和定义。
三要素
数据模型的三要素是数据结构、数据操作、数据的约束条件。
- 数据结构:是所研究的对象类型的集合,是对系统静态特性的描述。
- 数据操作:是对数据库中各种对象的实例(值)允许执行的操作的集合,包括操作及操作规则。数据操作是对系统动态特性的描述。
- 数据的约束条件:是一组完整性规则的集合。对于具体的应用数据必须遵循特定的语义约束条件,以保证数据的正确、有效、相容。
E-R模型
实体-联系模型简称E-R模型,所采用的3个主要概念是实体、联系和属性。

- 实体:矩形框
- 联系:菱形
- 属性:椭圆形
联系分为多种类型:
- 一对一 - 1:1
- 一对多 - 1
- 多对多 - m
6.5 关系代数
关系数据库系统采用关系模型作为数据的组织方式,在关系模型中用表格结构表达实体集以及实体集之间的联系,其最大特色是描述的一致性。
关系模型是由若干个关系模式组成的集合。一个关系模式相当于一个记录型,对应于程序设计语言中类型定义的概念。
关系模型的优点是:概念单一,存储路径对用户是透明的,所以具有更好的数据独立性和安全保密性,简化了程序的开发和数据库的建立工作。
关系模型案例
教学数据库的4个关系模式如下:
关系模式中有下划线的属性是主码(主键)属性
- S (Sno, Sname, SD, Sage, Sex) : 学生 S 关系模式,属性为学号、姓名、系、年龄和性别
- T (Tno, Tname, Age, Sex) : 教师 T 关系模式,属性为教师号、姓名、年龄和性别
- C (Cno, Cname, Pcno) : 课程 C 关系模式,属性为课程号、课程名和先修课程号
- SC (Sno, Cno, Grade) : 学生选课 SC 关系模式,属性为学号、课程号和成绩
S 学生关系
| Sno | Sname | SD | Age | Sex |
|---|---|---|---|---|
| 01001 | 贾晗昕 | IS | 20 | 男 |
| 01002 | 姚勇 | IS | 20 | 男 |
| 03001 | 李晓红 | CS | 19 | 女 |
T 教师关系
| Tno | Tname | Age | Sex |
|---|---|---|---|
| 001 | 方铭 | 34 | 女 |
| 002 | 章雨敬 | 58 | 男 |
| 003 | 王平 | 48 | 女 |
SC 选课
| Sno | Cno | Grade |
|---|---|---|
| 01001 | C001 | 90 |
| 01001 | C002 | 91 |
| 01002 | C001 | 95 |
| 01002 | C003 | |
| 03001 | C001 |
C 课程关系
| Cno | Cname | Pcno |
|---|---|---|
| C001 | MS | |
| C002 | IC | |
| C003 | C++ | C002 |
| OS | OS | C002 |
| DBMS | DBMS | C004 |
相关名词
- 候选码(键):若关系中的某一属性或属性组的值能唯一标识一个元组,则称该属性或属性组为候选码。
- 主码(键):若一个关系有多个候选码,则选定其中一个为主码。
- 主属性:包含在任何候选码中的诸属性称为主属性。不包含在任何候选码中的属性称为非主属性。
- 外码(键):如果公共属性在一个关系中是主属性,那么这个公共属性被称为另一个关系的外码。由此可见,外码表示了两个关系之间的相关联系。
- 全码:若关系模式的所有属性组都是这个关系模式的候选码,则称为全码。
关系模式转换
⚠️ 原图缺失:
Pasted image 20260920224316.png
答案:C 解析: ,也就是:
关系的类型
- 基本关系(通常又称为基本表、基表):是实际存在的表,它是实际存储数据的逻辑表示。
- 查询表:查询结果对应的表。
- 视图表:是由基本表或其他视图表导出的表。由于它本身不独立存储在数据库中,数据库中只存放它的定义,所以常称为虚表。
例题

答案:B
七种基本运算
关系 S1
| Sno | Sname | Sdept |
|---|---|---|
| No0001 | Mary | IS |
| No0003 | Candy | IS |
| No0004 | Jam | IS |
关系 S2
| Sno | Sname | Sdept |
|---|---|---|
| No0001 | Mary | IS |
| No0008 | Katter | IS |
| No0021 | Tom | IS |
并
合并两表的内容,消除重复的行:
| Sno | Sname | Sdept |
|---|---|---|
| No0001 | Mary | IS |
| No0003 | Candy | IS |
| No0004 | Jam | IS |
| No0008 | Katter | IS |
| No0021 | Tom | IS |
交
保留两表相同的内容:
| Sno | Sname | Sdept |
|---|---|---|
| No0001 | Mary | IS |
差
去除S1中与S2相同的内容:
| Sno | Sname | Sdept |
|---|---|---|
| No0003 | Candy | IS |
| No0004 | Jam | IS |
笛卡尔积
将S1中的每一行元素与S2中的每一行元素一一组合对应:
| Sno | Sname | Sdept | Sno | Sname | Sdept |
|---|---|---|---|---|---|
| No0001 | Mary | IS | No0001 | Mary | IS |
| No0001 | Mary | IS | No0008 | Katter | IS |
| No0001 | Mary | IS | No0021 | Tom | IS |
| No0003 | Candy | IS | No0001 | Mary | IS |
| No0003 | Candy | IS | No0008 | Katter | IS |
| No0003 | Candy | IS | No0021 | Tom | IS |
| No0004 | Jam | IS | No0001 | Mary | IS |
| No0004 | Jam | IS | No0008 | Katter | IS |
| No0004 | Jam | IS | No0021 | Tom | IS |
投影
提取表格的一列元素,对S1投影Sno和Sname列:
| Sno | Sname |
|---|---|
| No0001 | Mary |
| No0003 | Candy |
| No0004 | Jam |
选择
选择对应列满足条件的行,选择S1中Sno属性为No0003的行:
| Sno | Sname | Sdept |
|---|---|---|
| No0003 | Candy | IS |
连接
关系 S1
| Sno | Sname | Sdept |
|---|---|---|
| No0001 | Mary | IS |
| No0003 | Candy | IS |
| No0004 | Jam | IS |
关系 S2
| Sno | Age |
|---|---|
| No0001 | 23 |
| No0008 | 21 |
| No0021 | 22 |
连接(Join,也作联接)分为θ连接、等值连接和自然连接 3 种。连接运算是从两个关系的笛卡儿积中选取满足条件的元组。
- θ连接:从关系R和S的笛卡儿积中选取属性间满足一定条件的元组,记作
- 等值连接:当θ为“=”时称为等值连接,记作
- 自然连接:是一种比较特殊的等值连接,它要求两个关系中进行比较的分量必须是相同的属性组,并且在结果集中把重复属性列去掉。
自然连接S1与S2:
| Sno | Sname | Sdept | Age |
|---|---|---|---|
| No0001 | Mary | IS | 23 |
查询优化原则
关系代数表达式查询优化的原则如下:
- 提早执行选取运算。 对于有选择运算的表达式,应优化成尽可能先执行选择运算的等价表达式,以得到较小的中间结果,减少运算量以及从外存读块的次数。
- 合并乘积与其后的选择运算为连接运算。
- 将投影运算与其后的其他运算同时进行,以避免重复扫描关系。
- 将投影运算和其前后的二目运算结合起来,因为没有必要为去掉某些字段再扫描一遍关系。
- 在执行连接前对关系适当地预处理,就能快速地找到要连接的元组。
- 存储公共子表达式。 对于有公共子表达式的结果应存于外存(中间结果),这样,当从外存读出它的时间比计算的时间少时,就可节约操作时间。
例题1
给定关系 和关系 ,对其进行自然连接运算 后的属性列为____(1)____;与 等价的关系代数表达式为____(2)____。
(1) A. 4 B. 5 C. 6 D. 8 (2) A. B. C. D.
答案:(1) C,(2) B
解析:
(1) 关系R和关系S自然连接运算后为:
因此选择 C
(2) 因为A和C没有去掉重复属性列,因此排除(必定排除重复属性列)
也就是:
| 序号 | 属性列 |
|---|---|
| 1 | R.A |
| 2 | R.B |
| 3 | R.C |
| 4 | R.D |
| 5 | S.A |
| 6 | S.C |
| 7 | S.E |
| 8 | S.F |
后经过选择:
B:1=5 & 2>7 & 3=6 D:1=5 & 2>‘7’ & 3=6
最外层投影操作为剔除重复属性列,D的7为常量,因此正确选项为 B
例题2
下列查询 B=“大数据” 且 F=“开发平台”,结果集属性列为 A、B、C、F 的关系代数表达式中,查询效率最高的是________。
(56) A. B. C. D.
答案:D
解析:
根据上述的查询优化原则,D选项在笛卡尔积前就进行了筛选,通常比前三个选项快
6.6 数据库完整性约束
完整性规则提供了一种手段来保证当授权用户对数据库作修改时不会破坏数据的一致性,因此,完整性规则是为了防止对数据的意外破坏。
关系模型的完整性规则是对关系的某种约束条件。完整性共分为3类:
- 实体完整性:规定基本关系的主属性不能取空值。
- 参照完整性:若是基本关系的外码,它与基本关系的主码相对应(基本关系和不一定是不同的关系),则对于中每个元组在上的值必须为:或者取空值(的每个属性值均为空值),或者等于中某个元组的主码值。
- 用户定义完整性:就是针对某一具体的关系数据库的约束条件,反映某一具体应用所涉及的数据必须满足的语义要求,由应用的环境决定。
- S (Sno,Sname,SD,Sage,Sex) : 学生 S 关系模式,属性为学号、姓名、系、年龄和性别
- T (Tno,Tname,Age,Sex) : 教师 T 关系模式,属性为教师号、姓名、年龄和性别
- C (Cno,Cname,Pcno) : 课程 C 关系模式,属性为课程号、课程名和先修课程号
- SC (Sno,Cno,Grade) : 学生选课 SC 关系模式,属性为学号、课程号和成绩
6.7 关系型数据库SQL简介
SQL是在关系数据库中最普遍使用的语言,它不仅包含数据查询功能,还包括插入、删除、更新和数据定义功能。
SQL具有综合统一、高度非过程化、面向集合的操作方式,两种使用方式,语言简洁且易学易用等特点。
SQL支持关系数据库的三级模式结构:视图对应外模式、基本表对应模式、存储文件对应内模式。
操作分类
数据定义
- 创建表
- 修改和删除表
- 创建和删除索引
- 创建和删除视图
数据查询
- select查询
- 简单查询
- 连接查询
- 子查询和聚集函数
数据更新
- 插入
- 删除
- 修改
6.8 关系数据库的规范化
函数依赖
- 函数依赖:设 是属性集 上的关系模式, 和 是 的子集。若对 的任何一个可能的关系 , 中不可能存在两个元组在 上的属性值相等,而在 上的属性值不等,则称 函数决定 或 函数依赖于 ,记作 。
- 非平凡的函数依赖:如果 ,但 ,则称 是非平凡的函数依赖。
- 平凡的函数依赖:如果 ,但 ,则称 是平凡的函数依赖。
- 完全函数依赖:在 中,如果 ,并且对于 的任何一个真子集 ,都有 不能决定 ,则称 对 完全函数依赖,记作 。
- 部分函数依赖:如果 ,但 不完全函数依赖于 ,则称 对 部分函数依赖,记作 。部分函数依赖也称局部函数依赖。
- 传递依赖:在 中,如果 ,, 不能函数决定 ,,则称 对 传递依赖。


求候选码(键)
- 第一步:将关系模式的函数依赖关系用“有向图”的方式表示。
- 第二步:找入度为 的属性,并以该属性集合为起点,尝试遍历有向图,若能正常遍历图中所有结点,则该属性集即为关系模式的候选键。
- 第三步:若入度为 的属性集不能遍历图中所有结点,则需要尝试性的将一些中间结点(既有入度,也有出度的结点)并入入度为 的属性集中,直至该集合能遍历所有结点,集合为候选键。
例题

答案:B 解析:
根据题目可知函数依赖关系表达为:

找到入度为零的属性,也就是A属性
以A为起点,尝试遍历全图,最终找到AB和AC两个候选关键字可以遍历全图
属性只能为主属性/非主属性,这里的三者都是主属性
因此答案:B
规范化理论
非规范化的关系模式,可能存在的问题包括:数据冗余、更新异常、插入异常、删除异常
关系数据库设计的方法之一就是设计满足适当范式的模式,通常可以通过判断分解后的模式达到几范式来评价模式规范化的程度。
范式有1NF、2NF、3NF、BCNF、4NF和5NF,其(分别读作第一范式、第二范式、第三范式、巴斯克范式、第四范式、第五范式)中1NF级别最低。 这几种范式之间有 成立。
通过分解,可以将一个低一级范式的关系模式转换成若干个高一级范式的关系模式,这种过程叫作规范化。

1NF
若关系模式R的每一个分量都是不可再分的数据项,则关系模式R属于第一范式(1NF)。
反例:
| 系名称 | 高级职称人数 教授 | 高级职称人数 副教授 |
|---|---|---|
| 计算机系 | 6 | 10 |
| 电子系 | 3 | 5 |
2NF
若关系模式 ,且每一个非主属性完全依赖于主键,则关系模式 。
换句话说,当1NF消除了非主属性对码的部分函数依赖,则称为2NF。
学生选课SC关系模式:属性为学号(Sno)、课程号(Cno)、成绩(Grade)和学分(Credit)
反例:
| Sno | Cno | Grade | Credit |
|---|---|---|---|
| 01001 | C001 | 90 | 4 |
| 01001 | C002 | 91 | 4 |
| 01002 | C001 | 95 | 3 |
| 01002 | C003 | 89 | 3 |
| 03001 | C001 | 91 | 4 |
3NF
若关系模式R(U, F)中不存在这样的码X、属性组Y及非主属性Z(Z不属于Y),使得 ,, 成立,则称关系模式 。
换句话说,当2NF消除了非主属性对码的传递函数依赖,则称为3NF。 3NF的模式必是2NF的模式。产生冗余和异常的两个重要原因是部分依赖和传递依赖。
S (Sno,Sname,SD,Sage,Sex) : 学生 S 关系模式,属性为学号、姓名、系、年龄和性别
| Sno | Sname | SD | Age | Sex |
|---|---|---|---|---|
| 01001 | 贾晗昕 | IS | 20 | 男 |
| 01002 | 姚勇 | IS | 20 | 男 |
| 03001 | 李晓红 | CS | 19 | 女 |
BCNF(巴斯克范式)
若关系模式 ,若 ,且 属于 , 必含有码,则关系模式 。
换句话说,当 3NF 消除了主属性对码的部分和传递函数依赖,则称为 BCNF。
一个满足 BCNF 的关系模式应具有以下性质。
- 所有非主属性对每一个码都是完全函数依赖。
- 所有非主属性对每一个不包含它的码也是完全函数依赖。
- 没有任何属性完全函数依赖于非码的任何一组属性。
例题

答案:(1) C, (2) A
(1) 先查找入度为0的节点:
看箭头右侧,A2、A4、A1、A6入度均不为0,易得A3、A5的入度为0
开始推理A3和A5是否能遍历所有节点(建议画图):
A3A5→A6(此时可遍历A3、A5、A6)A5A6→A1' (此时可遍历A1、A3、A5、A6` )A1→A2(此时可遍历A1、A2、A3、A5、A6)A1A3→A4(此时可遍历A1、A2、A3、A4、A5、A6)
因此A3和A5为关系R的一个主键、选择 C
(2) 因为没有消除非主属性对码的传递函数依赖,因此排除 C 和 D
因为没有非主属性单独依赖于主键A3和A5,因此满足第二范式
选择 B
例图:
flowchart TD %% 定义节点(使用圆角矩形,更美观) A1(A1) A2(A2) A3(A3) A4(A4) A5(A5) A6(A6)
%% 定义依赖关系 (对应原图中的箭头) %% 原图文本:A1->A2, A1A3->A4, A5A6->A1, A2A5->A6, A3A5->A6
A1 --> A2 A1 --> A4 A3 --> A4 A5 --> A1 A6 --> A1 A2 --> A6 A5 --> A6 A3 --> A6
%% 样式设置:让起点和终点更清晰 classDef default fill:#f9f9f9,stroke:#333,stroke-width:1.5px,rx:10,ry:10; classDef startNode fill:#e1f5fe,stroke:#0288d1,stroke-width:2px,rx:10,ry:10; classDef endNode fill:#e8f5e9,stroke:#388e3c,stroke-width:2px,rx:10,ry:10;
class A5,A6 startNode; class A2,A4 endNode;关系模式分解
对一个给定的模式进行分解,使得分解后的模式是否与原来的模式等价有3种情况:
- 分解具有无损连接性。
- 分解要保持函数依赖。
- 分解既要无损连接性,又要保持函数依赖。
例如:
有关系模式 R(A, B, C) ,并且存在函数依赖 ,
- 分解为
R1(A, B)和R2(B, C)就是保持了函数依赖 - 若是分解为
R3(A, C)就是破坏函数依赖关系
无损联接分解
指将一个关系模式分解成若干个关系模式后,通过自然联接和投影等运算仍能还原到原来的关系模式。
有关系模式:成绩(学号,姓名,课程号,课程名,分数),其中函数依赖为:,,
若将其分解为:
成绩(学号,课程号,分数)
学生(学号,姓名)
课程(课程号,课程名)
仍然为无损分解
6.9 数据库的控制功能
事务管理
事务是一个操作序列,是数据库环境中不可分割的逻辑工作单位。
事务的4个特性是:原子性、一致性、隔离性和持久性。
- 原子性: 事务的所有操作在数据库中要么全做,要么全不做。
- 一致性: 一个事务独立执行的结果将保持数据的一致性,即数据不会因为事务的执行而遭受破坏。
- 隔离性: 一个事务的执行不能被其他事务干扰。
- 持久性: 一个事务一旦提交,它对数据库中数据的改变必须是永久的,即便系统出现故障时也是如此。
并发控制
并发操作是指在多用户共享的系统中,许多用户可能同时对同一数据进行操作。
并发操作带来问题的原因是事务的并发操作破坏了事务的隔离性。
DBMS的并发控制子系统负责协调并发事务的执行,保证数据库的完整性不受破坏,避免用户得到不正确的数据。
flowchart TD A[并发产生的问题] -->|解决方案| B[封锁协议] B --> C[死锁问题]
A -.-> A1["丢失更新<br>不可重复读问题<br>“脏”数据的读出"] B -.-> B1["S封锁<br>X封锁<br>一级封锁协议<br>二级封锁协议<br>三级封锁协议<br>两段锁协议"] C -.-> C1["预防法<br>死锁的解除法"]
style A fill:#e1f5fe,stroke:#0288d1,stroke-width:2px style B fill:#e1f5fe,stroke:#0288d1,stroke-width:2px style C fill:#e1f5fe,stroke:#0288d1,stroke-width:2px封锁
并发控制的主要技术是封锁
- 排他锁(X锁):又称写锁,若事务 对数据对象 加上X锁,则只允许 读取和修改 ,其他事务都不能再对 加任何类型的锁,直到 释放 上的锁。
- 共享锁(S锁):又称读锁,若事务 对数据对象 加上S锁,则只允许 读取 ,但不能修改 ,其他事务只能再对 加S锁,直到 释放 上的S锁。
例题
若事务T1对数据D1加了共享锁,事务T2、T3分别对数据D2、D3加了排他锁,则事务T1对数据_(1);事务T2对数据(2)_。
(1) A. D2、D3加排它锁都成功 B. D2、D3加共享锁都成功 C. D2加共享锁成功,D3加排它锁失败 D. D2、D3加排它锁和共享锁都失败
(2) A. D1、D3加共享锁都失败 B. D1、D3加共享锁都成功 C. D1加共享锁成功,D3加排它锁失败 D. D1加排它锁成功,D3加共享锁失败
答案:(1) D,(2) C
解析:
(1) 因为D2和D3已经被加了排他锁 无法再加任何锁,因此选择 D
(2) 因为D1被加了共享锁,可以继续添加共享锁;而D2、D3被加了排他锁,同上无法再添加任何锁
因此选择 C
备份与恢复
人为错误、硬盘损坏、计算机病毒、断电或是天灾人祸等都有可能造成数据的丢失,所以应该强调备份的重要性
- 静态转储和动态转储。静态转储是指在转储期间不允许对数据库进行任何存取、修改操作;动态转储是指在转储期间允许对数据库进行存取、修改操作,因此,转储和用户事务可并发执行。
- 海量转储和增量转储。海量转储是指每次转储全部数据;增量转储是指每次只转储上次转储后更新过的数据。
- 日志文件。在事务处理的过程中,DBMS把事务开始、事务结束以及对数据库的插入、删除和修改的每一次操作写入日志文件。一旦发生故障,DBMS的恢复子系统便利用日志文件撤销事务对数据库的改变,回退到事务的初始状态。因此,DBMS利用日志文件来进行事务故障恢复和系统故障恢复,并可协助后备副本进行介质故障恢复。
日志文件恢复数据
数据恢复有3个步骤:
- 反向扫描日志文件,查找该事务的更新操作。
- 对事务的更新操作执行逆操作。
- 继续反向扫描日志文件,查找该事务的其他更新操作,并做同样的处理,直到回到事务的开始标志。
6.10 数据仓库与数据挖掘基础
数据仓库
数据仓库(Data Warehouse),可简写为DW或DWH,数据仓库,是为了企业所有级别的决策制定计划过程,提供所有类型数据类型的战略集合。它出于分析性报告和决策支持的目的而创建。为需要业务智能的企业,为需要指导业务流程改进、监视时间,成本,质量以及控制等。数据仓库是依照分析需求、分析维度、分析指标进行设计的。
数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合,它用于支持企业或组织的决策分析处理。是为了便于多维分析和多角度展现而将数据按特定的模式进行存储所建立起来的关系型数据库,它的数据基于OLTP源系统。
结构和建立过程
flowchart LR subgraph 数据源 A1(业务数据系统) A2(文档资料) A3(其他数据) end
subgraph 数据存储及管理 B1(抽取 Extract) B2(转换 Transform) B3(装载 Load) DB[(数据库)] end
subgraph 数据集市 S1(服务器) S2(服务器) end
subgraph 前端展示 D1(数据查询) D2(数据报表) D3(数据分析) D4(各类应用) end
A1 --> B1 A2 --> B1 A3 --> B1 B1 --> B2 --> B3 --> DB DB --> S1 DB --> S2 S1 --> D1 S1 --> D2 S1 --> D3 S1 --> D4 S2 --> D1 S2 --> D2 S2 --> D3 S2 --> D4数据挖掘
数据挖掘 (Data Mining) 就是从大量的数据中,提取隐藏在其中的,事先不知道的、但潜在有用的信息的过程。数据挖掘的目标是建立一个决策模型,根据过去的行动数据来预测未来的行为。
分类
- 关联分析:挖掘出隐藏在数据间的相互关系。
- 序列模式分析:侧重点是分析数据间的前后关系(因果关系)。
- 分类分析:为每一个记录赋予一个标记再按标记分类。
- 聚类分析:分类分析法的逆过程。
方法
- 决策树
- 神经网络
- 遗传算法
- 关联规则挖掘算法
6.11 大数据基本概念
一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合,具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。
大数据处理系统应该具有的重要特征:
- 高度可扩展性
- 高性能
- 高度容错
- 支持异构环境
- 较短的分析延迟
- 易用且开放的接口
- 较低成本
- 向下兼容性
| 比较维度 | 传统数据 | 大数据 |
|---|---|---|
| 数据量 | GB或TB级 | PB级或以上 |
| 数据分析需求 | 现有数据的分析与检测 | 深度分析(关联分析、回归分析) |
| 硬件平台 | 高端服务器 | 集群平台 |