交通运输系统工程 课件 第十一章 交通运输系统大数据技术

芒尸］第十一章交通运输系统大数据技术11.1

交通大数据概述卢卢l1ll3II交通大数据形态盲平贾，职需可飞暹盒需鄂罚！圈第十一章交通运输系统大数据技术I11

.1 交

通大数据概述1- - 11 .1 .1 交

通大数据形态交通大数据

，是由

许多

不同

来源、类型和格式的数据组成的数据集。除了直接与交通运行和管理相关的数据外，交通大数据还包括了许多其他行业和领域的数据。第十一章交通运输系统大数据技术I11

.1 交

通大数据概述1- - 11 .1.1 交

通大数据形态城市交通大数据可按照与交通管理和交通信息服务的关联程度、数据类型、数据形式、数据产生和变化的频率等不同角度进行分类。第十一章交通运输系统大数据技术I111.1交通大数据概述1

-- 11 儿2

交通运输系统数据需求交通管理系统数据需求

：( 1 ) 交

通系统运行状态诊断

：道路交通可以分为断面、路段、区段和路网四个层次，断面、路段是构成区段和路网的基础，也是交

通状态分析的基本单元。

第十一章交通运输系统大数据技术I111.1交通大数据概述1

-- 11 儿2

交通运输系统数据需求交通管理系统数据需求

：(

2

)

交通需求管理与信息分析

：交通需求管理是在满足资源和环境容量限制的条件下，通过各种管理手段，使交通需求和交通供给达到基本平衡，从而促进城市的可持续发展。-n固们们一：：门，第十一章交通运输系统大数据技术I111.1交通大数据概述1

-- 11 儿2

交通运输系统数据需求交通服务数据需求

：( 1 ) 个

性化交通信息服务

：

针

对城 市交

通、区域交通两方面。(

2

)

交通诱导：

主要包括交通流数据、道路网络数据、交通事件

数据、历史数据、用户数据五个方面的数据需求。

第十一章交通运输系统大数据技术I111.1交通大数据概述1

-- 11 儿 3 交通领域数据资源道路交通

：

城市

交

通体系由道路交通是一个重要组成部分，根据道路的性质

，可将其分为地面道路、快速路和高速公路三大类。在城市交通信息化发展的进程中，由千建设、管理、运维、技术等不同因素，这三类道路交通数据的类型、采集、存储、处理、应用等也体现出不同的特点。第十一章交通运输系统大数据技术I111.1交通大数据概述1

-- 11 儿 3 交通领域数据资源轨道交通：(

1

)

城市轨

道交通

：

城市轨 道交 通数据主 要分

为由车辆运行产生的运行控制数据和由运营管理产生的业务数据两方面。第十一章交通运输系统大数据技术I111.1交通大数据概述1

-- 11 儿 3 交通领域数据资源轨道交通：(

2

)

铁路

：

与

城市交通密切相关的数据主要包括客运与货运调度信息、列车时刻表信息、实际发车和到站时间、车次延误信息、客流量和货运量信息等。第十一章交通运输系统大数据技术I111.1交通大数据概述1

-- 11 儿 3 交通领域数据资源航空交通：(

1

)

航空民

航

：

民

航是目 前

最高 效的国 际

城际 交

通运输方式。民航系统采集的数据种类繁多，已经具备了大数据挖掘的基础。民航信息化已经成为民航行业发展的重要趋势，其对千提高运营效率、优化服务体验、促进行业创新等方面都具有重要作用。第十一章交通运输系统大数据技术I111.1交通大数据概述1

-- 11 儿 3 交通领域数据资源水运交通

：

航

运作

为水上运输的全方位领域

，包括内

河航

运、沿海航运和远洋航运等主要业务，它涉及到客流和物流运输等方面。我国经过30多年航运业的信息化建设和发展

，航运智能化管理与服务取得了长足的进步，“智慧航运”的概念也逐渐崭露头角。第十一章交通运输系统大数据技术I111.1交通大数据概述

1

-- 11 儿 3 交通领域数据资源综合交通枢纽

：

在城市 交

通系统中起着至关重要的作用

，其作为城市对外交通运输的中枢承载着重要的交通功能。综合交通枢纽数据采集和信息汇聚模式可分为由综合交通枢纽统一进行数据采集和信息化工程建设、由综合交通枢纽汇聚多个交通部门采集的数据和信息两类。长沙黄花机场青岛胶东机场第十一章交通运输系统大数据技术11.2

交通大数据组织与描述卢卢酗

.,,伽咄伊土星凹 剧肩恤

l第十一章交通运输系统大数据技术I111.2

交

通大数据概述1

-- 11 .2.1交通大数据要素关系一般来说，一个要素可以

由

概念、

实例、

关系、

函数和公

理等五

种元素组

成

，即O

={C

I I

,

R

,

F

,

A}

,

其中O表示要素

，C

表

示

概

念(Concept) ,

I表示实例(

Instance) ,

R

表示关系(Relationship) ,

F表示函数

(

Function

) ,

A表示公理(Axiom)

。概念

(

Concept)实例

{Instance)要素关系

(Relati

onship)函数(

Function)公理

(Axiom)第十一章交通运输系统大数据技术I- 11 .2.1交通大数据要素关系111.2

交

通大数据概述1

-(

1

)

概念

(

Concept

)

:交通要素的概念是广义上的概念，可以是具体的概念，也可以是任务、功能、行为、策略、推理过程等。交通要素中的这些概念通常构成一个分类层次。要素概念

{Concept

)实例

(Instance)关系

(Relationship)函数

(Function)公理

(Axio

m)第十一章交通运输系统大数据技术I- 11 .2.1交通大数据要素关系111.2

交

通大数据概述1

-(

2

)

实例

(

Instance)

:实例是指属千概念类的基本元素，即

某概

念

类所指的具体实体，特定领域的所有实例构成的领域概念类在该领域中的指称域。概念

(

Concept

)实例

(

Inst

an

ce)要素关系

(

Relationship

)函数

(

Function)公理

(

Axiom

)第十一章交通运输系统大数据技术I111.2

交

通大数据概述1

-- 11 .2.1交通大数据要素关系(

3

)

关系

(Relationship

) :交通要素中的关系表示概念之间的一类关联，典型的二元关联如子类关系形成概念类的层次结构

，一般情况下

用

R

:

C1•C2•

…

en表

示概念类Cl

•

C2•

…

Cn之间存在n元关系R。概念

(Conc

ept)实例

(

Instanc

e)要素关系

(

Relat

ionship

)函数

(

Function)公理

(

Axiom)第十一章交通运输系统大数据技术I111.2

交

通大数据概述1

-(4

)

函数

(

Fu

n

ction

)- 11 .2.1交通大数据要素关系:函数是一种特殊的关系

，其中

，第n

个元素相 对千前

n

-1

个元素是唯一的。

可以理解为

e

n可以由C1•

C2 •…

cn1-确定。 其中 ，函数

用F :C1•C2•…

c

n1- e

n表示。概念

(

Concept

)实例

(

Instance)要素关系

(

Relationship

)函数

(

Funct

io

n)公理

(

Axiom

)第十一章交通运输系统大数据技术I- 11 .2.1交通大数据要素关系111.2

交

通大数据概述1

-(

5

)

公理

(

Axiom

)

:公理用千表示一些永真式，即无须证明或推理既可知其断言为真，用来表示交通要素间最基本的相互语义逻辑的集合。概念

(

Concep

t)实例

(Instance)要素关系

(

Relationship

)函数

(

Function)公理

(

Ax

io

m

)、..·.-·、·--:--、---..-..-.•.

、..,--、-、0---

·...

-...

·-

、...、.

-.心·'、一,、.........、...勺..

,.,,,..

-..、介...、～...、乍s没．，心

心女>

..

石“飞，......，......，第十一章交通运输系统大数据技术I- 11 .2.1交通大数据要素关系111.2

交

通大数据概述1

-(

5

)

公理

(

Axiom

)

:在许多领域中，函数

之间

或关联之间

也

存在着关联或约束

，这些

约束

(

Res

triction

)

有时候也被视为公理的一部分。约束公理分为值约束

(

Value

Constraint

)

和基数约束

(

Cardinality

Constraint)两种。要素概念

(

Co

ncept)实例

(

Instance)关系

(

Relationship

)约束公理值约束

(ValueConstraint)基数约束

(Cardinality

Constraint)函数

(

Fun

ctio

n)公理

(

Axio

m

)第十一章交通运输系统大数据技术I111.2

交

通大数据概述1

-- 11 .2.1交通大数据要素关系交通要素中概念间的四种基本关系：i

n

s

tance-of表达概念的实例和

概念

之间的

关系

；part-of表达概念之间部分与整体的关系

；k

i

n

d

-o

f表达概念之间的继承关系；attribute-of表达某个概念是另外一个概念的属性。基本关系part

-of

关系kind

-of

关系inst

ance-of关系att

rib

ute-o

f关系第十一章交通运输系统大数据技术I111.2

交

通大数据概述1

-- 11 .2.1交通大数据要素关系(1) part-of关系

：，描述的是概念之间部分I,

B

)

表示

概念

A

是概念

Bp

a

rt-o

f关系也

可以

称之为

member-of关系成员与整体的关系。通常使用part-of

(A的部分或

者概念

A

是概念B的

成员。基本关系p

art

-of关系kind

-of关系Binstance-of

关系att

ribut

e-of关系第十一章交通运输系统大数据技术I111.2

交

通大数据概述1

-- 11 .2.1交通大数据要素关系(2) kind-of关系

：k

i

n

d

-o

f关系

又被称为subClassOf关系

或is

-a

关系

，描述了概念之间典型的二元关系和上下位关系，用千指出事物之间在抽象概念上的类属关系，是概念

之间的

逻辑层次分类结构形成的基础。kind-of(

A

,

B

)

表示概念A是概念B的子类。荨Kind-of公交车出租车第十一章交通运输系统大数据技术I- 11 .2.1交通大数据要素关系111.2

交

通大数据概述1

-(3) instance-of关系

：i

n

s

ta

n

ce-of

关系描述的是典型的概念与个体之间的二元关系，而个体则是来自实例集合的一个元素。instance-of

(a ,

A

)

表示个体a是概念A的一个实例。下图表示个体

"100路公交车”

是概念 “公 交

车”的一个实例。三第十一章交通运输系统大数据技术I111.2

交

通大数据概述1

-- 11 .2.1交通大数据要素关系(4) attribute-of关系

：a

t

tri b

u

te-o f关系

表明

的

是

属

性概

念与其

对应概

念的

关系，这种关系是

不可传

递的。

例如

A

是

B

的

腰

性概念

，B

是

C

的

腰

性概念

，A

未必

是C的属性概念

，只有当

A与B是attribute-of

的关系而

Al

是A的子概念（

子属性）时

，Al

与B也具有attri

b

u

te-of

的

关系。p

a

rt-o

f关系attribute-of基本关系kind

-of

关系insta

nce

-o

f关系att

rib

ute

-of关系第十一章交通运输系统大数据技术I111.2

交

通大数据概述1

-- 11 .2.1交通大数据要素关系>在实际应用中，不一定要严格地按照概念、实例、关系、函数、公理这五类元素来构造交通要素。>同时概念之间的关系也不限于上面列出的四种基本关系，可以根据特定领域的具体情况定义相应的关系，以满足应用的需要。第十一章交通运输系统大数据技术- 11.2.2交通大数据元数据和数据资源描述方法城市交通大数据资源核心元数据的元数据实体及元数据元素需要用到的腰性描述包括

：

中

文名称、 定义、 英文名 称、 数

据

类型、值域、短名、注解。第十一章交通运输系统大数据技术- 11.2.2交通大数据元数据和数据资源描述方法城市交通大数据资源核心元数据由10个元数据元素和9个元数据实体构成

，其中

6

个为必选

，用字母M标明；

1

3个

为可选

，用字母

O

标明。19个城市交通大数据资源核心元数据基本名称见下表。约束MMM。。序号I23456789名称信息资源名称信息资源发布日期信息资源摘要信息资源语种数据志说明信息资源提供方佣租钊f

气息、关键字说明信息资源分类类型元数据元素 。元数据元素元数据元素 。元数据元素元数据元素元数据实体元数据实体 。元数据实体元数据实体 M。10在线资源链接地址元数据元素。M。。。M。ll信息资慨标识符元数据元素12时间范围信息元数据实体13空间表示信息元数据实体14坐标系信息元数据实体15服务信息元数据实体16信息资源维护信息元数据实体17元数据标识符元数据元素18元数据维护方元数据元素19元数据更新日期元数据元素第十一章交通运输系统大数据技术- 11.2.2交通大数据元数据和数据资源描述方法在进行元数据扩展时，可以

对核心 元

数

据进行

扩展

，包括

：>增加新的元数据元素和实体；>建立新的代码表来代替值域为“自由文本”的现有元数据元素的值域；>创建新的代码表元素以扩充值域为代码表的元数据；户对现有元数据进行更严格的可选性限制和最大出现次数限制；>缩小现有元数据的值域。第十一章交通运输系统大数据技术11.3

交通运输系统的大数据技术卢严卢-

砰心还摒诏L

归．-『曰守怎l贯员只诏.盒守丙炽万霄吼团墨第十一章交通运输系统大数据技术1--

-

11.3.1交

通大数据技术问题数据质量：>

数据的真实

性、完备性、自

洽

性是数据本身应具有的

属性

，这是保

证数据质

量的基础。>

高质量的交通数据是进行道路规划与设计、交通信号优化、交通信息发布等的基础，同样也是大数据分析的前提。第十一章交通运输系统大数据技术1- -

-

11.3.1交

通大数据技术问题数据储存：>传统交通领域中许多存储问题起源千以前缺乏统一的规划和管理；>

以磁盘或磁带为主的存储方式无法满足数据量过大的情况；> 要实 现统 一的 大数 据

平台 ，需要解决存储上的两个基本问题

：

数据来源的统一管理和数据容量的自由扩展。第十一章交通运输系统大数据技术1- -

-

11.3.1交

通大数据技术问题数据计算：>随着城市仍在不断发展，采集的交通类数据越来越多，已有的交通解决方案已逐渐无法满足海量数据计算的需求；>交通领域的传统技术方案难以实现跨区域、跨部门的交通管理系统集成和组合

，问题关

键是因

技术瓶颈

所致。匾第十一章交通运输系统大数据技术1--

-

11.3.1交

通大数据技术问题数据传输：>

大带宽

和高扩展能

力成为大数据时代用户最主要的需求

；>交通领域现在正处千云计算和大数据建设的前期，根据以往经验，做好城市交通大数据中心网络的规划，有利

千

应对

将要

面对的网络问题。第十一章交通运输系统大数据技术1--

-

11.3.1交

通大数据技术问题数据格式：>

数据格式指的是以

一定编排方式将数据保存在文件或记录中；>随着交通信息获取手段的不断发展，存储的交通数据格式也变得更加复杂；>

城市交通大数据的格式问题是数据分析需要面临的永恒问题。第十一章交通运输系统大数据技术1--

-

11.3.2交通大数据处理技术分布式储存：文件系统>

目前，H

a

d

oo

p

分布式 (HadoopDistributed

FileSystem

,

HDFS

)

是一种较为流行的数据存储结构

，如

下图

所示；Hadoop分布式文件系统是开源云计算软件平台Hadoop框架的底层实现部分

，具有

高

传输率和高 容错

性等特点。元数据（文fl

名、副本数...):/homelfoo

'date.

3....D[a1TeNodesI机

桨l第十一章交通运输系统大数据技术1- -

-

11.3.2交通大数据处理技术分布式计算：>为了实现交通数据的建模、时空索引、历史数据的挖掘、交通数据的分布式处理和融合以及交通流动态预测，大数据平台需要拥有分布式计算能力

，即高

性能井行计算

模型MapReduce。(I

)

fw,/., 三三、飞'.)"",,,,((\

三,,,r:...｀

｀iP,

\Worker

'\

—.JT7L

、《广It<(''(6)

\\TileInput

fileslntenned

iatefiles(onlocal

disks)Redu

ce

p加SC第十一章交通运输系统大数据技术-

-

11.3.2交通大数据处理技术1-分布式计算：A该模型简化了复杂的数据处理计算过程，将数据处理过程分为Map阶段和Reduce阶段。.,,...-1

UserProgram,,,，，，(I)fork

"，，"，，I，，(6)\\TIICInput

filesMap

phasrIntermediatefiles(on

local

dis区）Reduce

pliase第十一章交通运输系统大数据技术1--

-

11.3.2交通大数据处理技术本地计算：>

本地计算是一个传统的

以数据库为中心的计算模式；>本地计算把所需要计算的资源全部传输到计算中心的计算机上进行处理

，是集中式多任务管理；> 本

地计算更适用千处理小规模数据和低井发计算。第十一章交通运输系统大数据技术-

-

11.3.3交

通大数据可视化技术1-数据检索：所示 ，通过逐 层查找O

racle检索是使用B树的形式进行的，如下图最终找到所需的记录；H

D

FS的数据检索模式主要依赖千名称节点的元数据

，元数

据包第十一章交通运输系统大数据技术1- -

-

11.3.3交

通大数据可视化技术分类分析：目

的

就是 将大

量的连续型、复合型数据根据内在数据特征划分成若干个类别或组别；聚类分析：

将数 据分 成不同 的

组

，井使组与组 之间的 差距

尽可能 大，组内数据的差距尽可能小的过程。------—---第十一章交通运输系统大数据技术1--

-

11.3.3交

通大数据可视化技术关联分析：在交通领域中，灰色

关联分析(

G

rey RelationalAnalysis,

GRA)技术可以被用千分析多种交通数据等。灰色关联分析的基本思想是根据序列曲线几何形状的相似程度来判断其联系是否紧密，曲线越接近，相应序列之间关联度就越大，反之就越小。12令abC｀10.80.60.40.20'-1

2-10-

8-6-4-20第十一章交通运输系统大数据技术1- -

-

11.3.3交

通大数据可视化技术特异群组分析：特异群组分析是一种新的数据挖掘任务

，通过利用特异群组挖掘(Abnormal

Group

Mining

,

AGM

)

算法对数据进行分析处理

，找出数据中有别千大多数数据的一群数据。第十一章交通运输系统大数据技术11.4

交通运输系统数据服务卢飞应 从随浊囡

l

置言而，；;压

·芯

吁饼

I

置第十一章交通运输系统大数据技术1--

-

11.4.1交

通规

划建设数据服务公共交通数据服务：>

公共交通的空间分布结构主要包括公交线路的布局和站点的设置。>公交线路的布局应该根据城市中心城区和周边城区的交通需求进行合理的规划；公交站点的设置也需要根据市民的需求和出行习惯进行科学合理的规划。第十一章交通运输系统大数据技术1- -

-

11.4.1交

通规

划建设数据服务综合交通数据服务：>综合交通数据服务是指基千交通运输系统中多种数据来源，通过综合分析和处理，提供全面、准确、实时的交通信息和服务。>这种服务不仅提供了交通流数据，还包括道路网络数据、交通事件数据、历史数据和用户数据等方面的信息。第十一章交通运输系统大数据技术1- -

-

11.4.2交通管理数据服务在交通管理方面，城市交通大数据服务主要体现在：交通出行需求管理交通系统运行管理,扯,飞·、｀畴．.．-争

｀;,,;-·．.、.．:．，

-．l．'.,",．-．•知心

:.之、，书.·:

．平:,-·•·.-·,•.,胪_,.•.,.·..

.•..,--J••

..,•.

.---.---

-，合”

、飞

严｀．...\;:.

':'I夭:-

•.

..、...、

=·'一心..,.·'-­...._:,

..．•:身,t·，'"已.·..

,..

、.-

-

•-

•-...;

·\

.,.._-\令 .,

乒－

－=--.、、C

,r志,-'-气之-

-._..

••.、.

·-.:、-•`、-.--•.

.-

---....

.•.•

•·•

.会一.•己·

偏._s·••.甸．--..嘈.................."

-、...,,

,.-,

'..、、

.---｀

．．．，..

..．

·.

..畸---

-.、、

.....

•'-...

-．

．．、，．．-、、 一.-.

.•、一..

．，...乙｀

｀一•...-