综合自动化系统支撑技术.ppt

1、综合自动化系统支撑技术,浙江大学系统工程研究所,OUTLINE支撑技术,数据库技术 关系数据库 实时数据库 网络技术,综合自动化系统,综合自动化系统的核心是利用计算机技术、信息技术和控制及优化技术，实现企业经营管理与生产过程的综合集成，进而提高企业的综合竞争能力。 数据和信息综合集成是解决问题的基础 过程控制网络与管理信息网络间的数据集成和应用集成问题,CIMS分层递阶结构 CIMS技术的核心在于集成 网络与数据库技术是信息集成的主要支撑技术,综合自动化系统结构,过程控制系统(PCS)的基础自动化层。主要内容包括集散控制系统(DCS),现场控制系统(FCS)、多总线网络化控制系统、基于高速以太

2、网和无线技术的现场控制设备、传感器技术、特种执行机构、可靠性技术、实时数据管理技术、数据融合与数据处理技术等。 生产过程制造执行系统 (MES) 的生产过程运行优化层。以大型实时数据库系统为主要的数据支持方式。主要内容包括先进控制技术、 实时优化技术(RTO:Real-time Optimization)、建模与流程模拟技术(AMT: Advanced Modeling Technologies)、故障诊断维护技术、实时数据库技术、动态质量控制与管理技术、动态成本控制与管理技术等。 企业资源管理 (ERP) 的企业生产经营优化层。主要内容包括企业资源管理(ERP)、供应链管理(SCM)、客户关

3、系管理(CRM)、产品质量数据管理(PQDM )、数据仓库技术、设备资源管理、企业电子商务平台、先进计A与调度技术(APS: Advanced Planning and Scheduling)、与数据校正技术等。,数据库历史,五十年代后期到六十年代中期：数据管理功能主要由文件系统实现。 六十年代后期：产生了数据库系统，主要为层次数据模型或网状数据模型 七十年代初：提出了关系数据理论，建立了关系数据方法，继而诞生了关系数据库系统。 在八十年代中后期：产生了面向对象数据库系统。,数据库应用,简单数据，简单查询(或无查询要求) 简单数据，复杂查询 复杂数据，简单查询 复杂数据，复杂查询,数据库分类,

4、基于主机的集中型DBS PC型DBS Access、 Foxpro 基于Client/Server的DBS 分布式DBS,Oracle Microsoft 的SQLserver Informix Sybase的SQLserver IBM的DB2,主流关系数据库,主流关系数据库,数据库分类,关系数据库(RDB: Rational Database)：以二维表格及其关系作为数据模型的数据库，关系模型1970年由美国IBM公司的E.F.Codd提出。 演绎数据库(DDB: Deductive Database)：人工智能推理功能和数据库技术相结合的产物，DDB不仅包括事实(实数据)，还包括规则(虚数

5、据) 主动数据库：要求DBMS能主动地监视所希望的数据库状态的出现，一旦出现就激活某些活动，提供所需信息或进行相应操作，并且具有实现处理能力。 面向对象数据库(OODBS: Object Oriented Database System)：是一个面向对象系统，包括复杂对象、对象标识、封装性、类、继承性、可扩充性及计算完备性，比RDBS提供了更优的数据模型。,数据库分类,工程数据库：存放工程数据的数据库。扩充的关系模型、扩充的网状模型、语义模型、混合模型等。 时态数据库：处理时间信息的数据库。时态数据库所处理的时间有三种:事务时间、有效时间和用户自定义时间。 实时数据库 (RTDB: Real

6、time database system)：支持实时事务，以同时处理定时性和一致性，直接快速存取的特点,数据库系统,数据库系统是一个实际可运行的存储、维护和应用系统提供数据的软件系统，是存储介质、处理对象和管理系统的集合体。 通常由软件、数据库和数据管理员组成。 数据的独立性和共享性是数据库系统的重要特征。,数据库管理系统,数据库管理系统是一种系统软件。 有效地访问数据库中任意部分数据，数据的插入、修改和检索均要通过数据库管理系统进行。 数据库的维护包括保持数据的完整性、一致性和安全性。,关系数据库管理系统,大型关系数据库具有强大的可扩缩性和可靠性，它在事务处理、联机备份和复制等方面能够做到自

7、动优化和自动配置， 作为高端产品，其购置、服务、培训费用不菲。 数据库系统的出现是计算机应用的一个里程碑 ，使得计算机应用从以科学计算为主转向以数据处理为主 。,SQL语言,SQL是一个标准的数据库语言，是面向集合的描述性非过程化语言。国际标准组织相继推出了SQL-86、SQL-89和SQL-92标准。 SQL语言共分为四大类： 数据查询语言DQL 数据操纵语言DML 数据定义语言DDL 数据控制语言DCL,数据一致性与完整性,解决并发的要求： 多用户并发查询、 并发更新、 相互冲突的并发更新的解决等。 解决方法： 事务处理与调度，保持事务的原子性Atomic、一致性Consistent、独立

8、性Isolation、持久性Durability,事务处理,在多用户共享的系统中，许多事务可能同时对同一数据进行操作（并发操作），这样数据库的完整性就可能遭到破坏。主要有 丢失更新问题、 不一致分析问题 尚未提交的更新问题等。 事务是这样一种机制，它确保多个SQL语句被当作单个工作单元来处理。 事务具有以下的作用： 一致性；可恢复性。通过可串行化调度保证并发事务的正确性，通过事务阻塞、回滚或撤销来消除可能出现的数据不一致问题,事务隔离,对事务进行管理、控制并发操作，其基本作法是对数据实行加锁及事务调度。 在SQL99中，为了实现事务的完全隔离，定义了三种必须避免的现象： 读“脏”数据（dirt

9、y read）：即事务在运行中读到了其它事务未提交的数据。 不可重复读（unrepeatable read）：即事务在运行中再次读取同一数据时，发现其它事务的更新。 “幻象”读（phantom read）：即事务在运行中再次执行同一查询时，发现其它事务的更新。,隔离级别,读“脏”数据 不可重复读 “幻象”读 未提交读 N N N 提交读 Y NN 可重复读 Y Y N 可串行 Y Y Y,数据安全,系统运行安全 ： RDBMS提供了对于数据安全 性的可靠保障。 RDBMS的地址空间与客户应用通常是分开的，各有自己的用户标识。 只有RDBMS对构成数据库的数据文件有实际的读写能力,用户对数据库的

10、增删改查操作都是通过RDBMS来实现的。 系统信息安全 ： RDBMS的权限控制机制。,数据恢复,故障恢复能力是一条重要的性能标准。 需要在磁盘或操作系统发生故障时不丢失用户的数据,不出现数据不一致错误。 数据恢复采用的方法通常是建立“日志”和经常性地做数据库的备份。,数据库设计,数据库设计参照ANSL/SPARC关于数据库模式的3层标准结构提案。 概念设计：抽象层 逻辑设计：逻辑数据库 物理设计：实现 规范化：针对关系数据库的概念设计有一系列的关系范式理论，它们的主要依据是从数据一致性，减少数据冗余和查询效率的角度来考虑。,数据库优化,数据库设计优化 库表设计，索引设计 数据查询优化 不同S

11、QL语句执行效率不同。 数据库运行性能优化 内存分配，参数配置,实时数据库,开放结构的实时数据库系统(RTDB- Real-Time Database )能够提供高速、及时的实时数据服务，能够有效地集成异构控制系统，提供分布式的数据服务。 在工厂控制层(现场总线、DCS, PLC等)与管理信息系统MIS (Management Information System)之间建立实时数据连接，使企业全生产过程控制和业务管理相结合。同时也是企业MES (Manufacturing Executing System)系统的核心，是流程模拟、先进控制、实时在线优化、生产全过程管理等系统的数据平台。,实时数

12、据库产品： OSI公司的PI (Plant Information System); AspenTech公司的Infoplus2l; Honeywell公司的Uniformance (PHD) :Wonder ware公司的Industrial SQL Server,实时数据库,实时数据库,实时数据库,实时数据库系统是其事务和数据都可以具有定时特性或显式的定时限制的数据库系统。系统的正确性不仅依赖于逻辑结果，而且还依赖于逻辑结果产生的时间。时间特性是实时数据库系统不同于其它关系数据库的特点之一。 实时数据库与关系数据库区别 实时数据库除数据逻辑一致性和事务逻辑一致性外，还存在的两种一致性约束条

13、件:数据时态一致性、事务时态一致性。 实时事务与非实时事务,实时数据库数据对象,现实世界的对象RWO(real word object)， 映像对象(IMO)是一个RWO在特定时刻的一个映像):时标(sampling /event timestamp)和有效期(valid interval) 不变对象(IVO)就是一个相对于时间不变的值。例如设备信息。 导出对象(DEO)在一个事务的执行过程中由一组IMO和/或其它数据对象计算而得,数据对象为三元组d，其中d为其标识符，v为d的当时状态(或值); tp为d的时标，记录d到数据库的时间；evi是d的外部(或绝对)有效期。,实时数据库管理系统,RT

14、-APPL:具有定时限制的数据库任务，它们是实时事务的产生源。 RT-TM:管理实时事务的产生、执行、结束的整个生存期。 Time-Cognizant-CC:实现识时的并发控制算法。 Time-Cognizant-SCH:实现识时的优先级调度算法。 CPU-M和BUFFER-M，以及RT Data Mgt(DATA-OP、ST-DATA-M、RECOV- M). RT I/O-SCH:具有定时限制的磁盘访问管理。,实时数据库运行内核,实时数据库的运行内核部分包括任务队列和任务调度两个部分，其中任务调度中包含事务调度、资源管理和负载管理等部分。,实时数据库-内存数据库,实时事务要求系统能比较准确

15、地估计和控制或规定事务的运行时间， 对磁盘数据库而言，由于磁盘存取、内外存数据传递、缓冲区管理、排队等待等使得实时事务实际平均执行时间不易控制在较短的时间内。 内存数据库，即活动事务只与实时数据库的内存拷贝打交道，每个事务在执行过程中实现I/O。就可以保证事务运行时间控制在较短的时间内。,实时数据库-内存数据库,内存和磁盘在存取时间上有若干数量级的差别。内存的存取时间在10E-8s的数量级，而磁盘在5 X 10E-3数量级。 内存数据具有易失性，关于故障和备份需要着重加以考虑。 数据存储格式不同.内存是字节或字编址的，而磁盘是块存储设备。 数据的存储组织方法对性能影响不同。不同的组织方式对磁盘

16、而言的性能影响远比对内存影响大，如顺序存取与随机存取的时间对内存没有什么变化，而对磁盘则几乎有数量级的差别。 存取方式不同。内存可由处理机直接存取，磁盘则不能;但内存比磁盘更易于受到来自程序错误的直接数据破坏。,实时数据库数据模型,使用关系数据库的数据模型，以方便地表达复杂的逻辑关系，但是很难支持对数据对象的描述，其查询和访问速度也很难满足高实时性的要求。 按照传统的功能模块式的数据管理模型，得各种数据单元模块清晰，在一定程度上方一便了扩展。但模块之间关系复杂，同实时数据库的事务处理的模型很难集成。 位号映射模型，位号映射技术是指在源位号、虚拟位号同目标位号之间建立映射过程的技术。,数据索引算

17、法,数据索引算法：主要有数组、AVL树、B一树、B+树和Hash表。,数据库事务,一个或多个数据库操作组成一组，称作事务，事务必须被作为一个原子。 表示为， MI表示一组申请执行的方法集合，其中的每一个申请用表示，M表示申请方法的标识符。Arg表示传给申请方法的参数集合，Temp表示申请的操作是否需要满足时间一致性要求的数据。 L表示关于此事务锁的申请和释放的集合 C表示关于此事务的约束的集合，例如数据采集事务需要进行的数据计算子事务。 P表示了此事务的优先级。,实时数据库事务,数据库事务的ACID(Atomic原子性，Consistent一致性，Isolation独立性，Durability

18、持久性)与时序一致性结合,实时事务调度策略,优先级分配策略 先来先服务(FCFS) 截止期最早最优先(EDF) 价值最高最优先(HVF, highest value first) V(T)=c(w1 (t-ts,)- w2 d+ w3 p-w4 s) t 为当前时间，d为事务的截止期，P为已执行时间，s为空余时间，c, t分别为T的危急度、开始时间，Wi为加权因子。 价值密度最大最优先(GVDF) VD =V(t +c)/c,实时事务并发控制,Ht：一个事务t的经历(History)，就是与之相联的事件的一个时间偏序集 HT：一个事务集T=t1,t2 tn的经历，就是与之相联的事件的一个时间偏

19、序集 串行经历：一个事务经历的全部事件都在另一个事务经历的全部事件之前或之后。 事务的并发控制是基于并发事务集经历的可串行化的正确性标准。 基于锁的并发控制协议（资源有限）：两段锁协议、优先级继承机制处理并发控制协议、实时锁协议、基于资源预报的并发控制协议 乐观并发控制协议（允许高并发度执行）：向前确认乐观算法、向后确认乐观算法、基于等待乐观算法,面向对象数据库系统,面向对象技术与数据库技术结合 ，分为两种实现途径： 面向对象数据库管理系统(OODBMS) 以一种面向对象语言为基础，增加数据库的功能。在特定应用领域(例如CAD等) 较好满足需求。但不支持SQL语言。 对象-关系数据库管理系统(

20、ORDBMS) 传统的关系数据库加以扩展，增加面向对象特性。,分布式数据库系统,分布式DBS是数据库技术和网络技术两者相互渗透和有机结合的产物，它能满足地理上分散的公司、团体对数据库更为广泛使用的需求。 特点： 数据的分布性、 逻辑整体性、 透明性（名字空间透明 ，位置透明性 ） 同时支持局部和全局应用,WEB数据库技术,Web数据库管理系统是指基于Web模式的DBMS的信息服务 。 以浏览器/服务器（B/S）模式为平台，将客户端融入统一的Web浏览器，为Internet用户提供使用简便、内容丰富的服务。 有效管理WEB上的多媒体信息，提供 对Internet上的电子商务技术支持。,WEB数据

21、库技术,优点： 借用现成的浏览器软件，无需开发数据库前端 标准统一，开发过程简单 交叉平台支持,数据仓库,数据仓库技术，即是对信息系统的业务数据进行深层次的数据分析和挖掘的过程。 在企业信息化的基础上，通过商业智能系统可以负责收集、清理、管理和分析这些关键数据，从数据中发现有用信息 。,企业级数据仓库很有吸引力，但是具体操作起来有些难度。 1996年“IDC研究”调查结果表明：尽管为建立数据仓库平均投入了三年多时间和近320万美元，50%没有达到应有的效果。 简化： 数据集市 多维数据分析,数据仓库,数据仓库由可操作的外部数据源、一个/多个数据库和一个/多个数据分析工具组成。 过程： 从数据源

22、中抽取、集成、转换、聚合和复制数据，并存储到数据仓库中 。 其中的一部分数据再被聚合、复制到数据集市 用户用桌面分析工具创建电子报表，进行查询操作，从而实现决策分析 。,数据仓库,数据仓库代表一类联机分析处理OLAP应用，不同于传统的联机事务处理OLTP应用。 比较： OLTP和数据仓库这两类应用对数据库的要求不同。 两类应用对查询的处理要求不同 。 数据仓库应用要求有功能强大的桌面分析工具做支持。,数据挖掘Data Mining,基于模型的挖掘：利用己有的数据统计和分析模型(模型可以是完全准确或部分清晰的)，对数据仓库中的数据进行阶段性的挖掘，从而得出用户所需的决策信息 不基于模型的挖掘：完

23、全是从海量数据出发，通过神经网络、模糊数学等方法，挖掘出数据间的相关性等统计特性。,数据库技术的发展,数据库技术的发展已经远远超越了数据库本身，不再局限于传统的数据库，也包括其外延市场。 新的数据库技术应该满足 基于Internet的应用，如电子商务等 无线环境应用，支持移动计算。,2计算机网络技术,浙江大学系统工程研究所,网络发展历史,1946年：第1台电子数字计算机问世。由18000个真空管组成。 1947年：贝尔实验室发明了晶体管。 1958年：贝尔实验室发明了世界上第一个集成电路。 1964年：Moore预言计算机的能力每18个月会翻一倍，DEC公司首次大规模生产微型计算机PDP-8。

24、 19661971年：连接美国主要高校的ARPANET建成。 1972年：Email发明 1973年：提出了以太网通信思想，建成第一个以太网 1974年：提出TCP协议 1978年：提出IP协议 1979年：美国杜克大学与北卡大学间USENET建成，复杂的大规模集成(LSI)和超大规模集成(VLSI )集成电路在各种类型的电子设备上都得到应用。,网络发展历史,1981年：IBM推出个人计算机PC 1982年：美国军事部门启动国防数据网Milnet，出现第一个PC LAN，使用的软件是Novell NetWare网络操作系统的基础。 1982年： ARPANET日渐成为平民化的网络，成为Inte

25、rnet基础，在Internet上连接了5 0 0台主机。 1986年：Internet 上的主机增加到了5000多台，国家科学基金会(NSF)对全美大学中5个超级计算中心进行赞助，以56K的速度连接到新建成的NSF net上。 1989年：Internet 上的主机数目达到了100000台。提出了World Wide Web(万维网)。 1991年：Internet主机的数目超过600 000台。NSF net向商业应用开放，NSF net的运行速度为44.736Mbps，Gopher和WWW技术让个人计算机也可以连到Internet上。 1995年：Internet主机达400万，NSF

26、net终止了操作，ISP、用户和主机的集合成为Internet群体。,网络类型,办公室网络,建筑物间网络,校园网,城域网,行业网,国家网,局域网LAN,广域网WAN,局域网技术,以太网： 通过同轴电缆或双绞线传输介质构成的拓扑结构为总线型或星型网络。采用CSMD/MD碰撞检测协议，传输速率为10M。 令牌网： 通过双绞线构成的环网，采用令牌（TokenRing）协议。减少了冲突，但速率较低。 令牌总线网： 结构与以太网类似，但采用令牌（TokenRing）协议，速率较低。,100M以上的局域网技术,FDDI（光纤分布数据接口）： 以光纤为介质的高性能网络技术，采用令牌协议，速度为100Mbps

27、，在FDDI标准中，使用单模光纤，站点距离可达20Km，使用多模光纤为2Km，最多允许500个站点。FDDI的拓扑结构为双环，因此具有很好的可靠性。 100M快速以太网： 快速以太网是从传统以太网技术发展而来，分为100Base VGAngLAN和100BaseT两种。前者由于支持厂商较少，目前已经很少使用，100BaseT则直接使用传统以太网的CSMD/MD协议，通过不同的信号传送技术，以支持100M的速率。,广域网技术,普通Modem N-ISDN窄带综合业务数据网 专线连接T1、T3（DDN与帧中继）,窄带广域网技术,宽带广域网技术,xDSL （ADSL 、HDSL 、VDSL ） HF

28、C（混合光纤同轴网络）Cable Modem 接入 Ethernet（以太网） SDH有源光纤接入系统 ATM为基础的无源光网络(APON),虚拟专用网技术 VPN,构建在公用网络基础设施 之上的专用网络 使用私有的“隧道（Tunnel）技术仿真出一个私有的广域网。 应用： Extranet，即利用Internet作为企业或其分支机构之间相互访问的基础设施 优势： 节省大量的通信费用；利用Internet的无处不在性；很方便的动态建立与维护。,骨干网技术,千兆以太网技术(GE) ATM异步转移模式 POS技术（IP over SDH技术） 动态分组传输输技术(DPT)仅CISCO拥有,网络模型

29、,ISO组织开放系统互联模型,IEEE网络模型,以太网分析协议,以太网分析,共享式网络不能保证服务质量 某一用户的数据，该网段总线上的所有用户都可以接收到，无法保证数据私有性。 冲突发生，带宽利用率低。 物理网段与逻辑网段(冲突域与广播域),共享式网络设备,网络集线器 多端口转发器，模拟以太网导线,共享式网络设备,网桥连接物理网段,交换式网络设备,1、交换的思想微网段 2、交换式集线器 多端口的网桥 并行高速通讯 高速上行端口 堆叠扩展,交换机原理,交换机的透明网桥 获取 转发与过滤 消除循环 生成树协议网桥间信息交换,全双工网络,A工作站,B工作站,交换机的每个端口上支持双工通讯,全双工通信,广播与路由,单播：用户间数据通讯 多播：视频点播，网路会议 广播：ARP/RARP地址解析消息 ；网络服务宣告消息 ；路由宣告消息。 共享式集线器