信息论思考题

1 信息论的基本思想 信息论是一门研究信息传输和信息处理一般规律的学科 信息论起源于通讯理论 是美国科学家申农 Shannon 在 1948 年创立的 信息论的基本思想和方法完全撇开了物质 能量等各种具体客观形态 而把任何通讯和控 制系统都看作是一个信息的传输和加工处理系统 把系统有目的运动抽象为信息变换过程 通过系统内部的信息交流使系统维持正常的有目的的运动 所有系统 在信息论的框架中 是一个进行信息变换和信息处理的机构 人们根据不同的研究内容 把信息论分成三种不同的类型 狭义信息论 即申农信息论 主要研究消息的信息量 信道 传输消息的通道 容量以 及消息的编码问题 一般信息论 主要研究通讯问题 但还包括噪声理论 信号滤波与预测 调制 信息处 理等问题 广义信息论 不仅包括前两项的研究内容 而且包括所有与信息有关的领域 2 什么是信息 申农对信息的定义 不确定性的减少 即 信息量是把某种不确定性趋向于确定的一种度量 信息量的大小取决于消息的不确定 减少程度 不确定减少程度越大 则信息量越大 不确定减少程度小则信息量越少 消息与信息 消息是信息的携带者 但并非每条消息都带有信息 或带有同等信息量的信 息 例 到会场找人 消息 A 某人在会场里 消息 B 某人在会场的偶数排 显然 对找到该人这一目的来说 消息 B 所含的信息量比消息 A 大 因为消息 B 更容易 减少不确定性 3 信息的度量 信息熵 设描述某一事件的消息源可能发出的消息分为 x x x xn 而各可能消息是否会发出的概率为 p p pn 并满足归一性条件 p p pn 1 按以上概率从消息源中随机地发送消息 形成一个消息序列 信息论研究运用了类比方法和统计方法 信息论运用了科学抽象和类比方法 将消息 信号 情报等不同领域中的具体概念 进行类比 抽象出了信息概念和信息论模型 针对信息的随机性特点 运用统计数学 概率论与随机过程 解决了信息量问题 并扩展了信息概念 充实了语义信息 有效信息 主观信息 相对信息 模糊信息等方面 的内容 三 一般系统论 1 一般系统论的产生 背景 本世纪初 物理学 力学 化学等已得到深入发展 学科体系已趋于完整 生物学却仍处于一种想象 试验的阶段 例如 生命的起源 生命的本质等问题 就 存在两种激烈争论的观点 机械论与活力论 机械论 认为生物体应像机械体一样服从物理学 化学所阐明的各种规律 也就是说 把生命问题简化为物理和化学问题 纯粹用物理原因和化学原因来说明一切生命的生理现 象和心理过程 所以无法说明生命体的统一性 活力论 认为不能把生命现象简单地归结为物理与化学过程 但却用 超自然的活力 来解释生命现象 认为有机界和无机界之间有一道不可逾越的鸿沟 支配生物体的是一种 超物质力量 2 一般系统论的基本观点 系统的整体性系统的开放性系统的动态相关性系统的多级递阶性系统的有序性 3 对系统方法论及系统方法的启示 一 系统的概念 1 系统的定义 系统是由两个以上相互联系的要素所构成 且具有特定功能 结构 环 境的整体 2 系统的属性 整体性 如 拿破仑的系统思想 三个和尚没水吃 1 1 2 三个臭皮匠 胜过诸葛亮 1 1 2 田忌赛马 关联性 要素之间存在复杂的相互关系 要素之间的联系不是简单的叠加 而是以一定的组织形 式结合 系统结构决定系统工程 环境适应性 系统不能脱离环境而存在 系统要适应环境 并可以对环境产生影响 集合性 系统是由若干可以相互区别的要素组成 这些要素可以是实体也可以是非实体 制造系统 工作机 操作者 工具 图纸 工厂 设备 原材料 经营 人员 目的性 目的性是系统设计的出发点 它决定了系统的基本功能 系统的目的是通过实现一系列的目标来实现的 这些目标有时可能是矛盾的 但要在整 体上达到协调 系统的目标是通过一系列功能来实现的 而功能是通过同时或顺次完成一系列任务来达 到的 如 建造房屋 层次性 系统要素作为一个整体有一定的层次结构 人类社会系统 阶级 管理的层次等 如 教育系统 系统的类型 自然系统与人造系统 实体系统与概念系统 动态系统与静态系统 封闭系统与开放系统 系统工程是当前发展很快的新兴学科之一 系统工程专业以各类系统为主要研究对象 培 养面向系统 软硬结合 注重应用 强调集成的高级系统工程技术人才 本专业培养具有扎实的系统工程基础 掌握计算机技术 从事系统规划 总体方案设计 和论证 系统控制与管理 管理与决策分析 计算机辅助管理等工作的高级工程技术人才 二 系统的特征 六大特征 1 集合性 相关性 3 阶层性 4 整体性 5 目的性 6 环境适 应性 二 研究对象 1 人类进入到现代化社会所面临的各种综合性问题 人口问题 城市流动人口 水上人 家 三不管地带 边远地区 粮食问题 环境污染问题 资源问题等等 2 重于研究事物的组成和发展 组织结构 发展趋势 3 研究创造过程合理化的技术 4 属于方法论的范畴 是基本观点 手段和方法的结合 因此 它是以解决现实问题为重 点 5 它是一门发展中的新学科 硬系统 偏重工程 机理明显的物理型的良结构系统 可以用较明显的数学模型描述 有 较现成的定量方法可以计算出系统的行为和最佳结果 软系统 偏重社会 机理尚不清楚的生物型的不良结构系统 较难用数学模型描述 往往 只能用半定量 半定性的方法来处理 多为含有大量的社会 政治 以及人为因素的问题 专家调查法 Delphi 情景分析法 scenario 冲突分析法 conflict analysis 系统工程方法论基本特点 研究方法强调 整体性技术应用强调 综合性 管理决策强调 科学性 在现代企业中有五个硬系统和五个软系统是必须健全的 五个硬系统 战略目标管理系统 规范化管理系统 人力资源管理系统 市场营销管理系 统 资本运营财务系统 五个软系统 有效沟通系统 有效授权系统 信息管理系统 问题的分析与决策系统 企 业文化和团队建设系统 时间维 1 勘测阶段 勘测阶段主要是对适合修建水利水电工程地区的地质结构进行勘探 收集相关流域的已有的水文 气象 地质 地形资料 2 规划阶段 主要是根据国家及当地的国民经济现状和能力 依据国家及地方的有关的政 策和法规 对即将要建设的水利水电工程向政府或者相关部门提交可行性研究报告 3 设计阶段 依据勘测阶段所收集的相关资料和规划阶段的可行性报告 可以利用现代技 术方法设计水利水电工程系统 4 施工阶段 将设计图纸变为现实的过程 这个过程又可以分得更细一点 如施工前期的 移民工作 清理基础 施工围堰等临时工程的施工 永久性建筑物的施工等等 也可以据 此构建一个施工阶段霍尔三维结构图 5 运行管理阶段 该阶段主要是针对已经建设完工的水利水电工程进行安全方面的检测 维护及管理 对已经正常运行的水利枢纽进行优化调度 同时也要对水利水电工程系统运 行过程中出现的新问题进行研究 创造性地跟踪新技术 新工艺 提出适合中国水利水电建 设的新材料 新工艺 新结构和新的设计方法 使得这个系统更好地发挥它对国民经济的 效益 逻辑维在上述时间维的每一个阶段都有非常具体的问题需要解决 这对于时间维上的每一 个阶段都是首先需要考虑的 下面针对时间维的第三阶段在逻辑维上展开分析 1 明确问题 主要面临的是如何设计主要的水工建筑物 2 选定目标 将上述问题进一步明确化 意味着究竟选哪种坝型作为主体 3 方案综合 对选定的目标进行多种方案预算 方案综合是指对水利水电工程系统中的水 工建筑物进行设计 这种设计要有多种方案 包括主体坝型方案的不同 对各水工建筑物具 体位置的确定等等 这些不同构成了设计的不同方案 针对不同方案给出相应的工程投资 4 系统分析 这个阶段主要是将水利水电工程系统中每一部分预算与整体投资预算协调起 来 5 方案选择 根据上面 4 的投资情况 初步确定比较好的几个方案 方案选择意味着通过 上面的 3 对设计出的主体工程坝型初步的选定 作为备选方案 6 决策阶段 从备选方案 5 中最后选定一种方案 在最后需要决策的时候 一般是多部门 协调 检验工程是否满足稳定和应力方面的要求 如果工程能够满足这两方面的要求 最后 还要比较那种方案最经济 经济的坝型结构将作为最后坝型 7 实施阶段 就是将上面 6 已经确定的坝型通过施工实施到具体的地形图上去 知识维主要涉及到水利水电工建设整个过程中用到的知识面 在此初步设了二方面的内容 即合同管理和水利水电专业知识 1 合同管理主要指水利水电建设过程中相关部门签订相应的合同 用合同来约束水利水 电建设各部门之间的行为 让建设的各方明确自己承担的责任风险 各部门要承担的风险 可以用风险法理论去分析合同在整个系统中的作用 系统中一旦某一子系统出现问题 责任 非常明确 在哪一阶段出现的问题 从上面水利水电工程系统霍尔三维结构图可以一目了然 2 水利水电专业知识主要是指对水利水电工程勘测 规划 设计 施工以及运行管理等相 关流程的了解 当然也包括工程验收标准等等 对水利水电专业知识了解的越多 整个水利 水电建设过程中占有的主动权利就越大 系统正常运行的概率也比较大 系统分析概念 系统分析 SA 是在对系统问题现状及目标充分挖掘的基础上 运用建模 及预测 优化 仿真 评价等方法 对系统的有关方面进行定性与定量相结合的分析 为 决策者选择满意的系统方案提供决策依据的分析研究过程 SA 是 SE 的核心内容 分析 过程和基本方法 3 SA的特点及原则 1 坚持问题导向 2 以整体为目标 3 多方案模 型分析和选优 4 定量分析与定性分析相结合 5 多次反复进行 一 模型及模型化的定义 模型有三个特征 1 它是现实世界部分的抽象或模仿 2 它是由那些与分析的问题有关的因素构成 3 它表明了有关因素间的相互关系 模型化就是为了描述系统的构成和行为 对实体系统的各种因素进行适当筛选后 用 一定方式 数学 图像等 表达系统实体的方法 二 模型化的本质 作用及地位 见图 3 1 1 本质 利用模型与原型之间某方面的相似关系 在研究过程中用模型来代替原型 通过对于模型的研究得到关于原型的一些信息 2 作用 模型本身是人们对客体系统一定程度研究结果的表达 这种表达是简洁的 形式化的 模型提供了脱离具体内容的逻辑演绎和计算的基础 这会导致对科学规律 理论 原理 的发现 利用模型可以进行 思想 试验 四 构造模型的一般原则 1 建立方框图 2 考虑信息相关性 3 考虑准确性 4 考虑结集性 五 建模的基本步骤 明确建模的目的和要求 以便使模型满足实际要求 不致产生太大偏差 对系统进行一般语言描述 因为系统的语言描述是进一步确定模型结构的基础 弄清系统中的主要因素 变量 及其相互关系 结构关系和函数关系 以便使模型准 确表示现实系统 确定模型的结构 这一步决定了模型定量方面的内容 估计模型的参数 用数量来表 示系统中的因果关系 实验研究 对模型进行实验研究 进行真实性检验 以检验模型与实际系统的符合性 必要修改 根据实验结果 对模型作必要的修改 结构分析的概念和意义 结构 结构模型 结构模型化 结构分析 结构分析是一个实现系统结构模型化并加以解释的过程 结构分析是系统分析的重要内容 是系统优化分析 设计与管理的基础 系统结构表达及分析方法 理解系统结构的概念 构成系统诸要素间的关联方式或关系 及其有向图 节点与有向弧 和矩阵 可达矩 阵等 这两种常用的表达方式 比较有代表性的系统结构分析方法有 关联树 如问题树 目标树 决策树 法 解释结构模型化 ISM 方法 系统动力学 SD 结构模型化方法等 所谓系统仿真 就是根据系统分析的目的 在分析系统各要素性质及其相互关系的基 础上 建立能描述系统结构或行为过程的 且具有一定逻辑关系或数量关系的仿真模型 据此进行试验或定量分析 以获得正确决策所需的各种信息 1 它是一种对系统问题求数值解的计算技术 尤其当系统无法通过建立数学模型求解时 仿真技术能有效地来处理 2 仿真是一种人为的试验手段 它和现实系统实验的差别在于 仿真实验不是依据实 际环境 而是作为实际系统映象的系