DSS与IDSS关键技术探讨

DSS与IDSS关键技术探讨DSS和数据仓库的目标用户相同，都是面向企业的中高层领导，它们执行的都是决策和趋势分析类的应用。DSS中的一些技术可以很好的集成到数据仓库中，并使数据仓库的分析能力更加强大，例如，DSS中的传统统计分析模型可以帮助用户对数据仓库中的数据进行更加有效且更加深入的分析，从而更好的掌握和利用信息。而一些智能决策技术，如人工神经网络在顾客行为模式及预测金融市场行为等方面显示了强大的功能。这些 DSS的核心技术在数据仓库中的应用不但会大大提高数据仓库的决策支持能力，同时也使 DSS的应用范围更加广泛。自20世纪70年代以来，DSS已经得到了很大的发展，它是在MIS（管理信息系统）基础上发展起来的。MIS是利用数据库技术实现各级管理者的管理业务，在计算机上进行各种事务处理工作，DSS则是要为各级管理者提供辅助决策的能力。1980年Sprague提出了DSS的三部件结构，即对话部件、数据部件（数据库DB和数据库管理系统DBMS）及模型部件（模型库MB和模型库管理系统MBMS）。该结构明确了DSS的组成，也间接的反映了DSS的关键技术，即模型库管理系统、部件接口和系统综合集成，他为DSS的发展起到了很大的推动作用。1981年Bonczak等提出了DSS的3系统机构，即语言系统（LS）、问题处理系统（PPS）与知识系统（KS）。该结构在“问题处理系统”和“知识系统”上具有特色，并在一定范围内有其影响，但与人工智能的专家系统容易混淆。DSS主要是以模型库系统为主题，通过定量分析进行辅助决策。其模型库中的模型已经由数据模型扩大到数据处理模型和图形模型等多种形式，可以概括为广义模型。 DSS的本质是将多个广义模型有机结合起来，对数据库中的数据进行处理而形成决策问题的模型。 DSS的辅助决策能力从运筹学、管理科学的淡漠行辅助决策发展到多模型综合决策，是辅助决策能力上了一个新的台阶。20世纪80年代末90年代初，DSS与专家系统结合形成了IDSS（智能决策支持系统），专家系统是定性分析辅助决策，它和以定量分析辅助决策的 DSS的结合，进一步提高了辅助决策能力。IDSS是DSS发展的一个新阶段。DSS和IDSSDSS的概念结构由会话系统、控制系统、运行及操作系统、数据库系统、模型库系统、规则库系统和用户共同组成，最简单和实用的是3库DSS逻辑结构（数据库、模型库和规则库）。DSS运行过程可以简单描述为：用户通过会话系统输入要解决的决策问题，会话系统把输入的问题信息传递给问题处理系统，然后，文体处理系统开始收集数据信息，并根据知识机中已有的知识判断和识别问题。如果出现问题，系统通过会话系统与用户进行交互对话，直到问题得到明确。然后系统开始搜寻问题解决的模型，通过计算推理的厨房按可行性的分析结果，最终将决策信息提供给用户。DSS技术构成包括：（1）接口部分：输入输出的界面，是人机交互的窗口。（2）模型管理部分：系统要根据用户提出的问题调出系统中已有的基本模型， 模型管理部分应当具有存储、动态建模的功能。目前模型管理的实现通过模型库系统来完成。（3）知识管理部分：集中管理决策问题领域的知识（规则和事实） ，包括知识的获取、表达及管理等功能。（4）数据库部分：管理和存储与决策问题领域有关的数据。（5）推理部分：识别并解答用户提出的问题，分为确定性推理和不确定性推理两大类。（6）分析比较部分：对方案、模型和运行结果进行综合分析比较， 得出用户最满意的方案。（7）处理部分：根据交互式会话识别用户提出的问题，构造出求解问题的模型和方案，并匹配算法、变量和数据等运行求解系统。8）控制部分：连接协调系统各个部分，规定和控制各部分的运行程序，维护和保护系统此外，DSS技术构成还包括咨询部分、模拟部分及优化部分等，其主要特点如下：（1）系统的使用面向决策者，在运用 DSS的过程中，参与者都是决策者。（2）系统解决问题是针对半结构化的决策问题，模型和方法的使用是确定的，但是决策者对问题的理解存在差异，系统使用有特定的环境，问题的条件也不确定和唯一，这是的决策结果具有不确定性。（3）系统强调的是支持的概念，帮助加强决策者做出科学决策的能力。（4）系统的驱动力来自模型和用户，人是系统运行的发起者，模型是系统完成各个环节转换的核心。（5）系统运行强调交互式的处理方式，一个问题的决策要经过反复、大量且经常的人机对话。人的因素，如偏好、主观判断、能力、经验和价值观等对系统的决策结果有重要的影响。IDSS系统是人工智能和DSS的结合，用用专家系统技术，使DSS能够更充分的应用人类的知识，如关于决策问题的描述性知识，决策过程中的过程性知识和求解问题的推理性知识等，通过逻辑推理来帮助解决复杂的决策问题的辅助决策系统。IDSS的核心思想是将人工智能与其他相关科学陈国相结合，使DSS具有人工智能。1、 IDSS的信息结构把AI（人工智能）技术引入DSS，主要通过专家系统与DSS相结合，在DSS系统中加入推理机和规则库。由于在决策过程中，许多知识不能使用数据来表示，也不同通过模型来描述，所以没有固定方式的专门知识和历史经验。IDSS引入规则库可以存储这些知识，为决策提供重要的参考和依据。IDSS可以有多种类型的信息库：文本裤、数据库、方法库、模型库和规则库。其中，文本库存放的是大量的自然语言书写的文档，数据库中存放的是事物关键因素的字段形式，模型库中存放的是反映信息本质关系的各种模型，规则库存放的是知识的最精炼的形式。从最初未加工的数据到经过加工的信息再到提炼出的知识，信息的这种演变关系被称为“演进链”。2、 IDSS的结构层次依照系统层次的观点，IDSS从技术上可以划分为3个层次：（1）用用层：直接面向IDSS的使用者，在该层，决策者可以根据自己的需要，确定IDSS的状态和约束。决策者通过用户接口与系统对话，输入相关信息，DSS则通过信息转换理解用户请求和命令，并进行系统运算，将结果通过输出界面反映给用户。整个过程对用户是透明的。（2）控制协调层：面向IDSS的总设计师。其基本单元是系统中库的控制协调模块，系统工程师通过各库的标准接口来建立它们之间的联系。（3）基本结构层：面向专业程序设计人员，专业程序设计人员通过该层对各库进行具体的实现，包括定义组织结构及通信方式等，已完成各库的内部管理和外部通信任务。3、 IDSS的特点IDSS主要具有以下特点：（1）基于成熟的技术，容易构造出实用系统。（2）充分利用了各层次的信息资源。3）基于规则的表达方式，使用户易于掌握使用。4）具有很强的模块化特性，并且模块重用性较好，系统的开发成本低。5）系统的各部分组合灵活，可实现强大的功能，并且易于维护。6系统可迅速采用陷阱的支撑技术，如AI等。4、 IDSS的运行效率由于在IDSS的运行过程中各个模块要反复调用上层的模块，因此比直接采用低层调用的方式，运行效率低，但是考虑到IDSS知识在高层管理者作重大决策时才运行，其运行效率与其他系统相比要低得多，况且每次运行的环境条件差异很大，所以牺牲部分的运转效率以换取系统维护的效率是完全值得的。5、 IDSS的关键技术开发一个实际的IDSS需要解决如下关键问题：（1）、模型库系统的设计和实现：包括模型库的组织结构、模型库管理系统的功能及模型库语言等方面的设计和实现。（2）、部件接口：通过接口完成各个部件之间的联系，部件接口包括存取数据部件的数据接口，调用和运行模型部件的模型接口，以及对知识部件的知识推理接口。（3）、系统综合集成：根据实际决策问题的要求，通过集成语言完成对各个部件的有机综合，形成一个完整的系统。DSS系统需要集成数据、模型、知识和交互四个部件。目前，计算机语言能力有限，数值计算语言不支持对数据库的操作，而数据库语言的数值计算能力又比较薄弱。因此，DSS机要进行数值计算，又要进行数据库操作，这个问题再一次为DSS的发展带来障碍。、数据仓库和OLAP的决策支持技术数据库系统作为数据管理手段，主要用于事务处理，在这些数据库中已经保存了大量的日常业务数据。传统的DSS一般直接建立在这种事务处理环境上，数据库技术一直力图使自己能够胜任从事务处理、批处理到分析处理的各种类型的信息处理任务。尽管数据库在事务处理方面的应用获得了巨大的成功，但对于分析处理的支持一直不能令人满意。尤其是当以业务处理为主的OLTP应用与分析处理为主的DSS应用共存于同一个数据库系统时，两种类型的处理发生了明显的冲突。人们逐渐认识到，事务处理和分析处理具有极不相同的性质，直接使用事务处理环境来支持DSS是行不通的。具体来说，事务处理环境不适合DSS应用的主要原因如下：1、事务处理和分析处理的性能特性不同在事务处理环境中，用户的行为特点是数据的存取操作频率高、每次操作时间短。因此系统可以允许多个用户按分时方式使用系统资源，同时保持较短的响应时间。 OLTP是这种环境下的典型应用。在分析处理环境中，用户的行为模式与此完全不同，某个 DSS应用程序可能需要连续运行十几个小时，从而消耗大量的系统资源。因此，将具有如此不同处理性能的两种应用放在同一个环境中运行显然是不适当的。2、数据集成问题DSS需要集成的数据。全面而又正确的数据是有效分析和决策的首要前提，相关数据收集得越完整，得到的结果就越可靠。因此，DSS不仅需要整个企业内部各部门的相关数据，还需要企业外部及竞争对手等的相关数据。事务处理的目的在于使业务处理自动化，一般只需要与本部门业务有关的当前数据，而对真个企业范围内的集成应用考虑很少。当前绝大多数企业内部数据的真正状况是分散而非集成的，造成这种分散的原因有很多种，主要有事务处理应用分散、“蜘蛛网”问题、数据不一致及外部数据和非结构化数据。•事务处理应用的分散：当前商业企业内部各事务处理应用系统之间实际上几乎都是独立的，之所以出现这种现象有很多种原因，有的原因是设计方面的，例如系统设计人员为了减少系统开发费用和加快开发进度，总是采取简单而“有效”的设计方案。这种“有效”仅只对解决当前问题有效，而不能保证对以后新出现的问题继续有效；有的原因是经济方面的，比如经费有限时，一些商业企业总是考虑对关键的业务活动建立应用系统，然后逐步建立其他业务系统。还有的原因是历史或地理上的，例如某个大公司由分散在各地的多个子公司组成及企业的兼并等。由于这种事务处理应用系统分散状况的存在，DSS应用需要集成分散在多个事务处理应用系统中的相关数据，以为分析人员提供统一的数据视图。•“蜘蛛网”问题：DSS应用中为了避免与其他用户的冲突和简化用户的数据试图，一种称为“抽取程序”的方法目前被广泛应用。用户利用抽取程序从文件或数据库中查找有用的数据，然后这些数据被提取出来放入其他文件或数据库中共分析使用。这些经过抽取达到的新文件或数据库又被某些用户再次抽取，这种不加控制的连续抽取最终导致系统内的数据之间形成了错综复杂的网状结构，即所谓的“蜘蛛网”。企业的规模越大，“蜘蛛网”问题越严重。虽然网上的任意两个节点的数据可能归根结底是从一个原始库中抽取的，但其数据没有统一的实践基础，抽取算法各不相同，抽取级别也不相同，并且可能参考不同的外部数据。因而对同一问题的分析，不同节点会产生不同，甚至截然相反的结果，这当然使决策者无从下手。•数据不一致问题：前述的应用分散和“蜘蛛网” 问题，导致了多个应用间的数据不一致，这些数据不一致的形式多种多样。有时同一字段在不同应用中具有不同的数据类型，例如字段Sex在A应用中的值为M/F，在B应用中的值为0/1，在C应用中的值为Male/Female；有时同一字段在不同应用中具有不同的名字，例如 A应用的字段balanee在B中为bal,在C中又变为eurrbal;有时同名字段有不同的含义，例如字段 weight在A应用中表示人的体重,在B中表示汽车的重量等。为了继承这些不一致的数据,必须进行转换。由于必须专门处理每种情况,因此这是一项很繁重的工作。•外部数据和非结构化数据：商业企业高层管理者在决策中经常用到外部数据,这部分数据不是由事务处理系统产生的,而是来自于其他外部数据源。例如权威性刊物发布的统计数据、业界内部的技术报告、市场比较和分析报告及股票行情等,这些数据通常都是非结构化的数据。在事务处理系统中,由于没有对外部数据统一管理,因此用到这些数据的 DSS应用必须自行集成。上述问题是事务处理环境所固有的，尽管每个单独的事务处理应用可能是高效的，能产生丰富的细节数据，但这些数据却不能成为一个统一的整体，对于需要继承数据的DSS应用来说，必须自己在应用程序中集成这些数据。由于数据集成是一项非常繁杂的工作，所以完全交给应用程序完成会大大增加程序员的负担，并且每次分析，倒要进行一次这样的集成，从而导致极低的处理效率。DSS对数据集成的迫切需要可能是数据仓库技术出现的重要动因。3、数据动态集成问题由于每次分析都进行数据集成的开销过大，因此一些应用仅在开始集成，以后一直以这部分集成的数据作为分析的基础，而不在于数据源发生联系，我们称这种方式为“静态集成”。其最大的缺点在于：如果数据集成后数据源中数据发生了改变，则这些变化将不能反映给决策者，导致决策者使用的是过时的数据。对于决策者来说，虽然并不要求随时准确的探知系统内部的任何数据变化，但是也不希望所分析的是几个月以前的数据。因此，集成数据必须以一定周期（例如24小时）刷新，我们称其为“动态集成”。显然，事务处理系统不具备动态集成的能力。4、历史数据问题商业企业的事务处理一般只需要当前的数据，在数据库中一般也只存储短期数据，且不同数据的保存周期也不一样。即使保存了一些历史数据，也被束之高阁，未得到充分利用。但对于决策分析而言，历史数据相当重要，许多分析方法必须以大量的历史数据为依托。没有历史数据的详细分析，则难以把握商业企业的发展趋势。通过以上所述可见，DSS对于数据在空间和时间的广度上都有了更高的要求，而事务处理环境难以满足这些要求。5、数据综合问题在事务处理系统中积累了大量的细节数据，一般而言，DSS并不分析这些细节数据，主要原因