数据仓库项目建设中的重点问题.doc

Sid Adelman的著作Impossible Data Warehouse Situations数据仓库项目中遇到的技术以及管理问题项目管理问题整理1企业经历过两次失败的数据仓库建设，现在是第三次，人们普遍认为这次也将会失败。项目经理应该作些什么来消除人们对数据仓库的消极看法？2企业的业务系统方，即OLTP方的工作人员对数据仓库方不配合，比如对数据仓库的源数据申请置之不理。项目经理应该如何来应付这种情况？3企业的管理层变动较频繁，支持数据仓库的企业领导可能会离开，面对这种情况，项目经理应该如何应付？4企业雇佣一家咨询公司来实现一个数据仓库，但是企业的CIO认为数据仓库的建设是对其职位和权威的挑战，不断给咨询人员和项目设置障碍。咨询人员应该如何来应付这种情况？5企业管理层希望试验系统（原型系统）具有和生产系统相同级别的数据质量。项目经理应该如何做，才能让管理层相信，试验系统不必和生产系统具有相同级别的数据质量？6用户部门领导对共享数据不配合或者只在表面上配合。他们希望能够控制谁能查看什么数据以及什么时候可以查看。数据仓库团队怎样才能让部门领导把数据的访问权共享出来？7建立好的数据几乎满足所有的成功标准。但是企业的高级管理层对数据仓库的反应很冷淡。数据仓库团队应该如何应付这种情况？项目需求问题整理1数据仓库项目已经开发了6个月的时间，在项目的开发过程中，数据仓库团队发现业务源系统正在被重写，业务系统在不断的变化，一个新的系统开发出来预计只有8个月的寿命。数据仓库团队应该如何应付这种情况？2源系统和数据仓库系统同期建设。但是源系统在不断的变化中，而且源系统的开发团队没有将变化告知数据仓库团队，数据仓库团队在测试过程中出现故障才发现这些变化。这种没有告知有可能是故意的。数据仓库团队应该如何来应付这种情况？3数据仓库项目开始时，企业制定了一套有效的数据仓库目标。但是，随着时间的流逝，企业又制定了一些决策，采取了一些行动，这些决策和行动与最初的目标背道而驰。数据仓库团队应该如何应付这种情况?4数据仓库项目进展十分顺利，但是根本没有办法判断项目将来是否能够成功。要想为数据仓库确立一个完全合适的目标是不可能的。企业应该如何来面对这种状况？5数据仓库团队用极少的精力来清洗数据，研制了一个可以使用的数据库设计，作为一个数据仓库的测试原型。管理层对原型很满意，要将原型向所有的用户去展示。数据仓库团队要如何做才能让管理层相信这个原型不是为生产准备的？6数据仓库经理已经实现了3个数据集市，但是还没有能让管理层相信这些努力是成功的。数据仓库经理应该作些什么来证明数据集市是成功的？数据仓库成本论证与预算1企业有“禁止解雇”政策，管理层对工作效率的提高和成本的节约不是很关心。项目经理该如何对数据仓库及其相关工具的成本进行论证？2企业高级管理层成立了一个委员会，希望委员会能论证用于数据仓库及其工具的任何支出都是合理的。但是委员会只能从软收益来论证，企业该如何来处理这种情况？3大型零售企业的信息总监认为本企业需要一个数据仓库，但是企业的财务总监对建立数据仓库持怀疑态度，要信息总监陈述为什么应该把钱花到这样一种奢侈的尝试上。信息总监应该如何来做？4数据仓库项目的首任官员承担了数据仓库基础设施的全部成本。现在，企业的其他部门也在使用数据仓库，但是他们不希望为基础设施付出代价。首任主管官员应该如何来做，如何来分摊这些成本？5用户要求保存10年的历史数据。这需要更多的硬件，以及对更多的对源系统的代码修改。数据仓库团队如何才能论证对这些进行收费是合理的？6没有亲眼看到，企业不愿给数据仓库投资。企业的信息总监认为企业需要一个数据仓库，想开发一个原型来引起企业的兴趣。信息总监应该如何来处理原型需要的费用？组织与职员配备问题整理1数据仓库经理认为自己的团队应该对CIO负责，但是，一个强有力的应用软件开发经理认为数据仓库的最终目的是要交付用户使用，数据仓库团队应该向他负责。数据仓库经理应该向谁负责？应该如何来应付这种局面？2一家公司采用矩阵管理方式。项目经理手下没有专职的DBA，只能依靠DBA经理在需要时提供DBA。但是在需要DBA时，DBA未必总有空闲的。项目经理正要开始另一个项目，她应该作些什么？3企业有一项轮换经理的政策，启动数据仓库项目的业务主管重新分配了工作，新上任的主管对该项目不熟悉，对什么东西是重要的有不同的看法，这将导致项目范围的变化。面对这种局面，项目经理应该做些什么？4企业销售部门的工作人员希望能建立一个数据集市，并已向IT部门提出要求。但这项要求排在IT部门优先级清单上很低的位置。销售部门也不能依靠自己的力量建立数据集市，销售部门经理应该如何应付这种局面？5一家企业指定了一名数据仓库经理，让他管理、开发一个跨多个部门的数据仓库。但这名数据仓库经理几乎没有任何专职的工作人员，只能从各个部门抽调业务和技术人员。这些人的时间不能得到保证，常常在需要的时候找不到人，使数据仓库的建设不断向后推迟。这名数据仓库经理应该如何应对这种局面？6项目经理向数据仓库经理负责。该项目经理来自企业的IT方，但是不太受企业员工的喜欢和尊重，他们常常不回答项目的经理的电话和电子邮件。数据仓库经理应该如何应对这种局面？7企业已经拨出足够的资金来开发一个特定的项目。该项目极需要从业务分析师到数据库管理员的每一样资源。但是，这个行业一直受人轻视，没有人愿意来这工作。招聘代理一直在招人，但是毫无用处。这家企业应该如何应付这种局面？8企业不具有建设数据仓库的各种条件，技能有限、人员不足、动机缺乏、行政斗争、还有一名准备退休而不想承担任何风险的CIO。刚刚接受任命的数据仓库经理应该如何应对这种局面？用户问题1企业内各业务部门的系统之间不是集成的，那些业务主管想让他们的数据进入数据仓库中，而且他们都想马上就能实现。而数据仓库经理只能逐个的满足他们的要求，要避免引起业务主管的愤怒，也要避免他们开发自己的数据仓库，数据仓库经理应该如何来处理这种局面？2企业的IT部门雇佣了一名咨询人员来开发一个数据仓库，但是该企业的业务部门不支持这个项目。IT部门告诉这名咨询人员继续工作，即使业务部门计划赶他走。这名咨询人员应该如何来应付这种局面？3IT部门开发了一个WEB应用程序。但是用户没有意识到这种实现方式的优点。他们期望系统能向桌面程序一样快，并且容易使用。用户也没有兴趣参加系统开发和测试。项目经理应该如何来应付这种局面？4IT部门建立好了一个数据仓库，但是用户感觉多维分析工具使用起来太复杂。他们没有认识到多维分析的优点，也不想参加培训。数据仓库经理应该如何来应付这种局面？5用户相信建好的数据仓库中的数据将是完整、精确而又是非常及时的。他们很相信这一点，因为没有人明确指出任何相反的事情。数据仓库经理应该如何做才能将用户的期望值恢复到他们将要得到的现实中来呢？6一个企业正准备建立一个数据仓库，但是让用户清楚的说出他们需要什么非常困难。数据仓库经理应该如何应付这种局面？团队问题1企业IT部门一个非常聪明、工作努力的人极想从他喜爱的供应商那里获得一个版本，用于数据仓库的实现。如果他不能得偿所愿，他要么离开，要么不再支持这个项目。项目经理应该如何来应付这种局面？2管理层给项目经理一个这样的团队，其中的成员既无技能、也无热情，是其他项目经理不想留在自己团队中的人员。面对这种局面，项目经理应该如何应付？3管理层希望数据仓库团队中的每个人都相处融洽，但是有一两个成员与项目经理或其他成员意见不一致也是经常有的事情。如果这种意见不一致已经严重耽搁了项目的决策和进展，使项目出于流产的危险中，那么管理层应该如何来应付这种局面。4一个项目经理亲手挑选了所有的项目成员，这些成员都是以前项目中的明星成员，习惯于指手画脚，他们以前的经理也习惯于不经协商的接受这些明星成员的建议。现在，这些明星成员的意见是如此的不合，以至于毫无工作效率。项目经理应该如何应付这种局面？5项目成员为了面子，不把他们工作进展的真实状况反映给项目经理，这也导致了项目组中其他成员进度的延误。项目经理无法准确的得到项目的状态。项目经理怎样才能说服团队成员应该准确的反映他们工作的进展状况呢？6企业的数据仓库是在几年前建成的，现在已不能满足企业的需要。一家大型咨询公司已经让管理层相信，他们可以解决数据仓库的所有问题。面对这种局面，企业的CIO应该如何来应付？7新上任的CIO来自一家大型咨询机构，并带来了3个副手，这三个副手担任IT部门的重要职务。一个项目经理来负责企业的数据仓库项目，需要和这些咨询人员打交道。这些咨询人员对项目有过度的权力和影响，严重损害了项目经理的观点和地位。帐单越积越多，项目要超出预算。项目经理应该如何应付这种局面？8一个数据仓库在3年前建成，该系统的开发商无一人留下，技术资料残缺不全，并已过时，数据脏乱，对数据的完整性没有控制。用户对这个数据仓库系统极不满意。一名新的数据仓库经理被授权负责企业内所有数据仓库的职责。这名数据仓库经理应该怎么应对这种局面？9一家企业的高级管理层聘请一名咨询人员来帮助开发数据仓库的第一部分的实现，然后让接受这名咨询人员培训的内部职员继续进行后续的实现。这名咨询人员已经向该客户保证知识传授是任务的一部分。但是由于时间变得非常紧迫，这名咨询人员没有时间将他的知识传授给该公司的雇员。这些被分派来做琐碎事情的雇员，对这个数据仓库第一部分的实现了解极少。企业的高级管理层怎么才能保证知识传授能如期进行呢？10一个数据仓库经理接受了构建一个数据仓库的任务。他拥有购买工具、雇佣咨询人员和承包商的决策权和预算（不是很多）。这名数据仓库经理应该如何来雇佣咨询人员？应该如何来安排他们的工作及时间？应该怎样最充分的使用咨询人员和承包商呢？11一家企业的高级管理人员正在规划具有特殊意义的客户关系管理系统。目前，这家公司建立数据仓库的能力较弱，正在考虑将部分或者全部的数据仓库工作外包给应用服务提供商。企业是否应该把数据仓库项目外包出去？如果外包的话，如何保证外包机构最终能实现他们所需要的各种功能呢？项目规划与进度安排1企业高管层不了解数据仓库项目为什么会花费那么多的时间。他们认为目前的计划和工作量经过了夸张，所以他们要求能有更具体化的依据来支持评估的工作量。项目经理应该如何应付这种情况。2IT团队曾多次错过完成期限而得到了较坏的名声。这次，项目经理向老板承诺了一个不切实际的最终期限。高管层也向项目经理明确宣布，他在公司的声誉及饭碗就取决于该时间表。项目经理该如何应对这种局面。3项目经理制订了一份项目计划，并为不测事件预留了20的额外时间和预算。但是，业务主管及其部门内的其他人都提出了一些额外功能，并告诉项目经理他们不想修改时间进度表。事实上，20的额外时间和预算已远远不够，项目经理该如何应付这种情况。4用户担心如果他们在第一个版本中没有要求所有的东西，他们就会永远也得不到这些功能，所以他们要求在第一个数据仓库的交付中，所有的功能都要一起实现。面对这种局面，项目经理应该如何做才能让用户相信这样做只会使项目失败或交付时间大量延长。5一个项目经理有数十年的经验，有本行业的丰富经历。他是一个永远的乐观者，他相信一切都会进展顺利，不会出现延迟。他以自己来做工作为样板制订了整个项目的计划时间表。这种情况下，这名项目经理应该怎么来做。数据仓库标准1一家企业要建设一个数据仓库，但是这家企业的工作人员没有数据仓库的使用经验，对数据仓库建设方法学也一无所知。数据仓库项目经理应该如何做，才能让用户相信在一个数据仓库项目中使用一种方法学是必要的呢？2一家银行为它的业务数据库环境制订了非常严格的数据库管理标准。这些DBA强调，必须要像设计和管理OLTP环境一样管理这个数据仓库环境。数据仓库经理怎样做，才能使这些DBA认识到这个标准不适合数据仓库环境，需要对该标准进行修改呢？3一家企业的雇员在过去的5年内一直在滥用数据仓库的名词，他们把“独立的数据集市”称为“数据仓库”，他们把“遗留的业务系统”称为“操作数据存储”。他们正计划将所有的操作型系统和分析型系统整合成一个共享数据库。数据仓库经理怎样做，才能让企业用户相信OLAP的查询和OLTP的查询放在一起是不适合的？4一家企业的雇员酷爱术语“数据挖掘”，并用它来描述所有类型的决策支持活动。现在这家企业正在考虑建立的内容是真正意义上的数据挖掘，但向一个深信已经拥有数据挖掘的组织来证明这一点是很困难的。数据仓库项目经理要如何对这家企业进行数据挖掘的教育和宣传呢？5一家跨国企业的高级主管正试图建立一个综合的商业智能环境。他们需要处理各种需求、预算问题、语言翻译、国家法律的多样性、分布式与集中式等各种问题。面对这种局面，数据仓库设计师应该如何来考虑？这样的一份计划能否实现？工具与供应商1一个非盈利性企业正准备建立一个数据仓库，来跟踪他们全体成员的活动。这样一个大的项目需要一个需求建议书，其中会有筛选供应商的资料等内容。但是，企业的高级管理人员不希望这个需求建议书影响他们的进度。面对这种局面，企业应该采取什么样的对策？2一家企业的数据仓库建好之后，发现经过培训的用户只有5的人经常使用。而没有使用的人员对查询和报表制作工具不满意，因此不使用数据仓库。面对这种局面，企业应该如何处理？3一家企业在一个面向对象的环境中开发了他们所有的应用软件。由于那些实现是成功的，所以这家企业中几乎每个人都相信，面向对象的开发方法可以开发所以系统，包括数据仓库。这种做法适合数据仓库吗？4一家企业的工具选择委员会有选择数据仓库工具的权利。但是，企业IT部门内一些有权势的人有自己的选择倾向，并抵制不同的选择。工具选择委员会应该如何来应付这种局面？5一家企业数据仓库经理预计，他们的数据仓库在两年内的数据量会变得非常大。他喜欢使用一个ETL工具，但是又比较担心这个工具在数据量非常大时的性能。这个工具非常贵，他不想投资后将来再遗弃这个工具。面对这种局面，数据仓库经理应该如何处理？6一家数据仓库供应商有一套数据仓库产品，其中有些产品是非常出色的，有些产品是低于标准的次质产品。该供应商的业务代表正在推销整套产品，他们明确的表示，要想获得定级支持服务就必须要购买整套产品。面对这种局面，这家企业应该如何处理？7一家企业完成了软件评估的过程，并深思熟虑的选择了一个供应商和工具。失败的供应商不明白怎么会得到一个“不”的回答。他们上诉到高一级的管理层，请他们重新考虑这项建议。面对这种局面，评估团队应该采取什么对策？8一家企业对他们正在使用的查询工具非常满意。但是工具的供应商陷入了财政危机，并被出售。收购公司解雇了大多数开发人员和支持人员。现在的支持服务非常糟糕，而且根据收购公司的声誉，预计支持服务也不会有明显改进。面对这种局面，这家公司应该如何处理？安全1一个企业建立了一个数据仓库系统，用来分析企业的部门及产品相关盈利能力。数据仓库实现不久，项目经理被CFO叫到办公室，被要求解释为什么一位职位低下的金融分析师能够在数据仓库中查看详细的工资记录，这些数据在公司中只有副总裁才可以访问。显然，这个数据仓库中没有建立安全计划。面对这种局面，这家企业怎么才能扭转这种局面呢？2一位数据仓库咨询人员告诉一家企业，他们必须考虑数据仓库内的安全问题，并应该将这个角色分派给一位职员，由他来负责这件事情。这家企业有多台服务器，服务器上是使用了多种操作系统和多种数据库管理系统。但是接受这件任务的职员不清楚这个角色应该作些什么。他对这项工作的有多大，如何面对安全问题，以及他要面临的问题都没有概念。面对这种局面，他应该如何在完成这份工作？3一家企业已经意识到了数据仓库的安全问题的重要性，并配备了专门的职员做这件事。这位职员以前是数据分析师，几乎没有安全事务方面的基础知识。这位职员应该如何开始工作呢？他在数据仓库团队中的角色和权力应该是什么呢?数据质量1一个数据质量分析师正在试图分析一个数据仓库之中数据的质量状况。这个数据仓库的数据量非常的大，数据质量分析师准备用抽样的方式进行分析。但是他不知道需要抽样多少数据，如何抽样，以及如何向用户解释抽样分析的结果是准确的。这位数据质量分析师应该如何来进行工作呢？2一个电信公司有一个含有14TB数据的数据仓库。这家公司估计到，该数据中有10TB以上的数据可能是冗余的。这家公司没有命名约束，其中只有20的数据有相关的元数据。面对这种局面，这家公司应该如何来识别和消灭冗余数据呢？3企业管理层没有意识到业务系统中数据是多么的脏乱。这些数据中存在冗余、记录不完备、默认值不正确、有不符合规则的数据存在、参照完整性缺乏等问题。随着数据仓库团队工作的逐步进展，来在项目团队和用户的意见已明确显示出，数据的质量已经不足以让项目继续下去。净化数据需要大量的时间，而这些时间在项目时间表中没有安排。面对这种局面，项目经理应该如何来处理？4企业数据仓库的数据质量非常差，净化的过程将是高代价的。管理层没有意识到数据质量的问题，这些业务系统表面上看工作的很好。此外，管理层不愿意花费金钱和资源纠正非常脏乱的数据。面对这种局面，数据仓库团队应该采取什么样的对策来让管理层相信需要净化他们的数据呢？5一名没有经验的数据仓库设计师坚决主张，只有100正确的数据才能进入数据仓库。他开发了一个复杂的临时存储区，用来存储、检查、改正和重新处理错误的源数据。这个临时存储区很快变得非常巨大。由于太多的数据被拒绝进入数据仓库，大部分都是微不足道的错误，业务用户对数据仓库的信任度正在迅速下降。面对这种局面，项目经理应该采取什么样的对策？6一家企业的数据仓库系统已经开发完毕，也使用正式数据进行了详细的测试。但是正式上线几个月后，却发现出现了问题，经查实，是从源系统提取数据的FTP脚本出了问题。这个脚本会随机的出现故障，而ETL程序也没有确定出正在处理的数据只是部分数据集。现在数据仓库和源系统已经严重不同步。这个数据仓库团队应该如何才能使数据仓库回到正确的轨道上来呢？7一家企业的数据仓库根据源系统记录中的“最后更新”时间戳来从源系统中提取数据。脚本运行了几个月后，运行时间严重超常。经查实，问题出在一个源系统上。一名开发人员正在这个源系统上定期大规模修改数据，以便修改一个还没有在应用代码中得到纠正的错误。这名开发人员大规模修改一次，“最后更新”时间戳就会被全部更新，数据仓库迁移脚本就会一夜之间处理完全部的数据。这个问题应该如何来解决呢？数据整合1一家拥有650个经销商的汽车制造公司，有3个独立的经销管理系统，这650个经销商都有自己的数据库。这家企业应该如何来收集、清理并整合这些数据呢？2一家企业为了保证企业内数据的一致性，委任了一名数据管理经理为整个企业创建一个统一的企业数据模型。但是，企业内有两个项目正准备开工，而且两个项目经理都不愿意等企业数据模型的建成。没有企业数据模型的情况下，建立的信息系统很难和企业内的其他系统进行整合。面对这种局面，CIO应该采取什么对策呢？3一家企业遇到了数据整合的问题，这个问题看起来是由于企业缺乏一个好的主数据管理策略造成的。这家企业基本上没有对主数据的变更进行控制。目前，企业正准备将数据库建立成分布式的。企业的CIO正在寻找关于集中式与分布式的建议，以及对数据维护策略的建议。你可以提供一些什么样建议？4一家客户数据仓库的业务主管想要数据实时更新。实时更新应该得到允许吗？有没有任何更好的替代方案呢？5在调查了其他企业的数据仓库实现之后，一家企业决定不能建立烟囱式的数据集市系统。可是，有3个部门强烈要求为它们的部门实现一个数据集市，并要求尽快实现。这家企业应该怎样来避免建设烟囱式的系统呢？6一位数据仓库经理负责企业内所有数据仓库建设活动，他意识到，如果来自数据仓库的报表和查询与来自业务系统的报表和查询不相符的话，他将遇到信誉问题。但是，大部分业务数据都是脏乱的，必须得到清理后才能满足分析师的要求。如果他将业务数据进行清理的话，报表结果将会和业务系统的那些结果不一致，数据仓库的有效性会遭到怀疑。面对这种局面，这位数据仓库经理应该采取什么样的措施？7给数据仓库提供数据的业务系统的数据问题已经越来越明显了。管理层认为数据仓库建设项目的一部分工作就是纠正业务系统的错误。那么，数据仓库团队应该尝试这项工作吗？数据仓库架构1企业的数据仓库已经从50GB增长到了1TB。它最初仅有50个用户，而现在已增长到300个用户。系统的响应慢得吓人，用户怨声载道，DBA在数据仓库的扩展和性能方面遇到的极大的困难。所有的新需求都被置之不理。所有的一切都是由于最初的架构引起的，这个架构只考虑了50G空间和50个用户。而目前架构中的任何变化都将是高代价和破坏性的。面对这种局面，数据仓库设计师应该如何处理？2一家企业内有12个“数据仓库”，其实它们都是彼此独立的数据集市。这家企业坚决反对一个中央数据仓库。这12个数据仓库的所有者都希望自己能拥有数据的控制权。此外，这家企业没有命名约定，即使在每个数据仓库之中也是这样。现有的数据有一半以上没有元数据。面对这种情况，这家企业应该如何来集成和清理它的环境呢？3一家企业有个不好的习惯，就是有时需要回退事务。这些事务在实际发生后的一个月或者更长时间才进入系统。财务人员认为历史信息不应该改变，但是这家企业的数据仓库根据回退事务改变历史的数据值。这种做法合理吗？回退事务是否应该改变数据