数据挖掘中关联规则算法及其应用.docx

数据挖掘中关联规则算法及其应用摘要 数据挖掘技术是一门综合多个学科的从数据中寻找规律的技术，该技术已经成功地应用于金融分析、市场分析。客户关系管理等多个行业。本文首先比较笼统的介绍了在数据挖掘技术中普遍运用的各种方法；侧重介绍了关联规则挖掘算法的基本概念、思想、步骤及当今改进的一些算法。同时，将关联规则技术引进到医学领域，进行运用。关键词 数据挖掘 关联规则 医疗数据0 引言随着现代科学技术和数据库技术的迅速发展，人们积累的数据越来越多，激增的数据背后隐藏着许多重要的信息，人们希望能够对其进行更高层次的分析，以便更好地利用这些数据。目前的数据库系统可以高效地实现数据的录入、查询、统计等功能，但无法发现数据中存在的关系和规则，无法根据现有的数据预测未来的发展趋势。为此，人们需要有新的、更为有效的手段对各种信息资源进行挖掘以发挥其应用潜能。数据挖掘正是在这样的应用需求背景下产生并迅速发展起来的一门技术。经过近二十年的努力，数据挖掘技术的研究已经取得了丰硕的成果，不少软件公司也已研究出数据挖掘软件产品，并在北美、欧洲等国家得到了应用1。所谓数据挖掘（Data Mining，简称DM）是从大量数据中鉴别出有效模式（Pattern）的非平凡过程。该模式是新的，可能有用的和最终可理解的，又可称为数据采掘。DM的定义还有一些不同的表达形式，但其本质都是一样的，即从数据库中提出隐含的、高水平的模式，其目的是为数据库理解与应用提供自动化、智能化的手段。关联规则的挖掘2是数据挖掘的一个重要课题，它是由Agrawal等人首先提出的，目前已受到越来越多研究者的关注。1 关联规则的实例在一家超市里，有一个有趣的现象：尿布和啤酒赫然摆在一起出售。但是这个奇怪的举措却使尿布和啤酒的销量双双增加了。这不是一个笑话，而是发生在美国沃尔玛连锁店超市的真实案例，并一直为商家所津津乐道。沃尔玛拥有世界上最大的数据仓库系统，为了能够准确了解顾客在其门店的购买习惯，沃尔玛对其顾客的购物行为进行购物篮分析，想知道顾客经常一起购买的商品有哪些。沃尔玛数据仓库里集中了其各门店的详细原始交易数据。在这些原始交易数据的基础上，沃尔玛利用数据挖掘方法对这些数据进行分析和挖掘。一个意外的发现是：跟尿布一起购买最多的商品竟是啤酒！经过大量实际调查和分析，揭示了一个隐藏在尿布与啤酒背后的美国人的一种行为模式：在美国，一些年轻的父亲下班后经常要到超市去买婴儿尿布，而他们中有30%40%的人同时也为自己买一些啤酒。产生这一现象的原因是：美国的太太们常叮嘱她们的丈夫下班后为小孩买尿布，而丈夫们在买尿布后又随手带回了他们喜欢的啤酒。2 关联规则的介绍按常规思维，尿布与啤酒风马牛不相及，若不是借助数据挖掘技术对大量交易数据进行挖掘分析，沃尔玛是不可能发现数据内在这一有价值的规律的。关联规则挖掘（Association Rules Mining）是为了在数据库中发现关联关系，它是数据挖掘（Data mining，DM）最先研究的问题之一，也是数据挖掘的一个主要研究方向。Agrawal等于1993年首先提出了挖掘顾客交易数据库中项集间的关联规则问题。数据关联是数据库中存在的一类重要的可被发现的知识。若两个或多个变量的取值之间存在某种规律性，就称为关联。关联可分为简单关联、时序关联、因果关联。关联分析的目的是找出数据库中隐藏的关联网。有时并不知道数据库中数据的关联函数，即使知道也是不确定的，因此关联分析生成的规则带有可信度。关联规则挖掘发现大量数据中项集之间有趣的关联或相关联系。关联规则可直观的表达数据中项集（变量的各种取值）间的联系。这种联系并不是基于某种特定的分布，依靠数据在特定模型中的多次迭代拟和而来，而是根据项集在数据资料中出现的概率来构建。因而，这种方法有异于传统的统计学方法，其优势在于结果明确，容易解释。在实际应用中，当变量类型比较复杂，变量取值的分布不定并难于转换，或者各变量不独立，不能满足传统统计学方法的要求时，通过关联规则的挖掘，可以得到数据中隐含于变量取值中的信息。例如，在购买铁锤的顾客当中，有70的人同时购买了铁钉。这些关联规则很有价值，商场管理人员可以根据这些规则更好地进行规划，如把铁锤和铁钉这样的商品摆放在一起，能够促进销售。3 关联规则的基本理论3.1、关联规则的基本概念一个大型数据库，其各个字段之间存在着各种各样的关系，这些关系就隐藏在数据库所包含的数据中，关联规则挖掘的目的是找出数据库中不同数据项集之间隐藏的关联关系。在挖掘关联规则时首先要把数据库资料中的各种事件作为数据项，多个数据项组成某一特定事物的项集。如在医学数据库中，对于确诊发病这一事件，各种症状、体征及需要研究的危险因素就构成了它的数据项集。下面我们介绍一个描述关联规则挖掘问题的数学模型3：设是全体数据项集，其中是各数据项。设任务相关的数据D是全体事务集，其中每个事务T是项集，使得TI。设A是一个项集，且AT。则项集A的支持数（suppor count）为该项集在事务D中出现的次数。支持数与D中事务总数的比值为项集A的支持度（support），即A在D中出现的概率。如果给定一个最小支持度minsup，项集A的支持度大于minsup,则称这个项集为大项集或频繁项集（frequent itemset）。关联规则的逻辑蕴涵为：AB，AI, BI，且AB=。如此定义的关联规则具有如下两个重要的属性：支持度（support）: P(AB)，即A和B这两个项集在事务集D中同时出现的概率。置信度（confidence）: P(BA)，即在出现项集A的事务集D中，项集B也同时出现的概率。同时满足最小支持度阈值和最小置信度阈值的规则称为强规则，即关联规则4。给定一个事务集D，挖掘关联规则的问题就是产生支持度和置信度分别大于用户给定的最小支持度和最小可信度的关联规则，也就是产生强规则的问题5。在很多情况下，只靠支持度和置信度还不能找到有用的关联规则，这时需要利用其他的特征对发现的规则的价值进行评估。对于关联规则AB，项集B的支持度称为规则的期望置信度6 7（expected confidence），即在没有任何条件影响下B出现的概率：P(B)。置信度与期望置信度的比值称为作用度（Lift），它描述的是A的出现对B的影响程度，反映的是关联规则的有效性。关联规则的基本思想：一是找到所有支持度大于最小支持度的频繁项集，即频集。二是使用第一步找到的频集产生期望的规则。其核心方法是基于频集理论的递推方法。3.2、关联规则挖掘过程关联规则挖掘过程主要包含两个阶段：第一阶段必须先从资料集合中找出所有的高频项目组(Frequent Itemsets)，第二阶段再由这些高频项目组中产生关联规则。关联规则挖掘的第一阶段必须从原始资料集合中，找出所有高频项目组(Large Itemsets)。高频的意思是指某一项目组出现的频率相对于所有记录而言，必须达到某一水平。一项目组出现的频率称为支持度(Support)，以一个包含A与B两个项目的2-itemset为例，我们可以求得包含A,B项目组的支持度，若支持度大于等于所设定的最小支持度(Minimum Support)门槛值时，则A,B称为高频项目组。一个满足最小支持度的k-itemset，则称为高频k-项目组(Frequent k-itemset)，一般表示为Large k或Frequent k。算法并从Large k的项目组中再产生Large k+1，直到无法再找到更长的高频项目组为止。关联规则挖掘的第二阶段是要产生关联规则(Association Rules)。从高频项目组产生关联规则，是利用前一步骤的高频k-项目组来产生规则，在最小信赖度(Minimum Confidence)的条件门槛下，若一规则所求得的信赖度满足最小信赖度，称此规则为关联规则。例如：经由高频k-项目组A,B所产生的规则AB，若信赖度大于等于最小信赖度，则称AB为关联规则。就沃尔马案例而言，使用关联规则挖掘技术，对交易资料库中的纪录进行资料挖掘，首先必须要设定最小支持度与最小信赖度两个门槛值，在此假设最小支持度min_support=5% 且最小信赖度min_confidence=70%。因此符合此该超市需求的关联规则将必须同时满足以上两个条件。若经过挖掘过程所找到的关联规则尿布，啤酒，满足下列条件，将可接受尿布，啤酒的关联规则。用公式可以描述Support(尿布，啤酒)=5%且Confidence(尿布，啤酒)=70%。其中，Support(尿布，啤酒)=5%于此应用范例中的意义为:在所有的交易纪录资料中，至少有5%的交易呈现尿布与啤酒这两项商品被同时购买的交易行为。Confidence(尿布，啤酒)=70%于此应用范例中的意义为:在所有包含尿布的交易纪录资料中，至少有70%的交易会同时购买啤酒。因此，今后若有某消费者出现购买尿布的行为，超市将可推荐该消费者同时购买啤酒。这个商品推荐的行为则是根据尿布，啤酒关联规则，因为就该超市过去的交易纪录而言，支持了“大部份购买尿布的交易，会同时购买啤酒”的消费行为。关联规则是描述事物之间同时出现的规律的知识模式。在关联规则的挖掘中要注意以下几点：、充分理解数据；、目标明确；、数据准备工作要做好；、选取恰当的最小支持度和最小可信度；、很好地理解关联规则。3.3、关联规则的分类可以从多个角度对关联规则进行分类8：（1）基于规则中处理的变量类型，关联规则可以分为布尔型和数值型。布尔型关联规则处理的数据都是离散的、分类化的，它显示了这些变量间的关系。数值型关联规则处理的变量包含有数量信息（数值型变量），它表示的是属性值之间的关联关系。在挖掘数值型关联规则时要先对数值型变量进行离散化处理，再对处理后的数据进行挖掘。例如：性别=“女”=职业=“秘书” ，是布尔型关联规则；性别=“女”=avg（收入）=2300，涉及的收入是数值类型，所以是一个数值型关联规则。 （2）基于规则中的抽象层次，可以分为单层关联规则和多层关联规则。单层关联规则中，所有变量都不考虑现实中多个层次的区分，多层关联规则就能够体现实际生活中概念的层次性。例如：IBM台式机=Sony打印机，是一个细节数据上的单层关联规则；台式机=Sony打印机，是一个较高层次和细节层次之间的多层关联规则。 （3）基于规则中涉及到的数据的维数，可分为单维关联规则和多维关联规则。单维关联规则只涉及数据表中的单个维（字段）间的关系，多维关联规则表示的是多个维之间的关系。根据是否允许同一字段在规则中重复出现，多维关联规则又可以分为维间关联规则和混合关联规则。例如：啤酒=尿布，这条规则只涉及到用户的购买的物品；性别=“女”=职业=“秘书”，这条规则就涉及到两个字段的信息，是两个维上的一条关联规则。 （4）通过对关联规则进行一定的约束和限制，可以生成某些具有针对性的特殊类型的关联规则，这样得到的规则通常是实际工作中人们最感兴趣，也是对实践活动最具指导意义的规则。4 关联规则的算法前文已经提到了关联规则的基本思想，在此，我们也可以将此理解为关联规则挖掘的步骤，即：(1)求出支持度项集的集合（Frequent Sets），即找出目标数据库中包含的所有频度项集。(2)使用各频度项集生成相应的强关联规则。IBM公司Almaden研究中心的R.Agrawal首先提出关联规则模型，并给出求解算法AIS，尔后又出现了Apriori和AprioriTid。随后，关联规则挖掘算法不断地被丰富，如Cumulat和Stratify，Houstsma等人提出的SETM，Park等人提出的DHP，Savasere等人的PARTITION，Han等人提出的不生成候选集直接生成频繁模式FPGrowth 。其中，Apriori是关联规则模型中的经典算法。4.1、Apriori算法Apriori算法9、10是一种最有影响的挖掘布尔关联规则频繁项集的算法。其核心是基于两阶段频集思想的递推算法。该关联规则在分类上属于单维、单层、布尔关联规则。它基于以下性质（Apriori性质）：如果一个项集是频繁项集，那么它的所有子集都是频繁项集；反之，如果一个项集的某个子集不是频繁项集，那么这个项集也不是频繁项集。Apriori算法的基本思想是：首先找出所有的频集，这些项集出现的频繁性至少和预定义的最小支持度一样。然后由频集产生强关联规则，这些规则必须满足最小支持度和最小可信度。首先产生一阶频繁项集，然后是二阶频繁项集，直到有某一阶的频繁项集为空，这时算法停止。这里在第次循环中，过程先产生候选-项集的集合，中的每一个项集是对两个只有一个项不同的属于的频繁项集做一个(-2)连接来产生的。中的项集是用来产生频繁项集的候选集，最终的频繁项集必须是的一个子集。最后再由前述定义判断那些频繁项集的关联规则。为了生成所有频繁项集，使用了递推的方法。Apriori算法存在着两大缺点，可能产生大量的候选集,以及可能需要重复扫描数据库。由上述分析，我们可以知道，挖掘或识别所有频繁项集是Apriori算法的核心工作，占据整个计算量的大部分。那么若对Apriori算法进行改进，我们研究的大部分工作应该集中在频繁项集的生成上。应当注意到各个算法均通过单趟扫描数据库形成频繁1-项集，以后再通过各种不同的手段形成频繁2-项集、频繁3-项集、频繁n-项集等。其实，通过单趟扫描数据库，完全有理由同时生成频繁1-项集和频繁2-项集，即每当在数据库中读得一个事物时就取其1项子集和2项子集进行统计记数，并根据最小支持度及时剪枝，从而形成频繁1-项集和频繁2-项集。为了形成这样的算法，主要的问题在于候选频繁项集的规模过于庞大，算法中用于记录各项集支持度的存储空间管理复杂等，可以考虑利用编码技术及动态缓冲手段解决这一问题11。提高算法效率可以从逐次减少扫描数据的规模及候选频繁项集的规模两方面入手。比如，在第k趟扫描数据库时，可以把数据库中规模不超过k的事物滤去。由于Apriori算法中产生候选频繁项集的理论依据是频繁项集的子集必是频繁项集12，这种约束条件显然过于宽松，导致候选频繁项集中相当多的项集不能成为频繁项集。所以，在缩小候选频繁项集的规模上，我们可以采取措施。多段支持度数据挖掘算法就是通过计算项集的多段支持度来预知某一频繁项集生成规模更大的频繁项集的可能性，从而决定是否利用该项集构成候选频繁项集，达到减少频繁项集规模的目的，那么在一定程度上提高了算法的效率。4.2、DHP算法与Apriori算法相似，DHP算法13也是从中生成候选项集。不同的是，DHP算法在进行循环并计算数据项的忠诚度时，建立并维护一张Hash表。生成候选项集时，并不是将所有通过候选项集生成函数得到的数据项加入，而是通过Hash表进行选择，通过对Hash表的操作，DHP算法可以大大减少候选项集的规模，从而提高算法的计算效率。4.3、基于划分的算法Savasere等设计了一个基于划分的算法。这个算法先把数据库从逻辑上分成几个互不相交的块，每次单独考虑一个分块并对它生成所有的频集，然后把产生的频集合并，用来生成所有可能的频集，最后计算这些项集的支持度。这里分块的大小选择要使得每个分块可以被放入主存，每个阶段只需被扫描一次。而算法的正确性是由每一个可能的频集至少在某一个分块中是频集保证的。该算法是可以高度并行的，可以把每一分块分别分配给某一个处理器生成频集。产生频集的每一个循环结束后，处理器之间进行通信来产生全局的候选k-项集。通常这里的通信过程是算法执行时间的主要瓶颈；而另一方面，每个独立的处理器生成频集的时间也是一个瓶颈。4.4、FP-树频集算法针对Apriori算法的固有缺陷，J. Han等提出了不产生候选挖掘频繁项集的方法：FP-树频集算法。采用分而治之的策略，在经过第一遍扫描之后，把数据库中的频集压缩进一棵频繁模式树（FP-tree），同时依然保留其中的关联信息，随后再将FP-tree分化成一些条件库，每个库和一个长度为1的频集相关，然后再对这些条件库分别进行挖掘。当原始数据量很大的时候，也可以结合划分的方法,使得一个FP-tree可以放入主存中。FP-growth对不同长度的规则都有很好的适应性，同时在效率上较之Apriori算法有巨大的提高。5 关联规则的应用在关联规则挖掘算法的应用方面，一些研究者将其应用在医疗数据库中，以考察该算法在处理实际医学问题时采取的策略和存在的问题。文献14中给出了一个在关于心脏病的医疗数据集（表1）中Apriori算法应用的尝试。研究者的目的是通过此数据集，考察心脏病患者现有记录指标中隐藏的关系。研究者需要知道的是数据集中各指标间的事先未知的关系，而非仅仅是各变量间的线性依存关系，变量取值之间的相互影响有可能会是我们在专业和常识上尚未阐明的一些原因。如果能直接利用数据的信息，通过数据集本身记录的各种事件发生的概率来确定变量间的关联规则，那么就绕开了先入为主的专业思维，获得客观的结论或提示。表1 原始医疗数据表IDGenderAgeSmokerOperationPrognosisLAD%RCA%001F73Yinterventionrelief8560002M68YinterventionRelief60100003M43NNoninterventionRecovery7545004M59Ninterventionineffective80995.1、数据转换表1中数据集包含8个变量（属性），有类别型也有数值型。分别为病案号（ID），性别（Gender），年龄（Age），是否吸烟（Smoker），手术方式（Operation），冠状动脉左前降支异常率（LAD），右冠状动脉异常率（RCA%），预后效果（Prognosis）。病案数为425例。在进行关联规则挖掘前，需要将各变量的取值转化为一系列的整数或代码，映射为事务的项。此例各种变量的取值范围相对较小。在详细的医学记录数据中，映射的项集可包含十数项。数值型变量（包括图像资料和时间资料）则采用划分区间的方式转换为整数或代码。病案号不是分析变量，所以可以去除。为方便关联规则的表述，原来的变量名也转换为代码。表2为各变量取值转换的字符映射表，其中各数值变量的分类区间依照专业知识进行划分。表3为转换后的医疗数据表。表2 映射表原变量取值水平代码原变量取值水平代码原变量取值水平代码MS1Operation=interventionS750%LAD%70%S13FS2Operation=noninterventionS8LAD%70%S14Age60S3Prognosis=reliefS9RCA%50%S15Age60S4Prognosis=recoveryS10RCA%50%S16Smoker=YS5Prognosis=ineffectiveS11Smoker=NS6LAD%50%S12表3 映射为项的原医疗数据集IDA1A2A3A4A5A6A7001S1S4S5S7S9S14S16002S2S4S5S7S9S13S16003S2S3S6S8S10S14S15004S2S3S6S7S11S14S165.2、产生频繁项集表 3 中的 S1,S2,S16 即事务中的项集。根据 Apriori 算法，从专业知识方面考虑，设置 最小支持度为 20%，最小置信度为 75%，以期获得较高关联程度。由此会产生满足最小支持度的 若干频繁 1-项集。将各频繁 1-项集合并可得满足最小支持度的频繁 2-项集。以此类推，当产生 的频繁 4-项集为空时，即没有满足最小支持度的 4-项集，算法停止。5.3、建立关联规则根据关联规则建立的原则从获得的各阶频繁项集中产生关联规则。如频繁3-项集S3，S7，S9的支持度为73，S3 ，S7的支持度分别为66% ，58，故可计算得S3 S7S9的置信度为90% 。 此处S3，S7位于规则左侧而S9位于规则右侧，符合最小置信度的要求,故关联规则成立。依上述原则可建立如表4的关联规则表。表4 关联规则表可形成的关联规则置信度（%）关联规则是否成立S3 S6S990是S13S1680是S4S1050否5.4、关联规则的解释下面沿用支持度置信度框架对结果进行解释。如表4所示第一个关联规则，年龄小于60且采用介入手术治疗的患者有90的可能出现手术后症状的缓解。这在医学上属于有趣的关联规则，它描述了手术有效的适应患者的基本特征，在临床上有一定指导意义。而下一个成立的规则为冠状动脉左前降支异常率LAD在50和70之间的患者有80的可能出现右冠状动脉异常率大于50，这一规则虽然置信度大于预先设定的75最小置信度，但显然在医学专业中是无趣的。因为医生从专业角度就能够解释身体病变部位之间存在有这样的关联，而且这样的规则左右两侧均为疾病的症状，对临床工作指导意义不大。5.5、基于本案例的思考Apriori算法通过多阶项集间的多次连接产生满足最小支持度和置信度的关联规则时，各频繁项出现的位置不同会造成不同的支持度，位于规则的左侧或右侧的项是由各自本身的支持度和项集的支持度以及规则的置信度联合决定的。因而在挖掘结果出现前，所研究事务的项集出现在规则的哪一侧是研究者未知的。这样在大量事务构成的数据集中就会产生许多与研究问题无关的关联规则，这些规则满足最小支持度，置信度，也会满足所设置的作用度，而规则中的项的左右位置很可能是混乱的，我们不能依据这样的规则回答诸如“哪些事件导致哪些结局？”之类的实际问题。而且在产生这样的规则时，会对数据库进行重复的扫描，加大计算系统的负荷15, 16。因此，在对医学数据集进行关联规则挖掘时，应该通过设定规则的限定条件对规则进行筛选，规定一些项出现在规则的某侧。这些设定应该从医学专业知识的角度考虑，类似统计学中的模型，将研究因素置于规则左侧，研究结局置于右侧。同时，参考以往研究的经验和本次研究的目的，这样就可以即减少产生规则的数量又能快速发现有趣的规则。在实际医学工作中，我们希望通过医学数据得到的关联规则能对实践有指导意义，称之为有趣的规则。在复杂的医学数据库中，会产生大量的关联规则。即使在控制上述两个问题后，关联规则的规模也是相当庞大的，其中不乏许多重复的规则。如当产生规则X1Y，X2Y，X1X2时，规则X1Y比X2Y简单，并会有更高的支持度，结果中就应该去掉后者以缩减规则的规模。6 结语数据挖掘技术，由于其诱人的实用前景，引起了众多研究者的浓厚兴趣。目前，国外有关数据挖掘技术的研究正方兴未艾，而国内该领域的研究也正在崛起。本文对数据挖掘技术中的一个重要分子关联规则作了比较深入的研究，侧重于分析挖掘规则的算法。Apriori算法需多次扫描数据库，使得算法的效率在数据库比较大时受到很大的制约。不过，Apriori算法在目标数据库不是很大时仍不失为一个好的挖掘关联规则算法。作为一个新兴的研究领域，数据挖掘技术在我国各个领域中的应用还不是很广泛，数据挖掘的很多问题也需要进一步的研究。例如，目前在我国，“数据海量，信息缺乏”是商业银行在数据大集中之后普遍所面对的尴尬。目前金融业实施的大多数数据库只能实现数据的录入、查询、统计等较低层次的功能，却无法发现数据中存在的各种有用的信息，譬如对这些数据进行分析，发现其数据模式及特征，然后可能发现某个客户、消费群体或组织的金融和商业兴趣，并可观察金融市场的变化趋势。可以说，关联规则挖掘的技术在我国的研究与应用并不是很广泛深入。由于许多应用问题往往比超市购买问题更复杂，大量研究从不同的角度对关联规则做了扩展，将更多的因素集成到关联规则挖掘方法之中，以此丰富关联规则的应用领域，拓宽支持管理决策的范围。如考虑属性之间的类别层次关系，时态关系，多表挖掘等。因此，数据挖掘作为一门新兴学科，它还很不成熟，我们现在所做的都是一些探索和研究。但毫无疑问，数据挖掘技术具有很大的潜力，而且随着我们对数据的要求的不断提高，数据挖掘发展也是势在必行，相信在不远的将来数据挖掘会广泛地被运用于各个领域。参考文献：1、Fayyad U M,Piatetsky-shapiro G,Smyth P. Advances in knowledge discovery and data mining. California: AAAI/MIT Press,19962、Agrawal R, Srikant R. Fast algorithms for mining association rules. In:Proceeding of the 20th international Conference on very large database,Santiago,Chile,Sept,1994:487-499.3、Agrawal R，T Imielinski,A Swami.Mining Association Rules between Sets of Items in Large DatabasesJ.Proc.ACM SIGMOD,1993,5；207-216.4、陈安，陈宁 等. 数据挖掘技术及应用. 北京:科学出版社,2006. 50-110.5、Agrawal R，Imielinski T,Swami A. Mining association rules between sets of items in large databeses. Proceedings of the ACM SIGMOD Conference on MAnagement of Data.6、Konias S, Chouvarda I, Vlahavas I, et al. A novel approach for incremental uncertainty rule generation from databases with missing values handling: application to dynamic medical databases. Med Inform Internet Med, 2005,30(3):211-25.7、Mitsuhashi N, Hishigaki H, Takagi T. Appl