数据挖掘技术的应用研究

1数据挖掘技术的应用研究黄解军 潘和平 万幼川（武汉大学遥感信息工程学院数字智能研究中心，武汉）计算机工程与应用!“#$!#$! 保险业中的数据挖掘随着社会保障体系的日益健全，保险业取得了蓬勃的发展，发挥着越来越重要的作用。如何保持现有客户，争取潜在的客户，以及如何识别诈骗行为，是保险业中面临的主要问题。数据挖掘技术是解决这些问题的有效方式，对业务数据、客户数据等各种数据分析，有利于保险公司开展业绩评价、财务预算、市场分析、风险评估和风险预测等，大大地提高企业防范和抵抗经营风险的能力和水平，也为管理人员提供科学的决策依据。建立预测模型，对投保人的层次分类，发现索赔的投保人特征，统计索赔的次数和相关的信息，更有效地了解客户行为。同时，分析保险欺诈案件的特征和规律，有效地预防欺诈案件的发生，减少和控制了公司资金的非法流失。针对投保人的工作性质、年龄、健康状况和工资等记录，寻找影响索赔率的内在因素。#$#金融业中的数据挖掘由于金融业中的数据相对比较完整，质量较高，因此，数据挖掘在这一领域中的应用相对较为成熟，也取得较好的社会效益和经济效益。通过分析市场波动的因素，建立预测模型，进行投资分析和预测，改进预测市场波动的能力，为投资决策提供科学的依据。在分析客户的工资收入、教育水平、居住区域和信用历史等的基础上，找到影响信贷的重要因素，进而调整贷款发放政策。如%.* 9*?*-辅助他们的研究工作。#$ 制造业中的数据挖掘在制造业中，数据挖掘广泛地应用于控制产品生产流程和技术规划方面。分析产品各种指标参数的关系，优化原料的搭配，开发新的产品类型。根据市场信息数据库中居民密度分布、收入状况和相应的城市规划等信息，企业可以展开产品需求量的调查。例如汽车制造商挖掘信息库中人口分布、区域购买力状况及公路交通状况等信息，依据分析结果，决定产品的销售渠道、总体和局部销售网点的规划等，对商业网进行部署，并及时调整产品的生产导向和生产结构，这对于企业和公司的经营状况和发展前景具有重要的影响。在产品的控制和检测方面，孤立点分析可以用于检验产品质量，识别偏差检测。了解相关产品的供需比例、消费者分布等信息，制定产品生产策略。美国的部分大型钢铁公司将数据挖掘技术应用在发现和探测潜在的质量问题，提高了产品的生产质量和效率。53数据挖掘在应用中的几个问题在数据挖掘技术的应用中，往往对数据挖掘缺少正确的认识，认为数据挖掘毫无用处，结果不可靠；或者认为数据挖掘是万能的，从数据中可以发现想要的任何知识和信息。这两种观点都是不正确的，应该避免走极端，客观地认识数据挖掘。数据挖掘的实施需要花费很长的时间和较高的费用，在一些公司或行业不一定会产生较好的经济效益，因此，盲目地运用数据挖掘，也可能给公司带来包袱和负担。在实际应用中，应该注意数据质量、算法选取、结果评价和保护客户的个人隐私等问题。5$: 数据质量的问题数据挖掘中涉及到大量的数据，不可避免地会出现一些错误的、冗余的数据，给数据挖掘带来一定的困难。例如，数据的缺值现象，则不能客观地反映数据的属性和特征；含噪声的数据会影响抽取模式的准确性；对于超大数据量，也给知识发现带来很大的麻烦。在对数据进行取样时，应该根据用户挖掘的主题，选择有效的数据集，并对数据进行清理、归并和转换等操作，保证数据的代表性和客观性。5$! 技术方法的选取问题在数据挖掘的应用中，由于各种技术方法具有不同的特点和功能，应该针对挖掘的主题和目标，选择合适的技术和算法。例如，运用贝叶斯网络预测发生频率较低的事件，其结果的可靠性较差；对于大量较复杂的数据对象，使用决策树方法是不理想的，而结合神经网络和遗传算法则可能获得满意的结果。因此，选择市场上的数据挖掘工具时，应该了解系统的功能特点和使用的技术算法。5$# 结果的验证与评价问题结果的验证和评价是数据挖掘中不可缺少的环节。这是一个反复实验的过程，运用其他的样品进行验证，也可以选择新的样品集进行评价，直到得出用户满意的挖掘结果为止。数据挖掘的结果不一定是确切的答案，可能是一些有用的规则、模式或模型，这与数据分析师和管理决策人员的知识背景与经验有一定的关系。数据挖掘是一个动态的、交互的过程0:“4，需要不断地改进和完善，不断地运用新的技术方法，提高挖掘性能和效率。5$5 保护客户的个人隐私问题目前出现了越来越多的商业信息供应商，地理信息、人口统计和家庭背景等数据很容易购买。特别是客户在使用信用卡、医疗卡和保健卡等过程中，客户的工资、职业和年龄等个人信息可能被企业采集到，这些个人隐私通过很多渠道可以获取，有可能被不法分子用于不正当的活动中。因此，如何保护个人隐私的问题，以及数据安全性问题等，引起了人们的普遍关注。在数据挖掘应用中，这是企业应该而且必须考虑到的问题。451!“#$!计算机工程与应用中发现有用的依赖性或关联性的知识。基本思路表示为：%!$和7?68:等，目前出现的两种新算法A8B和C=8D，可以由非常大的训练集进行决策树归纳，可以处理分类属性和连续性属性。!$# 遗传算法遗传算法是一种基于生物进化过程的组合优化方法，它是生物学和计算机科学结合的产物!(，由美国密西根大学:$E$?*FFG+.教授和他的同事们在HIJ6统计软件包，同时，6公司也开发出相应的产品6和ESC，这些产品都占有一定的应用市场。#数据挖掘技术的应用数据挖掘技术在商业方面应用较早，它可以增强企业的竞争优势，缩短销售周期，降低生产成本，有助于制定市场计划和销售策略。目前，已经成为电子商务中的关键技术Q(。由于数据挖掘在开发信息资源方面的优越性，已逐步推广到保险、医疗、制造业和电信等各个行业的应用。#$H 零售业中的数据挖掘零售业是数据挖掘应用较为活跃的一个领域。了解客户的购买习性和趋向，对于零售商制定销售策略是至关重要的。通过关联规则挖掘，分析客户对直接邮件的响应率，发现有利顾客的特征，有目的性的开展广告和销售业务。通过对顾客的忠诚度分析，相应调整商品的价格和类型，改进销售服务，有利于保留现有客户，寻找潜在的客户。扩大销售的范围和规模，从而增加销售量。通过在线销售的数据，得出产品关联的商用信息和客户的购买习惯，使进货的选择与搭配更具科学性。货篮子分析是数据挖掘应用在零售业中的一种有效方式，可用于销售搭配、产品目录设计、产品定价和促销等。优化货物的搭配与布局，使进货与销售达到最佳的结合，减少商业成本。促进品种优化，分析销售利润，使库存量和管理开支更加合理。建立客户数据模型，分析顾客的购买时间、地域分布和购物方式等信息，帮助零售商制定营销策略。同时，根据顾客在网上的购物行为和方式，提供个性化服务，优化销售网站的规划和设计。;Q 计算机工程与应用!“#$!技术方法 主要功能和特点 主要应用领域关联分析 分类、聚类 零售业、保险业和制造业8决策树 归纳分类，可理解性 制造业、医学和零售业等遗传算法 聚类、优化；高效性 金融业、保险业和农业等贝叶斯网络 分类、聚类和预测，易理解 医学、制造业和电信等粗糙集方法 不确定性分类 零售业、金融业和制造业等神经网络 预测、分类和聚类，解释性差 金融业、保险业和制造业等统计分析 聚类，结果精确、易理解 金融业、制造业和医学等%引言随着现代信息技术的迅猛发展，在全球内掀起了信息化浪潮。信息产生的渠道越来越多，信息更新的频率日益加快，各行各业均产生了数以亿计的数据库。人们面对着大量的数据，却往往无法找到需要的信息，很难发现有用的知识，这就是“信息爆炸”带来的困惑。如何有效地利用和处理大量的数据成为当今世界共同关心的问题。随着数据库技术、人工智能、数理统计和并行计算等技术的发展与融合，数据挖掘（#“?*0：ABB(CD!%4+$4.摘 要 数据挖掘是一种新兴的信息处理技术，在信息的利用和提取中发挥着日益重要的作用。论文从数据挖掘的概念和本质出发，详细阐述了数据挖掘的各种技术方法，深入分析了数据挖掘技术的应用领域，并对数据挖掘应用中的主要问题进行了探讨。关键词 数据挖掘 知识发现 技术方法 应用领域文章编号%“!?E#%?（!“#）“!?“;F?“;文献标识码G中图分类号10HI#=%!“#$%(6%.6#“(-?,：2( *+*+,，C+./012,1 2*34.5167，1(K.23，TT0*4(*.+ 2.*+3基金项目：国家自然科学基金项目资助（编号：X“%F“!）作者