医学信息学论文：基于数据仓库的医院客户关系管理技术分析与研究

基于数据仓库的医药企业客户关系管理技术分析与研究 于芳 卢大国 摘要：本文表述了一个基于多维查询分析的客户关系管理系统，在 OLAP 多维分析算法的基础上对数据进行分析。从系统的功能设计出发，设计了系统 整体的体系结构，并设计每个模块功能要求。以星型模式设计了实例数据库的 多维数据模型，并采用了 SQL SERVER2000 企业版设计了数据转换服务包 DTS，实现了数据的抽取、转换与装载，通过运用 Analysis servers 自带的挖掘 工具来分析现有的医药行业数据，从而得出结论，为其更好得实施 CRM 提供 理论依据。 关键词：数据仓库；OLAP；数据挖掘；关联规则；多维数据集 Analysis and research about technology of medicine enterprise customer relations management based on data warehouse Fang Yu Daguo Lu I studied customer relation management system based on many dimensions, then analysis calculate way based on many dimensions of the OLAP. I designed whole system structure and function request of each mold from function of the system. Many dimensions data models of the database is designed through star model ,and designed the data conversion service of DTS adopting the SQL SERVER2000 business enterprise version and carried out sample conversion and load of data. I analytical the existing medicine enter to sell a data by usage the Analysis servers taking mining tool to get a conclusion thus, those will carry out theories basis to CRM of medicine profession Keyword: Data warehouse; OLAP; Data mining; Connection rule; dimensions 1、医药行业 CRM 特点 （1）医药行业服务的超前性：在医药服务行业中，最为普遍的就是个性化需 求表现的特别突出，同样的需求在不同的客户身上体现出来的个性化特征尤为 明显。 （2）将传统流程以基于互联网的模式整合在单个 CRM 中。 2、研究目的 本文研究的主要目的是： 通过数据仓库技术了解医药行业客户目前的需求和潜在客户的需求 探讨增强医药行业竞争力的新途径 数据仓库在医药行业实施 CRM 中的重要性 3、系统设计和实现 系统分为四个模块：数据仓库模型设计、数据转换与管理控制模块、多维 数据分析模块和数据挖掘模块。 31 数据仓库模型设计 311 概念模型设计 数据仓库模型设计首先要进行的是概念模型设计。通过概念模型设计，可 以确定数据仓库的主要主题及相互关系。进行概念模型设计所要完成的工作有 两个 1：界定系统边界确定主要的主题域及其内容。下面介绍最常用的表 示法 E-R（实体联系）法。该方法的步骤为： 任务和环境的评估；需求 的收集和分析；主题选取，确定主题间关系；主题内容描述；E-R 图； 例如，订货销售主题与药品信息、客户信息主题的关系可以用 E-R 图表示为(如 图 3.1)： E-R 图具有良好的可操作性，形式简单直观，易于理解，便于与用户交流。 该模型只是对企业模型进行静态的描述。 312 逻辑模型设计 进行逻辑模型设计所要完成的主要工作有： 1) 分析主题，确定当前要装载的主题； 2) 确定数据粒度的选择；粒度选择的主要标准是数据仓库中表的总行数。 3) 确定数据分割策略； 4) 增加导出字段； 5) 定义关系模式； 6）记录系统； 通过逻辑设计，可以对每个主题的逻辑实现进行定义，并将相关内容（如 适当的粒度划分、合理的数据分割策略、增加的导出字段、记录系统定义等） 记录在数据仓库的元数据中。 313 物理模型设计 物理设计中，主要解决数据的存储结构、数据的索引策略、数据的存储策 略、存储分配优化等问题。物理设计的主要目的有两个：一是提高性能，二是 更好地管理存储数据。访问的频率、数据容量、选择的 RDBMS 支持的特性和存 储介质的配置都会影响物理设计的最终结果。 对于一个多维数据集的设计，比如销售模式，首先考虑针对销售数据，客 户可能提出的问题： 某年某类产品的销售情况如何？ 某年两个连续的季度销售情况有何变化？ 销售员的工作业绩如何？ 哪些产品目前一段时间内购买量大？ 同类的药品哪类产品销售量大而且药效好？ 针对某类产品，销售员工的销售量是多少？ 国家经济状况和医疗保障制度是否对销售有影响？ 对上面的一系列问题进行分析，可以通过得知销售多维集分析的目的是使 得医药行业可以从时间、客户、销售员工和产品几个维度来统计分析销售数据， 从而改进销售战略，吸引更多的客户。 建立数据仓库的第一步是确定商业需求，根据需求确定分析主题。(如图 3.2)所示就是一个销售数据分析为例的星型模式。 32 数据转换与管理控制设计 SQL Server 的关系型数据库服务器是数据仓库分析和服务的主要数据来源。 通过引入 DTS（Data Transformation Server,数据转换服务）来完成数据从 OLAP 源转移到 OLAP 系统的工作。在这个转换过程中，DTS 要进行数据校验、 清理、合并和必要的转换。 订货分析的 DTS 包 DTS 即为数据转换服务，主要是把不同的数据来源中的数据结合起来，并 利用自身的数据转换功能把这些结合后的数据放入数据仓库之中 2。在对订货 分析主题的星形模式进行设计后，利用 DTS 把数据源中的数据转换放入数据仓 库 contract_mart 的相应的维表与事实表中。 数据转换实现过程为：创建连接 数据转换建立数据导入的工作流 执行 SQL 任务确定流程顺序执行并保存 DTS 包 其中转化过程中 SQL 查询过程如下： SELECT DISTINCT month, year AS 标志, SUBSTRING(month,2, 2) AS 月, SUBSTRING(year, 1, 1) AS 年 FROM ordertime SELECT DISTINCT homephone, postalcode, city, address, hiredate, birthdate, firstname, lastname AS 标志 SUBSTRING(homephone, 9, 9), SUBSTRING(country, 8, 8), SUBSTRING(postalcode, 7, 7), SUBSTRING(city, 6, 6) , SUBSTRING(address, 5, 5), SUBSTRING(hiredate, 4, 4), SUBSTRING(birthdate, 3, 3), SUBSTRING(firstname, 2, 2) , SUBSTRING(lastname, 1, 1), employeeid FROM Employees SELECT DISTINCT CompanyName, ContactName, Address, City,PostalCode, Country, Phone, Fax AS 标志 SUBSTRING(Fax, 8, 8), SUBSTRING(Phone, 7, 7), SUBSTRING(Country, 6, 6), SUBSTRING(PostalCode, 5, 5), SUBSTRING(City, 4, 4), SUBSTRING(Address, 3, 3) AS 地址, SUBSTRING(ContactName, 2, 2), SUBSTRING(CompanyName, 1, 1), CustomerID FROM Customers SELECT DISTINCT leibie, shengchanchangshang, shpchd, pizwh, lingsjzje, kcsx, jj, kcje, chbdj, kcshl,dw, shpgg, jixing, zjm,spmc, spbh AS 标志 SUBSTRING(leibie, 16, 16), SUBSTRING(shengchanchangshang, 15, 15), SUBSTRING(shpchd,14,14), SUBSTRING(pizwh, 13, 13) AS 位号, SUBSTRING(lingsjzje,12, 12), SUBSTRING(kcsx, 11, 11), SUBSTRING(jj, 10, 10) , SUBSTRING(kcje, 9, 9), SUBSTRING(chbdj, 8, 8),SUBSTRING(kcshl, 7, 7), SUBSTRING(dw, 6, 6),SUBSTRING(shpgg, 5, 5), SUBSTRING(jixing, 4, 4),SUBSTRING(zjm,3, 3), SUBSTRING(spmc, 2, 2),SUBSTRING(spbh,1, 1), spid FROM ypxx SELECT Orders.OrderID, Orders.CustomerID, Orders.EmployeeID,Orders.timeid,Orders.spid, Orders.OrderDate, Orders.Freight FROM Orders INNER JOIN Customers ON Orders.CustomerID = Customers.CustomerID INNER JOIN Employees ON Orders.EmployeeID = Employees.EmployeeID INNER JOIN ordertime ON Orders.timeid = ordertime.timeid INNER JOIN ypxx ON Orders.spid = ypxx.spid 创建流程的优先顺序： 执行 SQL 任务删除现有的 ORDERS 数据 将数据汇集到各个维表中 将数据汇集到事实表中 执行并保存 DTS 包，如（图 3.5）所示： 图 3.5 流程控制 33 多维数据分析模块 创建一个 OLAP 数据库与 SQL 数据库类似，SQL 数据库保存关系型表， 而 OLAP 数据库保存多维立方。通常创建 OLAP 的一般步骤为： 数据源。 创建维。 浏览维的元数据。 处理维。 创建立方。 设计存储和处理。 浏览多维数据。 33 数据挖掘模块 331 数据挖掘定义 数据挖掘 3从技术角度来看比较公认的是 W.J.Frawley.GpiatetskyShapiro 等 人提出的：数据挖掘就是从大型数据库的数据中提取人们感兴趣的知识，这些 知识是隐含的、事先未知的潜在的有用信息 ，提取的知识表示为概念 （Concept） 、规则（ Rule） 、规律（Regularities） 、模式（Patterns）等形式。 332 Analysis servers 数据挖掘实例过程及分析 通过借助分析服务器的工具标识数据中的规则和模式，从而可以预测医药 行业利润提高的可能性因素以及将来要出现的问题。在 Analysis servers 中创建 数据挖掘解决方案时，首先要创建描述业务问题的模型，然后生成数据的数学 模型的算法运行数据，此过程称作“定型模型” 。再依据该算法直观地浏览挖掘 模型或创建预测查询。下面是通过一个医药企业销售的 OLAP 数据集来创建挖掘 模型从而得出结论。 (1) 创建 Analysis servers 项目 为 Orders 创建新的项目，数据源定义了连接到挖掘模型所基于的数据源时 使用的连接字符串和身份验证信息。同时还提供摘要信息，使用该信息修改结 构可以使其与项目的关系更密切。其中数据源中包括表 Customers, Employees, Orders, Ypxx, Ordertime, Suppliers 等。表 Customers 记录数有 91 个，属性包 含有 Customerid, name,monthly-Income, card, Country, Phone 等，用户 Country 属性中有 USA，Germany，Mexico，UK，France，Sweden， Spain，Canada，Argentina， Brazil，Venezuela 等国家。表 Orders 中记录了顾客从 2000 年 7 月到 2004 年 5 月客户定购药品的情况，定购的记录数有 2575 条；表 Ypxx 中包含有 1724 种 药品，以上数据均表示表 Employees 一个部门中的九个销售员的业务状况。这 里选出三个表 Orders, Customers, Employees 作为挖掘的关系表。 (2) 在 Analysis servers 项目中添加挖掘结构 创建完项目后，添加挖掘结构以及基于每个结构的一个或多个挖掘模型。 挖掘结构派生自该项目中的现有数据表或者 OLAP 多维数据集。这里是通过关 系数据源来建立的挖掘结构，通过挖掘向导来定义结构并指定创建基于该结构 的初始模型时使用的决策树算法和定型数据。设定事实表为 Orders,键列为 orderid，它包含表中每个行的唯一标识符。这里订货 ID 可以唯一标识客户购买 情况，并使事实表与嵌套表相关。输入列为 freight,可预测列为 country, city, company name, employeeid，其中这三个表以 orders 为事实表，其它为维表建 立了 OLAP 多维数据集，可以对建立的挖掘结构进行编辑和处理，这样可以生 成一个挖掘模型，该模型可将每个客户消费金额与订单号码关联起来。 (3) 使用数据挖掘模型并创建预测结果 对模型进行处理，以使 Analysis servers 可将定型数据传递给算法来填充模 型。通过刷新数据或者完全处理来进行处理。处理之后可以调查结果并确定性 能最佳的模型，通过数据挖掘查看器来浏览数据挖掘模型。此实例的目的是使 用数据挖掘来创建预测以其发现与销售量相关的因素从而给医药企业提供决策 支持。创建挖掘模型显示结果如（图 3.11）所示： 图 3.11 挖掘结果显示 从直方图可以看到 France, Germany, USA 三国事例最多及订货可能性也较 大，这说明购买力与国家的经济状况 GDP 和医疗保障制度有关系，因此可以预 测经济状况好，医疗保障制度强的国家的人民购买力强，医药行业应该考虑这 些因素具备的国家来进行投资，这样可以为企业的发展提供更好的战略思想从 而提高企业的利润率。 根据不同的用户系统有不同的预测结果。首先从上述的数据仓库中的客户 表中进行分析，应用决策树算法具体分析哪些客户可能选择金卡成为忠实的客 户。选出表 Customers 来确定所有的用户中会员卡的分部情况，如 (图表 3.1)所 示 图表 3.1 所有顾客会员卡类型分布情况 图表 3.1 表示所有持有会员卡用户的情况，可以看到大部分顾客是持有普 通卡和铜卡。为了更进一步了解什么样的客户会选择什么样类型的卡，以及什 么样的客户将会有可能换卡，我们在树的第一层次由“月收入”属性来决定， 树的组织由决策树算法来决定，其基础是该属性在输出中的重要性。下面图表 就是根据月收入以及客户购买情况所分析客户持有卡类的结果(图表 3.2 和图表 3.3)： 图表 3.2 月收入在（$1000$1100）顾客会员卡卡类及购买情况 图表 3.3 月收入在（$1100$1200）顾客会员卡卡类及购买情况 从两个（图表 3.2,图表 3.3）中大致可以看出收入在大于等于$1000 的客户 中持有金卡和银卡的客户较多而且购买力也很强，所以说持卡类别以及购买量 与客户的收入有关。再通过所建立的输入列来看相关性网络如(图 3.12)所示， 会员卡类型（Card）与消费额（Freight）属性和客户所在城市(country)属性以 及月收入多少有直接关联,并且随着连接的逐渐变强，关联度的箭头也有不同的 变化，首先消失的是 Freight 与 card 相连接的箭头，表明这一属性在三者之间 起决定因素最弱。客户所在国家的经济状况以及医疗保险制度会影响到客户选 择会员卡的卡类，在分析中看到，在 USA、Germany 、France、Sweden 国家中 持有金卡和银卡的比例最多，以现有的数据中得到的数据金卡持有比例分别是： 28.6%、12.78%、27.81%、94.9%。 图 3.12 Card 相关性网络 根据上述结果提出两点医药企业改善客户关系的对策：一、对持有不同