背景知识and数据挖掘前准备etc.ppt

数据挖掘技术在大型零售书店的若干应用,1.3 零售图书业数据挖掘的应用前景 应用计算机之前： 所有业务都是手工处理； 图书管理方式：卡片处理； 卡片的查询：四角号码； 应用计算机之后： 初期： 减轻劳动量为目的； 对每种图书建立了资料，代替原来的卡片； 慢慢地，POS机，条形码、编码技术、基于POS Server的信息管理系统、财务管理软件陆续进入零售图书业。,在零售图书应用领域，利用数据挖掘将会在很多方面有卓越表现： 、了解销售全局； 、图书分组布局； 、降低库存成本； 、市场和趋势分析； 、有效的图书促销；,第七章 功能： 传统的统计分析： 销售统计分析； 采购统计分析；,Web挖掘技术实现： 购物篮分析； 客户流失分析； 客户细分； 促销分析； 个性化推荐分析,基于WEB数据挖掘技术的书店电子商务系统的设计与实现,购物篮分析中若干问题的研究,零售业： 收集了大量的数据： 销售数据、顾客购买历史数据、商品运输数据、消费服务记录etc； 数据分析可以： 识别顾客购买行为、发现顾客购买模式、购买趋势、提高顾客服务质量etc； 应用实例： 设计、构造面向零售业数据挖掘的数据仓库； 销售、顾客、产品、时间、区域的多维数据分析； 销售策略效果分析； 顾客忠诚度分析； 购买推荐etc.,数据挖掘面临的挑战： 人们对数据挖掘寄予了太高的期望； 目前数据挖掘系统只建立了一些通用的算法，而人们的需求多种多样、复杂多变，还包含了复杂的专业背景知识。 数据挖掘与用户目标出现了脱节的现象； 数据挖掘专家专注于从一大堆他并不熟悉的数据中挖掘他也不知道是否有用的知识，为了不遗漏，他们总是尽可能的挖掘出所有的知识。这样就带来的大量的冗余知识。用户必须从中筛选出对他有用的，大大加重了用户的负担。,数据挖掘技术在图书馆信息服务中的应用,1.3个性化信息服务是图书馆发展的要求 传统的信息服务方式已不能满足读者的需要，资源数字化及个性化推荐系统的建立已成为发展趋势； 个性化服务：通过对用户个性、使用习惯的分析主动地向用户提供和推荐其可能需要的信息； 个性化信息服务内容： 个性化Web网页定制； 信息主动推送服务； 图书馆个性化服务系统MyLibrary； 专业化网上定题信息服务等等。 1.4关联分析在图书推荐服务中的作用 传统的检索： 输入关键词后浏览信息； 需要读者具备相关专业的知识，对自己的需要有着明确的认识；,图书推荐服务： 采取主动的方式，向读者提供他可能感兴趣的信息； 降低了对读者的要求； 节约了读者寻找资料的时间，同时提供了更丰富的信息； 4 结语 数据挖掘技术应用于图书推荐服务，比传统的检索服务有更大优势； 这种图书推荐模型可以应用于其他相近领域，例如书店、网络文献数据库等等； 最小支持度和最小置信度的选择会影响到处规则的数量和规则涉及概念层的高低，权重计算公式的确定也会影响项集的支持度。,数据挖掘技术及其在高校图书馆中的应用,2 数据挖掘在高校图书馆的应用 高校图书馆的自动化系统积累了历年采访编目、借阅流通状况、检索请求及馆藏书目库等海量数据，为数据瓦局提供了丰富的资源； 识别读者的借阅行为，发现读者的借阅模式和趋势，为读者提供个性化的信息服务，达到更好的读者保持力和满意程度； 为图书馆的决策、管理及建设发展提供信息资源与服务； 具体应用举例如下： 2.1读者借阅趋势分析 分析读者的节约变化，然后对文献资源加以调整； 对于借阅频率大且连续续借的数目，应增加复本，以提高服务质量； 2.2书库管理中的应用 图书的剔旧和大量新书入库都会让书库经常倒架排列，而增加工作人员的工作量；,可以利用数据挖掘技术对历年相关数据进行分析，预测较大的图书种类并为其预留架位； 2.3借阅推荐 可挖掘关联信息：借阅某种文献的读者很可能借阅其他一些文献，可形成一定的借阅推荐； 借阅推荐可在高校图书馆网站上宣传，帮则读者选择文献，增加读者对文献资源的使用率； 2.4文献资源的优化配置 由于经费有限，各门学科之间如何配比、各种文献载体形式如何均衡采购很重要； 通过对流通记录、检索请求及馆藏书目库进行分析和挖掘，就能有针对性地补充、丰富、优化馆藏资源； 2.5提高参考咨询服务的效率和质量 将提问者提出的问题和解答者对问题的解答记录在数据库里，当未来读者提出问题时，参考咨询人员可利用数据关联规则，从数据库中挖掘出相关问题的答案结果，从而使读者可以快速收到最相似的问题答案。,关联规则挖掘在网上书店系统中的应用,4 关联规则在网上书店系统中的应用 在网上书店系统中可以进行关联图书的推荐； 在购进图书时要考虑产品的关联性（对于两种关联程度大的图书在库存数据上不应该相差太大）。,浅析数据挖掘技术及其在电子商务中的应用,3 数据挖掘与电子商务的关系 企业从中受益体现在以下四个方面： a.可以发现客户和访问者的爱好、生活模式； b.可以争取新顾客，怎样使产品适销对路、怎样给产品定价、怎样吸引单个客户、怎样优化网站； c.可以用相应的信息确定顾客的消费周期，针对不同的产品制定相应的营销策略； d.可以确定客户细分，为每一个客户的独特需求设计“量身定制”的产品。 4 数据挖掘在电子商务中的应用 数据挖掘能发现电子商务客户的共性和个性的知识、必然和偶然的知识、独立和关联的知识、现实和预测的知识等； 这些知识经过分析，能对客户的消费行为如心理、能力、动机、需求、潜能等做出统计和正确的分析，为管理者提供决策依据；,4.4关联规则在电子商务中的应用 分析网上顾客的购买行为； 帮助管理者规划市场； 确定商品的种类、价格、质量等； 关联规则通常分两类： 有意义的关联规则：满足最小支持度和最小可信度的规则； 泛化关联规则：更实用，因为研究对象存在一种层次关系（如面包、蛋糕属西点类，而西点又属于食品类），有了层次关系后，可以帮助发现更多的有意义的规则。,数据挖掘在网络营销中的应用,一、引言 网络营销： 利用Internet等网络进行的营销活动，是一种结合信息技术和营销理论的新型营销方式； 全天候、适时、互动：迎合了现代顾客个性化的需要特征； 网站构建：低成本、易维护、快速适应市场环境变化etc特征； 网络营销的无可比拟的优势：广域性覆盖全球，交流通畅；适时性即可到达，即时反馈；互动性客户参与，充分沟通；低成本建设及维护费用低；支持其他营销方式etc； 目前，我国网络营销发展的总体水平较低，仍停留在起步阶段； 大多数企业的网络营销仅仅是建立网站，而对网站、DB中大量的数据却视而不见，造成了网络营销资源的极大浪费，降低了网络营销的效果； So，如何从这些资源中挖掘出有助于提高网络营销效果、促进企业产品销售的信息，成为十分重要的研究课题。,三、网络营销中数据挖掘的一般过程,四、数据挖掘在网络营销中的应用 1、提供个性化服务 2、挖掘潜在的客户群体 3、交叉销售分析 4、用户需求预测 5、完善网站设计,二、数据挖掘技术 网络营销中： Web日志：蕴含着顾客的行为模式、市场的发展变化等信息； Web挖掘技术：对这些数据进行分析，可以： 挖掘客户的兴趣爱好； 根据访问情况，为客户提供个性化的信息服务； 挖掘客户的消费倾向和消费群体分布，从而制定一定的营销策略； 实现交叉营销； 发现数据之间的内在联系，从而对客户需求做出及时反应并进行未来预测； 了解用户的反应和动机以改进网站系统的设计； 监控竞争对手商品价格的波动，及时做出回应，使企业在激烈的市场竞争中占据有利地位。,浅析数据挖掘的研究现状及其应用,3、数据挖掘中存在的问题,1、数据挖掘的基本问题就在于数据的数量和维数，数据结构也因此显得非常复杂，如何进行探索，选择分析变量，也就成为首先要解决的问题； 2、面对庞大的数据，直接的想法就是对数据进行抽样。So怎么抽样，抽取多样的样本，如何评价抽样的效果，这些都是值得研究的问题； 3、既然数据是海量的，那么数据中就会隐含一定的变化趋势，在DM中也要对这个趋势做应有的考虑和评价； 4、各种不同的模型如何应用，其效果如何评价，这涉及到可靠性的问题； 5、如何进行互联网的数据挖掘，and文本等非标准数据的挖掘； 6、数据的私有性和安全性； 7、数据挖掘的结果是不确定的，要与专业知识结合才能对其作出判断。,数据挖掘也有它无法办到的事： 它不能告诉你某个模型对你的企业的实际价值：DM只是个工具，只是帮助商业人士更深入、更容易地分析数据，DM中得到的模型必须在现实生活中得到验证； DM不会在缺乏指导的情况下自动地发现模型：数据分析者必须知道你所选用的DM工具是如何工作的，采用的算法的原理是什么； DM永远不会代替有经验的商业分析师或管理人员所起的作用，它只是个强大的工具。 SO，DM可以发现一些有用的知识，但是不会告诉你为什么，也不能保证（eg:潜在的用户成为现实）。,数据挖掘的商务应用前景,一、数据挖掘商务应用的案例零售行业数据挖掘应用 3、数据挖掘应用结论 经分析得出，零售行业数据挖掘典型的应用领域包括： 客户市场细分：找到最优价值的客户群体； 库存管理：平衡库存量是所有零售商最基本工作； 促销的效果和运营效益； 供应链管理和优化。,三、实施数据挖掘项目需要的专家 1、领域专家 Eg:企业的营销主管或专家（help定义项目的方向和相关的背景知识） 一方面可让领域专家知道DM可以做哪些事情，不能做哪些事情，for数据挖掘不是万能的；,另一方面，可以让领域专家知道DM项目需要他们的参与和合作，他们的个人魅力和决策能力并不能被DM所取代，让他们不至于排斥DM； 领域专家的参与，对数据挖掘项目的重要作用有： 定义用于数据挖掘分析的有用的问题，可确定项目的大致方向； 选择潜在的相关数据来回答这些问题； 帮助形成对原始数据的感性认识； 帮助对挖掘结果的分析和对分析结果的表达； 吸收和采纳挖掘结果，做出决策，形成反馈（对挖掘结果的评估）。 2、IT专家/数据库专家 DM项目的成果与否在很大程度上取决与数据收集与数据准备的质量的好坏，so需要IT人员的参与，因为IT人员知道如何储存和存取数据； 现在很多企业开始建立数据库来实现对数据的有效管理，这更突出了IT人员的重要性。 3、数据分析专家/统计专家 数据的综合性、易用性、数据的质量和数据的时效性，这可能需要数据分析人员有高屋建瓴的战略眼光； 如何从现有数据中衍生出所需要的指标，这也主要取决于数据挖掘着的分析经验和工具的方便性。,数据挖掘技术发展及其应用,4、结束语 数据挖掘技术的发展以及给我们带来利益的同时，也不能忽略它存在的问题，如： 数据挖掘方法的效率还有待提高，尤其是超大规模数据集中数据挖掘的效率； 挖掘结果的无效性； 开发适应多数据类型，容噪的挖掘方法，以解决异质数据集的数据挖掘问题； 动态数据和知识的数据挖掘。,数据挖掘技术与读者个性化服务,一、数据挖掘技术的功能 、自动预测 、分析关联 、划分聚类 、概念描述 、偏差检测 也可见我的笔记：概念/类描述：特征化与区分、关联分析、分类预测、聚类孤立点、演变分析。,二、数据挖掘技术在读者个性化信息获取中的应用 、读者个性化信息概述（可通过读者模型来描述） 、读者个性化信息获取方法： 关联分析（零售业）； 组合分析法（人工神经元网络、决策树方法结合）； 分类填表法（读者信息的分类模型）； 智能代理方法（考察上网记录）。,Web 数据挖掘技术在网上书店中的应用,WWW：巨大的、分布的、异构的、半结构化的、动态的及基于超链接的超媒体文档构成的DB； Web数据挖掘技术在网上书店的应用： Web数据挖掘面临的问题 、非技术性问题 网页相关性分析（哪些网页具有密切关系，可加上链接）； 用户访问模式分析（把用户按行为模式分类）； 用户归类（根据用户填写信息分类，对同一类别的用户提供相似的服务）；,、技术问题 数据处理； 统计分析； 数据挖掘； 关联规则； 聚集（就是用户的聚类）； 归类（即用户的分类）； 序列模式； Web数据挖掘的分类 Web内容挖掘； Web使用模式挖掘； Web结构挖掘； PS：可见我的暑假笔记。,、 Web数据挖掘技术在网上书店中的应用 、源数据的收集 服务器端数据的收集（日志文件）； 包检测技术； 后台数据库里的原有数据（用户信息数据表、图书数据表、订单数据表。）； 、数据的预处理 可见我的笔记； 、数据挖掘阶段 确定目标样本； 提取特征信息； 网络信息获取； 信息特征匹配。,电子商务中WEB数据挖掘技术的应用,三类Web挖掘： Web内容挖掘； Web结构挖掘； Web使用模式挖掘。 数据源的收集： 服务器数据： Web日志文件； 查询数据； 用户登记信息： PS：有的客户不肯写部分背景信息，这种情况下，就不得不从客户的浏览行为中推测客户的背景信息。,Data mining techniques for customer relationship management,Old model: ”design-build-sell”（a product-oriented view） 旧模型： “设计建设卖出”（面向产品的观点） New model: ”sell-build-redesign” (a customer-oriented view ) 新模型： “卖出建设重新设计”（面向客户的观点） Sell prod