（计算机应用技术专业论文）协同过滤的研究及引擎的实现.pdf

摘要 摘要 随着网络技术的不断发展，电子商务网站越来越受到重视。作为企业对外的 一个门户或经营场所，如何有效地提高其产品的吸引力，获得尽可能多的效益， 成为商务网站所要解决关键问。个性化服务是解决这一问题的非常有效的方法。 协同过滤是目前广泛应用于电子商务系统中的个性化推荐技术。国外较早地开展 了这一方面的研究，提出了许多的过滤算法，并实现了一些商务推荐系统，在应 用中取得了不错的效果。在国内，这一方面的研究比较落后，应用于实际的系统 则异常少见。 本文首先介绍了电予商务的历史、发展现状，说明了为了推动电子商务发展 采用个性化手段的必要性。接下来对协同过滤的基本原理进行了简要的介绍，并 对几种比较常用的协同过滤算法进行了详细的说明。对一个实际的协同过滤系统 的组成及协同过滤中系统中可能存在的一些问题我们进行了讨论，并比较了协同 过滤与传统的基于文本过滤技术的优缺点。 本文着重讨论了一个协同过滤引擎的设计与实现，给出了系统的总体结构， 对系统的一些关键流程进行了详细论述。并对系统实现中如何提高系统性能，解 决系统死锁等难点进行了说明。最后采用了一组实验数据，对系统的性能进行了 测试，证明了系统具有良好的可配置性，推荐精度较高，有一定的价值。 关键字：电子商务、个性化、推荐系统、j a v a a b s t r a c t w i t ht h ed e v e l o p m e n ti n f o r m a t i o nt e c h n o l o g y , m o r ea n dm o r ea t t e n t i o n sa r ep a i d o ne - c o m m e r o o a sap o r t a lo fa l le n t e r p r i s e ，h o wt oi m p r o v ep r o d u c t s a t t r a c t i o ns o a st o i m p r o v et h ep r o f i t s b c m c st h ek e yp r o b l e mo fe - c o m m e r c ew e bs i t e p e r s o n a l i z e ds e r v i c ei sau s e f u lm e t h o dt oa d d r e s st h e s ei s s u e s c o l l a b o r a t i v ef i l t e r i n g i saw l d j u s e dm e t h o di se - c o m m e r c ew e bs i t e o na b r o a d t h er e s e a r c ha b o u t c o l l a b o r a t i v ef i l t e r i n gh a sb e e nc a r r i e do u tt e ny e a r sa g o ，m a n yc o l l a b o r a t i v ef i l t e r i n g a l g o r i t h mh a v eb e e nb r i n gf o r w a r d ，a n ds o m er e c o m m e n d a t i o ns y s t e mb a s e do n c o l l a b o r a t i v ef i l t e r i n gh a v eb e e nr e a l i z e d ，w h i c hp r o v e dt ob ee f f e c t i v e b u ti no u r c o u n t r y ，t h er e l a t e dr e s e a r c hi sc o m p a r a t i v el e s s ，t h ea p p l i c a t i o ns y s t e m sa r el e s s e r i nt h i sp a p e r t h eh i s t o r ya n dc u r r e n ts t a t eo fe - c o m m e r c ea r ef r s ti n t r o d u c e d w h i c hp r o v e dt h en e c e s s a r yt oa d o p tp e r s o n a l i z em e t h o di nt h ed e v e l o p m e n to f e - c o m m e r c e t h e nw ei n t r o d u c et h eb a s i ct h e o r yo fc o l l a b o r a t i v ef i l t e r i n g , a n ds e v e r a l f i l t e r i n ga l g o r i t h m sa l ea n a l y z e di l ld e t a i l a tt h es 咖ct i m e s o m ep r o b l e m sm a yc o m e a c r o s si nac o l l a b o r a t i v ef i l t e r i n gs y s t e ma l ed i s c u s s e d t h ee m p h a s i so ft h ep a p e ri sp u to nh o wt oi m p l e m e n taf l e x i b l ea n dh i g h p e r f o r m a n c ec o l ! a b o r a t i v ef i l t e r i n gr e c o m m e n d a t i o ns y s t e m t h ea r c h i t e c t u r eo ft h e s y s t e m i sf w s t i n t r o d u c e d ，a n dt h e nw ed e t a i ls o m ek e yp r o c e d u r eo ft h e r e c o m m e n d a t i o ns y s t e m i no r d e rt oi m p r o v et h ep e r f o r m a n c e ，w eb r i n gf o r w a r d s o m em e t h o dt or e d u c et h ed i m e n s i o no ft h er a t i n gm a t r i x ，a n ds o m eb u f f e r i n g m c c h a n i s t ha r ei n t r o d u c e d ，w h i c ha c c e l e r a t et h er e c o m m e n d a t i o nw i t hf e wa c c u r a c y l o s t f i n a l l y ，s o m ee x p e r i m e n t sa r ed n s i g n ，a n dt h er e s u l to ft h ee x p e r i m e n ti s a n a l y z e d , w h i c hs h o w st h es y s t e mi su s a b l e k e y w o r d s ：p e r s o n a i i z e d r e c o m m e n d a t i o n s y s t e m s ， c o l l a b o r a t i v e f i l t e r i n g , e - c o m m e r c e ，j a v a 昆明理工大学学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下进行 研究工作所取得的成果。除文中已经注明引用的内容外，本论文不含 任何其他个人或集体已经发表或撰写过的研究成果。对本文的研究做 出重要贡献的个人和集体，均已在论文中作了明确的说明并表示了谢 意。本声明的法律结果由本人承担。 学位论文作者签名：劣、天斌 日期：三。o 占年莎月7 日 关于论文使用授权的说明 本人完全了解昆明理工大学有关保留、使用学位论文的规定，即： 学校有权保留、送交论文的复印件，允许论文被查阅，学校可以公布 论文的全部或部分内容，可以采用影印或其他复制手段保存论文。 ( 保密论文在解密后应遵守) 导师签名： 日 期：2 11s 生 丘月2旦 昆明理t 大学硕士学位论文 1 1 项目背景f 1 】 第一章绪论 随着社会信息化不断推进，随着国际互联网的迅速发展，人们对网络服务 内容和质量的需求日益增长，广大电视观众己不再满足被动地接受传统广播电 视影视服务，要求充分利用有线网络宽带的优势，拓宽电视的服务内容和服务 领域，提供以自选方式为主的互动点播新闻、娱乐、教育、咨询、医疗、购物、 视屏通讯等内容更为丰富且形式更加生动的新型视讯增值服务媒体。 由于有线电视服务普及率高、铺盖面广，商家和企业都希望能在有线电视 上建立一个开放互动、能满足个性化服务要求、功能齐全、在一定地域内提供 交易所需各项配套服务的电视网络交易平台，使商家能向广大有线电视消费者 提供直接的商业服务。 另外，各广播电视网络公司也希望有一个能对各类增值服务项目进行开发 和维护的通用平台，以减少新增增值服务的开发工作量、缩短开发周期、降低 开发成本 “昆明有线电视宽带网互动开放服务平台”正是针对以上需求提出的。该 项目已于2 0 0 1 年通过云南省专家委员会评审，获得云南省科技厅信息网络专项 资助该项目主要解决减少新增增值服务的开发工作量、缩短开发周期、降低 开发成本的闯题，建立一个能对各类增值服务项目进行开发和维护的通用服务 平台。 “数字电视网上购物子系统”是上述项目的一个子课题，旨在为数字电视 网上购物用户提供一个方便快捷的网上购物站点。本论文就是针对构建良好的 购物环境。使系统更为友好，并为客户提供个性化服务而提出的。它通过收集 客户的购物或是网页铡览信息，从中提取用户的偏好特征，为不同的用户提供 针对其兴趣的个性化推荐列表，大大减少用户获取有价值信息所耗费的时间， 同时能使用户方便且比较准确地找到心目中理想的商品，从而达到个性化服务 的目的，最终提高系统的价值。 1 2 当前研究现状 电子商务个性化的研究在国外起步得比较早，研究面比较广，研究得也比 协同过滤的研究及引擎的实现 较深入。 理论方面，在2 0 世纪9 0 年代初，国外就已经开始了基于用户个性化信息 的研究，最初是用于在电子邮件的过滤中。在那之后，各种推荐算法不断出现， 例如基于皮尔森相关系数的协同过滤算法、基于余弦相似性的算法、调整余弦 相似性算法等等，这些算法都是以顾客为中心的。为了解决随顾客增加而产生 的计算复杂度增加所面临的问题，又产生了各种用于降低运算矩阵维数的方法， 如采样方法、奇异值分解法( s v d ) 。 另一方面，从商品的角度来看，根据各个商品间的内在联系，出现了一些 基于商品间相似性的推荐算法，这些方法根据用户的评价信息，将商品当作计 算主体，计算出商品闻的相似性，进而根据这些商品间的相似性进行推荐。 许多国外的研究机构和大学都加入到了这些研究之中，如美国明尼苏达大 学计算机科学与工程系的g r o u p l e n s 研究小组，他们专门从事过滤算法与推荐 系统等方面的研究，并且架设了一个电影推荐网站：h t t p ：m o v i c l e n s u m l l c d u 。 用户可以在这个网站上注册，注册后通过对一些以前看过的电影进行评价，当 达到一定的评价数之后，系统会为用户生成推荐列表。更为重要的是，这个研 究小组收集了上万用户的评价数据，在对这些评价数据经过整理之后， g l r o u p l c n s 研究小组将它们免费提供，这就是协同过滤领域著名的m o v i e l e n s 数据集i z 】。现在这个数据集有两个版本，一个包含1 0 万条评价记录，另一个 数据集包含1 0 0 万条评价记录。研究者可以在这两个数据集上进行各种算法的 实验，对各种算法的性能进行评判。同样的还有u cb e r k e l e y 的a l p a hl a b ，他 们的j e s t e r2 根据所收集的用户评价信息推荐笑话，同时他们也提供相应的评价 集甩予系统铡试。这些无偿提供g 数据集在很大程序上促进了协同过滤的发展。 与此同时，许多的基于协同过滤的推荐系统也被研制出来，如m o v i e f i n d e r 、 w e b h u n t c r 等等。 在国外，实际应用中利用个性化推动企业电子商务开展的事例不胜枚举。 例如著名的网上商店a m a z o n 0 0 1 1 1 ，在顾客j 变册时，会要求他们先提供对某些 商晶的评价信息，这些评价信息按星级组织。从一娶级到五坚级，分别表达了 顾客对这些商品的满意程度，当用户的评价信息达到一定的数量之后，系统会 生成一个推荐列表，里面包含了顾客可能感兴趣的商品信息。另外一方面，当 用户在购物车中放入定的商品，准备付款时，系统会根据当前购物车中的商 品，推荐与这些商品最相似的其它商品，因为顾客可能会对这些商品也感兴趣。 通过这些个性化手段，一方面大大地方便了顾客购物过程，使他们比较容易地 发现心目中理想的商品；另一方面，对a m a z o n c o l l q 来说，因为购物环境更为 昆明理= 【大学硕士学位论文 轻松、友好，提高了顾客满意度，因而也提高了商品销售量、增加了盈利 我国的电子商务应用，经历了从1 9 9 6 年以来近1 0 年的发展，已经具备了 良好的基础条件。党中央和国务院高度重视电子商务的发展。国务院副总理、 国家信息化工作领导小组组长吴邦国在给第四届国际电子商务大会发来的贺辞 中指出：大力发展电子商务是推进国民经济信息化的重要内容。现阶段我国电 子商务尚处于起步阶段，要按照社会主义市场体制的要求，充分运用市场机制， 发挥企业的积极性，促进电子商务发展【3 】。 目前，政府上网工程已经取得了很大成绩，政府机关带头接入互联网，并 利用互联网进行政府采购，无疑是对电子商务应用的有力示范。企业上网工程 已经正式启动，这项工程将促进我匿经济结构的调整和产业升级，有利于建立 现代企业制度、转换经营机制，有利于提高企业的管理水平和国际竞争能力， 开创国有企业改革和发展的新局面1 3 l a 随着电子商务的逐步发展，个性化服务也在国内电子商务领域初见端倪。 不少企业已经十分注重通过个性化来提高电予商务的竞争力了。在我国利用个 性化推动电子商务开展的典型莫过于海尔集团了。海尔的成功很大程度上归功 予服务，个性化服务是其制胜的撒手锎“。该公司不仅建立了具有个性化的电 子商务网站，更重要的是还通过网站来满足客户个性化的需求。目前海尔公司 有冰箱、空调、洗衣机等5 8 个门类的9 2 0 0 多个基本产品类型和2 万多个基本 功能模块，经销商和消费者可以在海尔提供的电子商务平台上，有针对性地将 这些“素材和“佐料”进行组合，并产生出独具个性的产品。实践证明海尔的探 索是成功的1 4 j 。 但是，总的来说，国内的电子商务个性化还处在一个初期阶段，大部分的 商务网站基本上都没有任何的个性化手段，大多都只提供基于关键字的搜索这 样一些简单的辅助手段。在理论研究上，也处于一种比较落后的状况，大都是 在已有的算法进行相应的改进，以提高算法的推荐精度或是解决算法中的一些 缺陷( 如数据稀疏、冷起动等) ，但是实际上研制的个性化服务系统并不多， 用于实际的则更少。 无论从国外还是国内来看。电子商务的个性化服务已经成为一种现实，一 个重要的研究课题。因此，全面地研究电子商务的个性化需求，已经成为一种 必然。 3 协同过滤的研究及引肇的实现 1 3 研究设想与研究方法 电子商务个性化是指电子商务企业向客户提供个性化的服务。主要包括三 个方面的内容：一是需求的个性化定制。由于自身条件的不同，客户对商品和 服务的需求也不尽相同，因此如何及时了解客户的个性化需求是首要任务。二 是信息的个性化定制。互联网为个性化定制信息提供了可能，也预示藿巨大的 商机。华尔街时报很早推出的个人电子报纸就是一例。互联网最大的特点是实 时、互动，随着网络互动电视的发展，消费者不仅可以实现电视点播，而且还 会促使个人参与到节目的创意、制作过程中。三是满足个性化商品的需要。消 费者将不再只是被动地接受，商家也不仅仅是提供多样化的选择范围了事。特 别是技术含量高的大型商品，消费者将把个人的偏好参与到商品的设计和制造 过程中去。 本文主要论述如何为顾客提供个性化的服务信息这一方面。通过了解与研 究现有的各种协同过滤算法，了解它们的工作原理与各自的优缺点，在此基础 上，实现一个协同过滤引蘩。通过一些配置，在不进行重新编码的情况下，可 以对系统的一些具体参数避行调整，以使系统能在不同的应用下通过这些配置 进行调整，以达到最优化。同时，在系统的实现中通过一些降维手段，在基本 上不损失推荐精度的情况下，降低系统的运算复杂度，从而使该系统尽可能满 足在线推荐的需要在系统实现的基础之上，我们采用协同过滤领域通用的评 价标准m a e ( 平均绝对误差) ，在m o v i e l v n s 数据集上，对系统的各种性能进 行测试，以确定该系统的实现是可以满足现实需要的。 1 4 论文的组织结构 本论文共分八章，第一章是绪论； 第二章，电子商务及其发展趋势。对电子商务的及其发展趋势进行了一些 讨论： 第三章，协同过滤及的基本原理。从整体上介绍协同过滤的基本思想、对 一些常用的协同过滤算法进行了介绍： 第四章，协同过滤组成及在应用中要注意的一些问题。主要介绍一般的协 同过滤系统的组成部分，并对各部分的功能进行简要说明。另外，针对过滤系 统在实际应用中的一些问题，如评价信息的获取进行了讨论； 第五章，系统的设计与实现。对我们所实现的协同过滤引擎的设计目标、 4 昆明理t 大学硕士学位论文 系统的结构进行了说明，并对系统的内部组成及一些工作流程进行了详细的解 释。： 第六章，系统实现中的几个问题。对系统实现过程中的一些关键问题进行 了阐述，包含数据库连接池的使用，死锁的引发原因及其解决办法，以及如何 实现读写锁来提高系统的性能； 第七章，实验结果与分析。介绍了几种常用的协同过滤系统评价标准。通 过选择一个比较通用的实验数据集，在其上进行各种实验，来证明系统的有效 性： 第八章，结束语。对全文进行了回顾，总结了本文的成果与不足，并对将 来的进一步工作进行了展望。 5 协同过滤的研究及引擎的实现 第二章电子商务概述 2 。1 电子商务的历史、发展现状【1 人类社会跨入新千年，正从工业时代迈向信息时代。信息化加速了经济全 球化，使人类生产和生活方式发生深刻变革，是当今世界发展的大趋势。在信 息化和经济全球化的大潮中，电子商务以高效、便捷、规范的优势，以全新商 务理念、商务手段和商务环境脱颖而出，成为信息化的一个重大领域。 电子商务是利用当代计算机技术、网络通讯技术、多媒体技术、i n t e r n e t 、 i n t r a n e t 、e x t r a n e t 等技术实现各种商务活动的电子化、信息化、数字化、无 纸化和国际化。随着i n t e r n e t 的飞速发展，使得电子商务的实现变为可能。 i n t e r n e t 以其标准化、全球化、全民化、迅猛发展等特点成为了电子商务的基 础。电子商务活动已经演变成了利用i n t e r n e t 网络进行经济活动的网络经济。 从狭义上说，电子商务就是电子贸易，主要指利用w e b 提供的手段在网上进行 电子交易，包括通过i n t e r n e t 买卖产品和提供服务。从广义上说，电子商务还 包括企业内部的商务活动，如生产、管理、财务以及企业闻的商务活动。按照 i b m 的观点，e - b u s i n e s s = n e t + i t + b u s i n e s s 。也就是说，电子商务是网络 加上i t 技术再加上实际的商务行为。其中网络是指i n t e r n e t 、i n t r a n e t 、 e x t r a n e t 、c a b l e 、r a d i o 等。i t 技术则更多的指的是传统的i t 应用。 l 、全球电子商务发展现状 电子商务一诞生就以超常速发展，销售额成倍增长。1 9 9 4 年全球电子商务 销售额仅为1 2 亿美元，1 9 9 7 年即达到2 6 亿美元，1 9 9 8 年销售额竟高达5 0 0 亿美元，比1 9 9 7 年增长了近2 0 倍。2 0 0 0 年更猛增到3 0 0 0 亿美元。 同时，电子商务交易额的增长也十分迅猛。北美地区在线零售额以每年翻 三番的速度增长。欧洲的电子商务虽比美国起步晚了1 8 个月，但不甘落后，奋 起直追。据f o r r e s t e rr e s e a r c h 的报告预测：从2 0 0 0 年到2 0 0 4 年，欧洲国家 的电子商务贸易总额将以每年1 0 帆的速度增长，并在此后4 年内达到贸易总额 1 6 0 0 0 亿欧元的水平，约占欧洲贸易总额的6 。亚太地区信息产业发达的日本、 新加坡和韩国，电子商务发展也是如火如萘。 从世界范围来看，电子商务的比例在全部商务中的比例越来越大，发展电 子商务已成为各企业生存和发展的必经之路。 昆明理工大学硕士学位论文 2 中国电子商务发展现状 我国的电子商务发展始于九十年代初期，1 9 9 8 年我国电子商务得到了空前 的发展。从i b m 的“电子商务大会”到各种名目的电子商务研讨会，从外经贸 部的“中国商品交易市场”、“首都电子商务工程”到以电子贸易为主要内容 的“金贸工程”，有关电子商务的活动和项目大量涌现。经过了十几年的努力， 我国的电子商务从一开始的步履维艰刭目前的蓬勃发展。 2 2 电子商务的分类 按电子商务参与对像的关系不同，电子商务可以分为以下几种类型 1 企业对个人的电子商务( b 2 c ) ：企业对个人的电子商务是人们最熟悉的一 种商务类型。近年来，随着i n t e r n e t 技术的兴起，出现了大量的网上商店， 由于i n t e r n e t 提供了双向的交互通信，网上购物不仅成为了可能，而且成 为了热门。由于这种模式节省了客户和企业双方的时间、空间。大大提高了 交易效率，节省了各类不必要的开支。 2 企业对企业电子商务( b 2 b ) ：在电子商务中，公司可以用电子形式将关键 的商务处理过程连接起来，以形成虚拟企业。在这种环境中，很难区分哪家 公司正在进行商务活动。一家公司在一台p c 机或移动式电脑上按下一个键 就有可能影响一家处于地球另一端的供货公司的业务活动。尽管目前网上企 业直接面向客户( b 2 c ) 的销售方式发展势头强劲，但为数众多的分析家认 为企业阃的商务活动更具潜力。 3 个人对个人的电子商务( c 2 c ) ：个人对个人的电子商务是一种比较特殊的 电子商务，是指不同的个人道过互连弼实现商务过程。 4 企业内部的电子商务企业内部网( i n t r a n e t ) 是一种有效的商务工具，它可 以用来自动处理商务操作及工作流，增加对重要系统和关键数据的存取，共 享经验，共同解决客户闯题，并保持组织间的联系。一个行之有效的企业内 部网可以带来如下好处：增加商务活动处理的敏捷性，对市场状况能更快地 做出反应，能更好地为客户提供服务。 本文所研究的协同过滤引擎，主要针对上述第二种类型的电子商务，即企业 对个人的电子商务。 7 昆明理工七学硕士学位论文 2 中国电子商务发展现状 我国的电子商务发展始于九十年代初期，1 9 9 8 年我国电子商务得到了空前 的发展。从i b m 的“电子商务大会”到各种名目的电子商务研讨会，从外经贸 部的“中国商品交易市场”、“首都电子商务工程”到以电子贸易为主要内容 的“金贸工程”，有关电子商务的活动和项目大量涌现。经过了十几年的努力， 我嗣的电子商务从一开始的步履维艰到目前的蓬勃发展。 2 2 电子商务的分类 按电子商务参与对像的关系不同，电子商务可阱分为以下几种类型 1 企业对个人的电子商务( b 2 c ) ：企业对个人的电子商务是人们最熟悉的一 种商务类型。近年来，随着i n t e r n e t 技术的兴起，出现了大量的网上商店， 由于i n * c e r n e t 提供了双向的交互通信。网上购物不仅成为了可能，而且成 为了热门。由于这种模式节省了客户和企业双方的时间、空间。大大提高了 交易效率节省了各类不必要的开支。 2 企业对企业电子商务( b 2 b ) ：在电子商务中，公司可以用电子形式将关键 的商务处理过程连接起来，以形成虚拟企业。在这种环境中，根难区分哪家 公司正在进行商务活动。一家公司在一台p c 机或移动式电脑上按下一个键 就有可能影响一家处于地球另一端的供货公司的业务活动。尽管目前网上企 业直接面向客户( b 2 c ) 的销售方式发展势头强劲，但为数众多的分析家认 为企业闯的商务活动更具潜力。 3 个人对个人的电子商务( c 2 c ) ：个人对个人的电子商务是一种比较特殊的 电子商务，是指不同盼个人通过互连两实现商务过程。 4 企业内部的电子商务企业内部网( i n t r a n e t ) 是一种有效的商务工具，它可 以用来自动处理商务操作及工作流，增加对重要系统和关键数掘的存取，共 享经验，共同解决客户闷题，并保持组织间的联系。一个行之有效的企业内 部网可以带来如下好处：增加商务活动处理的敏捷性对市场状况能更快地 做出反应，能更好地为客户提供服务。 本文所研究的协同过滤引擎，主要针对上述第二种类型的电子商务，即企业 本文所研究的协同过滤引擎，主要针对上述第二种类型的电子商务，即企业 对个人的电子商务。 协同过滤的研究及引擎的实现 2 3 电子商务特点 首先看一下i n t e r n e t 时代的特点，第一是全球化：由于i n t e r n e t 技术在全 球范围内得到普及，因而i n t e r n e t 可以提供全球范围内的交互，无处不在。因 此商家要上网做生意的话，理论上面对的是全球的供应商或客户。第二是个性化： 由于人们可通过各种终端设备女n p c 、手机、p d a 等上网享受i n t e r n e t 上提供的服 务，省去了中间环节。并且i n t e r n e t 也可以把个人的资料记录在案，因此 i n t e r n e t 为个性化的服务提供了方便。第三是低成本，i n t e r n e t 省去了中间环 节，通过高效的信息传递手段，使得上阏业务的运行成本大大降低。第四是持续 不断的发展：i n t e r n e t 以其巨大的好处为全世界带来了革命，目前正成爆炸性 增长势头。 i n t e r n e t 及其上的各种应用系统将会得到持续不断的发展。鉴于i n t e r n e t 的上述特点，如果在其上进行电予商务活动，则可表现出如下特点： 电子商务能够使商家和企业通过网上销售“卖”向全世界，能够使顾客和消 费者足不出户“买”遍全世界。 电子商棼可以实现在线硝售、在线购物、在线支付，使商家和企业及时跟踪 顾客的购物趋势。 商家和企业可阻利用电子商务在网上广泛传播自己的独特形象。 商家和企业可以利用电子商务，同合作伙伴保持密切的联系，改善合作关系。 通过电子商务，可以为顾客提供及时的技术支持和技术服务，降低服务成本。 通过电子商务，可以促使商家和企业内部之间的信息交流，内部与外部的信 息交流，及时得到各种信息，保证决策的科学性和及时性。 通过互联网，商家与顾客之间的关系不再是由商家到顾客的单向运动，而是 双向的互动。它既可以超越面对面的接触，从而得到更准确的信息，又可以 运用网络的即时特性源源不断地交换信息。而对于企业自身来讲，互联网的 互动性还表现在可以将公司职员由内部网络联结起来，以及与供应商相互沟 通 通过互联网技术，就能使个人、商业企业和各种组织能在世界任何地点、任 何时间以很快速度在网上进行对话和交流，这就是即时交流。用户可以随时 并立即进入互联网，公司可以迅速修改有关产品、价格和服务的信息，消费 者也可以立即得到闻题的答复，这一切都可在几秒钟内完成。 不同于任何区域性的技术，互联网的出现使世界一时问变小了。只要是在网 8 昆明理工大学硕士学位论文 上的信息，都可能成为全球共享的信息，只要是上网的人，都有可能成为潜 在顾客。互联网涉及的范围之广是任何其它媒介都不可比拟的。不仅如此， 地点的远近不再成为阻碍信息传递及销售网络建立的因素。 互联网是天然廉价的营销渠道，利用它可以省却大笔建立销售网点所需的 费用，而且，涉及的范围越广，单位成本越低。互联网还是最省钱的广告媒介， 比起传统的电视、广播、报纸、杂志来说，互联网实在是物美价廉。同时，由 于互联网的应用，在企业内部代替了备忘录和纸张报告，管理费用也随之降低。 2 4 电子商务个性化 4 】 2 4 1 电子商务需要个性化 创新是经济发展的动力。电子商务本身是经营方式创新的结果。随着电子 商务的发展，其本身也有个创新的问题。邦种千篇一律的电子商务模式和忽视 客户需求差异性的服务显然已经不能适应信息时代的需求。电子商务个性化的 原因主要有以下几个方面： 首先，电子商务个性化是企业创造竞争优势的重要手段。如今，在产品、 价格乃至广告都无可奈何地同质化的今天，差异化竞争显得非常重要，这对于 产品同质化程度较深、竞争异常激烈的r i 行业来说尤甚。而个性化是体现差异 化竞争优势的最好方式，实施电子商务个性化则有助于提升企业的核心竞争力。 其次，消费者的需求个性化是企业电子商务个性化的推动力。网络经济的 发展使消费者的需求趋于个性化。由于阿络经济时代是以高新技术及现代电予 技术为基础，使消费者受教育程度及文化水平普遍提高，使消费者需求的消费 行为趋于个性化，而网络经济带来的科技创新又引导着需求个性化的发展。消 费者需求已经个性化了，对于为适应消费者需求的电子商务还有什么理由不进 行个性化昵? 一 再次，电子商务个性化是电子商务自身发展的内在要求。随着电子商务的 不断发展，一些生产型、制造型和加工型传统企业开始打造自己的电子商务平 台，但由于这些企业无论是从业务环节还是各环节业务的本身复杂程度上，都 远远高于纯贸易型和销售型公司，因此这种通过商务门户仅仅完成前端的简单 交易，已经不能满足这些企业对电子商务的要求。试想，如果一个企业通过自 己的电子商务门户获得大量的产品订单的时候。却不能等同于获得订单的速度 9 协同过滤的研究及弓l 擎的实现 去得知自己的库存情况，不能快速的制订相应的生产计划，必然会浪费大量产 品订单并且会比传统交易手段更快的失信于客户。因此，这些传统企业更需要 一种能将企业内部的各业务环节与外部的供应商、客户、合作伙伴等紧密结合 的电子商务平台。 此外，个性化也是中国企业个性特征的客观要求。中国企业有着明显的行 业个性特征，不同行业的商务标准和管理模式都存在很大的差异；同行业的不 阿企业的商务运作及管理手段仍然存在不小的个性差异，如：有的企业存在赊 销业务，有的存在易货，这些都充分说明了企业之问的差异性：中国企业的人 员配备方面存在不足，具有完全支持企业全面电子商务正常运转的人力，明显 不够。这也充分说明企业必须结合自己的人员配备状况出发，构建自己的个性 化电子商务。 2 4 2 个性化推动电子商务的发展 个性化电子商务在国内外已渐成潮流，成为推动电子商务发展的加速器。 如今，无论那个专业服务提供商均宣称“能提供个性化电子商务解决方案”，丽 且一些开展了电子商务的企业也纷纷打出了个性化服务这张王牌。 在国外，利用个性化推动企业电子商务开展的事例不胜枚举。列维斯特劳 斯是美国一家著名的牛仔服装生产厂商。由于人们的身材千姿百态和审美的差 异，使服装成为个性化程度最高的一种商品。现在它采用顾客定义技术，顾客 只需在公司互联网弼页上输入自己需求的尺寸、颜色、面料等信息，该公司便 可在3 周内送货上门。因此，公司既没有库存也没有销售成本，其经济效益可 想而知。又如，当今 界炙手可热的d e l l 公司，自1 9 9 0 年以来，股票增长 了8 7 0 0 0 1 其实，把该公司引向峰巅的理念的就是个性化：按照客户的要求 生产计算机，并向客户直接发货。如d e l l 公司为福特公司不同部门的员工设 计了各种不同的配置，当通过福特公司内联网接到订货时，d e l l 公司马上就 知道订货的是哪个工种的员工，他需要哪种计算机，d e l l 公司便组装合适的 硬件和软件，很快送到客户手中。这种电子商务的个性化是推动d e l l 发展的 原动力。再如最近美国“全七技术”公司开发出了个性化电子邮件系统，利用这 种系统，发出的电子邮件将携带公司标志、公司信息菜单和发件人的电子名片 等内容。这种技术改变了电子邮件桔燥呆板的形象，在提高公司的知名度的同 时又可提高以电子邮件为手段的电子商务质量 在国内，个性化已在电子商务领域初见端倪。很多企业已经十分注重通过 1 0 昆明理工大学硕士学位论文 个性化来提高电子商务的竞争力。在我国利用个性化推动电子商务的典型莫过 于海尔集团了，海尔的成功很大程度上归功于服务，而个性化服务便其制胜的 “撒手锏”。该公司建立了具有个性化的电子商务网站，更重要的是通过网站来 满足客户个性化的需求。目前海尔公司有冰箱、空调、洗衣机等5 8 个门类的 9 2 0 0 多个基本产品类型和2 万多个基本功能模块，经销商和消费者可以在海尔 提供的电子商务平台上，有针对性地自由地将这些“素材”和“佐料”进行组 合，并产生出独具个性的产品。实践证明海尔的探索是成功的。又如旨在为中 国的企业和政府提供智能化和个性化的电子商务解决方案的提供商一蓬天信 息系统( 北京) 有限公司，曾与s i l v e r s t r e a l n 软件公司共同为泰康人寿保险股 份有限公司成功建立了中国首家网上保险公司“泰康在线”。泰康人寿建立了 个性化的电予商务平台，为其实施电子商务的个性化打下了基础。泰康在线采 用的e p o r t a l 解决方案，通过制定一定的商业规则从而不断积累对用户的个性化 描述，并以此为基础向每一位用户推送对其有价值、感兴趣的个性化信息和服 务。例如，对于一个收入不太高的2 5 岁的年轻客户，系统会为他推荐一个保额 比较低的个人投保方案；而对于一位4 5 岁的中年男性，一个包括家庭成员的综 合投保计划将会自动生成。 执同过滤的研究及引擎的实现 第三章协同过滤基本原理 3 。1 协同过滤的出现 3 1 1 信息超载【6 】 随着网络技术以及企业数字信息化程度的不断提高，电子商务的应用越来 越受到重视，电子商务网站已不再只单纯作为企业对外的一个门户，而成为了 企业进行经营的场所。如何在电子商务网站上有效地提高产品的吸引力，使企 业获得尽可能多的效益，如何使用户面对电子商务网站提供的上万甚至上百万 种产品时，更好地选择到自己满意的商品，这一些问题随之而涌现出来，这些 问题，即是所谓的“信息超载”问题。 3 1 。2 解决信息超载的几种手段 解决信息超载问题常用的技术有如下几种，每一种技术解决这一问题的侧重 点有所不同，但都为用户提供有效的推荐起了一定的作用。 l 、信息检索( i n f o r m a t i o nr e t r i e v a l ) 技术。该技术往往由用户提出一个查 询，通常以关键字的形式输入。计算机通过关键字匹配，返回可能与之有关的文 档。用户自己查看返回的文档，获取所需要的信息。 信息检索技术在技术上目前主要采用关键字匹配法，它的重点在于由用户表 述查询要求，系统提供符合其兴趣主题的内容，在一定程度上满足了用户的需求， 也缩小了对用户进行信息推荐的范围。系统根据文档( d o c u m e n t ) 的全部内容或摘 要对文档的集合建立索引。对于非文本内容如电影，信息检索系统根据类型、关 键词、导演或演员进行索引以加快检索速度。信息检索技术在推荐过程中存在 一些不足，如没有考虑用户的偏好、兴趣等个性化信息，而且由于用户提交的查 询提供的信息量太少，难以据此准确地判断用户需求。一般来说，它具有如下优 缺点： 1 ) 优点：信息查询不限任何领域，可以快速地返回相关的文档； 1 2 昆明理工夫学颈士学位论文 2 ) 缺点：信息检索的正确率比较低，用户需要花大量时间自己查找： 信息检索系统的典型应用：如图书馆的图书检索，网络搜索引擎等。 2 、信息过滤( i n f o r m a t i o nf i l t e r i n g ) 技术。 信息过滤，也就是所谓的信息的选择性传播，它关注的是用户的长线需求( 指 在一段时间内，比较固定的信息需求) 。 信息过滤不同于传统的信息检索：信息过滤处理的大部分是半结构化或非结 构化信息，如电子信函的正文部分。信息过滤所处理的信息输入流量比较大，要 求信息过滤的昀应速度相对高：信息过滤的用户相对比较固定，具有相对稳定的 周期性或规律性的任务或喜好。信息过滤系统区别于传统信息检索的重要标志是 一记录并利用用户偏好函数，去除信息流中与用户偏好不相关的文本。过滤系统 辅助用户生成偏好函数并在线自适应调整。信息过滤系统需要用户需求或偏好的 描述，用户可以在系统的帮助下手工创建这一描述。 信息过滤具有如下优缺点： 1 ) 优点：可以处理半结构或非结构化信息，对操作的信息对象要求低，并具 备一定的个性化推荐功能： 2 ) 缺点：包括需要信息的内容描述，缺少对于新信息的推荐能力等，在人工 智能自然语言理解没有重大突破之前已很难再有较大的发展，以满足用户的进一 步需求： 信息过滤的典型的应用实例如：电子邮件过滤软件用于按照邮件的发送者进 行分类排序等。 3 、协同过滤( c o l l a b o r a t i v ef i i t e r i n g ) 技术 通过对以上技术的分析可以看出，随着信息资源的日益丰富，以上技术均 面临着一定的困境，协同过滤的出现为进一步提高信息服务质量提供了一个新 的思路，它通过构造用户对商品( 项) 的偏好数据榘来实现，而且它并不依赖于 对这些商品的文本描述，所以成为目前推荐系统技术中应用最为成功的技术之 一。随着协同过滤技术的不断发展以及在推荐系统中的广泛应用，该技术逐渐 向通过建立用户行为的偏好模式，从而自动为用户进行推荐的方向发展。 协同过滤的研究及引擎的实现 与传统文本过滤相比，协同过滤有下列优点【5 1 ： 1 ) 能够过滤难以进行机器自动内容分析( c o n t e n t _ b a s e d ) 的信息。像艺 术品、音乐。 2 ) 共享其他人的经验，避免了内容分析的不完全和不精确，并且能够基 于一些复杂的，难以表述的概念( 如信息质量、品味) 迸行过滤。 3 ) 可以有效的使用其他相似用户的反馈信息，减少用户的反馈量，加快 个性化学习的速度。 4 ) 具有推荐新信息的能力( s e r e n d i p i t o u sr e c o m m e n d a t i o n s ) 协同过滤的主要应用在予在线推荐系统，如电子商务商站的书籍、影视碟片 的推荐列表生成。 3 2 协同过滤基本原理【5 】 协同过滤，又称社会过滤( s o c i a lf i l t e r i n g ) ，其基本思想十分直观：在 日常生活中，人们往往会根据亲朋好友的推荐来做出一些选择( 购物、阅读、音 乐等等) 。协同过滤系统就是将这一思想运用到网络信息服务( 信息推荐) 中， 基予其他用户对某一信息的评价来向某一用户进行推荐。具体来说协同过滤的基 本出发点是； ( 1 ) 用户是可以按兴趣分类的； ( 2 ) 用户对不同的信息评价包含了用户的兴趣信息： ( 3 ) 用户对一个未知信息的评价将和其相似( 兴趣) 用户的评价相似。 这三条构成了协同过滤系统的基础。通常。系统选取与指定用户有相似兴 趣的用户作为参考对象。如何定义用户的相似性以及如何选取参考用户群是协 同过滤算法研究的重点。 协同过滤最初是用在像电子邮件分发与过滤这样的信息过滤系统中，后来 人们发现，协同过滤的这种过滤功能可以应用在电予商务中，根据收集用户的 偏好信息，可以向用户推荐他们所喜爱的商品，从而达到个性化服务的目的。 昆嚷理工大学硕士学位论文 3 3 常用的协同过滤算法 3 3 1 用户商品( 或项) 评价矩阵 对于协同过滤一个直观的描述是：将用户对商品( 或项) 的评价信息构成一 个矩阵：用户一商品( 或项) 的兴趣评价矩阵下面是一个评价矩阵的例子： 甄功夫天下无贼花样年华终结者3 用户 a?324 b5 9 24 c33 9 5 d214 9 表3 1 用户评价矩阵 在表3 1 中，每一行代表了一个用户的评价向最，每一列代表了这个商品 ( 项) 的被评价信息。一般来说，评价信息都是一些离散的整数值，如从1 到 5 ，当然，取连续的实数值也是可以的。在上面的例子中取的是从1 到5 的整数 值，1 代表了顾客( 或用户) 对这个商品的满意程度最低，5 代表最高的满意程 度。 矩阵中已有的值是用户对相应信息条目的评价，未知值正是需要系统给出 的预测。协同过滤的过程就是根据已知值来预测未知值( 一个填空过程) 。协 同过滤系统所应用的算法就是这一填空过程所遵循的规则，规则与实际规律越 符合，预测的未知值就越准确，信息过滤的效果就会越好。需要注意的是，在 实际应用中，商品的数量是成千上万的，而用户的数量则更多。大型的电子商 务网站，用户数量可以达数十万甚至是上百万，而一个用户的评价信息相对而 言很有限，因此，这样的矩阵实际上是一个极为稀疏的矩阵。这一点在算法设 计、分析算法优劣上都很重要。 总的来说，已有的协同过滤算法可以分为两个方向【7 】_ 1 全局数值算法( m e m o r y - b a s e da l g o r i t h m s ) ： 在对某个特定用户作预 测时，需要对整个用户数据库进行比较、计算。如g r o u p l e n s 、r i n g o 采用的算法。 协同过滤的研究及引擎的实现 2 基于模型算法( m o d