电子商务课件

电子商务张文新

经济管理楼1213室讲义大纲第一部分：导论第01讲：电子商务概念和本质第02讲：电子商务产生与发展第二部分：电子商务战略理论第03讲：电子商务与企业竞争优势第04讲：电子商务与企业运营管理第三部分：电子商务运营技术第05讲：信息交互集成技术第06讲：物流优化管理技术第07讲：资金流电子化技术参考书目章节书名作者出版社版本第1讲信息经济学乌家培，谢康等高等教育出版社第二版21世纪的管理挑战（美）彼得·德鲁克机械工业出版社第一版互联网时代中央电视台财经频道北京联合出版公司第一版第2讲零边际成本社会杰里米·里夫金中信出版社第一版文明之光吴军人民邮电出版社第一版虚拟经济概览成思危主编科学出版社第一版第3讲竞争战略（美）迈克尔·波特华夏出版社第一版生态战略：企业成功转型的力量胡世良著人民邮电出版社第一版重构：国内外企业生态战略案例研究徐井宏，李东红

编清华大学出版社第一版第4讲产品思维刘飞著中信出版社第一版运营之光2.0黄有璨著电子工业出版社第一版互联网思维赵大伟主编机械工业出版社第一版参考书目章节书名作者出版社版本第5讲行为经济学【美】大卫R.贾斯特（DavidR.Just）著，贺京同高林译机械工业出版社第一版2019这就是搜索引擎：核心技术详解张俊林著电子工业出版社第一版2013云计算：大数据时代的系统工程姚宏宇田溯宁著电子工业出版社第一版2013大数据：战略-技术-实践周宝曜刘伟范承工主编电子工业出版社第一版2013上讲回顾从策略和技术的视角解读电子商务系统的运营：正确理解和运用互联网思维；适应、改变、创造电商生态系统的三种策略及其运营方法；关键是把握虚拟与实体的相互作用关系以及以人为中心的创造与创新。第05讲

信息交互集成技术→强化信息流的综合集成方法与技术内容提要5.0-引言5.1-网站页面设计与Web服务技术5.2-搜索引擎技术5.3-商品推荐技术本讲小结5.0-引言电子商务运营的关键技术用信息流强化信息流；用信息流优化物流；用信息流代替资金流。5.0-引言用信息流强化信息流的综合集成技术信息组织技术信息呈现信息搜索信息关联网站页面&APP设计美化网站&APP运行性能优化用户体验服务用户开发用户搜索引擎与云计算商品推荐与大数据5.1-网站页面设计与Web服务技术影响网站用户体验的两个方面因素界面：网页设计性能：Web服务技术5.1-网站页面设计与Web服务技术网站页面设计在屏幕有限尺度的空间中虚拟展示商品看不见的：指导性理论看得见的：网站页面设计5.1-网站页面设计与Web服务技术网页设计的指导性理论：行为经济学传统经济学-理性经济人假设：人都希望以尽可能少的付出，获得最大限度的收益。行为经济学认为：事实上理性行为在现实社会很少发生，人类的大部分行为都是非理性的。人类的消费行为会受到周围环境影响。非理性行为是系统的，可以预测的。5.1-网站页面设计与Web服务技术行为经济学的发展历程20世纪70年代至今20世纪70年代最早与其有关的观点

亚当斯密《道德情操论》

20世纪40年代

卡托纳和西蒙卡尼曼和特维斯基《道德情操论》中“损失厌恶”等个人心理卡托纳提出通货膨胀心理预期假说和西蒙提出“有限理性”假说以“效用函数”的构造为核心把心理学和经济学结合起来，彻底改变西方主流经济学个体选择模型，并激发了其他行为经济学家把相关研究领域拓展到经济学的各主要分支中，从而形成真正意义上的”行为经济学”流派。

5.1-网站页面设计与Web服务技术2002年诺贝尔经济学奖获得者-

卡尼曼卡尼曼1934年出生于以色列的特拉维夫，1961年获得美国加利福尼亚大学伯克利分校心理学博士学位。自1993年起，卡尼曼担任美国普林斯顿大学心理学和公共事务教授。他“把心理研究的成果与经济学融合到了一起，特别是在有关不确定状态下人们如何作出判断和决策方面的研究”。5.1-网站页面设计与Web服务技术行为经济学的基本理论要点相对论锚定效应所有权依恋布里丹效应5.1-网站页面设计与Web服务技术行为经济学基本理论之（1）：相对论ABABB-实验结果选A：50%选B：50%【实验】：从下列照片中选出你希望约会的对象实验结果选A：25%选B：75%仅仅增加了一张参照照片，就改变了大部分人的决策。5.1-网站页面设计与Web服务技术征订套餐一：电子版：59美元/年电子版+印刷版：125美元/年订阅结果：电子版：68%电子版+印刷版：32%征订套餐二：电子版：59美元/年印刷版：125美元/年电子版+印刷版：125美元/年订阅结果：电子版：16%印刷版：0%电子版+印刷版：84%为什么仅仅是多增加了一个选择，用户的购买行为就会发生完全不一样的结果？【案例】：《经济学人》杂志征订行为经济学基本理论之（1）：相对论5.1-网站页面设计与Web服务技术行为经济学基本理论之（2）：锚定效应自然学家洛伦茨发现刚出壳的幼鹅会依附于它们第一眼看到的生物（一般是母鹅）。由此洛伦茨证明了幼鹅不仅根据它们当时环境中的初次发现来做决定，而且决定一经形成，就坚持不变。5.1-网站页面设计与Web服务技术行为经济学基本理论之（2）：锚定效应幼鹅效应行为学解释：锚定效应人类也是一群幼鹅，一旦对某商品的第一次价格形成印记（锚定），就很难改变。以后购买同类产品也会参照第一次出价（锚）来决定出价；实验证明：消费者的购买意愿很容易被操控，也就是说，消费者并没有能力，理性地确定商品出价；传统经济学假定市场价格由需求和供给决定，需求和供给两股力量是各自独立的；事实上需求并不是完全独立于供给，消费者购买意愿会受到供方影响；5.1-网站页面设计与Web服务技术为什么用户认为1500元的UGG就是正品，而175元的就不是正品？锚定效应的电子商务应用：怎样去影响消费者的心理价位？电子商务案例：UGG女靴5.1-网站页面设计与Web服务技术行为经济学基本理论之（3）：所有权依恋人们对已经拥有的东西有依恋情结；人们总是把注意力集中到自己会失去什么，而不是会得到什么；人们经常假定别人看待交易的角度也和自己一样；5.1-网站页面设计与Web服务技术行为经济学基本理论之（3）：所有权依恋思考：30天免费退换会导致退货潮吗？推行30天退换货，会有人在购买衣服后，穿30天然后退掉，如果出现大量的恶意退货，商家必然会遭受严重损失，为什么还是有很多商家坚持这一政策呢？。实验发现，人们一旦拥有某个商品，就会产生“所有权依赖症”，就不会愿意再放弃该商品；30天退换货保障，会促进迟疑的用户尝试，一旦用户拥有后，退货的比例是非常低的。所以商家的总盈利会增大？5.1-网站页面设计与Web服务技术所有权依恋的电子商务应用为什么网站不用职业模特展示服装？VS5.1-网站页面设计与Web服务技术行为经济学基本理论之（4）：布里丹效应丹麦哲学家布里丹讲过一则寓言：有头毛驴,在干枯的草原上好不容易找到了两堆草，由于不知道先吃哪一堆好，结果在无限的选择和徘徊中饿死了。5.1-网站页面设计与Web服务技术行为经济学基本理论之（4）：布里丹效应实验描述：在电脑上，有三扇门，每点击一个房间，就获得不定金额的奖励，但是换一个房间，就会扣除一些金额。所有人都不停打开各个房间，不忍放弃机会。事实上，如果专注在一个房间，收益是最大化的。【实验】布里丹效应实验：鬼屋的三扇门5.1-网站页面设计与Web服务技术行为经济学基本理论之（4）：布里丹效应电子商务案例：京东商城早期的网页5.1-网站页面设计与Web服务技术行为经济学小结：人人都是非理性的，人的消费行为会受到周围环境等多种因素影响，这些行为是有规律可循，是成系统的，是可以预测的；电子商务网站在做好基础用户体验（页面、流程、服务等）的同时，还有一个更重要的用户体验——消费者行为规律的研究，即如何通过商品摆放、文案、相关商品推荐等去影响用户决策；Don’tMakeMeThink——当我们真正理解了用户行为，并可以预测他们行为的时候，我们可以通过多种方法，改善用户体验，促进用户决策，提升网站成交额。5.1-网站页面设计与Web服务技术网页设计如何设计体现“专业水准”色彩字体布局5.1-网站页面设计与Web服务技术网页色彩设计要点彩色的记忆效果是黑白色的3.5倍；不要将所有颜色都用到，尽量控制在三种色彩以内；使用过渡色；5.1-网站页面设计与Web服务技术网页字体设计要点不要使用超过三种以上的字体，正文一般用宋体；不要用太大或太小的文字，正文一般用5号或小5号；5.1-网站页面设计与Web服务技术网页布局设计要点正常平衡：多指左右、上下对照形式。异常平衡：即非对照形式，但也要平衡和韵律。凝视：指利用页面中人物的视线，使浏览者仿照跟随的心理，以达到注视页面的效果。空白：突出卓越和优越感，有效体现网页格调。5.1-网站页面设计与Web服务技术网站的运行性能保障技术Web服务技术从技术上保障服务器在响应大量用户访问时能保持较好的性能（页面响应速度）。5.1-网站页面设计与Web服务技术电子商务系统运营的关键技术——Web服务技术问题：投入实际商业运营应用服务器（web服务器）如何快速响应大量的访问请求？提高服务器的性能增加服务器的数量改变提供服务的模式5.1-网站页面设计与Web服务技术Web服务技术快速响应大量的访问请求提高服务器的性能问题：服务器的性能主要体现在哪些方面？高速度的CPU计算能力；长时间的可靠运行；强大的I/O外部数据吞吐能力等。5.1-网站页面设计与Web服务技术Web服务技术快速响应大量的访问请求增加服务器的数量问题：服务器机群如何分布？服务器机群如何协同工作？如何实现负载均衡？5.1-网站页面设计与Web服务技术Web服务技术Web服务器负载均衡技术负载均衡器主机负载网络负载其他负载负载探针均衡算法调节器图5-11：WEB服务负载均衡器5.1-网站页面设计与Web服务技术Web服务技术快速响应大量的访问请求改变提供服务的模式：SOASOAP云计算5.1-网站页面设计与Web服务技术Web服务技术SOA(Service-OrientedArchitecture，面向服务架构)W3C将服务定义为：“服务提供者完成一组工作，为服务使用者交付所需的最终结果。最终结果通常会使使用者的状态发生变化，但也可能使提供者的状态改变，或者双方都产生变化”。将SOA定义为：“本质上是服务的集合。服务间彼此通信，这种通信可能是简单的数据传送，也可能是两个或更多的服务协调进行某些活动。服务间需要某些方法进行连接。所谓服务就是精确定义、封装完善、独立于其他服务所处环境和状态的函数。”5.1-网站页面设计与Web服务技术Web服务技术SOA的典型应用实例：WebServices图5-13：SOA基本结构5.1-网站页面设计与Web服务技术Web服务技术SOA的典型应用实例：WebServices服务代理服务提供者服务消费者发布查找绑定图5-13：SOA基本结构5.1-网站页面设计与Web服务技术Web服务技术WebServices相关的标准和技术XML:ExtensibleMarkupLanguageSOAP:SimpleObjectAccessProtocolWSDL:WebServiceDescriptionLanguageUDDI:UniversalDescription,Discovery,Integration5.1-网站页面设计与Web服务技术Web服务技术相关热点技术-云计算云计算的特性：对资源动态分配；以Web为中心；交付的是服务。云计算的概念是由分布式计算,并行处理,网格计算发展来的新兴商业计算模型；将计算任务分布在大量计算机构成的资源池上,使各种应用系统能够根据需要获取计算力,存储空间和各种软件服务；类似电厂集中供电模式,最终目标是将计算,服务和应用作为公共设施提供给公众,使人们能够像使用水,电,煤气那样使用计算机资源。5.1-网站页面设计与Web服务技术2023年2月14日435.1-网站页面设计与Web服务技术云计算的服务形式软件即服务（SaaS，SoftwareasaService）；Salesforce的CRM,ERP平台即服务（PaaS，PlatformasaService）；Google的AppEngineSalesforce的开放平台基础设施即服务（IaaS，InfrastructureasaService）；Amazon的AWS:S3,EC25.1-网站页面设计与Web服务技术云计算的发展现状2023年2月14日455.1-网站页面设计与Web服务技术云计算应用案例：SmugMugSmugMug是一家在线照片存储共享网站，拥有数亿照片资源和几十万付费用户。业务量的急剧增长导致该新兴公司无法承受巨额的基础设施开销，SmugMug选择了Amazon的EC2服务和S3服务。应用AWS后，仅需50人即可完成如此大的业务量。5.1-网站页面设计与Web服务技术Web服务技术相关热点技术-谷歌的云计算Google的应用负载和技术环境集群中的节点失效是一种常态，而不是一种异常。按照传统标准，文件都是非常巨大的，通常以G字节计。大部分文件都是只会在文件尾新增加数据，而少见修改已有数据的。主要负担为文件持续或随机读取,同步写,连续写等5.1-网站页面设计与Web服务技术Web服务技术相关热点技术-谷歌的云计算Google云计算技术体系Google云计算应用BigTableGFSMapReduceChubby图5-16：Google云计算技术体系5.1-网站页面设计与Web服务技术Web服务技术相关热点技术-谷歌的云计算GFS的功能特性可扩展的分布式文件系统用于访问大量数据的大型应用高效运行在廉价硬件的集群上容错:集群中的机器可热拔插Google云计算应用BigTableGFSMapReduceChubby5.1-网站页面设计与Web服务技术Web服务技术相关热点技术-谷歌的云计算GFS

Architecture：GFS集群由一个单个的master和多个chunkserver（块服务器）组成，还有相应的很多客户端client。图5-17：Google的GFS云计算体系5.1-网站页面设计与Web服务技术Web服务技术相关热点技术-谷歌的云计算GFS

Architecture：Master：管理节点，逻辑上唯一（物理上多个），保存系统元数据，负责整个文件系统的管理，是GFS的“大脑”。5.1-网站页面设计与Web服务技术Web服务技术-云计算图5-18：Google的GFS云计算体系GFS

ArchitectureFilesbrokenintochunks(typically64MB)MastermanagesmetadataDatatransfershappendirectlybetweenclients/chunkserversGoogle

48%MSN

19%Yahoo

33%ClientClientClientReplicasMastersGFSMasterGFSMasterC0C1C2C5Chunkserver1C0C2C5ChunkserverNC1C3C5Chunkserver2…ClientClientClientClientClientClient5.1-网站页面设计与Web服务技术Web服务技术-云计算图5-20：Google的云计算数据中心5.1-网站页面设计与Web服务技术云计算对商业模式与商业价值的影响5.1-网站页面设计与Web服务技术云的不同类型和服务层次基础架构作为服务(IaaS)(虚拟的服务器、存储、网络)应用、流程和信息作为服务(SaaS)(行业应用,CRM,ERP,OA等)平台作为服务(PaaS)(优化的中间件–应用服务器、数据库服务器等)公共云(提供商-互联网)私有云(数据中心–内部网)混合云(公共和私有)提供的是“服务”5.1-网站页面设计与Web服务技术云计算对商业模式与商业价值的影响IT系统需要彻底的革命HPInternetWANLANCRMERPSCMVHCIVPNVirtualServerVirtualStorageCRMERPSCM虚拟化环境可管理性高灵活的基础架构良好的投资回报统一的采购非虚拟化环境难以管理无灵活性投资回报率低众多分立的采购5.1-网站页面设计与Web服务技术云计算对商业模式与商业价值的影响什么是虚拟化?计算、存储、网络等资源的一种逻辑表示，并不拘泥于这些资源的实现方式、物理包装和物理位置等限制。

在一个单独的物理设备上创建多个虚拟资源管理许多虚拟资源就象管理一台服务器一样在整个基础架构上动态地调整计算资源5.1-网站页面设计与Web服务技术虚拟化是基础设施整合最重要的技术基础设施基础设施即服务(IaaS)服务器服务器服务器服务器服务器服务磁盘阵列磁盘阵列磁盘阵列磁带库存储服务+服务器服务器服务器服务器服务器虚拟化磁盘阵列磁盘阵列磁盘阵列磁带库存储虚拟化+虚拟服务器文件系统逻辑卷5.1-网站页面设计与Web服务技术云计算的特点总结云计算为用户带来的价值简化了IT管理工作,提高了IT管理的效率节约了成本，保护环境快速满足业务变化的需求基于服务为导向的架构（SOA），动态地部署可共享的计算资源。计算资源的物理位置及底层的基础架构对于用户来说是不确定和不相关的。虚拟化能够实时监控计算资源的利用情况和性能，并根据需求和负载自动地平衡和优化资源的分配。。动态性分布式小结在商品展示层面强化信息流的技术改善用户体验网站的界面网页界面设计指导理论：行为经济学的四个基本原理网页设计的三个要点：色彩、字体和布局网站的性能——Web服务技术提高服务器的性能增加服务器的数量创造新的服务模式（SOA）云计算的概念和技术谷歌的云计算计算体系云计算对商业模式和商业价值的影响内容提要5.0-引言5.1-网站页面设计与Web服务技术5.2-搜索引擎技术5.3-商品推荐技术本讲小结5.2搜索引擎技术认识并理解搜索引擎的作用Google和baidu的价值何在？搜索引擎是如何找到你所要的信息的？宣传你公司产品的网页怎么才能被著名的搜索引擎搜索到？搜索引擎输出结果排名的奥秘在哪里？5.2搜索引擎技术搜索引擎的基本原理索引器检索器用户接口爬虫程序爬虫程序Internet文档数据库索引库图5-3：搜索引擎的基本原理5.2搜索引擎技术爬虫程序：信息搜集搜索引擎运行网页搜索软件（爬虫），在互联网中漫游，发现和搜集信息。访问网络中公开区域的每一个站点并记录其网址，将它们带回搜索引擎，要尽可能多、尽可能快地搜集各种类型的新信息。因为互联网上的信息更新很快，所以还要定期更新已经搜集过的旧信息，以避免死链接和无效链接。5.2搜索引擎技术爬虫程序的工作原理爬虫程序漫游搜集信息的两种基本策略：从一个起始URL集合开始，顺着这些URL中的超链（Hyperlink），以宽度优先、深度优先或启发式方式循环地在互联网中发现信息。这些起始URL可以是任意的URL，但常常是一些非常流行、包含很多链接的站点（如Yahoo！）。将Web空间按照域名、IP地址或国家域名划分，每个搜索器负责一个子空间的穷尽搜索。搜索器的实现常常用分布式、并行计算技术，以提高信息发现和更新的速度。商业搜索引擎的信息发现可以达到每天几百万网页。5.2搜索引擎技术索引器：信息索引将“爬虫程序”带回的信息进行分类整理，建立搜索引擎索引数据库，并定时更新数据库内容。索引器的关键技术是理解搜索器所搜索的信息，从中抽取出索引项，用于表示文档以及生成文档库的索引表。5.2搜索引擎技术索引器工作原理从原始网页文档中抽取索引项的方法是识别并提取网页的客观索引项和内容索引项：客观索引项:与文档的语意内容无关，如作者名、URL、更新时间、编码、长度、链接流行度（LinkPopularity）等等；内容索引项:是用来反映文档内容的，如关键词及其权重、短语、单字等等。内容索引项可以分为单索引项和多索引项（或称短语索引项）两种。单索引项对于英文来讲是英语单词，比较容易提取，因为单词之间有天然的分隔符（空格）；对于中文等连续书写的语言，必须进行词语的切分。5.2搜索引擎技术检索器：信息查询与匹配根据用户的查询需求在索引库中快速检索匹配出相关网页，并反馈检索结果。一般包括分类目录及关键词两种信息查询方式。5.2搜索引擎技术检索器的工作原理检索器的工作原理是进行文档与用户查询的相关度评价，对输出的结果进行排序，并实现某种用户相关性反馈机制。检索器常用的信息检索模型有：集合理论模型，代数模型；概率模型；混合模型等。检索输出结果的排列顺序方法有：概率法；位置法；分类或聚类方法等。5.2搜索引擎技术排序技术存在不足和发展趋势目前的排序技术存在两大不足：没有真正解决相关性对于搜索引擎来说，最重要的并不是找到所有结果，而是把最相关的结果排在最前面，这也称为相关度排序。仅仅通过链接、锚文本、版式信息等表面特征，不能真正判断搜索词和文章的相关性，解决这个问题的根本方法是增加语意理解，例如主题词和关键词的提取，从语意上分析，得出搜索词和网页的相关程度，分析越准，效果越好。搜索结果单一化搜索结果排序要实现从单一化到个性化，最理想的结果应该是针对每个访问者，根据访问者的搜索习惯和意愿，对搜索结果进行排序。搜索引擎的技术改进和优化都直接反应到搜索结果的排序上。5.2搜索引擎技术中文搜索引擎的特点和难点中文分词：中文分词就是把中文的汉字序列切分成有意义的词。中文分词的准确与否，常常直接影响到中文搜索引擎结果的相关度排序。中文分词技术属于自然语言处理技术范畴，现有的分词算法可分为：基于字符串匹配的分词方法；基于理解的分词方法；基于统计的分词方法。5.2搜索引擎技术用户接口用户接口的作用是：输入用户查询；显示查询结果；提供用户相关性反馈机制。主要的目的是方便用户使用搜索引擎，高效率、多方式地从搜索引擎中得到有效、及时的信息。用户接口设计和实现主要使用人机交互的理论和方法，以充分适应人类的思维和行为习惯。5.2搜索引擎技术讨论：利用搜索引擎原理解决实际问题搜索引擎优化（SEO,SearchEngineOptimization）如何让搜索引擎能够检索到自己的网页？如何让自己的网页在搜索引擎提供的检索结果列表中位于前列？5.2搜索引擎技术影响搜索引擎搜索结果排名的技术性因素Meta标记域名Title标记URLBody标记关键字5.2搜索引擎技术影响网站排名因素－Meta标记对于搜索引擎来说，<META>标记中最重要的是关键词(keywords)和网页描述(description)，在HTML语言中形式如下：<HEAD><TITLE>Title</TITLE><METAName="keywords"Content="关键词"><METAName="description"Content="网页描述"></HEAD>

5.2搜索引擎技术76/415.2搜索引擎技术77/415.2搜索引擎技术78/7415.2搜索引擎技术79/7415.2搜索引擎技术80/7415.2搜索引擎技术81/7415.2搜索引擎技术82/7415.2搜索引擎技术网站在搜索引擎中排名的关键因素－域名拥有独立域名;域名包含你的产品或服务的关键词;避免域名包含太多的词，除非用连接符分开。像“”这样的域名意味着排名机会减少，可以改成：“”。5.2搜索引擎技术网站在搜索引擎中排名的影响因素－Title<TITLE>应该出现在<HEAD>中，如下所示：<HEAD><TITLE>Title</TITLE><METAName="keywords"Content=""></HEAD>在计算网页相关性时，多数搜索引擎对出现在<TITLE>中的关键词赋予一个加重的“权重”。5.2搜索引擎技术网站在搜索引擎中排名的影响因素－URLURL（UniformResourceLocator）地址包含两部分：“域名+网页的链接地址”域名：应以企业的名字或名字缩写、注册商标的英语或汉语拼音来注册，同时考虑使用行业或商品变称为其域名；网页链接地址：存放网页文件的根目录、子目录以及文件名：都应该用英语，而不是汉语拼音。如果你公司的某部门经营汽车生意，应建一个子目录，名称为car，而不是qiche。5.2搜索引擎技术网站在搜索引擎中排名的影响因素－Body<HTML><HEAD></HEAD><BODY><H>是Web文档的框架，在其文本中一定要包含关键词，且论点应明确，结构主次分明。<H1>标题：对应文章主论点；<H2>、<H3>标题：展开论述</BODY></HTML>5.2搜索引擎技术网站在搜索引擎中排名的关键因素－关键字位置频率法则：决定网页的相关性的最主要因素就是网页中关键词出现的位置和频率，即位置频率法则。位置：网页中一部分文本对网页内容有很高的概括性，搜索引擎在计算网页排名时给这部分文本一个加重的“砝码”，包含：1.<TITLE>中的文本2.<METANAME=“KEYWORD”>中的文本3.<METANAME=“DESCRIPTION”>中的文本4.<H1>或<H2>等中的文本5.<BODY>最前面自然段的部分文本6.网页链接<A>中的文本7.注释<!--insertcommentshere>中的文本8.图像<ALT>tags中的文本9.你的网站URL地址中的文本频率：搜索引擎将计算关键词在网页中(或某部分)出现的次数占该网页(或某部分)词汇总量的比率。频率较高，则网页相关性较高。5.2搜索引擎技术网站在搜索引擎中排名的关键因素－关键字如何确定关键字通过各种技巧查找研究竞争对手，分析其网站，并查看他们使用什么样的关键词，作为自己设计网站的参考。可以使用<登录奇兵>软件提取META标记功能或者<排名奇兵>软件提取各搜索引擎相关关键字排名第一位网站的META标记，用来参考；根据客户群来制定战略关键词：如果你的网站经销生产资料，则应以行业常用词或专业术语来作为关键词；如果经销的是消费品，则应以人们在传统媒体上经常见到的词语作为关键词的首选。利用相近词和相关词：如“计算机”与“微机”；“美容”与“皮肤护理”把两个或三个词组成的词组作为关键词。比如，一家沈阳旅游公司，关键词应为“沈阳旅游”。小结了解和理解搜索引擎技术搜索器（爬虫程序）索引器（整理索引）检索器（检索匹配与相关度排序）用户接口（更好的服务）利用了解到的搜索引擎技术搜索引擎优化（SEO）让自己的网站起到更好的营销宣传效果内容提要5.0-引言5.1-网站页面设计与Web服务技术5.2-搜索引擎技术5.3-商品推荐技术5.4-大数据及其应用本讲小结5.3商品推荐技术无所不在的商品推荐系统亚马逊30%的销售额来自于其推荐系统5.3商品推荐技术无所不在的商品推荐系统123455.3商品推荐技术无所不在的商品推荐系统浏览过本商品的顾客还浏览过购买过本商品的顾客还购买了浏览过本商品的顾客最终购买了基于顾客购物车的推荐经常与本商品一起购买的商品基于顾客浏览历史的推荐基于顾客购买历史的推荐5.3商品推荐技术电子商务推荐系统的基本功能：推荐系统更能体现用户个性化需求，为用户和电子商务营销决策者提供更个性化和智能化的服务。电子商务推荐系统的基本技术手段：数据挖掘基于交易数据库获取用户兴趣；关联规则、协同过滤、聚类等基于浏览日志数据库获取用户兴趣。用户行为模式识别5.3商品推荐技术数据挖掘技术——概念解释如何理解信息的商业价值？如何利用科学技术帮助人理解信息的商业价值？数据挖掘：利用计算机算法发现海量数据中隐藏的知识。海量数据中能够隐藏着什么有商业价值的知识？1）商品与商品的相关性知识；2）商品与顾客的相关性知识；3）顾客与顾客的相关性知识；知识并不仅限于因果性知识！相关性也是一类特别重要的有价值的知识！尤其对于商业！5.3商品推荐技术数据挖掘技术——技术与应用体系96关联规则、序列模式、分类、聚集、神经元网络、偏差分析…数据挖掘算法层产品推荐、客户细分、客户流失、欺诈甄别、特征分析…商业逻辑层基因（DNA）分析、银行、保险、电信、证券、零售业…行业应用层图5-12：数据挖掘技术与大数据应用架构数据仓库与数据挖掘WEB数据管理和数据挖掘数据密集型计算文本数据挖掘…高级数据挖掘技术数据库系统5.3商品推荐技术数据挖掘技术——知识体系概览数据库->数据仓库->数据挖掘->大数据图5-13：数据挖掘技术知识体系5.3商品推荐技术数据挖掘技术——知识体系概览数据仓库与数据挖掘：数据挖掘的基本技术关联分析；分类分析；聚类分析；异常分析和演化分析等；联机分析处理OLAP技术。高级数据挖掘：分类算法：包括决策树(ID3,C4.5,SPRINT等)、基于规则的分类器(C4.5rules,RIPPLE等)、NaïveBayes分类器和贝叶斯网络、最近邻分类器(kNN,CondensedkNN,DANN等)、支持向量机(SVM)、Ensemble方法(如AdaBoost,Bagging,RainForest等)，以及模型选择(如MDL，RegularizationNetwork等)。聚类分析：划分型聚类算法，如K-means等；层次型聚类算法，如Singlelink,completelink,Ward方法等；及基于模型的聚类如EM算法；基于密度的聚类算法如DBSCAN；其他高级聚类算法，如Clique,CURE,CHAMELEON,BIRCH等关联分析：Apriori算法、DHP、FP-growth，以及频繁序列挖掘、图挖掘等数据挖掘应用：异常检测、数据流挖掘、Web挖掘(PageRank,HITS和Spam,OpinionMining)、社会网络分析(Blog、Tag分析等)、数据挖掘和隐私保护、文本挖掘(PLSA,概率主题模型等)、降维技术(SVD,FastMap,LSH等)和特征选择(基于互信息量的方法、Relief等)等主题。Web数据管理和数据挖掘：5.3商品推荐技术数据挖掘技术——知识体系概览（续）Web数据管理和数据挖掘：网络爬虫技术：DNS解析、链接抽取、重复网页处理、…WEB搜索和信息检索：文本预处理、向量空间模型、相关性反馈WEB数据挖掘：相似性计算和聚类、文本分类、链接分析、…WEB数据挖掘应用：社交网络分析、资源发现、…文本数据挖掘：文本预处理技术、文本聚类技术；基于本体的文本数据挖掘、文本挖掘中的概率模型；可视化技术；具有行业特征的（如生物、医疗、工业、金融等）文本数据挖掘。数据密集型计算理论与实践：分布式系统简介、分布式文件系统并行编程基础、Map/Reduce编程模型分布式图算法与PageRank、聚类算法与MapReduce、分类算法与MapReduceNOSQL、GPU通用编程、CUDA与调优等等。5.3商品推荐技术数据挖掘技术——核心是算法算法：（Algorithm）是指解题方案的准确而完整的描述，是一系列解决问题的清晰指令。算法代表着用系统的方法描述解决问题的策略机制。也就是说，能够对一定规范的输入，在有限时间内获得所要求的输出。计算机算法是将解决问题的数学逻辑转化为计算机处理程序。5.3商品推荐技术数据挖掘技术——核心是算法常用的数据挖掘算法：关联规则协同过滤聚类随机森林支持向量机神经网络FP-growth算法5.3商品推荐技术关联规则知识发现关联分析：数据关联是数据库中存在的一类重要的可被发现的知识。若两个或多个变量的取值之间存在某种规律性，就称为关联。关联分析的目的是找出数据库中隐藏的关联网。有时并不知道数据库中数据的关联函数，即使知道也是不确定的，因此关联分析生成的规则带有可信度。关联分析的关键是关联规则挖掘。5.3商品推荐技术关联规则知识发现关联规则是描述在一个交易中物品之间同时出现的规律的知识模式，更确切的说，关联规则是通过量化的数字描述物品X的出现对物品Y的出现有多大的影响。关联规则发现的主要对象是交易型数据库，一个交易一般由交易处理时间，一组顾客购买的物品，有时也有顾客标识号（如信用卡号）组成。5.3商品推荐技术基本概念:关联规则形式化定义关联规则挖掘的交易数据集记为D（一般为交易数据库），D＝｛T1，T2，…，Tk，…,Tn｝，Tk（k＝1,2,…，n）称为交易，对应每一个交易有唯一的标识，记作TID。元素im（m＝1,2,…，p）称为项。设I={i1，i2，…，im}是D中全体项组成的集合，且TkI。交易号（TID）项集合（Itemsets）T100I1，I2，I5T200I2，I4T300I2，I3T400I1，I2，I4T500I1，I3设X是一个I中项的集合，如果XTk，那么称交易Tk包含项集X。若X,Y为项集，XI,YI，并且XY=，则形如X==>Y的表达式称为关联规则。5.3商品推荐技术关联规则度量置信度：X出现的前提下，Y出现的频率，即：P(Y|X)支持度：X、Y同时出现的频率，即：P(X∩Y)5.3商品推荐技术关联规则度量：置信度计算规则XY在交易数据集D中的置信度是对关联规则准确度的衡量。度量关联规则的强度。即在所有出现了X的活动中出现Y的频率，即规则XY的必然性有多大。记为confidence(XY)。计算方法：包含X和Y的交易数与包含X的交易数之比：confidence(XY)=P(Y∣X)=|{T:XYT，TD}|/|{T:XT，TD}|×100%5.3商品推荐技术关联规则度量：支持度计算规则XY在交易数据集D中的支持度是对关联规则重要性的衡量，反映关联是否是普遍存在的规律，说明这条规则在所有交易中有多大的代表性。即在所有交易中X与Y同时出现的频率记为：support(XY)。计算方法：交易数据集中同时包含X和Y的交易数与所有交易数之比：support(XY)=P(X∪Y)=|{T:XYT，TD}|/|D|×100%5.3商品推荐技术关联规则度量：计算示例支持度：A、C同时出现的频率，即：P(A∩C)置信度：A出现的前提下，C出现的频率，即：P(C|A)设最小支持度为50%,最小置信度为50%,则可得到：AC(50%,66.6%)CA(50%,100%)5.3商品推荐技术关联规则挖掘算法之一：Apriori算法基本思想：挖掘频繁集频繁集:是指满足最小支持度的项目集合；定理：频繁集的任何子集也一定是频繁的。例如：如果{AB}在集合D中是频繁集，则{A}、{B}也一定是频繁集；逆反定理：如果子集是非频繁集，那么该子集与任何其它子集所组成的集合一定不是频繁集。5.3商品推荐技术关联规则挖掘算法之一：Apriori算法算法基本步骤：连接:用Lk-1自连接得到Ck修剪:一个k-项集，如果他的一个k-1项集（他的子集）不是频繁的，那他本身也不可能是频繁的。从1到k（k级频繁集）递归查找频繁集；用得到的频繁集生成关联规则。5.3商品推荐技术关联规则挖掘算法之一：Apriori算法算法的程序伪码：Ck:CandidateitemsetofsizekLk

:frequentitemsetofsizek

C1＝｛allCandidateitemsetofsizefromDatabase}

L1={candidatesinC1withmin_support}for(k=1;Lk

!=;k++)dobeginCk+1

=candidatesgeneratedfromLk;foreachtransactiontindatabasedoincrementthecountofallcandidatesinCk+1

thatarecontainedintLk+1

=candidatesinCk+1withmin_supportendreturnk

Lk5.3商品推荐技术Apriori算法算例现有A、B、C、D、E五种商品的交易记录表，试找出三种商品关联销售情况（k=3），最小支持度>=50%。K=1支持度<50支持度<50支持度<505.3商品推荐技术Apriori算法算例K=2支持度<50支持度<505.3商品推荐技术Apriori算法算例5.4大数据及其应用围绕大数据的一般概念思考下列问题：什么类型的数据才是真正意义上的大数据？谁真正拥有真正意义上的大数据？真正意义上的大数据是如何获得的？什么是真正意义上的大数据应用？大数据应用何以能够形成一个产业？为什么大数据总是和云计算联系在一起？你能给出课程主案例企业苏宁或ofo的大数据应用解决方案吗？5.4大数据及其应用大数据的概念IBM:庞大容量、极快速度、种类丰富、价值密度低的数据；麦肯锡：涉及的数据集规模超过了传统数据库软件获取、存储、管理和分析能力的数据。5.4大数据及其应用大数据的概念大数据的4V特征源自IBM的定义数量（Volume）:超大规模和增长种类（Variety）:多样化速度（Velocity）:极快确定性（Veracity）:不一定准确和完整源自其他定义数量（Volume）:超大规模和增长种类（Variety）:多样化速度（Velocity）:极快价值（Value）:密度低5.4大数据及其应用大数据的概念大数据的4V特征（源自IBM的定义）图5-2大数据的4V特征（1