大数据的潜在价值与作用机制研究

大数据的潜在价值与作用机制研究目录13994_WPSOffice_Level1摘要 225001_WPSOffice_Level1Abstract 39175_WPSOffice_Level11.绪论 39175_WPSOffice_Level21.1大数据的背景及发展意义 33663_WPSOffice_Level21.2大数据时代的思维变革 425001_WPSOffice_Level31.2.1全体数据优于随机样本 49175_WPSOffice_Level31.2.2混杂性优于精确性 53663_WPSOffice_Level31.2.3相关性优于因果性 520748_WPSOffice_Level21.3本文结构 53663_WPSOffice_Level12.作用机制 6726_WPSOffice_Level22.1数据 620748_WPSOffice_Level32.1.1数据源 6726_WPSOffice_Level32.1.2数据采集 615913_WPSOffice_Level32.1.3数据处理 715913_WPSOffice_Level22.2解决方案 87694_WPSOffice_Level32.2.1精准营销 831985_WPSOffice_Level32.2.2物流供应链的优化管理 92049_WPSOffice_Level32.2.3智能化服务 97694_WPSOffice_Level22.3数据管理 1020748_WPSOffice_Level13.数据的潜在价值 1031985_WPSOffice_Level23.1数据的再利用 112049_WPSOffice_Level23.2重组数据 1117750_WPSOffice_Level23.3可扩展数据 1112478_WPSOffice_Level23.4数据的折旧值 121919_WPSOffice_Level23.5数据废气 1228350_WPSOffice_Level23.6开放数据 12726_WPSOffice_Level14.电子商务在大数据时代的风险 134914_WPSOffice_Level24.1虚假伪劣的信息 13303_WPSOffice_Level24.2盲目收集数据 1310072_WPSOffice_Level24.3数据安全与隐私问题 1315913_WPSOffice_Level15.案例 147663_WPSOffice_Level25.1淘宝相关数据 144775_WPSOffice_Level25.2淘宝数据魔方 1412280_WPSOffice_Level25.3淘宝大数据营销策略以及借贷信用评级 145830_WPSOffice_Level25.4A21公司大数据分析的尝试 157694_WPSOffice_Level16.总结及展望 1531985_WPSOffice_Level1参考文献 172049_WPSOffice_Level1致谢 19摘要随着大数据的到来，电子商务乘着大数据之势发展迅猛，迎来一个转型的机遇，同时进入一个新的竞争的时代，企业想要在竞争中获得优势，必须挖掘大数据中潜在的价值，把握大数据的作用机制。本文旨在探讨电子商务在大数据中的潜在价值，企业如何利用这些价值获取利益，了解运用大数据获取利益其中的作用机制，并揭示挖掘数据中对用户信息造成的风险。关键词：大数据潜在价值作用机制电子商务AbstractWiththeadventofbigdata,e-commerceisridingthetrendofbigdata,usheredinatransformationalopportunity,andentersaneweraofcompetition.Enterpriseswanttogainanadvantageincompetition,theymusttapthepotentialinbigdata.Value,graspthemechanismofactionofbigdata.Thepurposeofthispaperistoexplorethepotentialvalueofe-commerceinbigdata,howtousethesevaluestogainbenefits,understandtheroleofusingbigdatatogainbenefits,andrevealtheriskstouserinformationinminingdata.Keywords:bigdata,potentialvalue,mechanismofaction,e-commerce1.绪论1.1大数据的背景及发展意义大数据的核心就是预测，它把数学算法运用到海量的数据上来预测事情发生的可能性。根据Gartner给出的定义，大数据是“使用高效的信息处理方式以具备更强的洞察力、决策力和流程优化能力的海量、多样的信息资产”，其价值在于提高数据使用者的最终决策力。大数据是数据服务中针对海量数据提供服务的部分。其价值在于从海量数据中提取有用信息，以方便企业针对市场及自身用户开展市场营销活动、进行市场预测与生产优化、通过风险控制最终实现经营活动的利润最大化。数据处理与存储技术的快速发展与使用成本的显著下降使得通过网络录得的海量数据得以被分析并利用。随着互联网+的发展，多个行业所产生的数据得到记录，数据源的不断扩大与丰富为大数据产业奠定数据基础。数据化需要我们要从所有事物中获取信息，甚至包括很多我们不认为是信息数据的事物。比如，一个人走路的姿势、轮胎的纹理、桥梁的材料等，将这些事物通过量化的方法转化为数据，从而激发出这些数据新的的潜在价值。如今电商行业中如亚马逊这样的企业，能够把自身的电商数据与物流数据组合起来，定制商品营销策略，优化物流与库存资源配置。亚马逊是比较早接触物流大数据的物流自营的电商企业。在电商业务中，亚马逊通过分析用户的搜索记录、愿望清单等数据对用户进行个性化商品推荐，预判用户消费行为；在仓储物流管理中，亚马逊通过大数据算法为物流机器人Kiva规划获取货物的最短路线，根据货物规格合理布置仓库，降低人力成本，提高仓储效率。电子商务大数据的意义就是数据服务的变革,把人分成很多群体,针对不一样的人提供不一样的个性化服务。消费数据量的增加使得电商企业可以精确把握用户群体和个体网络行为模式。电商企业通过大数据应用,可以探索个人化、个性化、精确化和智能化地广告推送和推广服务,创立比现有广告和产品推广形式性价比更高的全新商业模式。从国内来看,中国电商企业已逐步认识到大数据应用对于电商发展的重要性。1.2大数据时代的思维变革1.2.1全体数据优于随机样本过去，由于数据处理技术条件的限制，我们把数据量缩减到最少来证实重大的发现，统计学就是以越少的数据证实越重大的发现。在大数据时代，数据处理技术发生了翻天覆地的变化，在很多领域，从收集部分数据到收集尽可能多的数据的转变已经发生。谷歌流感趋势预测分析了整个数据库，几十亿条互联网检索记录，提高了微观层面分析的准确性，甚至能够推测出某个特定城市的流感状况。苹果公司传奇总裁乔布斯在于癌症抗争过程中，使用对自身所有DNA和肿瘤DNA进行排序的方式，得到了包括整个基因密码的数据文档，使得医生们可以根据乔布斯的需要及时更换药物，以致乔布斯的生命延长了好几年。随机采样是一条好的捷径，但如果所有数据都在手上，我们就可以从不同的角度，更细致地观察和分析数据的各个方面，在所有微小层面都可以用大数据去证明新的假设。1.2.2混杂性优于精确性在过去信息资源缺乏的时代，随便一个细微的数据点的情况都对结果至关重要，所以我们要保证精确性。在大数据时代，只有5%的数据是结构化且能适用于传统数据库的，若不接受混乱，则剩下的95%的非结构化数据都无法被利用，只有接受混杂性，我们才能去往新的世界。接受错误的数据我们可以从不同角度去观察事物，帮助我们进一步接近事实的真相。谷歌翻译之所以更好，是因为它接受了各种错误的数据，它的语料库是布朗语料库的几百万倍，它利用互联网一些无用的内容信息，错误数据，可以推算出英语词汇搭配的各种可能性。1.2.3相关性优于因果性在过去，所有行业的销售员早就被告知，他们需要了解客户做决定背后的真正原因，而不需要知道“为什么”。在大数据时代，我们只需要知道相关关系，即“是什么”，运用相关关系去研究事物，我们会比以往更快捷、简单、清晰地分析事物。相关关系的核心是量化两个数据值之间的数理关系。相关关系强指的是，当一个数据值增加时，另一个数据值也很可能随之增加；相反，相关关系弱意味着当一个数据值增加时，另一个数据值几乎不会发生变化。相关关系通过寻找出有用的关联物来帮助我们分析一个现象，而不是揭示其内部的运作机制，找到一个现象的良好的关联物，相关关系可以帮助我们捕捉现在和预测未来。亚马逊的推荐系统只需要找到产品之间的关联性，而不需要知道顾客为什么要买这本书，可以预测顾客下一本要买的书，以致销量大幅增加。由于亚马逊的个性化推荐系统，导致很多大型书店和音乐唱片商店结业。在20世纪90年代，沃尔玛公司发现，每当季节性飓风来临前，手电筒与蛋挞的销量会同时增加。因此，当季节性风暴来临之际，沃尔玛公司会把蛋挞放在靠近与飓风相关的用品的位置，从而方便匆忙的顾客。这意味着，在大数据时代，数据点以数量级方式增长的时候，我们会发现很多似是而非的相关关系。1.3本文结构第一章介绍了大数据时代的背景和发展意义，以及在大数据时代中一些思维方式的转变第二章介绍了电子商务大数据的作用机制，从数据采集的源头，数据采集的途径到数据的处理的方法，数据的管理以及数据的解决方案，说明了数据的来源和去向。第三章介绍了数据的潜在价值，通过数据的再利用、数据重组、数据的扩展性、数据的折旧值、数据废气以及开放数据，挖掘数据对于电子商务的潜在价值，使得电子商务获得更大利益。第四章揭示了在运用大数据的时候，可能会出现的一些风险以及解决方法。第五章以电子商务企业淘宝等作例子，探究大数据对电子商务的作用。第六章是对本次毕业设计的总结与展望2.作用机制2.1数据2.1.1数据源数据源是指产生数据的原始媒体，包括物体和人体的各种相关信息，各个企业产生的外部、内部信息等。数据代表着对某件事物的描述，数据可以记录、分析和重组它，这是一种把现象转化为可制表分析的量化形式的过程。大数据发展的核心动力正来源于人类测量、记录和分析世界的渴望。一切事物都可以通过计量和记录从而被量化成为数据，即任何事物也有可能成为数据源。2.1.2数据采集随着信息化技术的不断发展，过去难以获得的数据被网络记录下来并加以应用，这些数据可以按照来源划分为互联网数据与物联网数据。物联网数据多指通过连接网络的传感器所采集的环境数据，互联网数据则多指由用户使用电脑、智能手机、平板电脑等不同联网终端所产生的基本信息与行为数据。数据源采集商基于自身业务及背后的数据监测、传感器等方式采集互联网公开数据及用户行为数据，在进行简单的清洗梳理后向企业提供数据资源，在整个产业链中扮演数据提供者的角色。安装在物联网上的传感器是大数据时代获取环境数据的重要采集方法之一，拥有数据来源范围广、数据准确度高、传输稳定等特点。但由于传感器采集法对技术与资金的要求较高，行业存在一定的进入壁垒，目前我国优秀的传感器数据采集商仍然较少，行业竞争尚不十分激烈，市场仍存在一定留白。未来，在该领域有较大技术突破的企业将有较强的竞争力。随着智能终端的不断普及，App成为继网站之后了解用户在互联网上的信息与行为的又一重要数据来源。目前国内外通过App抓取用户在互联网上行为数据的采集商主要有AppAnnie、TalkingData、友盟等。网络数据采集可以通过网络爬虫或者网站公开API等方式从网站上获取数据信息。此方法可以把非结构化数据从网站上取出来，将其以结构化的方式存储为统一的本地数据文件。互联网时代除了抓取移动终端上各App的用户数据，还有在PC端通过API接口等工具抓取企业官网及其他网站上数据的方法。对于企业保密性要求较高的数据，可以联合企业与研究机构，使用专门的系统接口等方式获取相关数据。数据的采集是挖掘数据价值的第一步，随着数据量越大，可获取的有效数据肯定会更多。只要擅于运用数据化处理平台，保证数据分析出来的结果有效，就能帮助企业实现数据驱动2.1.3数据处理数据处理是指对数据（包括数值与非数值数据）进行分析和加工的过程，包括对各种原始数据的分析、整理、计算、编辑等。其目的是从大量非结构化的数据中提取有价值的信息，所得到的信息通常包括产品信息、企业运营信息、用户信息、目前市场信息等，由数据处理的结果加上可视化处理手段，企业能够快速了解自身产品与整个市场的真实状况，并根据这些结果相应调整自己的产品定位与企业运营决策。强大的信息检索能力在大数据时代，电子商务如获新生，它不断在进步，摒弃了以前的传统消费认知，塑造出一个新型的消费思维的市场，需要更为强大灵活的信息检索能力去应对繁杂大量的非结构化、不规则、冗余的数据，结合用户的个体差异性及个性需求进行海量信息搜索，解析消费心态，推荐精华信息，实现精准营销，缩减了消费者选购的时间，节省了选购的精力，使消费者更加满意。云计算平台可以根据不同用户的需求以及消费习惯，对海量数据进行筛选，体现出它的智能性以及高效性。云计算的优势在于能够对人类的部分思维进行描述，比较准确地把握了人类语言和知识应用，以至于电子商务平台能够对用户输入的语言给出快速的反应，并且给出比较准确的用户所需要的商品信息，极大地提高了消费过程的效率以及质量。迅速的弹性处理能力面对海量的订单及信息，电子商务系统需要快速处理突发的访问量以及客户进行浏览的需求，同时还要根据客户的需求以及上涨的订单量，增加服务器和相关的数据存储设备。在云计算平台上，无需安装硬件，而且以较低的成本可以轻松处理与存储TB乃至PB级的数据，因此，企业可以轻松进行应用系统的部署，同时实现弹性的伸缩，尽可能提高资源的掌控能力，实现资源合理运用。电商企业淘宝每年双十一的销售额，显示出了精准营销策略的成功以及其系统运转的效率和迅速处理数据的弹性。海量数据的准确分析电子商务借助语义引擎工具对海量数据进行实时性分析，运用云计算收集、储存、分析以及处理海量数据，建立科学的数据模型，对其进行计算，分析出用户消费显示出来的偏好，删除或选取某些相关的信息，使得信息更有针对性，精准辨识了消费趋向，获得更大利益，很大程度的增强了企业分析处理数据的能力，提高了企业挖掘数据的精确性。2.2解决方案随着电子商务的不断发展，其所产生的消费数据体量愈发庞大，这些大数据对电商业务本身的促进作用也愈发凸显。通过分析消费者的过往消费产品与金额，能够个性化推荐相似产品，精确流量导入，激发潜在消费兴趣；还可以通过分析不同商品在不同地区的历史销售情况，合理配置库存，优化存储资源。2.2.1精准营销在大数据时代中，利用大数据实现精准营销是电子商务的一个利器，精准营销是指在定位精准的前提下，以现代的信息技术为营销手段，建立起个性化的消费者沟通的服务体系，实现商业领域进行低成本的扩张。精准营销的核心理念是“精准”，以消费者为中心，借助大数据，通过信息技术、市场分析的手段进行准确的衡量与分析，实现个性化的营销活动与服务，实现利益的最大化。精准营销的关键是对用户进行建模，创建用户画像。把用户在浏览、交易等所有在网站上操作的相关数据，以及辨识每个用户行为特征、兴趣爱好、购买力等方面的标签导入用户画像的建模过程，从而给每个用户创建个性化首页，根据用户画像，预测用户的购买意图，恰当地推荐符合用户消费习惯的产品，在一定程度上，可以提高用户的购买转化率以及回头率。电商企业还可以对消费者进行分析、判断，通过电商中的客户关系管理系统所记录的消费者基本信息、历史消费记录、收货地址等信息以此来判断消费者的年龄、工作的性质、文化程度、经济状况等进行精准的市场定位，为不同的消费者提供不同的营销服务，提供更精准的商品信息与服务信息。随着我国经济的不断发展，人们生活水平也在不断提高，越来越多的消费者加入到了网购的行列之中，并且对于消费的需要也越来越呈现个性化。电商企业要满足不同的消费者个性化的需求，必须建立在精准的市场定位这一前提下。电商企业在为消费者创造个性化的需求时，可以让消费者参与到商品或服务的设计当中，即个性化的商品和服务可以将它看作是消费者在电商平台上定制商品和服务，这是一种行之有效的精准营销手段。2.2.2物流供应链的优化管理面对巨额的订单量，企业进行及时的补货变得十分重要，依靠人工补货显得力不从心，采用带有预测模型的自动补货系统，在某些商品达到缺货临界点的时候，自动给相应的供应商下单订购，实现及时补货。现货率是在售商品中，有库存的商品的比例。可是现货率在运用中往往不能反映中某些商品的真实状况，由于时间段的关系，商品的库存状况与现实不一致，白天比较难买到的商品，晚上可能比较容易购买。因此，企业可以统一每一次浏览商品的时候，每个用户看到的商品的库存情况，这样可以得到一个比较准确的现货率指标，与此同时可以分析出客户的位置信息，从而为采购备货作支撑，也可以把一个大城市中的几个仓库中的商品进行调货安排。把这些数据结合商品的访问点击量，得出新出参数指标，让采购部可以用来参考备货。在物流配送方面，物流部可以运用大数据分析出配送员、仓库与客户之间的位置关系，为消费者选择更为便利的物流公司，为配送员规划出最优配送路线，降低了电商公司的成本，也达到提高配送速度的目的。2.2.3智能化服务为了提高客户体验满意度，企业把用户画像引入客户服务，当客户打入电话，系统会自动判断客户当前的订单情况以及通过辨识客户声音数据，对客户情感指数进行打分，客服通过系统的提示，对客户有一个大概的了解，从而提供合适的服务。在京东的搜索记录中，用户输入的关键词很多时候都不是商品名字，而是一些表示意图的词语，比如“送父亲”、“送老婆”等，但商家很少把这类型的词语放进自家的商品描述里，于是京东对海量的用户评论进行数据分析挖掘，了解用户的意图，给商品贴上各种描述标签。对于一些日常用品，用户需要重复购买的，京东会分析用户多次购买的时间，在下一次用户即将购买的时间，推荐系统将会把商品放在首页，缩减用户消费时间，提高商品转化率。2.3数据管理存储、安全防护与交易是数据管理的重要环节目前，大数据行业的存储多依托于云存储技术，将海量数据保存在云端，既能够降低数据存储成本，又能够提高数据处理效率。但考虑到目前我国网络安全形势严峻，存在如DDoS攻击与Web攻击等多种攻击手段，存储于云端的数据还需进行安全防护，以防止储存器受到攻击导致数据泄露，进而危机企业信息安全。此外，随着数据的爆发式增长及数据价值越来越得到凸显，行业内逐渐产生了一种新的商业模式，即数据分享与交易平台，通过搭建数据共享、交换、交易平台，为数据资源供给方和需求方提供便捷的交易环节和服务。随着企业、市场与环境产生越来越多的内外部数据，传统的线下存储方式因其高昂的成本渐渐转向云存储，对象通常包括数据本身、数据在处理过程中产生的信息等。目前国外提供数据存储服务的企业有NimbleStorage、Qumulo等，还有同时提供存储与安全两项服务的企业如Cloudera等。大数据交易以电子交易为主要形式，通过线上交易系统促成供需双方的数据交易。在此基础上，多数大数据交易平台还提供基础数据处理、分析、数据平台技术开发等增值服务，如九次方大数据等企业。此外，国内同时还存在如数据堂等专注于数据交易的平台，数据供给方在平台上发布数据，企业可根据自身需求进行购买。数据堂提供计算机、医疗、交通、电商等多行业数据的交易服务。而九次方大数据则主要提供政府数据、国家部委数据及金融等种类的数据。数据的潜在价值在数字化时代，数据支持交易的作用被掩盖，数据只是被交易的对象。而在大数据时代，事情再次发生变化，数据的价值从它最基本的用途变为未来的潜在用途，这一转变意义重大，它影响了企业评估其拥有的数据及访问者的方式，促使甚至是迫使公司改变他们的商业模式，同时也改变了组织看待和使用数据的方式。数据的价值是其所有可能用途的总和。这些似乎无限的潜在用途就像是选择，这里不是指金融工具上的选择，而是实际意义上的选择。这些选择的总和就是数据的价值，即数据的“潜在价值”。3.1数据的再利用过去，一旦数据的基本用途实现了，我们会认为数据已经失去它的价值，准备将其删除，而在大数据时代，数据像是一个神奇的钻石矿，在首要价值被挖掘之后，仍然不断产生价值。数据不同于物质性的东西，它的价值不会随着它的使用而减少，它可以不断被处理，也可以为了同一目的被使用多次。亚马逊早期与AOL公司达成协议，为AOL电子商务网站提供后台技术服务，AOL公司只看到了销售这个基本用途所带来的利益，而亚马逊真正的用意是掌握用户的数据，从而帮助其推荐系统的完善。数据再利用的价值对于那些拥有大型数据集但很少使用的机构来说是个福音，他们因为存储成本低而将其保存下来。比如移动运营商，他们利用用户的位置信息来传输电话信号，可这些数据信息被一些发布个性化位置广告服务和促销活动的公司再次利用的时候，就会再次迸发价值。3.2重组数据处于休眠状态的数据，通过另一个完全不同的数据的结合，形成一个全新的数据集，将会释放出新的价值，当我们将多个数据集重组在一起的时候，总和的价值比单个的价值更大。丹麦曾经把癌症患者的信息与手机用户的信息结合在一起，试图找出这两者之间的关系，手机是否会增加致癌率。虽然最后没有发现使用手机与患癌率增加之间的任何关系，但这里面说明了数据重组的概念，为我们提示了更多可能性。有的房地产网站将房地产信息和价格添加在社区地图上，与此同时还聚合了大量信息，例如社区近期的交易和物业规格，以此来预测此区域内每套住宅的价值。电子商务企业把每个仓库的库存与位置信息数据组合，可以得出哪片区域的需求量大，从而提前增加库存。把用户消费额及购买的商品的等级与用户位置信息组合起来，可以划分贫富区域，从而推荐适合消费的商品。3.3可扩展数据可扩展数据指的是同一个数据具有多种用途，比如在零售店安装的监控摄像头，不仅能认出商店小偷扒手，还能看到商店里的顾客停留的位置以及停留时间，通过数据分析，零售店可以设计出最佳布局，让消费者更容易找到自己想购买的商品。谷歌的街景汽车不仅拍摄房屋道路的照片，同时收集GPS数据，用于基本用途外，还可以优化谷歌地图，有助于自动驾驶汽车的运作。数据的扩展性告诉我们，若一开始就考虑到数据各种潜在的二次用途，使其具有扩展性，就可以增加数据的潜在价值。3.4数据的折旧值数据随着时间推移，大多数都会慢慢失去其一部分的基本用途，如果在这种情况下还继续依靠于旧数据，不仅不能增加价值，甚至会破坏新数据的价值。比如几年之前在淘宝上买了一本书，现在你对它已经不太感兴趣了，若淘宝继续给你推荐这类型的书籍，你购买这本书的概率就会不太高。但是并非所有数据都会贬值，有公司还是提倡尽可能长时间地保存数据，比如一些搜索记录数据，通过多年来累积的数据，可以更好地改善搜索结果的相关性。所以在保留数据的延展性的前提下，尽可能长时间地保存数据，即使其用于基本用途的价值会减少，但它无法想象的数据再利用的所有可能方式会显示出其潜在价值的强大。3.5数据废气数据废气是用户在线交互的副产品，包括浏览了哪些页面、停留了多久、鼠标光标停留的位置、输入的信息等。比如谷歌的拼写检查系统，它根据每天处理的30亿查询中输入搜索框中的错误拼写，不断完善拼写检查系统，以致用户没有完全精确的输入也能得到正确的查询结果。还有语音识别、垃圾邮件过滤、翻译等，当用户指出错误时，实际上在训练这个系统。数据废气可以成为一个企业的竞争优势，帮助其系统的完善以及升级。在电子商务中的数据废气，比如，商品名字的错误搜索记录，通过数据分析处理，可以辨识出其真正对应的商品，从而显示出用户想要的商品；还有订单取消的记录，通过分析用户取消订单后再去点击的商品，如果很多用户都点击此商品，表明这个商品更符合消费者，后台的排名算法就会把它提到页面比较靠前的位置。3.6开放数据政府是大规模信息的原始采集者，但由于其特殊的身份，所以使用数据的效率往往很低。通过开放政府数据（除了少数危及国家安全及他人隐私权的数据），私营企业及社会各界对数据的利用会更具创新性。开放数据对于电子商务来说，更有利于对其用户的精准营销，如果政府公开了官方的天气预报以及气象局实时状态、用户消费额、用户位置信息，以及揭示用户需求的一些语音或者文本数据记录，电子商务通过分析整合这些数据，可以得出用户在什么时候需要的是什么，甚至用户还没下单，一出门就可以看到自己想要买的东西。开放数据虽然听起来是在深挖用户的隐私，但是通过适当的管理以及监管手段，让用户同意后签订公开条约，相信开放政府数据，会带来一翻新气象，在遍地数据的大数据时代，政府掌握的超大规模数据，将会给社会带来巨大的潜在价值。电子商务在大数据时代的风险在大数据时代中，我们可以轻松看到大数据的价值潜力，所以人们更渴望去挖掘数据。进一步的采集、存储、循环地利用我们的数据，如果在隐私以及预测方面对大数据管理不当，或者出现数据分析错误，将会导致不良后果，而且会威胁到我们的隐私。4.1虚假伪劣的信息在大数据时代，数据优劣混杂，各种各样，这对电子商务数据的收集处理提出了挑战，一些伪劣假冒的信息会破坏掉核心的真实信息，对海量数据进行严格筛选，确保数据的有效性是电子商务的关键问题，否则，夹杂着错误信息的数据分析，必定会错漏百出，失去其价值。4.2盲目收集数据大数据时代，数据就是黄金，大多数电子商务都在盲目的进行大数据的投资，却没有清晰的应用思路，在数据的海洋里迷失了，电子商务运营者要懂得对数据进行有效的使用，而不能让数据单纯的保存在数据库中，了解数据的潜在价值，才可以拓展商机，形成新的商业模式。4.3数据安全与隐私问题在大数据时代，我们时刻都暴露在“第三只眼”之下，电子商务监视着我们的购物习惯，浏览器监视着我们的网页浏览习惯，而类似微博的论坛平台，似乎什么都知道，甚至还有我们的社交关系网。大量的数据，包括企业的运营数据，来源于人与传感器的用户信息等个人隐私行为的数据记录，用户在网页上浏览记录及行为、对商品的评价、传感器数据等将会面临泄露的风险，不法分子可以利用大数据把用户的碎片信息重组，重现用户的完整信息，把握用户的喜好与个人信息后，对其推荐一些伪劣商品，对消费者造成人身安全以及财产的损失。电子商务企业，要小心数据的丢失，更要防止数据被窃取或篡改。还有一些涉及个人隐私的敏感数据的所有权以及使用权还没有明确的界定，这使得认定侵犯个人隐私行为成为了一点难点。过去，隐私的规范都由人们自主决定谁来处理他们的信息，在大数据时代，我们需要设立一个跟以往不同的隐私保护模式，该模式应更着重让数据的使用者来为其行为承担责任，而不仅仅是把关键放在收集数据前要取得个人同意上。未来的隐私保护法应当区分用途，对于一些危险性比较大的项目，管理者应该设立规章制度，规定使用者应如何评估风险，如何规避或者减轻潜在伤害，这样可以激发数据的创新性再利用，同时也确保了个人免受无妄之灾。对于用户的隐私保护，政府需要挺身而出，引导和监督企业的行为，利用宏观调控的手段领导人们观念的完善、法律法规的健全。而法律方面缺少针对性的法规，需要制定相关的法律，提高电子商务企业对个人隐私权的重视。在企业层面上，电子商务企业应该公开信息的收集及其用途，并征得用户同意后方可使用，同时要增强信息安全方面的技术，以防黑客攻击。在个人层面上，用户应该加强隐私保护意识，在网上输入个人信息的时候保持谨慎，谨防在公共地方留下自己的个人信息。5.案例5.1淘宝相关数据2018年11月11日24点，天猫成交额达到2135亿，纪录再一次被刷新。资料显示，淘宝目前占据中国网络购物75%的市场份额，由此每天产生的数据量达到了7个T，大约等同于7000G的数据容量。这些数据容量当中大部分是由消费者、商家产生的，另外还包括物流公司和内部数据的一些信息等等。5.2淘宝数据魔方在大数据的应用上阿里巴巴迈出了第一步，并利用平台天然优势将此类数据已经做到极致，代表者就是“淘宝数据魔方”，数据魔方统计了淘宝搜索的关键词，开放网站所有的交易数据。据了解，此次面向商家开放的数据方式主要分为两种。其一，通过其“数据魔方”平台，商家可以直接获取行业宏观情况、自己品牌的市场状况、消费者行为情况等，但是不能获得竞争对手的数据；其二，通过第三方研究机构合作的方式，商家可以直接向研究机构获取服务。5.3淘宝大数据营销策略以及借贷信用评级淘宝具备非常丰富的客户历史数据。通过这些数据的分析，能够进一步了解客户的购物习惯、兴趣爱好和购买意愿，并可以对客户群体进行细分，从而正对不同的用户对服务经行调整和优化，进行有针对性的广告营销和推送，实现个性化服务。淘宝在2012年推出了“淘宝时光机”项目，该项目通过分析用户自注册为用户以来的行动，用幽默生动的谈话模式，告知顾主淘宝的成长历史以及该用户在淘宝购物的轨迹。通过收集与该用户有相类似喜好的其他用户的行动并经过分析后，可以对特定用户的偏好和行动轨迹进行猜测，已达到精准营销的目的；并可以用特定用户喜好的方式和个性化的数据、拉近了与顾客的距离。阿里巴巴则通过在淘宝、天猫等网站积累的数据资料，通过对用户的销售终端、资金使用等数据进行追踪和收集，以了解中小企业的交易状况。从中可筛选出财务健康、讲究诚信的企业，为发放无担保贷款，解决其贷款难的问题，不仅新增了盈利模式又可以防范风险。目前，阿里巴巴已收贷300多亿元，坏账率仅为0.3%，远低于银行贷款坏账率。5.4A21公司大数据分析的尝试除了人力上的巨大投入外，基于大数据的分析，是阿里巴巴今年主打的亮点之一。该公司会向平台上重要的公司根据后台的大数据分析提出双十一期间主打货品的建议，目前已经有家电企业TCL、服饰公司A21得到了阿里在大数据方面的帮助，并根据实际情况调整了在双十一期间的主打产品。服饰公司A21在今年也将关注重心从流量转移到大数据分析上。在今年双十一之前，A21做了一个大胆的尝试：锁定1000个老客户，通过阿里数据分析他们喜欢的款式后，将新品快递过去，并告诉这些客户：如果衣服喜欢就留下，不喜欢就退回来。结果，90%的人都很喜欢推送的服装并买单，5%的人退回了服装。A21电商负责人陈宇文说：“这充分证明了大数据给我们带来的价值。用户感受到惊喜，互动也更多。我们可以将原本的理性的数据分析，和对消费者的感性分析结合起来，从而更清晰地了解消费者的购物决策。”6.总结及展望总结：前文介绍了在大数据时代中，电子商务业迎来了新的转变，把握大数据这一利器，激发出巨大的商业价值，以各种数据挖掘方式，数据重组、数据再利用、数据废气、开放数据等途径极大限度地发掘出数据的巨大潜在价值。在作用机制方面，介绍了数据采集的途径、数据处理的方法以及数据管理的必要性，介绍了电子商务企业通过用户画像实现精准营销，通过个性化定制满足用户需求的内容。在风险问题方面，介绍了虚假信息以及个人隐私泄露对用户的危害以及解决方法。最后对电子商务企业淘宝等进行分析，表明了大数据对电子商务企业的巨大价值所在。珍贵的四年大学生涯接近尾声，作为句号的毕业设计，它是衡量每个学生对知识把握的程度，是对之前所学知识的检验，更是对自己能力一个提升的机会。从接到任务书开始，我就开始查阅文献，在网络上查看资料，在查阅资料的过程中，遇到难点就跟同学、导师讨论。把数据整理好之后，我就开始写我的毕业论文，在写作的过程中，因为发现数据有点杂以及不符合论文主题，我又去翻看更多的论文和资料。在导师的帮助下，论文慢慢成型，最后成为了一个汗水与智慧的结晶。通过这两个月论文的创作，想起找到对应资料的兴奋，在夜深对着电脑敲打键盘的声音，虽然过程很狼狈，看着论文的成品就值了。不足：