大数据时代下的电子商务数据管理-2019年精选文档

1、大数据时代下的电子商务数据管理大数据时代的到来改变了人们对数据的认识和态度， 电子商 务作为大数据产生的主要来源之一， 其发展状态及趋势越来越被 人们所关注。电子商务数据每年增长约 60%，但数据利用却不足 5%，人们迫切希望通过数据的力量来解决一些发展道路上遇到的 瓶颈问题。数据的价值逐渐被人们所重视，数据的客观性、真实 性、可靠性为电子商务的数据服务提供了坚实的“物质基础”， 继而发展成为一种产业。 那么大数据时代进行数据存储方式、 读 取方式、分析方式的创新以及增加数据服务模式已经成为大势所 趋，本文正是对上述问题进行初步研究。一、数据存储方式随着 Web2.0 时代的到来，传统的数据存

2、储模式已经不能够 应付规模庞大的数据流。 存储设备的成本增加， 数据洪期的不预 定型，结构化数据与非结构化数据混杂等因素让存储不得不做出 彻底的变革。为了减少存储成本， 提高存储容量和存储空间利用率， 人们 利用虚拟化技术对存储设备进行改造， 将所有存储空间作为一个 资源池， 可以自由的配置存储设备空间。 虚拟化技术主要利用软 件实现对存储资源的控制， 根据实际需要可以将软件安装在相应 的硬件设备之上。 为提高一些性能较为低下的设备利用率， 可以 通过网络将这些设备连接起来，作为数据存储的载体。例如 San 系统，集群系统。 San 系统与集群系统都可以实现数据共享和访 问，并可以对存储空间进

3、行自由的扩展， 但是 San 系统可以支持 不同客户端的操作系统，扩展范围更加广泛，运用更加灵活。San网络存储由服务器、存储、互连组成，利用光纤通道实 现对存储设备的管理， 既可以实现服务器到存储的数据传输， 也 可以实现服务器到服务器的数据通信。 San网络采用双环方式及 数据远程备份，增加了数据安全性。San对于磁盘进行虚拟化，可以让磁盘同步存储数据，加速了磁盘读 / 写操作的效率。二、数据读取方式 现阶段，电子商务的数据存储方式大多依靠广泛使用的关系 型数据库。关系型数据库采用关系模型，在结构上更容易理解， 而其使用的数据库操作语言 SQL也广泛被人们所接受。由于其对 数据类型等多方面

4、的严谨性， 减少了使得数据库的维护量， 提高 了数据管理效率。然而，随着电子商务的飞速发展，数据量的巨增，给关系数 据库的 I/O 端口造成了很大的压力。 其次， 在对数据的查询操作 上，尤其是一些大表的嵌套查询，效率非常低。由于庞大的数据 量，对数据库的维护造成了一定影响， 数据库无法动态扩展其存 储空间及提高其负载能力。数据库升级和往往要进行停机维护， 导致业务的中断。近年来，非关系型数据库及分布式存储的出现可以解决传统关系型数据库存在的问题。NoSQL数据库是为了解决大规模数据集的管理，包括对数据的存储及并发控制。而数据的多样化，非结构化等难题，给大数据处理及分析带来了挑战。现在NoSQ

5、L类 型有很多， 且各自拥有各自的技术优势， 数据管理者要结合自己 的需求选择好合适的NoSQL数据库，才能体现非关系型数据库具 备的优势。NoSQL数据库主要分为：键值存储数据库，列存储数 据库，文档型数据库，图形数据库等。NoSQL数据库并没有一个统一的架构，两种NoSQl数据库之间的不同，甚至远远超过两种 关系型数据库的不同。NoSQl没有高低之分，只能合理地使用 NoSQL到适合的场合，才能充分发挥 NoSQL的优势。现在比较常用的NoSQL数据库主要是Redis，Leveldb， Mongodb HBases HBase作为Hadoop的子项目，适合于非结构 化的数据存储。HBase

6、的一大特点是基于列的模式，这样可以增 强数据库的扩展性，提高数据库的存储效率。而且，HBase作为分布式数据库可以在廉价服务器上搭建起规模庞大且结构化的 存储集群。三、数据分析方式大数据时代下， 人们对数据的态度有了很大改变， 对数据的 研究由追寻因果向数据相关性转变。然而，对于电子商务来说， 需求关系的分析是电商市场一个重要因素， 仍然不可或缺。 电子 商务数据包含了客户的基本信息、消费信息、商家的产品信息、 金融交易信息等结构化或非结构化数据。 对电子商务数据的分析 可分为几个方面：（1）流量数据分析，包含了对电子商务网站的流量，点击 率等数据的分析。流量的大小可以反映商品的推广程度，但是

7、， 为检测一些为提高点击率的恶意、 虚假行为， 需要对流量来源等 数据进行分析， 确保点击率能真实反映产品推广程度。 网站到达 率，二跳率， pv/ip 值等数据都可反映商品宣传的效果。（2）网站数据分析，网站数据最能直接反映商品推广效率， 商品质量及商品销售情况等重要信息。 各式各样的电商产品琳琅 满目，客户往往会陷入难以抉择的尴尬局面，难以达成交易。通 过对网站数据的分析，可以更好的了解客户的真实需求和偏好， 并制定相应的营销策略，更好的将商品推销至客户。（3）信用数据分析，无论是客户还是商家，信用都代表了 其交易的真诚度和可靠性。 信用主要以交易量及交易评价作为依 据。面对日益竞争激烈的

8、电商市场， 商家为了提高自身的销售额， 难免采用一些不正当手段， 通过构造虚假评论信息来提升自己和 打击对手。通过对评价数据的分析，可以判断其评价的真实性， 避免了一些商家通过炒作来提高自身信用和客户恶意评价等行 为带来的影响。四、数据服务模式大数据时代下， 数据分析所利用的数据不再是通过简单的抽 样得到的样本， 而是要将整体数据作为分析来源。 以大数据的分 析手段，得到分析结果。尽管相较于传统方法，大数据分析需要 消耗更多的时间和资源，然而，往往一些孤僻、异常的数据才是 问题出现的根本原因，而原有的抽样方式很有可能将此类数据遗 漏，影响到最终的分析结果。通常，数据服务提供可视化界面，展现数据的统计分析结果。 对于大数据的统计分析，需要呈现出更多，更广的事