大数据的应用

1、企业在大数据使用上的问题 前段时间参加了公司的一次培训，关于精益化管理以及6西格玛 管 理，在6西格玛管理中有一个比较关键的词：“大数据”。这个词在现 在已经不算是一个新词汇了，从科研角度讲，自2015年起关于大数据 的文章开始爆发性的增长，大数据这个词也是在那时被更多的人所熟 知，然而直到如今。可以利用大数据来把企业的制度完善或开发新方向 的企业仍然只是占有极少数。也就是说基于大数据进行分析发展仍然还 需要很长的路要走。 大数据是在大量数据的环境下进行的，严格来说，大数据更像一 种策略而非技术，核心概念为比以往有效的多的方式来管理海量的数据 并从中提取价值。大数据具有复杂性、海量化 低密度快

2、速生产等特 点。而它的这些特点也决定的对它研究的方向以及出现的问题，目前的 大数据分析有如下的问题：一个是数据量过大，从TB到PB EB级。一个是数据分析时的数据可用性、数据建模、资源调度、专 业工 具分析匮乏、数据来源等问题。而对于一个企业来说，数据来源 数据 建模以及有合适的分析工具是一个企业想要利用大数据进行分析的几个 需要重视的问题。 数据的来源通常包括以下几种数据：交易数据、移动通信数据、人 为数据、机器和传感器数据、互联网上的开放数据来源。这些数据中的 一部分的获取是一个很难的问题，尤其是在中国，许多的数据都并不开 放，有些即便开放但也不具体 不准确。无法通过这些数据进 行有效的分

3、析。许多的文章关于大数据都是基于对未来大数据的看好 以 及理论上的分析，很难进行更为细致的研究也许也有这方面的原因。 我公司目前能够较为准确的获取的约占一半左右，随着公司自动化程 度 的加深，机器和传感器的数据也更容易获取，但仍有很多数据很难获 得。 数据建模同样是发展的一个重大约束，大数据分析不同于其它，有 着固定的模式，每一个模型基本上只能使用于开发它的职业， 比如 比较成功的在便利店通过数据发现的规律：买尿布的男士通常会顺带着 买啤酒，而这个关系便是通过研究客户每次购买的物品发现的一种关 系，之后将这两个商品放在一起增加了啤酒的销量。 这是比较早期的使 用大数据比较成功的一个案例，通过积

4、累客每位用户购买产品的种类发 现的一些很意外的关系从而达到增加销量的成果，但这种研究 方法也仅适用于对于便利店的研究。所以要找到适合自身的模型是很困 难的一件事。对于我公司而言，比如通过客户的数据分析来完善销售服 务，通过机器和传感器的大量数据进行分析来优化生产流程，对 故障设备产生的原因进行数据分析找到根源问题，以减少故障率。这 些都是有可能通过大数据分析进行优化的，但同样都需要专业的分析模 型，才能更好的利用大数据。 而合适的分析工具将对上述的问题提供一个很好的解决办法， 但 就目前发展而言，专业的分析工具仍然处于发展状态，还未成熟，目前 有SPSS SAS MapReduce等为大数据服务的软件，但其仍不足以 应对当前的市场需求，解决对大数据的处理分析。大数据目前有一些关 键的技术：大数据存储及处理平台 大数据的数据分析 大数据的分析 技术等包括数据挖掘和融合，领域普适知识挖掘，过程挖掘 在内的多项技术问题。 虽然目前可以真正利用上大数据的企业并没有太