大数据的应用.docx

企业在大数据应用上的问题前段时间参加了公司的一次培训，关于精益化管理以及6西格玛管理，在6西格玛管理中有一个比较关键的词：“大数据”。这个词在现在已经不算是一个新词汇了，从科研角度讲，自2015年起关于大数据的文章开始爆发性的增长，大数据这个词也是在那时被更多的人所熟知，然而直到如今。可以利用大数据来把企业的制度完善或开发新方向的企业仍然只是占有极少数。也就是说基于大数据进行分析发展仍然还需要很长的路要走。 大数据是在大量数据的环境下进行的，严格来说，大数据更像一种策略而非技术，核心概念为比以往有效的多的方式来管理海量的数据并从中提取价值。大数据具有复杂性、海量化、低密度、快速生产等特点。而它的这些特点也决定的对它研究的方向以及出现的问题，目前的大数据分析有如下的问题：一个是数据量过大，从TB到PB、EB级。一个是数据分析时的数据可用性、数据建模、资源调度、专业工具分析匮乏、数据来源等问题。而对于一个企业来说，数据来源、数据建模以及有合适的分析工具是一个企业想要利用大数据进行分析的几个需要重视的问题。 数据的来源通常包括以下几种数据：交易数据、移动通信数据、人为数据、机器和传感器数据、互联网上的开放数据来源。这些数据中的一部分的获取是一个很难的问题，尤其是在中国，许多的数据都并不开放，有些即便开放但也不具体、不准确。无法通过这些数据进行有效的分析。许多的文章关于大数据都是基于对未来大数据的看好以及理论上的分析，很难进行更为细致的研究也许也有这方面的原因。我公司目前能够较为准确的获取的约占一半左右，随着公司自动化程度的加深，机器和传感器的数据也更容易获取，但仍有很多数据很难获得。 数据建模同样是发展的一个重大约束，大数据分析不同于其它，有着固定的模式，每一个模型基本上只能使用于开发它的职业，比如比较成功的在便利店通过数据发现的规律：买尿布的男士通常会顺带着买啤酒，而这个关系便是通过研究客户每次购买的物品发现的一种关系，之后将这两个商品放在一起增加了啤酒的销量。这是比较早期的应用大数据比较成功的一个案例，通过积累客每位用户购买产品的种类发现的一些很意外的关系从而达到增加销量的成果，但这种研究方法也仅适用于对于便利店的研究。所以要找到适合自身的模型是很困难的一件事。对于我公司而言，比如通过客户的数据分析来完善销售服务，通过机器和传感器的大量数据进行分析来优化生产流程，对故障设备产生的原因进行数据分析找到根源问题，以减少故障率。这些都是有可能通过大数据分析进行优化的，但同样都需要专业的分析模型，才能更好的利用大数据。 而合适的分析工具将对上述的问题提供一个很好的解决办法，但就目前发展而言，专业的分析工具仍然处于发展状态，还未成熟，目前有SPSS、SAS、MapReduce等为大数据服务的软件，但其仍不足以应对当前的市场需求，解决对大数据的处理分析。大数据目前有一些关键的技术：大数据存储及处理平台、大数据的数据分析、大数据的解析技术等包括数据挖掘与融合，领域普适知识挖掘，过程挖掘在内的多项技术问题。 虽然目前可以真正利用上大数据的企业并没有太