浅谈铁路企业如何运用大数据管理20140125.doc

浅谈铁路企业认识运用“大数据”财务处 程立松当前最能改变企业市场命运的技术便是电子商务。电子商务的普及让我们急速地跨入了大数据(Big Data)时代，大数据主题近期引起国家高度关注。随着计算机普及和互联网应用，近十多年海量的信息和数据不断产生，美国互联网数据中心指出互联网上的数据每年增长50%，而且速度越来越快。目前世界上90%以上的数据都是最近几年才产生的，美国人比较简捷地把海量的信息数据称为“大数据”。而随着数据仓库、数据安全、数据分析、数据挖掘等等围绕海量信息数据的商业价值利用，大数据已逐渐成为各行业争相追捧的焦点，并从2010年开始成为互联网信息技术行业的流行词汇。应用大数据技术正日益成为信息化建设的主战场。大数据开启了一次重大的时代转型。就像望远镜让我们能够感受宇宙，显微镜让我们能够观测微生物一样，大数据正在改变我们的生活以及理解世界的方式，成为新发明和新服务的源泉，而更多的改变正蓄势待发。所以，我们应当充分地认识到大数据时代对于各个行业来讲，既存在挑战，也是一个巨大的机遇。对于铁路企业，大数据是一种新技术、新思想。必然带来新机遇，新起点。 一、大数据是什么 大数据不是一个简单的定义，他是计算机技术进步的进化体系，是随着时间的推移而改变的，总体上分以下几个方面理解：（一）、大数据是数据集合。相对于小数据的结构化数据，大数据更多是非结构化数据。按照维基百科的说法，大数据指在一定时间内无法用常规软件对其内容进行抓取、管理和处理的数据集合。大数据的数据分析允许我们接受数据的混杂性，而不再过多关注其分析数据的精确性。只有接受数据的混杂性，才可以利用95%的非结构化数据。数据的混杂性，一是指数据量之大，可能会包容了错误的数据，造成分析结果的不准确；二是格式不一致。（二）、大数据是一种思想。大数据是一种挖掘思想，淘金思想。核心并不是拥有数据，而是用数据去做什么。大数据有什么不重要，怎么用才重要。不在于数据量大，范围大，适合业务特点才好。真正的大数据，应该是从不同维度，不同途径搜集过来的各种格式数据碎片，将不同维度的数据放在一起判断，得出来的趋势才有可能更真实。大数据更要从小范围做发起，计算机技术的发展使分析统计变为全样本分析。（三）、大数据是一种预测。大数据的核心价值就是预测。本质是解决问题。企业经营的核心也是基于预测所做出的正确判断。以往的数据分析，更多的是精确的样本，深度的数据挖掘，“精确”就是其代名词。不符合规格的样本过滤掉，然后再深度挖掘数据字段间的关系，得出几个精确无比数字。大数据更多的是通过对各种数据分析得出某种趋势，这种趋势不必过于精确，但是能让相关决策人有底气去做某项决定。大数据不重要，重要的是使用大数据的人。（四）、大数据是一种智能分析处理技术。任何技术的发展进化都决不是空穴来风，都是从生产实践中产生进化得来，为生产服务的。解决生产生活的实际需要发展而来。之前的计算机都是为人做什么，今后的计算机可计算出人们在想什么，想做什么。这就是大数据的智能分析技术。就是对数据流处理、并行性、摘要索引和可视化的过程。最明显的例子就是你在百度或淘宝搜索的信息计算机都会分析记录下来，并在你下一次浏览网页时发布出你想要的物品相关信息。（五）、大数据是一种新资源。2011年，自然杂志出版专刊指出，倘若能够更有效地组织和使用大数据，人类将得到更多的机会发挥科学技术对社会发展的巨大推动作用。美国政府把大数据看成是“未来的新石油”。2012年3月，美国奥巴马政府公布了“大数据研发计划”，旨在提高和改进人们从海量和复杂的数据中获取知识的能力，进而加速美国在科学与工程领域发明的步伐，增强国家安全。美国的这个大数据研发计划给我们国家也是一种鞭策，我国也在2013年制定了国家的大数据发展的战略计划，从顶层角度设计我们国家的大数据整体的发展。二、大数据的起源 （一）、互联网的普及是大数据产生的前因。通信技术对人类社会所产生的巨大影响之一，就是利用通信技术把许多计算机联系在一起形成的因特网，即互联网。互联网的出现完全改变了我们的生活空间。它是继电报、电话、无线电、电脑之后的一个伟大发明，全世界的电脑能够通过互联网联系起来，进行通讯或分享讯息资源。无线电话加上互联网，是整个地球的主要通讯工具。 互联网(Internet)是世界上最大的电子计算机网络。它的形成使计算机不但能处理信息，而且可以获得信息和传递信息，其迅速发展对全球政治、经济、文化等领域具有深远的影响。目前互联网被认为是全球信息高速公路的雏形或前身。计算机网络实现的发展速度异常迅猛，全球网络化时代已经到来，由于互联网所用的方法简单好用，很快就可以找到所需要的资料，而由于大家都习惯了互联网所用的方法，因此现在企业内部的网络也用互联网的方法，它叫做内联网（Intranet）。互联网的出现也引发了许多新生事物，使通信信息能够记录下来，这此被记录下来的信息就形成了现在大数据的基础数据。（二）、数字化数据技术使大数据积累成为现实数字化数字技术诞生的道理很简单，信息丰富了，数量增多了，就需要有足够大的容器才能盛放得下。数字化是与信息化相匹配的。数字技术的核心是记录方式的改变，与模拟技术和物理记录方式相比，数字技术以无形的“比特”为单位记录信息，使信息的物理保存方式大大压缩，记录和传递信息的容量得到极大扩张，从而为海量信息的采集、整理、保存、传播、利用提供新的可能。数字化不仅改变了信息的物理记录方式，对人类活动来说，更意味着压缩了信息交流的物理距离。在数字化世界里，距离的意义越来越小。事实上，互联网络的使用者完全忘记了距离这回事。 由于数字技术这种无与伦比的先进性，数字化趋势就成为一种不可阻挡的趋势。我们无法否定数字化时代的存在，也无法阻止数字化时代的前进，就像我们无法对抗大自然的力量一样。面对数字技术的发展趋势，国内有学者将未来信息传播方式概括为“六化”，传媒网络化、信息多媒体化、通讯移动化、服务个性化、管理现代化、技术趋同化。数字化时代的必然过程是将传统资料数字化存储，它是存储方式的变革。传统光电的信息变为数字存储传输，纸制变为数字存储，使数字具有了生命价值。也让搜索化技术革命一次，海量搜索分析变为现实。（三）、计算机处理能力提升及存储成本的下降，使海量数据存储成为可能。存储有内部和外部两种，内部存储一般指在服务器上内置存储设备，这种设备一般都是磁盘阵列，虽硬盘容量的不断增加使得磁盘阵列容量增大，价格不断下降。另外、云计算中的云存储技术效率能够达到当前传统数据中心效率的5至7倍，高效的资源利用率无疑将进一步降低存储成本，其次，云计算提升了数据中心的可靠性与承载能力，通过分布式存储和资源调度，可动态调整资源与分配，消除服务器及存储设备的单点故障，实现高可用性。同时，云计算的集群应用实现规模效应和弹性扩展。通过虚拟化技术，云计算可以帮助用户实现动态升级和迁移，并提供一种全新的服务模式。正是由于数据存储成本的下降，加上数字化手段提供了数据采集的新渠道，企业正通过这类技术加深对用户的全面了解，一些企业甚至希望了解一切，这令许多观察人士深感不安。 （四）、云计算能保存大量的历史数据并对数据分析，便产生了大数据云计算技术的完善，使存储成本降低，是大数据产生的基础。云计算和大数据作为网络信息化的快速发展过程中的产物，其未来发展是必然的趋势，未来五年IT产业将以云和大数据为发展重点之一。是新型工业化道路技术革命的必然要求。数据本身是不会说话的，但是数据总结出的历史、数据反映出来的现状、数据呈现出的趋势能够说话。数字化进程的加快，使得我们周围的大部分信息都形成数字化管理并得以存储。数据都要保存所产生的，旧金山大桥保留了百年的历史数据，在时间跨度上产生了价值，很多部门在早期对数据的重视程度不够，保存数据的代价很大，过去是的数据没有地方存储，存储成本极高，如1PB需要上千万元产值，云计算技术改变过去的存储方式，具存储设备便宜了，用户自己产生的数据得到了重视，数据的价值被重视了。因此越来越多的数据被持续保存。由此可看出，今后的几年，随着云计算技术的成熟和实用化，大规模区域信息系统和大型数据中心的建立将逐步展开。然而，随着海量数据被保存下来，一个棘手的问题出现了：我们如何通过高效的分析这些数据来提供有价值的服务？（五）电子商务的普及促进了大数据的发展电子商务的普及使数以百亿计的机器（每个机器都是一台电脑）、企业、个人随时随地都会获取和产生新的数据并被记录下来，随着物联网、云计算、移动互联网等电子商务的发展，手机、平板电脑、PC以及遍布各个角落的传感器，将成为大数据来源和承载方式。（六）、移动智能通信设备与互联网的结合促进了数据海量增长。移动互联带来全方位海量数据,降低数据获取成本。现在互联网的重心逐步向着移动互联转移，各种新型智能移动设备的迅速普及带来海量数据的爆发。大数据只是一种提法，其形态本身是数据云。以实时感知、分析、对话、服务能力为基础，让数据流成为商业、营销活动的核心才是关键。怎样才能让这些大数据更好地为产品或营销服务，搞清楚大数据时代的业界生态必不可少。三、铁路企业如何运用大数据技术近年来铁路企业装车量持续下滑，并出行业亏损现象。铁路运量下滑的同时全社会物流却持续大幅度增长，而且高铁的投入出现了严重负债经营。如何分析铁路运量下滑的原因，找到遏制的办法？传统的做法是耗费大量的人力、物力、时间开展货源调查。但在旅客及货物以“亿万”计数的时代，这些简单的统计和定性分析已远远不能满足市场的需求。找到的答案无外乎是受国内宏观经济影响，大宗物资运输需求下降，引起铁路运量下降等等。这些笼统的、模糊的分析，将直接影响决策的方向和效率。对于铁路总公司来说，如何迅速布局大数据，掘金大数据时代，将是铁路走出困境的必然的选择。（一）、运用大数据技术要达到的目的。核心目的是了解客户需要什么，我们要为客户做什么，如何做，什么时间做，我们自身需要改进什么。想知道这些必须要与客户进行多渠道交互，即如何通过客户终端或智能移动设备与铁路企业电商平台的相互交互？相比要求客户掏出智能手机在互联网上浏览价格，我们最好主动推动其行为。做这些的目的很明确，也相当直接。就是提高铁路运输市场占用率，提高货运量。增加每次和每笔运输交易的收益。降低只观望对比不下单的百分比。其次铁路企业运用大数据需要什么呢？在技术方面，可能需要提供客户相关位置信息的智能设备，用于实时交互和分析的数据收集点和决策点，用于面向批处理的分析的存储和处理工具，在数据集方面，可能至少需要与个人和个人识别设备（电话、会员卡等）相关联的客户个人信息，与详细的运输行为相关联并与优惠使用、首选运输产品及其他运输产品推荐等要素相关联的非常细粒度的客户细分。找到了需求，就找到了市场。决策者想知道的东西，大数据将会告诉答案。例如：阿迪达斯每天都会收集门店的销售数据，然后对数据做整合、分析，再用于指导经销商卖货。研究这些数据，让阿迪达斯和经销商们可以更准确了解当地消费者对商品颜色、款式、功能的偏好，同时知道什么价位的产品更容易被接受，然后再去生产。铁路也是一样。如何才能精准的分析市场呢？如何让决策者知道什么货物运量下降，为什么下降呢？什么货物走公路、水路、民航运输？什么样的“一口价”具有市场竞争力？哪些货物将是营销的对象？哪些人群将是潜在的高铁乘客等。再例如，通过对旅游市场大数据的分析，可以得出近期游客前往的热门地区，大概的人数，乘坐的各种交通工具比例，铁路营销部门就可以有针对性的开展营销工作，采取降低票价提高上座率，开行直达专列增加运能等；通过对每天货物运输订单数据分析，调度人员可以对同一货种，目的地一样，时间要求一样的货物，统一调度，开行五定班列，直达班列；通过对网友在各种新媒体的留言，可以分析出铁路当前服务存在哪些突出问题，针对性的去改进等等。（二）、如何收集数据，大数据分析将是打开铁路走市场的金钥匙。近来铁路改革的步伐日趋加快，一项项措施接续出台。实施铁路网络售票、实名售票，货运组织改革推行“电子商务”，网上办理货物承运“一口价”等等。这些措施为铁路收集大数据，进入铁路大数据时代打下了基础。但仅有这些还不够，铁路还要统筹规划大数据的架构，科学布局大数据的采集点，要与专业大数据分析公司合作，培养自己的大数据分析人才队伍。同时，要整合公安、交通运输、环保、国土资源、城乡建设、商务、航空、邮政、电信、气象等相关方面涉及交通物流的数据，同时与百度、谷歌、淘宝等主要网络搜索引擎和旅游电子运营商合作，建立社会数据及相关部门数据合一的物流大数据资源，推行物流的数字化管理，开展数字化营销，以达到铁路物流业网络化、散客化、大众化的发展趋势相一致的目的。那时，大数据给铁路带来的将不是传统的“黑货”和“白货”的区分，而是打开了“金货”和“银货”的市场。首先，建立信息化平台，打通了铁路内部已有的各个数据仓库，实现了原有的结构化数据的流动，进而营销管理业务可将原有结构化数据仓库及其他部门的研究成果应用到分析管理实践中；其次，在实现了非结构化数据集中共享之后，可将与业务相关的各类外部数据，如客户外部信息、微博信息、销售信息、价格信息等整合到信息平台，利用Hadoop模块对于各类非结构数据进行“数据清洗”和“打标签”，为客货运业务的客户营销、投资管理、风险管理等提供有效支持。（三）、整合挖掘既有数据，打破内部数据各自为政局面若从战略着眼、处理得当，铁路企业当前所拥有的海量信息就能成为一种宝贵的财富，在寻找新的收入来源的过程中，应充分利用其丰富的数据资源，促进信息服务的新发展。但现在存在的问题是不缺硬件缺联通。二十多年来铁路企业建立了先进的数字化信息系统。但至今为止，大部分系统和数据仍然只限于内部使用，并且都是各部门建各部门的信息系统，各部门都建成了比较完备的信息化平台，不难看出这些数据存储目的就自动记录业务数据，代替手工作业的产物，每天产生大量数据，根本没有进行合理挖掘，而且各系统数据单独存放，各自为政。客、货、人、劳、财、销等无法共享，如一个个信息孤岛，缺少跨部门的信息整合。再如十八点报告每天生成几十张报表，每张报表需层层上报汇总，重复的工作浪费了大量人力物力，让人完全感受不到大数据的便利。其实，有些数据在生产过程中就自动生成的基础数据，如每天的旅客发送量货运发送量完全可以根据需要客票系统和货票系统自动生成。无论是网络世界还是现实社会，这些各自为政的信息高墙，使得互联互通、信息资源共享举步维艰，成为铁路企业发展电子商务的最大瓶颈。（四）、观念和态度不变，即使手握利器，效率和服务质量也难提高。谁都知道“九龙治水”弊端多，即使现在大数据有办法让九龙成天“坐在一起”，但如果互相谁也不理谁，水还是治不好。曾有学者研究指出，每个时代都有那么一群人，对新技术的到来表现出抗拒甚至恐惧，这类人群的共同特点就是害怕改变。联接和整合各个部门的“信息孤岛”，是大数据时代公共管理的题中应有之义，尤其需要克服惰性和守旧习惯，来一次理念的创新、职能的转变、流程的再造。对于管理部门来说，这不仅是上马多少信息技术项目的技术革命，更是调整自身运作的机制革命。如客票系统就是为售票的单一功能，其实完全可以根据系统数据分析预测旅客出行的习惯和喜好。制订相应的运送方案。（五）、建设电商平台，实现多渠道客户交互。这是运用大数据技术最重要的一步，以及最重要的数据块关乎客户身份识别。携带智能终端的用户走进电商平台。通过识别这一情况，触发在用户个人信息数据库中的查询。一般来说，这是一个利用索引结构来快速、高效执行查询的数据库。一旦查找到实际客户，就将此客户的个人信息提供给实时专家系统。该专家系统中的模型评估提供的数据和个人信息并决定要采取的行动（如发送优惠信息）。所有这些都是实时发生的，网站只需数毫秒即可完成这项工作，而智能电商平台应在 1 秒左右完成这项工作。为了构建精确的模型，添加一个面向批处理的大规模处理场。如何利用包括 Apache Hadoop 和 Apache Hadoop 分布式文件系统在内的一组组件来创建购买行为模型。传统上，我们利用数据库来实现这一目的。现在还是这样，但现在数据库之前利用一个基础架构来跟踪更多数据并不断地重新评估所有数据。下一步是添加数据（社交信源、用户个人信息和使结果与分析相关所需的任何其他数据）和开始整理、解释和理解数据。例如，将用户个人信息添加到社交信源和添加位置数据以建立对各用户以及用户相关模式的全面了解。通常使用 Apache Hadoop MapReduce 来完成。用户个人信息通过Hadoop InputFormat 接口从 Oracle NoSQL 数据库批量加载，因此被添加到 MapReduce 数据集。为了将所有这些与POS 数据、客户关系管理数据以及各种其他交易数据结合，可能会使用 Oracle Big Data Connectors 将精简的数据高效地移动到 Oracle 数据库。然后您可以使用商务智能云服务器或业务智能工具或者通过数据挖掘之类的工具，对您所跟踪的数据有一个全面的了解。最后一个阶段是分析数据，这里称为“分析”是创建数据挖掘模型和统计模型以便用于产生合适的优惠。这些模型真正是皇冠上的明珠，因为它们让您能够基于非常精确的模型实时进行决策。模型进入收集点和决策点作用于实时数据，可以看到专家引擎中的模型。模型描述和预测客户个人的行为并基于这些预测确定要采取的行动。总之以上所述是对“大数据”和实时决策的端到端观察。大数据让我们能够利用海量的数据和处理资源得出精确的模型。它还让我们能够确定以前无法预期的种种事情，从而产生更精确的模型以及新思想、新业务等等。您可以使用基于 Oracle 技术的 Oracle 大数据机实现在此所展示的整个解决方案。然后就只需找几个了解编程模型的人即可创建这些模型。（六）、创建多元化客货销售渠道和精准营销模式精准营销是大数据时代的主要特点之一，对于营销业务而言，真正达到精准营销需要利用大数据技术打通内外部数据，分析客户需求和客户流失的原因，有的放矢地进行销售和市场预测，并及时调整产品及销售战略。营销的过程始终不会离开“人”的因素，包括营销的受众、推动和评估，而互联网营销很好将其结合并凸显了移动化、智能化、感知化和精准化等特点。因此，大数据背景下营销业务发展应多元化客货运输销售模式：一是拓宽渠道，包括利用电商直销平台、微信银行、微信推送信息、第三方销售平台等方式扩大客户群体，同时加入客户评价和推荐功能。二是针对大客户，建立客户信息库，及时跟踪大客户和机构客户在投资和消费方面的偏好变化，同时培养营销管理部门自己的销售队伍。有针对性的展开产品设计和营销、实时地推送和推荐，减少客户流失和增加潜在客户。三是做好市场预测。利用大数据进行预测是大数据挖掘的核心，营销部门应利用信息平台优势、结合同业市场产品动向，及时向后台反馈销售变化预警信息，辅助中后台实现迅速有效的流动性管理和风险管理。（七）、铁路行业运用大数据存在的问题。第一是缺战略。虽然我国在2013年制定了国家的大数据发展的战略计划，但铁路总公司还没有制定企业的大数据发展战略。大数据建设还处在较为粗放的初级阶段。大数据重要性堪比当年提出的“信息高速公路”，因此大数据战略也不宜再推迟。第二是缺少行业规范，大数据行业怎么管？现在国家估计还处于讨论的阶段，围绕这个大数据将来的发展政策，具体涉及到各个行业应用、管理制度的建设，这方面都还有待加强。目前还有很多规范，实际上当前无论是电商企业，还是信息资源开发利用企业，在利用各类大型数据的时候正在处在一种灰色状态，处在一种边缘的状态，这里面数据又在用，从这个里面，大数据应用还缺少一种规范的引导以及制度的建设。第三是缺少技术人才，任何一种技术的运用人是最重要的推动者。大数据技术涉及多方面技术支持，