航运大数据项目简介

航运大数据项目简介XX科技股份有限公司编制目录TOC\o"1-2"\h\u航运大数据项目背景 3客户情况及市场情况 31. 客户情况 32. 市场情况 3技术选型 4项目团队构成 5团队成员技能需求 6

航运大数据项目背景航运业是一个古老的行业，它承载着国际贸易中90%的货物运输。由于行业内交易链条上角色众多，行业发展缓慢，航运角色之间的信息壁垒严重，极大地影响了整个行业的效率。通过大数据技术、交易协同、金融服务帮助航运物流及贸易企业提高效率、降低成本并获得融资支持。通过大数据技术和商业的力量推动全球航运物流与互联网的融合，从而帮助整个产业的升级转型。客户情况及市场情况客户情况近年来，航运信息产业化的发展，让身处航运信息服务业有了更多的渠道和方式获得海量的航运数据。这些航运数据相互关联，利用大数据的处理、加工和展现方式，打造透明的海上货物运输信息平台。凭借13年来在航运信息化服务中的沉淀和积累，利用大数据的方法与思维，致力于通过数据提升海运服务效率。航运大数据主要来源于在航运经营过程中产生的各类海量信息，包含船舶航行信息、货物流动信息、港口装卸信息、海上气象信息、海上航路信息、车辆运输信息等。市场情况大数据要求物联网和电子商务发展到一定程度才可以，现在很多航运企业面临的实际情况是：首先，信息化基础工作做得不好，还处于入门级；第二，目前各个信息系统之间，比如财务系统、人事系统以及客户管理系统之间均未相互连通，信息大多呈孤岛状态；第三，航运公司缺乏获取外部信息的渠道和手段，企业只有自己的信息，还不足已去了解和分析市场情况，还需要有外部的信息获取渠道；第四，航运公司具备商业智能以及自动生成智能化报表的能力较差等等。航运大数据能否迅速得到推广，航运大数据时代能否早日来临取决于以下几方面。一方面，大数据的数据衍生于一些“独角兽”行业或企业，他们自己手里有足够的数据，也有数据分析需求和足够多的资金，因此他们可以投很多钱去做大数据。如果航运企业要做大数据，不能简单地把别的行业的经验照搬过来。第二方面，在航运企业的管理上，企业的中高层和具体操作层对于大数据是什么、能够为企业带来什么有没有一个清楚的认识。第三方面就是如何保证数据质量。在这里又要提到AlS数据，这个数据是到目前为止我们能够用到的标准化程度最高的数据。有了这个数据，很多初步的工作已经可以开展起来了。第四就是产业链各相关方有没有信息共享的精神，如果只靠一家是很难做的，但是如果某一家先迈出了这一步，肯定会比其他竞争者有优势。只有大家都具备这种信息共享的精神，共同参与进来，才能真正帮助整个航运业提升运转效率、降低资源浪费，进行更好的资源配置，发挥大数据的作用。技术选型CDH/FlumeKafka 数据采集，结合数据流技术对接各类应用系统及数据库的数据资源CDH/HDFS 文件类数据整合与存储，HADOOP技术路线CDH/HBASE 格式类数据整合与存储，HADOOP技术路线CDH/HIVE 数据清洗HADOOP 数据清洗工具CDH/SPARK 离线数据开发及处理FLINK 实时数据开发及处理CDH/SPARK 数据服务及安全CDH/YARN+CM 数据负载及集群管理CDH/HIVESparkML 数据分析及智能TABLEAU 针对数据分析及智能提供自助式或嵌入式的可视化分析图表ELASTICSEARCH 针对数据分析及智能提供面向用户的全局数据探索或面向应用的全局数据搜索HADOOPYARN 针对数据服务及安全类应用的定制开发提供微服务运行环境技术管理工具项目团队构成姓名性别学历职称专业工作单位项目中的分工每年工作时间(月)签字成员A男本科高级大数据工程师应用电子技术XX科技股份有限公司项目管理12成员B男本科高级大数据工程师体育医学技术总监12成员C男本科中级软件工程师计算机科学与技术软件开发12成员D男本科高级大数据讲师计算机科学与技术软件开发12成员E男本科中级软件工程师数学与应用数学软件开发12成员F男本科高级运维工程师信息管理架构设计12团队成员技能需求（1）成员A云计算、大数据高级工程师擅长：负责企业级云计算、大数据平台项目，大数据应用开发项目的立项、论证、验收等项目过程管理，云计算和大数据相关通识性培训。项目经历：区域医疗云计算中心、重庆三峡银行大数据平台、电信分析云项目、重庆移动业务支撑大数据平台建设。（2）成员BCloudera大数据专家高级软件工程师长期从事技术管理工作，对技术团队的管理和认识有自己独到的见解，善于将人员提升和管理经营有机结合。擅长技术：Windows、Linux、Exchange、数据库、Hadoop、项目管理等系统开发与管理。（3）成员C高级软件工程师擅长技术：网络通信、网络安全、数据库操作、duilib、c/c++。（4）成员D高级软件工程师擅长技术：Python爬虫程序开发、Python数据分析、Linux系统管理、大数据存储与管理、Hadoop大数据开发、Scala函数式编程、数据挖掘、云计算平台架构、Excel高级数据分析、图像识别、机器学习、分布式计算、数据可视化分析等。（5）成员E大数据分析师擅长技术：R语言统计分析、Excel数据分析、Qlik数据可视化、数据可视化建模、概率论与数理统计。（6）成员FCloudera大数据专家高级软件测试工程师曾在上海惠普、IBM、MOTORO