金融大数据日志分析项目简介

金融大数据日志分析项目简介XX科技股份有限公司编制目录一、 金融大数据日志分析项目背景 3二、 客户情况及市场情况 31. 客户情况 32. 市场情况 4三、 技术选型 5四、 项目团队构成 6五、 团队成员技能需求 6

金融大数据日志分析项目背景目前金融业日志分析都面临着一些共性问题，用六个字可以总结——“单”、“慢”、“繁”、“散”、“难”、“险”。“单”：很多企业的业务系统之间是相互独立的，因为流水号、订单号没办法相互关联；跨业务系统的日志记录分散孤立，很难做关联分析；“散”：百GB甚至TB级别的日志量分布在数百台服务器上，包含数据分布不均的情况；“繁”：日志种类多，这种情况就算再精通awk、sed、sort、uniq等指令，排查一个问题也要针对多种不同格式的日志，一次次重定向文件，这种情况对运维人员而言当然是个大灾难；“慢”：日志系统没有实现实时的日志监控告警，一旦出现问题，不能及时发现；同时日志排障时间消耗很多；“难”：业务系统多，日志量大，日志每年都在增加，同时系统间的复杂性强，难以实现联动分析，日志价值无法及时得到挖掘；“险”：日志体系建设不健全，企业日志管理方面面临主机操作风险、敏感信息泄露等安全隐患。这些隐患犹如地雷一般，不知道什么时候因一招不慎就会引爆。客户情况及市场情况客户情况依托移动终端的普及和互联科技的飞速发展，金融行业也面临着与日俱增的海量日志，这既给传统金融行业带来了巨大的压力，又提供了广阔的发展空间，金融行业需要抓住机会技术升级、积极应变。在转型过程中如何利用大数据技术发掘数据真正的价值，是当前金融业打破传统局限、应对深刻变化的解决之道。2016年我国基金行业总规模历史首次突破9万亿。随着宏观金融环境的优化和资本市场基础性制度的不断完善，为基金行业发展提供了良好的制度背景。作为支撑基金行业发展的基金业务系统（电商，直销，零钱，TA系统，柜台，支付，投研等）其重要性以及实时性要求日益剧增，尤其是业务系统云化后之后，传统的ITOM手段已经无法满足业务系统运维管理的需求，不少行业领头羊纷纷进入ITOA领域，利用大数据技术，提高和保障业务系统的可用性，并进一步挖掘运维数据的价值。而作为ITOA重要数据之一的机器数据，贯穿着整个基金业务系统的各处理环节，通过对业务系统各环节机器数据的分析，可以快速协助运维人员尽快故障定位，还能实时发现业务系统异常告警，同时还可以统计业务量，业务时延，业务成功率等指标，已经成为基金行业ITOA必备手段。市场情况现有的日志系统，部分是针对性能分析的，部分是针对数据处理的。而针对数据处理的，都是离线数据处理，很难做到实时监控，并且很难适应间歇性高并发的应用场景，尤其是针对互联网金融这种对数据一致性，时效性要求高的应用，如果不能及时针对线上故障做出响应，带来的影响就非常大。除此之外，现有的日志系统不能快速处理海量数据，导致问题发现的非常缓慢。整体来说，现有的日志系统存在以下缺陷：一、不能有效的应对间歇性的高并发情况。互联网应用因为时段、运营手段等原因，容易出现某个时段高并发情况，这个时候日志量会暴增，如果处理不好很容易出现宕机的情况。例如，突然的一些运营活动导致线上业务压力大、日志量井喷，很容使日志系统宕机；二、实时性差。现有的日志系统很多都只是离线分析日志，或是准实时的分析日志，当出现线上问题时不能快速有效的响应；三、处理的数据量有限。现有日志处理的数据量都比较有限，这导致不能保存足够长时间的日志，不利于问题排查。技术选型CDH/FlumeKafka 数据采集，结合数据流技术对接各类应用系统及数据库的数据资源CDH/HDFS 文件类数据整合与存储，HADOOP技术路线CDH/HBASE 格式类数据整合与存储，HADOOP技术路线CDH/HIVE 数据清洗HADOOP 数据清洗工具CDH/YARN+CM 数据负载及集群管理CDH/HIVESparkML 数据分析及智能TABLEAU 针对数据分析及智能提供自助式或嵌入式的可视化分析图表ELASTICSEARCH 针对数据分析及智能提供面向用户的全局数据探索或面向应用的全局数据搜索HADOOPYARN 针对数据服务及安全类应用的定制开发提供微服务运行环境技术管理工具项目团队构成姓名性别学历职称专业工作单位项目中的分工每年工作时间(月)签字成员A男本科高级大数据工程师应用电子技术XX科技股份有限公司项目管理12成员B男本科高级大数据工程师体育医学技术总监12成员C男本科中级软件工程师计