拥抱大数据助推银行“商业智能化”

拥抱大数据，助推银行“商业智能化”之路作者：章孜谦徐端丰来源：《中国金融电脑》2018年第11期近年来，伴随数据的商业价值提升，商业智能的概念越来越热。新技术的发展给传统商业智能注入新的活力，商业智能也从之前“固定的低时效二维表”向“自定义的高时效可视化图表”转变。企业希望在第一时间通过直观的、基于事实的图表支持来辅助经营决策甚至战略规划。本文立足银行在商业智能领域应用场景，以工商银行在构筑覆盖和贯通金融服务、电子商务、社交生活的互联网金融整体架构为例，介绍商业银行利用大数据技术手段实现在传统银行数字化、智能化转型过程中提升运营管理能力、数据服务能力的经验。一、商业银行在商业智能领域的现状和面临的问题什么是商业智能根据维基百科的定义，商业智能是一系列技术和工具的集合，为了商业分析的目的，获取原始数据并将其转换成有意义的信息。因此从技术层面上讲，商业智能不是什么新技术，它只是大数据、联机分析处理（OLAP）和数据挖掘等技术的综合运用，它的关键是从大数据范畴中得到企业的全局视图，在此基础上利用合适的挖掘和分析工具进行处理，最后将知识呈现给管理者，为管理者的决策过程提供数据支持。数据是银行商业智能体系建设的源头和基础银行自身拥有海量的客户数据、交易数据、流量数据、管理数据以及各类不良风险交易记录，在大数据应用方面具有得天独厚的优势。一方面，数据并不等于信息，掌握数据却不掌握处理的方法、展现的手段以及运用的能力，并不能给商业决策带来任何帮助；另一方面，掌握技术手段却不拥有数据，就像仅仅学会了“屠龙之术”却无用武之地，也不会带来任何裨益。只有数据与技术相结合，才能使数据中蕴含的价值得以体现，因此在银行的“商业智能化”之路上，数据既是源头也是基础。银行商业智能面临的困难和挑战从处理数据的类型看，银行在传统商业智能的解决方案致力于实现结构化数据的分主题、分专业的整合分析。由于大数据大都是一些类型丰富的碎片化数据（半结构化、非结构化数据），没有相对固定的模式，而且价值密度相对较低但却极为重要，如何平衡增加存储的代价和挖掘到有用信息的可能性，如何花最小的代价从此类信息中获取最大的价值成了一大挑战。从处理数据的时效看，受制于当时的技术，传统商业智能无法有效处理实时、准实时数据，加工数据慢则一个月，快则一两天，无法满足当今商业领域瞬息万变、快速响应的需求。从处理后信息的展现形式看，传统商业智能的输出物数量众多，开发人员负责用程序来生成从各种维度分析统计的报表，业务人员则花费大量时间来对报表进行分析或整合，以满足各个专业条线各有侧重的统计需求，并将其中的一小部分手工作业用Excel或者其他工具将其转换成图形，满足少量可视化展现的需要。在这个流程中，不仅报表开发时间长，业务人员再加工成本高，且只有极少数据因实现了可视化而便于使用。二、大数据、流式数据处理和数据可视化技术助推商业智能快速发展随着大数据、流式数据处理、数据可视化等技术的发展，综合运用各种技术的商业智能也在快速地发展。大数据、流式数据处理等先进的数据处理技术的发展一方面，尽管随着技术的发展，可处理的半结构化、非结构化数据范围越来越广，但其固有的体量大、密度低的特点使得这些数据不易直接使用，使用成本远超传统结构化数据；另一方面，因客户众多，我国大型银行本身就存储着海量的结构化数据，受到技术的限制尚未得到有效利用。伴随大数据处理技术、流式数据处理技术的出现，海量数据在短时间内完成加工处理成为了可能：既可通过流式计算、准实时计算满足高时效监控需求，又可通过分布式离线计算满足较高时效、较复杂的分析挖掘需求，即业务部门能根据最新监测或分析成果快速调整经营策略，而经营策略的调整可以很快从新的数据中证实或者证伪，数据运营的前提已经成熟；新的技术还可以使半结构化、非结构化数据清洗为传统分析师所熟识的结构化数据，通过与已有海量结构化数据的结合，可以从不同角度、不同维度对经营结果的相关性进行分析，从而挖掘出全新的营销模式。可以说，大数据技术在数据层面为商业智能构建了坚实的基础。数据可视化等数据运用和展示技术的推进首先，数据处理工作枯燥且有一定门槛，一个企业中善于处理数据的分析师相对于数据的使用者总是少之又少；其次，较之理解数字，人类更善于理解图形，相对于一张冗长的报表，一张清晰易懂的图表可以让使用者更快了解问题之所在。随着技术的发展和整合，目前业界已经有越来越多的可视化解决方案出现：比如通过将可视化的图表类型包装成各种小产品，在降低数据可视化门槛的同时维持甚至提升了图表的美观程度，还能支持图表在各类使用者之间的共享和权限控制；亦或者通过可视化工具与后台大数据技术的结合，使静态的数据变成动态的、会随时更新的数据。由于分析师数量有限且可用工作时间有限，可视化解决方案可以将分析师从大量的重复工作中释放出来，以帮助他们将更多精力投入到新模型的探索挖掘中去，并且将挖掘结果更有效地分享给为数众多的数据用户使用，很大程度上突破了专业人才的数量瓶颈，使企业的数据价值得以充分实现。三、商业智能在工商银行互联网金融领域的应用为推动工商银行e-ICBC3.0战略落地，加快基于数据驱动的智能化服务支持体系建设，工商银行近日充分利用大数据、流处理平台和数据可视化工具，推出互联网金融产品运营分析平台“融e营家”，为该领域提供全面的可视化经营管理决策支持服务，助力商户数据化运营管理，并对“三融”平台（以融e行、融e购、融e联为代表的三大互联网金融平台）运营重点指标进行实时监测，提升运营风控能力。跨领域交叉分析支持数据运营工商银行利用大数据平台，通过Hadoop等大数据技术对数十个业务系统每天约1T的结构化和半结构化数据加工处理，支持对工商银行“三融”平台的客户情况进行交叉分析（如图1所示），支持对互联网金融客户在银行传统业务领域（如代发工资、消费信贷、第三方支付）的业务发展情况进行分析，支持各领域业务专家对浏览客户、交易客户的客户特征、行为习惯深入分析，促进银行传统业务与新兴互联网金融业务互相融合、协同发展。重点场景指标实时监测支持快速应变工商银行利用流数据平台，通过Flume、SparkSQL等技术对融e购商城流量规模、B2C、B2B销量等情况实施准实时监测（如图2所示），数据每10秒更新一次，可快速进行流量评价、追踪营销成效、调整营销策略。未来，工商银行将围绕重点流量入口、广告位、营销活动等应用场景，开发主题监测功能，为平台提升运营效率提供系统支持。可视化工具解放分析师生产力工商银行利用自行研发的数据可视化工具，为互联网金融各业务条线建立了50余个可视化的数据模型，以图形展现业务的整体变化趋势和内部发展特点，且支持在一个界面中组合展现多数据源的图表（如图3所示）。该工具极大地增强了分析功能的操作便利性，分析师通过简单的条件点选，即可自助进行多维度的交叉数据分析，并根据需要分享给普通用户使用且自动控制数据权限，满足了分析逻辑复杂、分析重点多变、展示方式直观、权限控制严格等多方面的需求，减少大量手工处理数据的被动工作量，支撑了分析师用户将工作重心集中到业务方向的深入分析和数据挖掘上来。监控模型功能提升风险防范能力工商银行在电子商务领域部署的风险监控模块（如图4所示）利用大数据模型代替原有手工取数分析方式，目前已围绕电子商务领域大额使用积分、套券及刷单三种风险类型建立多级别、多维度的风险监测模型，通过系统功能提升风险防范能力。数据分析服务为商户赋能工商银行为融e购商户打造了商户端数据分析服务，提供核心指标数据、商户及行业发展趋势、行业TOP商户排行榜、客户人群特征分析等功能（如图5所示），帮助商户全方位掌控经营指标、同业市场情况，为其掌握自身定位找准对标对象、了解客户偏好细化营销策略提供帮助，为