新技术在互联网金融的应用

2013年9月 新技术在互联网金融的应用 2 76 1大数据技术 2数据挖掘技术 3云计算 IDC的定义 为了更为经济的 从高频率获取的 大容量的 不同 结构和类型的数 据中获取价值 而设计的新一代 架构和技术 大数据定义及特点 金融行业大数据发展分析 IDC研究显示 数据是重要资产的 理念已经在中国金融行业形成共识 数据的真正价值在于能够洞察企业内 部规律 数据的洞察力成为金融企业 的核心竞争力 在中国金融行业信息 化建设中 与信息加工密切相关的大 数据管理正逐渐成为与核心业务系统 建设 渠道建设和前置建设同等重要 的领域 经过多年的发展与积累 目前中 国的大型商业银行和保险公司的数据 量已经达到100TB以上级别 并且非 结构化数据量在迅速增长 金融行业大数据需求背景 从未来几年看 金融行业在 十二五 时期面临发展方式转型的挑战 转型主要 集中在三大方面 一 建立全面的风险管 理体制 向严监管转型 二 从粗放式管 理向精细化管理转型 三 从 利润为中 心 向 客户为中心 转型 大数据在加强风险管控 精细化管理 服务创新等转型中别具现实意义 是实现 向信息化银行转型的重要推动力 金融行 业应首先在战略层面对大数据进行规划 积极应对大数据时代的挑战 推进并建立 数据驱动型发展方式 金融行业大数据需求分析 5 76 摩根大通的大数据应用 已经开始使用Hadoop技术以满 足日益增多的用途 包括诈骗检 验 IT风险管理和自助服务 150PB在线存储数据 30 000个 数据库和35亿个用户登录账号 Hadoop能够存储大量非结构化数 据 允许公司收集和存储Web日 志 交易数据和社交媒体数据 数据被汇集至一个通用平台 以 方便以客户为中心的数据挖掘与 数据分析工具的使用 6 76 ZionsZions银行的大数据应用 数据仓库存储了120多个不同类型的数据 包括交易日志 日志 欺诈警报 服务器日志 防火墙日志和IDS日志 跨整个企业进行数据挖掘 加快取证调查并提高欺诈侦测 以及整 体安全性 利用Hadoop来存储所有数据 并对客户交易和现货异常进行判断 对可能存在欺诈行为提前预警的 基于Hadoop的安全数据仓库 迅速对来自各种源头的恶意软件威胁 作出响应并对抗它们 美国地区性银行Zions Bancorp ZIONS 7 767 大数据 挑战 发卡量增长迅速 2008年发卡约500万张 2010年增加了一倍 业务数据增长迅速 随着业务的迅猛增长 业务数据规模也线性膨胀 数据存储 系统维护 数据有效利用都面临巨大压力 需求 可扩展 高性能的数据仓库解决方案 能够实现业务数据的集中和整合 可以支持多样化和复杂化数据分析提升信用卡中 心的业务效率 通过从数据仓库提取数据 改进和推动有针对性的营销活动 采用大数据方案 后价值体现 实时的商业智能 可以结合实时 历史数据进行全局分析 风险管理部门现在可以每天评估客户的行为 并 决定对客户的信用额度在同一天进行调整 原有内部系统 模型整体性能显著提高 秒级营销 Greenplum数据仓库解决方案提供了统一的客户视图 更有针对的进行营销 2011年 中信银行信用卡中心通过其数据库营销平台进行了1286个宣传活动 每个营销活动配置 平均时间从2周缩短到2 3天 EMC Green plum 中信银行信用卡中心的大数据应用 大数据和云计算的关系 商业模式驱动应用需求驱动 云计算改变了IT 而大数据则改变了业务 云计算是大数据的IT基础 大数据须有云计算作为基础架构 才能高效运行 通过大数据的业务需求 为云计算的落地找到了实际应用 大数据云计算 9 76 云计算 定义 云计算 Cloud Computing 是分布式处理 Distributed Computing 并行处理 Parallel Computing 和网格计算 Grid Computing 的发展 或者 说是这些计算机科学概念的商业实现 是指基于互联网的超级计算模式 即 把存储于个人电脑 移动电话和其他设备上的大量信息和处理器资源集中在 一起 协同工作 在极大规模上可扩展的信息技术能力向外部客户作为服务 来提供的一种计算方式 40多亿的移动电话一 2010年 数据来源 Nokia 个人电脑 和笔记本 电脑 企业电 脑和服 务器 PDA 10 76 云计算拥有100多万台服务器 计算能力达到千万亿次 秒 超大规模 云计算 的特点 任意位置 任意网络终端 即 可使用各种 云 虚拟化 多重 专业的数据保障服务 数据安全可靠 在 云 的支撑下可以构造 出千变万化的应用 通用性 动态伸缩 不断满足用户规 模增长的需要 高扩展性 云 是一个庞大的资源池 可以像自来水 煤气那样 付费 按需服务 云 的通用性使资源的利 用率大幅提升 单位成本降 低 使用成本低 11 76 云计算 带来的变化 传统模式 设备需不断更新 操作系统需不断升 级 互联网 局域网 支付设备和劳动力 费用 用户单一 云计算 模式 服务提供商提供 通过Internet使用 IFaPs IP HTML HTTP 所用即所付 可扩展 有弹性 动态 多用户 实现模式 人机界面 商业模式 技术模式 12 76 云计算 在银行业中应用前景 三 提高数据传输安全性 防止各种病毒威胁和恶意人侵 通过实现金融电子化 为银行带来巨大的经济效益 但也不可避免地遭到入侵者攻击 如果银行采用 云计算 技术 一旦发现某个应用程序进入计算 机 该计算机会把这个应用程序的信息与内容发送 到云端服务器 云端会进行甄别 同时还会把该信 息提交给厂商的恶意软件实验室 由实验室给出最 终的判断结果 另外 云提供商拥有专家人员 能提供各种入侵检 测和入侵防御服务 针对各种间谍软件 木马 病 毒和蠕虫有独到的处理方案 同时使用加密技术对 数据加以保护 有效地保障了银行网络安全 一 与数据挖掘技术结合 增强银行数据处理能力 快速做出商业决策 伴随着金融体制改革的不断深化 业务应用范围从 单一项目到综合业务服务 业务经营模式从分散处 理到逐步进行业务集中管理 从而产生了大量的业 务数据 在短时间内对大量数据进行快速处理 进 行海量数据的存储 分析 处理 挖掘 从中提取出 有价值的信息 为银行的商业决策服务 将给银行带 来很大的竞争优势 二 增强银行数据的可靠性和存储能力 随着业务量的增加 信息和数据量以几何级数增长 存储 容量进一步扩大 对数据存储容量和可靠性提出了更高的 要求 云计算技术提供了上述问题的解决办法 在 云 中有百万台服务器 即使某台出现故障 云 隆技术将 某台服务器中的数据完全拷贝到别的服务器上 并启动新 的服务器以提供服务 对于跨国银行来说 如果某国发生 不可抗力事件 云计算技术可将其迅速地转移到其构建 云 的其他国家的服务器中 使数据得以安全保存 云中众多的服务器也提供了强大的存储能力 而且能够动 态扩展 满足银行业务不断增长带来的庞大数据存储的需 要 四 降低银行的总体拥有成本 总体拥有成本包括设备购置成本 运营成本 电力消耗 空调冷却 机房空间以及未来扩容成本等方面 随着银行 的不断发展 业务逐渐从一个地区扩展到另一地区 分支 机构不断增多 造成银行总体拥有成本不断上升 如果银 行采用云计算技术 就不必再购买昂贵的设备和花费其他 资金 完全将其转移到云计算供应商一边 以提高资源利 用效率 13 76 13 瑞士瑞信银行云平台 目标和挑战 遇到的挑战 服务器蔓延 手工处理的 异构的 多版本的服务器 高层次上缺少标准 每个应用需要组织组件提供和保证服 务水平协定 质量保证不是内置的流程 系统建设周期长 运维成本增加 期望的目标 想要提升敏捷性 加快应用上线进程 保证关键应用需要的技能 构建开放的 基于标准的分布式交易平台 保证扩展性 支持高可用性 建立开发和实施流程 以运行大容量的交易应用 平台架构 结果和受益 已有的220多个应用运行在400多台服务器上 替代了 原来的2800台服务器 集中管理和部署三大云平台 标准化了开发技术和操作 流程 提高了效率 大幅度降低了应用开发和维护的成本 三年中运营性成 本总体减少了35 项目成本总体减少了30 为关键应用提供了高可用性 三年以来没有宕机的事故 在堆栈上进行整体的补丁管理 没有服务中断 解决方案 构建了三个云平台 Java应用平台 数据库云平台和基础架构 云平台 Oracle RAC 11g R2 WLS QoS ASM DataGuard 14 76 14 澳大利亚联邦银行云应用 目标和挑战 业务系统独立 数据分散 有300个左右独立数 据库 随数据量不断增加 业务报表速度大幅降低 客户实时查询达不到要求 且TB级历史数据查询 缓慢 数据中心利用率和运维管理急需提高 解决方案 1台满配置Exadata 1台1 2配置Exadata Oracle PeopleSoft EBS Siebel CRM 应用方案