金融行业的大数据应用案例及解决方案

目录TOC\o"1-2"\h\z\u来自Connotate的解决方案 2金融数据聚集 2金融行业应用 2金融行业应用案例-华尔街个案 4用户案例：FactSet 5Conotate功能介绍： 6来自Datameer的解决方案 8大型零售银行 8金融机构 8Datameer简介 9来自Syncsort的解决方案 13Syncsort为金融服务行业提供的解决方案 13Syncsort的产品介绍 15

来自Connotate的解决方案金融数据聚集每天，所有的政治事件、金融行业动态、企业动态和其他的市场动态都会发布到网上。实时地监控和了解金融行业的动态对于占领和稳固金融数据的市场份额是必不可少的。速度和精准度是最关键的。自动化Web数据监控和抽取功能，大大方便了金融数据提供商持续的跟踪各银行、客户金融服务网站和世界各地的新闻、企业新闻、政府新闻和媒体新闻，并向其用户推送所需的信息，自动化监控的解决方案能够做到：通过监控市场动态，利用内部变化监控和关键字搜索方式，提供实时的更新报表通过复制收集的数据和减少数据上传时的人工干预，大大提高了数据的精准度通过选择性数据推送功能，向特定的管理员发出提醒，告知用户哪些企业网站、新闻门户和政府网站有重要的改变通过增加对金融文件的监控力度（自动化抽取），大大减少了成本通过从世界各网站中收集精准的数据（语言不限）并转换成结构化数据，大大提高了数据收集的广度通过一些指标性特征使管理人员迅速调整监控个抽取的目标数据，提高商务和管理的灵活性有了Web数据自动化监控和抽取的Connotate，管理人员和分析人员可以收到关于数据更新的报告，无需再依赖易于出错的人工方式和繁琐的脚本语言处理工具Connotate自动化监控所有数据源的数据，如银行网站等，下载PDF文件并把Web页面转化为Excel、XML或者适用的文件格式ThomsonReuters（路透社）、DowJones（道琼斯）、FactSet和其他世界各主流金融数据商都新来Connotate，用Connotate进行数据监控和抽取。金融行业应用信息和内容随时可以在Web上获得，随着其价值的增加，对相关的信息内容做出及时的措施、分析和加快决策就越来越显得重要。有了Connotate的帮助下，投资者和分析师可以针对企业和部门的表现有更加深刻的认识，即使在市场看来并不是很明显的表现。Connotate的必杀技在与不断的标记来自Web上部门和政府的变化数据、新闻信息、诸如价格、库存、产品供应水平、生产力和招聘人员活动等操作数据，和各种能够帮助预测分析的指标。现在，从Web上精准的收集数据并进行数据分析成本是很高昂的。如今Connotate的自动化数据抽取和分析不仅为用户大大减少了成本而且其操作也是非常简易的—即使不是专业的编程人员或者IT架构人员也可以进行部署和操作。详情见下文：支持买卖双方的决策—通过抽取一系列操作数据来加速对整个季度的趋势分析对市场变化的反应更加灵敏—通过实时地监控市场动态为研究调查加大深度—通过锁定需要监控的数据源加速产品上市—通过监控市场异常和机遇利用Web数据支持研究调查，以增加调查的质量和效率。Connotate优越的自动化数据监控和抽取的解决方案能够让用户实时地发现公共资源的价值，大大增加其透明度以更好的支持研究调查和投资决策。过去使用Web爬虫的用户，会发现要花费很大的精力对收集的数据进行处理后，数据才会有意义。与Web爬虫工具不同的是，Connotate能够抽取Web数据并转换为结构化数据格式（CSV、XML、XLS等格式）Connotate使用户不必等待季度报表或者成本昂贵的消费研究调查来进行投资决策。Connotate使用户对数据抽取拥有最大的控制权。无论数据集的保存期限是几天、几周、还是几个月，用户都可以精准地定位需要的数据，并获得实时的洞察。

金融行业应用案例-华尔街个案Connotate使用户对市场部门个体股票的微小动态都了如指掌，获得支持买方购买的可行性洞察。华尔街一家投资机构欲更好地了解个别企业、企业产品销售情况和市场部门的微妙动态，其选择是是实时地收集操作数据，其目的是为了应对瞬息变化的股票市场做出更好的投资决策。随之电子商务的大兴崛起，除了纯粹惯例地发布数据和季度报表，该企业抽取了不同企业、电子商务平台、博客和社交平台网站（Amazon和Crunchbase等）上的Web数据。该企业选择了Connotate实地部署的解决方案，在几周内就设定好预访问的网站，抽取营销活动、价格数据、库存情况和客户偏好选择等的数据。利用这些数据为相应的金融趋势、金融活动和金融观点建立模型。在过去的一年里，该企业在Connotate的帮助下，在股票市场上获得了额外的一百多万美元的收益。Connotate实地部署能够使数据分析更加灵活简易了，更易于调整，更易于管理、查询和定位。Connotate在电子商务上网页内抽取关于营销活动和库存情况的数据，然后只推送与上次抽取的数据相比有变化的数据—提供了清晰明了的定位信息。Connotate将抽取的数据转换和推送结构化数据，如CSV文件；将重点数据推送到分析应用程序中进行趋势分析“Connotate的解决方案为我们提供了产品价格、库存情况、广告话费、转换率、订单情况和其他重要的非结构化数据信息，而这些数据（用其他工具）是很难抽取的但是却是很有分析价值的。”JasonJones，对冲基金投资组合经理

用户案例：FactSetFactSet在世界各地的成千上百个网站中收集数据，并向其金融行业的用户推送数据，支持他们更好地做出投资决策。FactSet的客户要求数据是精准、实时和完整的。随着Web数据量的不断增加，FactSet也在寻求能够加快数据抽取自动化程度的工具。由于其业务的不断扩大，FactSet分析师更多对更新数据有更大的需求。在使用Connotate之前，FactSet使用的是一种Web监控工具（带有少许的过滤功能）；一般分析师收到的35%的提醒信息是有效的。因此，FactSet希望能够提高其数据抽取的效率并简化工作流。自从选择了Connotate之后，数据提醒的有效率从35%上升到90%。• FactSet选择的是Connotate的实地部署解决方案，他们利用下拉式菜单和便捷式点击页面管理和设置了成千上万个webAgents(Connotate数据抽取的工具)• Connotate使FactSet能够访问到一些没有宽带的偏远地方的数据• Connotate使FactSet在无需增加管理人员的数量的同时增加企业监控数量Connotate抽取的数据比我们之前使用的那套工具精准多了，推送的数据更加可靠、精准和便于使用。--ChrisClifford，FactSet的信息创建经理说道

Conotate功能介绍：Connotate利用机器学习自动生成的高效代码和辅助配置，其数据抽取的工具称为Agent。在Agents的指引下，用户能精准地获得需要的信息—Connotate在过滤了广告和无关信息的同时，将非结构化数据转化成为支持业务流程的可读性数据。Connotate的解决方案相比于网页脚本工具要优越得多，由于网站格式不断变化，修整是一项很重要的工程，Connotate的解决方案具有较强的适用性。各网站都在不断地更新。优化解决方案，不但是为了精准地检测网页内容的变化，而且是为了更有效率地提高推送信息。过滤垃圾信息和删除重复数据可使工作流取得更大成效。部署选项Connotate能够满足用户的业务之需，并且适应今后的发展和变化。而且，Connotate能够提供灵活实用的解决方案以满足用户具体的业务需求。详情请访问：/detail2.php?id=1

来自Datameer的解决方案大型零售银行为了量化资产风险和遵守监管报告的要求，如多德-弗兰克法案，这家一流的零售银行正在使用Datameer来验证数据的准确度和质量。银行贷款和分支数据以及财富管理数据集成，数据质量的举措是负责确保每一条记录是准确的。这个过程包括对数据超过50个数据的理智和质量检查。这些检查的结果，随着时间的推移的趋势，以确保数据损坏和数据域的公差不改变不利和被报告给投资者和监管机构的风险状况，审慎和符合监管要求。Datameer之前，该银行采用Teradata和Netezza公司和建设数据集市，以分析数据的质量，使用他们的SAS应用。这个过程是耗时和复杂，数据集市的做法没有提供数据的完整性需要确定整体数据质量。金融机构为了提高客户保留和参与，这家领先的金融研究机构使用Datameer加快客户的使用情况分析和产品改进。基于Web的平台结合了全球性的公司具有强大的财务基本面分析，构思一代，为用户的工作流管理工具的信息和市场研究。该公司的产品管理团队需要了解用户访问模式和产品互动的细节，以便更好地吸引和留住客户。该公司此前使用OLAP多维数据集，存储和报告用户访问日志，客户数据和许可证信息。他们拼命用一个4-6周的周转时间，提供新的或更新的数据。因此，产品管理一直非常被动，他们的大部分时间花在管理报告的过程，而不是理解最终用户如何响应特性和内容。该公司选择了Datameer加快洞察顾客使用，并加快新产品型号。有了Datameer，产品经理现在可以快速地关联在用户的流量模式的变化（点击流）和事件的背景下，如新版本，A/B测试和故障，以确定哪些工作或不执行队列分析。产品策略，现在可以迅速调整和改进Datameer释放产品经理的部署，把重点放在分析用户的使用模式，并创造新的产品模型，而不是建设报告。Datameer简介数据快速集成将您的IT资源从数据管道中释放出来,为IT和商业用户快速整合任何数据源。数据自由化无ETL数据是观察事物的基础。你掌握的数据越多，对事物的了解就会越深入。因此，你不仅要掌握传统意义上的交易数据，而且还要掌握所有其它类型的数据，这样才可以完全了解客户，充分理解业务流程，提高业务绩效。Datameer为了把所有数据整合到Hadoop，而不关注ETL和静态模式的局限性。预建的数据连接向导关联所有常见的结构化和非结构化数据源，这就意味着，数据集成是一种简单的，分成三个步骤的过程：集成存储于哪里的数据、集成哪些数据、什么时候集成这些数据。结构化数据包括：Oracle,DB2,MSSQL,MySQL等Teradata,Greenplum等XML,JSON,CSV等HBase,Cassandra非结构化数据包括：Twitter,Facebook,LinkedIn,Jive等EmailLogFilesSaaS-CRM,GitHub,Jira,Zendesk等数据导入类型导入作业Datameer将所有数据以其原始格式直接导入到Hadoop。强大的采样、解析、调度和数据保留等工具使得整个导入过程到了优化和支持，从而用户可以便捷高效地获得他们所需要的数据。任何数据的无限相关性数据链接在某些使用场景下，如分析瞬息万变的用户数据时，系统需要在分析在进行的过程中即将数据导入Hadoop平台中。这确保了用户数据始终处于最新状态。为此，Datameer为所有数据源都提供数据链接.开放数据平台数据导出Datameer独特的整合和分析能力的妙处在于其结果可以被导出至其他数据存储，如数据库、远程文件服务器、数据仓库或第三方BI（商业智能）软件包。这种数据导出可以是手动的，也可被设定为每当工作薄更新时，或者按一定的时间间隔由系统自动进行操作。数据的应用编程接口访问（RESTAPI）数据获取、发布、安置、删除在某些使用场景下，如嵌入式分析（作为有更广泛意义的CRM应用程序的一部分）要求无需通过网站页面即可获取Datameer数据。有了Datameer的RESTAPI接口，远程应用程序即可通过命令行工具获取Datameer数据。该API接口可通过脚本或者监控工具运行。运行请求为URL地址和命令，而运行响应会以JSON格式返回。产品信息详情请访问：/detail2.php?id=3

来自Syncsort的解决方案Syncsort为金融服务行业提供的解决方案金融服务企业深受全球金融危机的影响，更受到新的条例和同行竞争压力的影响。这也是目前主流的银行、投资公司和信贷企业依赖Syncsort提供的数据整合方案的重要原因。现在，爆炸式的数据量让金融服务机构头晕脑胀，因此及时地获得关键信心，对于他们提高风险评估，确保合规和提高服务水平来说是至关重要的。四十多年来为金融机构的服务经验，Syncsort为用户提供数据整合方案，帮助用户从海量数据中抽取有价值的数据。实现在更少的时间和更少的硬件资源内，为金融机构解决更多来自大型主机和Hadoop之间的所有问题。Syncsort为许多金融机构的关键业务提供技术支持。其中包括：风险调整后的盈利能力分行的效益数据仓库回复和重组提高跨渠道和跨产品的关系管理提高销售额、营销效果、和绩效管理报表和分析把复杂的基础架构简单化，实现灵活调整，减少分析需要的时间通过把不同的图像、不同的渠道和产品信息整合在一起，发现商业洞察发现新的商业机会实行风险管理以应对新增的管理条例进行系统风险管理并升级本地的风险管理程序减少成本，如大型机的转移和硬件的更新换代

Syncsort的产品介绍Syncsort为用户提供快速、安全的企业级别的大数据解决方案，主要是针对大型机和Hadoop上出现的问题。Syncsort能够为世界各地的用户在更短的时间内收集、处理和发送更多精准的数据，而且所需要的资源和成本更加低。世界上前100强的企业基本上都是Syncsort的客户，而且Syncsort已经应用于全球85个国家中，为用户进行宝贵的数据处理，加快数据仓库的效率和大型机对数据的处理速度，优化云端的数据集成。DMX-h：一种更智能的HadoopETL&数据分类工具更全面的释放Hadoop的潜能，是一种更加智能的大数据分类、集成和处理工具。随着越来越多的企业青睐Hadoop，但是他们面临越来越多的限制了Hadoop潜能的问题。DMX-h是一种智能的Hadoop分类和HadoopETL工具，为用户大大释放了Hadoop的潜能。使用Syncsort的企业能够使他们的Hadoop分类&HadoopETL更加智能。减少自定义代码的需要，更加智能地连接到用户的所有数据和大大提高了Hadoop数据处理的效率。

DMX-h是一种更加智能的HadoopETL工具！Syncsort是一种智能和独特HadoopETL工具，使企业用户在Hadoop上用更少的时间进行获取更多的数据价值。Syncsort成功解决了企业在Hadoop上部署ETL的问题，无代码，无脚本，无需调优，就只是一种更加智能的数据集成方案，Syncsort的HadoopETL性能是无敌的，超强的连通性和优越分类。更智能的应用—HadoopETL工具，无编码