金融大数据分析平台介绍

1、金融大数据分析平台介绍技术创新 变革未来公司简介基础设施云端化基于aws 的金融数据增值服务 挑战与思考目录路透金融的历史汤森路透 金融信息服务业务的历史1851年10月， 路透的创始人 Paul Julius Reuter 开始利 用海底电报电缆， 将伦敦股票交易所的行情数据发送到法 国巴黎1984年 路透集团在伦敦股票交易所和纽约NASDAQ交易所上 市2008年4月路透集团被汤森集团以176亿美元兼并，并更名ThomsonReuters/wiki/Reuters_Group汤森路透 金融信息服务系统1973年 路透开始利用计算机终端为用户提供外汇1981年 路透开始利用自己的全球计算机网

2、络，为进而为全球用户提供电子交易系统和撮合服务1984年 路透的 RIC (Reuters Identification C络 IDN (Integrated Data Network) 开始运行2010年 基于 TCP/IP 组播网的 Elektron 网络开图片引自：/archives/technology/reuters-technical-developme行情数据用户传递交易信息，ode) 发布， 核心网 始商务运行nt-chronology-1980-1984桌面客户端的界面遍布全球的自建数据中心Eagan (EAG)E-CIB P2

3、PPEFareham (UK1)EVAIE-CIBORG, TartanSingapore (SG1)VAPAsia WebGrabberEVAIHazelwood (HDC)iSuiteDAMONEVAI (VAH, TDH)Docklands (DTC)EVAIIDN CIBORG, LOGRTACPDSDAMONE-CIBORG, TartanHong Kong (HK1)VAPAsia WebGrabberGreen Location of PR site Blue Location of DR site Amber Test Environments Underlined - IDN

4、 ApplicationNo underline - Elektron ApplicationSt Louis (STL)EVAI Sandpit/SITNutley (NTC)EVAI (VAH, TDH)Geneva (GVA)IDN CIBORG, LOGRTACPDSHartland (US1)iSuiteiSuite PPEEVAdmin PPEHauppauge (HTC)Amers WebGrabber遍布全球的自建数据中心纽约 长岛Hauppauge (1982)Inc. or its affiliates. All rights 伦敦 Dockland (1987)reser

5、ved.基础设施云端化进行中为什么要基础设施云端化信息技术的更新换代分工提高效率解耦并重建关键的信息系统自上而下的组织重构公司范围的项目公司范围的项目我们团队开发的项目项目的Amazon ECRService Source GitService AppValidation GitPipeline FactoryS3Code PipelineECSCloudFormationDeveloperCommit CodeCommit CodeJenkinsJenkinsiac codeASM204830result.jsonService registerJar files Config files

6、Iac codeLambdasIAM rolesKMSCloudWatch Log Groups.Docker imageNon-Prod account204476 Prod accountGet_Pipeline_ArtifactsAppValidationFargateCI - Continuous Integration 持续集成全代码控制自动化代码构建自动化测试CD - Continuous Delivery 持续交付自动发布测试 (App Validation, Integration Testing, Performance/Stress etc.)ArtifactoryCD -

7、 Continuous Deployment 持续部署人工审批我们团队正在开发的项目Simple Pricing Enhancer (for) Elektron DataSPEED我们团队正在开发的项目核心技术Eikon Excel 编译成为可以被C+调用的动态库支持80多个常用的Excel函数，6个Eikon Excel定制函数，和 356个公司专有的金融量化分析函数Sheet1!A2 = BID Sheet1!A3 = ASK Sheet1!B1 = EUR= Sheet1!B2 = RtGet(“E,B1,A2)Sheet1!B3 = RtGet(“E,B1,A3)Sheet1!D2 =

8、 MID Sheet1!E1 = EUR= Sheet1!E2 = AVERAGE(B2:B3)Sheet1!E3 = EEI_Output(D1:E2)DLLnc. or its affiliates. All rights erved.Rule DesignRule DesignStaging TestLive Deploy的主要问题编译器x1和 计算进程xN分别部署受到硬件资源的限制：无法实现计算的有效隔离Logging 无法有效监控计算过程计算进程dll ndll 1dll 2*dll ndll 1dll 2*线程 1*线程12LLVM+libsxlsxdll服务器 01A/B服务器

9、04A/B编译服务器01A/B计算进程线程 1dll ndll 1dll 2*线程12dll ndll 1dll 2*部署 dll全容器化CI: Git / GitLab-CI GitLab Runner on EC2 ECRCD: CloudFormation IAC CodePipeline ECS挑战与思考作为团队的管理者 或 架构师公司价值和团队的技术栈提高正常场景下的系统效率上aws云之后，多次重构利用aws的服务作为团队的管理者 或 架构师方向指北用统计数据指引方向 用户使用统计， 性能指标 Metrics快速部署 CI/CD 和 CloudFormation了解各种性能限制最后的救命稻草10 Lessons