版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
从传统技术栈到HTAP:TiDB在南京证券的多场景应用和收益郭枫|南京证券数据团队负责人TiDB社区活动(南京站)•
2024年荣获金融科技发展二等奖•
牵头制定行业大数据全生命周期管理标准•
积极参与资本市场金融科技创新试点•
成立以来持续盈利、从未亏损、稳定回报•
首批规范类证券公司•
首批创新试点类证券公司•首批证券公司“
白名单”•
坚持正统、正规、正道的企业文化•中国证券行业首家全国文明单位•中国证券行业首家全国五一劳动奖状•
江苏省生产性服务业领军企业科技创新
,驱动发展文化特色
,行稳致远业绩良好
,稳健合规(股票代码:601990)从传统技术栈到HTAP
:TiDB在南京证券的多场景应用和收益1.证券行业数据类应用的需求与挑战1.1核心需求1.2技术挑战2.数据库选型:
从传统架构到TiDB2.1
替换动因与选型依据2.2为何选择TiDB?3.南京证券TiDB落地实践与核心收益3.1
落地实践3.2核心收益4.南京证券TiDB后续规划4.1
场景拓展4.2资源管控和容灾建设分享大纲TiDB社区活动(南京站)1
.证券行业数据类应用的需求与挑战实时化证券行业对数据处理
的时效性要求极
高
,
需
要实时获取市场动态信息
,以支持实时交
易
监控
、
风险预警等业
务
场
景
,
确保投资决策
的
及
时性
和准确性。智能化随着AI技术的不断发展,证券行业对数据类应用的智
能
化
需
求日
益
增
长,如智能投顾
、智能风控等创新应用
,
旨在通过智能分析为投资者提供更深入
、更个性化的服务。1
.证券行业数据类应用的需求与挑战1
.1
核心需求精细化需深度治理海
量
异构
数据
,建立统一标准体系,提升数据质量
,并
通过挖掘多维数据
关
联
,
实现客户画像
、风
险
量
化等精细运营
,支撑个性化服务与精准营销。321从传统技术栈到HTAP
:TiDB在南京证券的多场景应用和收益1
.证券行业数据类应用的需求与挑战1
.2技术挑战证券行业数据类应用涉及多源异构数据整合、
实时流处理、
离线分析等多种技术栈。
业务功能多样
,如交易、风控、投资分析等,系统维护与升级难度大
,易出现故障连锁反应。海量交易数据和实时行情信息对系统处理能力提出极高要求。传统数据库及计算架构难以支撑高并发访问和复杂计算任务,导致数据延迟和响应速度慢
,影响交易效率和决策及时性。随着业务增长
,系统难以快速适应变化。增加服务器节点时,数据迁移、
负载均衡等协调工作复杂
,易引发故障。
且不同业务模块扩展需求各异
,统一扩展方案难以满足多样化需求。03架构复杂性02扩展性难题01性能瓶颈从传统技术栈到HTAP
:TiDB在南京证券的多场景应用和收益2.数据库选型:
从传统架构到TiDBOracle/MySQL
的局限性Oracle和MySQL在处理大规模数据时扩展性较差
,难以满足业务增长需求。MySQL在高并发事务处
理能力上存在瓶颈。Oracle的许可费用高昂
,增加了公司的运营成本;MySQL在处理大
规模数据分析时性能不足
,难以满足复杂的查询需求。2.数据库选型:
从传统架构到TiDB2.1
替换动因多种数据库运维的压力传统架构下多种数据库并存
,运维复杂
,管理成本高。
数据库间数据同步和一致性维护困难
,影响业务连续性。多种数据库的并存导致技术栈复杂
,开发和运维团队需要掌握多种技术
,增加了培训和管理成本。HBase/Hive
的局限性HBase不支持复杂查询与分析
,无法满足实时数据处理需求。
Hive
高延迟不适合交互式查询
,数据分析效率低。HBase和Hive的运维复杂度较高
,增加了公司的运维成本和管理难度。从传统技术栈到HTAP
:TiDB在南京证券的多场景应用和收益
2.高性能
4.兼容性1
.支持
HTAP3.可扩展性2.数据库选型:
从传统架构到TiDB2.1
选型依据从传统技术栈到HTAP
:TiDB在南京证券的多场景应用和收益HTAP
能力与业务需求适配•
TiDB的HTAP能力
,既能满足高并发
事务操作
,又能高效处理大规模查询。•
TP面向高并发事务操作
,面向实时数
据计算。•AP面向大规模查询
,面向离线数据分
析
,完美适配南京证券的业务场景。HTAPPD
PDPDTSO/Datalocation
Metadata2.数据库选型:
从传统架构到TiDB2.2为何选择TiDB?OLTPTiKVTiKVnode2…
nodeNTiDB
Cluster
TiDBTiDBTiDB…TiFlash
…
nodeN从传统技术栈到HTAP
:TiDB在南京证券的多场景应用和收益TiFlash
node2TiFlash
node1DistSQLApiTiKV
node1OLAP数据量QPSDuration1亿4.49W125ms2亿4.47W134ms3亿4.61W115ms数据量QPSDuration1亿3.84W127ms2亿3.84W443ms3亿3.82W158ms2.数据库选型:
从传统架构到TiDB2.2为何选择TiDB?TiDB
读写性能写入性能1500并发从传统技术栈到HTAP
:TiDB在南京证券的多场景应用和收益读取性能读取性能写入性能•
TiDB采用计算存储分离架构
,存储和计算资源可独立弹性扩展•
支持水平扩展
,可通过增加节点提升性能和存储容量
,灵活应对
业务增长带来的挑战2.数据库选型:
从传统架构到TiDB2.2为何选择TiDB?TSO/DatalocationTiDBClusterTiDBTiDBTiDBTiDBMetadataStorageClusterTiFlashTiFlashTiFlashTiFlash…扩展性与弹性能力ApplicationviaMySQLprotocolDistSQL
ApiKV
ApiTiKVTiKVTiKVTiKV…TiKVTiKVTiKVTiKV…PD
ClusterPD从传统技术栈到HTAP
:TiDB在南京证券的多场景应用和收益PDPD生态兼容性与社区活跃•TiDB兼容MySQL协议
,便于现有系统平滑迁移和升级。•TiDB开源且社区活跃
,提供丰富的技术支持和社区资源
,降低开发和运维门槛。2.数据库选型:
从传统架构到TiDB2.2为何选择TiDB?集中式数据库分布式数据库数据库监控与管理OLTP
OLAP数据聚合F
linkHadoop
KafkaSparkHiveKyligence生态工具云数据库大数据TiDB-Binlog
TiDB-Lighting私有云
Ti
CloudAWSGoogleCloud开源易部署TiDB社区从传统技术栈到HTAP
:TiDB在南京证券的多场景应用和收益TiDB-OperatorData
MigrationTiSparkTheFlash3.南京证券TiDB
落地实践与核心收益TiDB
版本升级之路V
7.1
.5V
6.5.5V
5.2.1
100T
3.南京证券TiDB
落地实践与核心收益3.1
落地实践-TiDB使用情况两个集群近20个节点稳定运行1
200+天1
0+业务线从传统技术栈到HTAP
:TiDB在南京证券的多场景应用和收益3.南京证券TiDB
落地实践与核心收益3.1
落地实践-数据架构ComputingBatchComputingHiveSparkStreamComputingFlinkServices多维分析实时大屏实时风控实时运营数据可视化标签管理StorageMySQLTiDBOracleSource行情流柜台交易消息数据埋点SDK……BatchProcessingStreaming从传统技术栈到HTAP
:TiDB在南京证券的多场景应用和收益监管数据报送证监会报表CISP
公募基金CISP
资管产品报表管理系统权限管理模板管理系统参数3.南京证券TiDB
落地实践与核心收益3.1
落地实践-监管数据报送报表管理新建报表导入模板表格配置公式管理表格权限统筹管理任务概览任务催报模板库通知管理历史留痕任务管理新建任务导入任务流程管理任务权限任务发布上报管理数据生成勾稽校验文件生成文件检查数据上报CISP
经营机构CISP分支机构从传统技术栈到HTAP
:TiDB在南京证券的多场景应用和收益报送业务系统CISP基金投顾交易所报表人行报表证金报表其它报表协会报表用户管理审批流程门户管理资讯数据市场历史数据融资融券业务数据客户数据证券基础
、行情数据上市公司财务数据舆情数据集中交易两融柜台系统券源管理系统账户系统舆情网站估值系统转融通统一认证平台交易所数据资讯数据…
…3.南京证券TiDB
落地实践与核心收益3.1
落地实践-融资融券客户风险预警与监控平台标的证券股价异常波动风险预警模型财务舞弊风险预警模型负面舆情风险预警模型处理方法实时监控指标实时维持担保比例模型两融合约到期专项合约到期离线监控指标集中度监控沪深风险监控担保物监控……监控管理监控任务下发盯市预警监控日志……实时规则分析模型(规则建模
、规则引擎
、机器学习
、流失处理)客户管理高风险客户
关注类客户
大额客户风险证券评估预警模型结果证券风险自定义客户操作能力收益情况风险管理能力客户基本情况风险测评收入情况帐户风险评估资产情况当前帐户风险融资融券客户风险预警与监控平台风险因子库风险指标库模型库风险画像库统计机器学习方法专家规则从传统技术栈到HTAP
:TiDB在南京证券的多场景应用和收益客户画像深度学习算法成本优化:
资源利用率与成本节约TiDB的开源特性和灵活的扩展能力
,显著降低了数据库的采购和运维成本
,通过资源整合与弹性扩展
,集中冗余资源
,错峰使用资源
,提高资源利用率
,替换传统数据库
,实现了成本优化。01运维简化:
自动化运维与管理工具TiDB提供丰富运维管理工具
,如Dashboard、Grafana
,实现自动化运维监控与故障排查。集中运维管理
,简化运维流程
,降低运维复杂度与人力成本。02开发提效:
数据资产沉淀集中业务模型表形成数据资产
,数据资产的沉淀和信息的聚合复用,显著提升了开发效率
,开发团队能够快速响应业务需求
,加速产品的迭代和创新。3.南京证券TiDB
落地实践与核心收益3.2核
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 打包工责任制度
- 执纪审查安全责任制度
- 承印岗位责任制度
- 抗旱工作责任制度
- 护理责任制管理制度
- 拼装岗位责任制度
- 控流保学责任制度
- 搬运队岗位责任制度
- 政府消防责任制度
- 教导员安全管理责任制度
- 总经理财务知识培训
- GB/T 13911-1992金属镀覆和化学处理表示方法
- Unit 1 Discover useful structures 语法精讲课件 【高效识记+延伸拓展】高中英语人教版(2019)选择性必修第三册
- 高脂血症健康讲座课件
- 营养配餐员理论考试复习题库(附答案)
- 复测分坑作业指导书
- 现代汉语词汇学精选课件
- 一二次深度融合成套柱上断路器汇报课件
- 部编版一年级下册知识树说教材公开课一等奖省优质课大赛获奖课件
- 四上制作文明警示牌-完整版课件
- 青蓝色简约风《活着》名著导读好书推荐PPT模板
评论
0/150
提交评论