金融大数据证券基本设计说明书

金融大数据证券项目基本设计说明

书

XX科技股份有限公司编制

目录

金融大数据证券项目....................................3

1.总体架构设计..................................3

2.网络拓扑......................................3

3.数据处埋流程..................................4

数据生产展示..........................................5

数据采集展示..........................................5

数据分析展示..........................................7

数据可视化展示........................................8

1.权限管理：....................................8

2.金融大数据证券分析：..........................9

项目安排.............................................11

金融大数据证券项目

1.总体架构设计

总体架构如下所示：

整体系统架构图

K

线

处web.移应譬出据来事

理

数

据

采

售

数

能

外

遇

Ht)ase

希

州

丐

穗

EcharlsJableau

图1

2.网络拓扑

数据生产展示

深圳，0.3,张鑫臣，2008/3/3,创新业务，11729，徐温昕，2009/3/3,广州，5764,徐温昕，2009/3/

3,农业银行，57,徐温昕,2009/3/3，广发证券，48.144,跌，徐温昕,2009/3/3,男，0・36,徐温昕，

2009/3/3,三大指数股，8959,徐温昕，2009/3/3

广州，0.2,张春臣，2018/2/2,投资业务，10735,俾有源，2019/2/1,湖北，5611,俾有源,2919/2/

1,中国银行，71,傅有源，2019/2/1,中信证券，34.788,涨，傅有源，2019/2/1,男，0.55,傅有源，

2019/2/1,货币基金,9578,傅有源，2019/2/1

深圳，。,3,张喜臣，2008/3/3,创新业务,11729,徐温昕，2009/3/3,广州，5764,徐温昕,2009/3/

3,农业银行，57,徐温昕，2009/3/3,广发证券，48.144,趺，徐温昕，2009/3/3,男，0.36,徐温昕，

2009/3/3,三大指数股，8959,徐温昕，2009/3/3

广州，0.2,张言臣，2018/2/2,投资业务,10735,仲有源,2019/2/1,湖北，5611,俾有源，2019/2/

1,中国银行，71,停育源，2019/2/1,中信证券，34.788,涨，傅有源，2019/2/1,男，。,55,便有源，

2019/2/1,货币基金,9578,傅有源，2019/2/1

广州，2001.。，周杰，2008/7/7,投资业务，12895,张威，2009/7/7,云南，5525,张威，2099/7/7,

农业银行，53,张威,2009/7/7,海通证券，40.773,平，张威，2009/7/7,男，0.64,张威，2009/7/7

,优质债卷，7265，张威，2009/7/7

上海，0.3,张薇臣，2008/2/2,传统卖方业务，11722,王胜利，2009/2/2,重庆，5600,王胜利，200

9/2/2,工商银行，94,王胜利，2009/2/2,海通证券，34.824,涨，王胜利，2009/2/2,女，9.45,王

胜利，2009/2/2,优质债卷，8395,王胜利，2009/2/2

深圳，0.3,张含臣，2008/3/3,创新业务，11729,徐温昕，2009/3/3,广州，5764,徐温昕，2009/3/

3,农业银行，57,徐温听，2009/3/3,广发证券，48.144,跌，徐温昕，2009/3/3，男，0.36,徐温昕，

2009/3/3,三大指数股，8959,徐温昕,2009/3/3

深圳，0.3,张鑫臣，2008/3/3,创新业务，11729，徐温昕，2009/3/3,广州，5764,徐温听，2009/3/

3,农业银行，57,徐温昕，2009/3/3,广发证券，48.144,跌，徐温昕，2009/3/3,男，0.36,徐温昕，

2009/3/3,三大指数股，8959,徐温昕，2009/3/3

广州，.0,周杰，2008/7/7,投资业务，12895,张威，2009/7/7,云南，5525,张威，2099/7/7,

图4获取数据并去掉敏感词

通过函数生成金融大数据证券数据，需配置生成文件名和生戌路

径。

数据采集展示

metadata,fetch.ti*eout.MS=60000

»<*tndatA.nAX.nQC*.B«■196006

•etric.reporters=()

Betrics.nua.%dnples=2

•etrics.sample.window.•S■38006

partitloner,class=classorg.apdche.kafka.clients,producer,internals.[»efdultPartitloner

receive.buffer.bytes«32768

reconnect,backoff.as»50

request.=30060

retries■0

retry.backoff.ns=160

sail.jaa«.config»null

sasl.kerberos.kinit.cad«/usr/bin/kinit

sasl.kerberos.ain.ti»e.before.r«login=60000

.kertwros.servic«.nnap■null

sasl.kerberos.ticket.renew,jitter=0.05

.kerberos.ticket.renew.window,factor=0.8

sasl.iiechdnis*■GSSAP1

ie<urity.protocol=PLAINTEXT

s«nd.buffer.bytps■131972

ssl.cipher.suites=null

sstocol4s|TLSvl.2tTLSvl.1,TLSv1]

ssl.endpoint.identification.olQorithn■null

ssl.key.passwordxmill

ssl.kcymanagcr.algorit(n»SunX509

era.】nratinnsnull

ssl.keystore.passwordanull

$5l.keystore.type■JKS

ssl.protocol=ILS

ssl.providersnull

ssl.secure.rondo*.imp\<<»entotion«null

ssl.trustaanager.algorIthn=PKIX

ssl.truftstor9.location■null

ssl.truststore.password«null

ssl.truststore.type=XS

tiaeout.iis■56600

value.serializer=classorg.apon.serialUation.ByteArrdySeriaUzer

21/01/2511:63:42INFOutils.AppInfoParser:Kafkaversion:e.ie.2-kafka-2.2.0

21/01/2511:93:42INfOutils.AppInfoParser:Kzifkacaoaitld:unknoMi

21/01/2^11:03:42INFOinstnm»ntation.NocitoredCounterGroup:Monitoredcountergroupfortyp^:SINK,kl:SiKcessfullyregisteredn^wWBe

21/61/2511:83:42INFOfnst'gentdtion.MocUtoredCounterGroup:CoaponeMlype：SINK,cane:*1started_____________________________________________

图5flume采集

[root@devkafka]#bin/kafka-console-consumer.sh--bootstrap-serverhadoop:9092,h

adoop:9093,hadoop:9094,hadoop:9095--topiczhengquan

重庆，0.1,王绯儿，2008/5/5,资本中介业务，10296,张津磊，2009/5/5,北京，5232,张津磊，20。

9/5/5,邮政储蓄银行,54,张津磊，2009/5/5,华泰证券，47.186,跌，张津磊，2009/5/5,男，0.59

,张津磊，2009/5/5,承销业务，8104,张津磊，2009/5/5

广州，0.2,张鑫臣，2018/2/2,投资业务，10735,傅有源，2019/2/1,湖北，5611,侑有源，2019/2/

1,中国银行，71,傅有源，2019/2/1,中信证券，34.788,涨，俾有源，2019/2/1,男，。,55,傅有源，

2019/2/1,货币基金,9578,傅有源，2019/2/1

重庆，0.1,王绯儿，2008/5/5,资本中介业务，10296,张津磊，2009/5/5,北京，5232,张津晶，20。

9/5/5,邮政储蓄银行，54,张津磊，2009/5/5,华泰证券，47.186,跌，张津磊，2009/5/5,男，0.59

,张津磊，2009/5/5,承销业务，8104,张津磊，2009/5/5

广州，2001,。，周杰，2008/7/7,投资业务，12895,张威，2009/7/7,云南，5525,张威，2099/7/7,

农业银行，53,张威，2009/7/7,海通证券，40.773,平，张威，2009/7/7,男，0.64,张威，2009/7/7

,优质债表,7265,张威，2009/7/7

杭州，0.09,张锋，2008/4/4,海外业务，10688,张津磊，2009/4/4,四川，5312,张津磊，2009/4/4

，建设银行，94,张津嘉，2009/4/4,国泰君安，43,633,涨，张津豆，2009/4/4,女，0.63,张津晶，2

009/4/4,自营业务，9953,张津磊，2009/4/4

广州，。.2,张言臣，2018/2/2,投资业务,10735,停有源，2019/2/1,湖北，5611,俾有源，2019/2/

1,中国银行，71,傅有源，2019/2/1,中信证券，34.788,涨，傅有源，2019/2/1,男，。,55,傅有源，

2019/2/1,货币基金,9578,傅有源，2019/2/1

广州，2001,。，周杰，2008/7/7,投资业务，12895,张威，2009/7/7,云南，5525,张威,2099/7/7,

农业银行，53,张威，2009/7/7,海通证券，40.773,平，张威,2009/7/7,男，0.64,张威，2009/7/7

,优质债卷,7265,张威，2009/7/7

深圳，0.3,张喜臣，2008/3/3,创新业务，11729,徐温昕，2009/3/3,广州，5764,徐温昕，2009/3/

3,农业银行，57,徐温昕，2009/3/3,广发证券，48.144,趺，徐温昕，2009/3/3,男，0.36,徐温昕，

图6kafka集群待消费数据

base(main):001:0>list

ABLE

vent_log_20151229

amespacedataCleanLogOl:dataCleanLogOl

amespacezhengqjanLog:zhengquanLog

；row(s)in0.1779seconds

>["event_log_2O151220","namespacedataCleanLogOl:dataCleanLog01",'namespac

zhengquanLog:zhengquanLog"]

base(main):002:0>)

图7HBASE存储数据1

hbase(main):003:0>scan'namespacezhengquanLog:zhengquanLog1

ROWCOLUMN+CELL

05|2020-10-0120:45：column=fl:moName,timestamp=1614702944990,value=2909/2/2

30|\xE4\xBC\xA0\xE7\

xBB\x9F\xE5\x8D\x96\

xE6\x96\xB9\xE4\xB8\

x9A\xE5\x8A\xAl|l|

05|202O-10-O120:45:column=fl:moName,timestamp=1614702945012,value=2909/3/3

30|\xE5\x88\x9B\xE6\

x96\xB0\xE4\xB8\x9A\

xE5\x8A\xAl|l|

05|2020-10-0120:45:column=f1:moName,timestamp=1614702945013.value=2909/7/7

30|\xE6\x8A\x95\xE8\

xB5\x84\xE4\xB8\x9A\

xE5\x8A\xAl|l|

05|202O-10-O120:45:column=f1:moName,timestamp=161470294500O,value=2909/6/6

30|\xE6\x9C\x9F\xE8\

xB4\xA7\xE4\xB8\x9A\

xE5\x8A\xAl|l|

05|2020-10-0120:45:column=f1:moName,timestamp=1614702945003,value=2309/4/4

30|\xE6\xB5\xB7\xE5\

xA4\x96\xE4\xB8\x9A\

xE5\x8A\xAl|l|

05|2O20-10-O120:45：column=fl:moName,timestamp=1614702945014,value=2909/5/5

30|\xE8\xB5\x84\xE6\

图8HBASE存储数据2

通过flumo将客户数据采集到kafka集群，然后使用Hbase消费

kafka集群数据。

数据分析展示

ba_idba_nameba_nu(nba_date

1中国银行71.000间一

2中HI银行M.0O0闾二

3中DQ很行66.000间三

4中国银行78.000周四

5中国银行77.000周五

6中国银行M.OOO周六

7中国眼行64.000周日

8工商银行99.000周一

工商银行78.000周二

10工总祖行94.000周三

11工点银行53.000周四

12工而银行90.000周五

13工序银行73.000周六

14工商！g行86.000同日

15农业银行57.000周一

16农业银行90.000周二

17超k箱行61000脚三

18次1原行76.000周四

19农业限行71.000周五

20农业银行91.000周六

21农业银行7S.OOO周日

图9Mysql分析数据

使用MapReduce将HBASE中的数据，经过清洗、分析之后存储到

MySQL数据库中。

数据可视化展示

1.权限管理：

资源管理：对系统菜单进行管理，可资源进行添加、修改等操作。

资赛名称+新增

操作

资源名爵资源后径

+新增0.剧除

系统管理Gi

+新增修改

＞权限管理20

+新增CL百删除

＞证券平台管理IKS

7证券平台大孱+新增2修改臼删除

+好憎之修改日删除

开户分析/accounts

银行分析/banks+新增2修改EI*除

业务分析/businesss+新增之修改Q

地区业务分析/places+仪修&向热除

证券分析/secuntys+新增＜2.修茂日热降

+新增之修改@*除

性别分析/sexs

交易・分析/Volumes+好增2修改0霸除

图10资源管理界面截图

角色管理：是系统角色信息管理地方，在此可对系统的角色进行

添加、删除、修改等操作，以及可以修