商业银行股份有限公司用户投资管理分析系统技术规范书

1、商业银行股份有限公司用户投资管理分析系统技术规范书目录目录21 项目综述21.1系统的特点.31.2市盈利统计的方法.31.3项目背景.42数据库产品功能性技术指标52.1数据库特点52.2数据库的安全与可靠性52.3数据库的可扩展性82.4 数据库安装的人性化92.5 提供图形化即查询工具102.6 具备从Hadoop直接加载数据的能力123数据库产品非功能性技术指标133.1 单节点故障不影响系统基本操作，单节点故障下系统性能能够保持正常性能的一半153.2支持在线的集群节点增加、删除和置换163.4 支持并发数高174.1物理结构184.1逻辑结构.191 项目综述 投资管理与分析系统是

2、公司级的资产管理平台，为金融机构客户提供跨资产、跨货币的风险管理与绩效评估等领域的整体解决方案。而系统以投资数据管理平台为基 础，业务范围覆盖事前风险预测、事中风险监控、事后业绩评估等方面，其目的在于为客户提供完整的定量金融解决方案。主要业务功能包括：组合管理、资产配 置、组合分析、风险分析、风险监控、业绩评价、业绩归因等。所以我们的数据库收录了自1991年中国证券市场成立以来所有上市交交易品种的公开数据，数据量多达上百亿 。1.1系统的特点·基于高质量的证券基本面信息数据库之上的专业化的投资分析系统·重点关注宏观财经信息和上市公司基本信息·通过对证券基本数据和行

3、情数据的深入挖掘和有序组织来满足机构投资者和证券分析人员等市场高端用户的需求。 · 通过对系统的学习和训练，可以学会如何获取、筛选和处理数据，同时能够锻炼财务建模和分析的能力。1.2市盈利的统计方法针对三种计算方法的处理方法:（1） 简单市盈利的计算方法：使用财务数据为年报：全年税后利润 = 税后利润使用财务数据为中报：全年税后利润 = 税后利润*2使用财务数据为一季报：全年税后利润 = 税后利润*4使用财务数据为三季报：全年税后利润 = 税后利润*4÷3（2） 滚动市盈利率的计算方法：使用财务数据为年报：全年税后利润 = 税后利润使用财务数据为中报/季报:先寻找上一年对应

4、的中报/季报利润，如果没有找到则采用简单市盈利率的计算方法；如果找到有效数据时的处理方法：全年税后利润 = 上一年的年报利润-上一年中报/季报利润+当年中报/季报利润。（3） 同比增长市盈率的计算方法：使用财务数据为年报：全年税后利润 = 税后利润使用财务数据为中报/季报:先寻找上一年对应的中报/季报利润，如果没有找到则采用简单市盈利率的计算方法；如果找到有效数据时的处理方法：全年税后利润 = 上一年的年报利润*（上一年中报/季报利润÷当年中报/季报利润）。1.3项目背景中国证券市场自建立以来经历了三个阶段，即初创阶段，粗放型扩张阶段，规范型发展阶段。证券市场发展受到重视的主要是公平

5、、公正、公开方向的制度建设。至于投资顾问业务则是刚刚开始起步。证券公司之间的竞争，刚开始是大量设立营业网点，建立新营业部，属于跑马圈地阶段，随着市场的趋于饱和，证券公司的竞争开始打价格战，互相压低佣金，甚至有零佣金的现象不断出现，但是这种恶性竞争肯定是两败俱伤的， 谁也得不到好处。 而且随着投资者日渐成熟，对佣金的高低要求已经不是第一位了，投资者迫切需要有针对性的服务，包括宏观经济发展阶段的预判，上市公司发展潜力的预测等等，凡是对投资决策有用的数据信息分析都是投资者优先考虑的，这个时候正是投资顾问大显身手的时刻，公司也从硬件设施的竞争过渡到增加服务的软件方面竞争。公司的服务模式也由原来的通道服

6、务模式向专业化的增值服务模式转变。 由于证券投资顾问服务模式刚刚开始起步，服务模式，收费模式总是在不断变化，所以相关的投资顾问服务管理软件非常缺乏， 一些据有前瞻性的软件公司开发的投资顾问管理软件也是功能简单，缺乏与投资者的互动和对投资顾问自身的管理功能，跟不是市场的变化。本文正是基于投资顾问业务快速发展的实际情况，根据不断变化的投资顾问实际工作流程设计功能模块，解决投资顾问与客户互动的难题，以及公司对投资顾问自身的管理问题，及时掌握投资顾问工作状态，对投资顾问服务能力作出准确的判断以及进行相应的考核。数据库设计概念2.1数据库特点是一个分析型数据库管理系统。主要具有可信任的、高效的、智能的特

7、点。其中*提供了丰富的安全特性，提供了许多旨在改善数据库环境的总体安全性的增强功能和新功能。它增加了密钥加密和身份验证功能，并引入了新的审核系统，以帮助您报告用户行为并满足法规要求。并且，它的安全机制可以分为5个层级：客户机安全机制、网络传输的安全机制、实例级别安全机制、数据库级别安全机制、对象级别安全机制。使其在安全方面表现的更加突出。而新的审核系统和* 基于策略的管理则为您提供新工具来监控安全合规性的状态。*是一个关系数据库管理系统。主要具有这几个主要特点：可信任的、高效的、智能的。服务器级别的安全机制、数据库级别的安全机制、数据对象级别的安全机制一、可信任的使得公司可以以很高的安全性、可

8、靠性和可扩展性来运行他们最关键任务的应用程序。*为关键任务应用程序提供了强大的安全特性、可靠性和可扩展性。2.2数据库的安全与可靠性1、分析型数据库中存在大量敏感数据,如何防止数据被窃取和篡改是*的重中之重。加密技术是提高数据库安全的一个重要手段,在对数据库中存储数据进行加密时,需要结合它们的特点，对加密算法、加密粒度以及加密方式进行合理选择。比如,在选择加密算法时,对加密尤其是解密速度要求比较快,不能因为加/解密过程而导致系统性能大幅度下降。其次,应当支持灵活的加密粒度。根据用户的需要,能够选择对数据库、表、记录、字段进行加密。按照*数据库的结构层次,数据库的加密粒度可以分为相应的数据库级、

9、表级、记录级、字段级。根据不同的应用需要,选择合适的加密粒度。对整个数据库加密整个数据库加密,就是对数据库中所有的系统表、数据表、索引、视图和存储过程等进行加密处理。这种加密方法简单快捷,只需对相应数据库文件进行加密处理即可,对于企业或者用户简单的备份整个数据库,可以采取这种操作方便加密粒度。但是,使用中的数据库如果采用这种方法则会非常不合适,因为数据库中的数据共享性高,会同时被多个用户和应用访问使用,即使只需要查询一条记录,也需要对整个数据库进行解密,对系统性能会产生极大的影响。数据库的表级加密安全数据库将表分成两大类,含加密字段的表和不含加密字段的表。对于加密的数据表则整个块加密,否则不加

10、密,且每块使用一个密钥。安全数据库中,如果一个表中存放敏感数据,那么这个表的每一个页面的数据域在内存中是明文,在外存中是密文。表级加密的对象是数据库中的表。与数据库级加密比较,采用表级加密粒度,系统的查询性能会有所改善,因为对于未加密表的查询,与传统查询方法一样,系统性能不会受到影响,对于加密表的查询,只需要解密对应的加密表,而不要解密整个数据库。在实行表级加密时,可以采用对存储数据的磁盘块(页面)进行加密。当*将内存中的数据写出到外存中时,首先查询安全字典,如果需要加密存储,则用安全字典中当前密钥加密。在将数据从外存读入内存后,如果页头标识页面是加密过的，则取出相应的密钥解密。加密时,只加密

11、页面中的数据域。解密时,当数据块从外存读入内存时,如果页头标识页面是加密过的,则从安全字典中取出相应的密钥解密数据域。和对整个数据库加密一样,对数据库进行表级加密实现方法简单,但是加密的粒度较粗,一张表中会含有大量不需要加密的数据,把不需要加密的数据进行加密，会导致不必要的性能损失。数据库的字段级加密*以一种可插拔的方式扩展用于支持多种加密算法（如:MD5等）的数据类型，用于实现对字段级的数据加密，将加密的字段从原始的数据中分离出来,单独存放。按照此种处理方案,同一个表中的明文密文存放在不同的文件或页面中。每个被加密后的字段数据块都作为独立的行在数据库加密库表里为所属主表存储。加密库表提供相应

12、的索引对数值的快速检索。通过加密算法加密过的大体积数据只是在把结果集发送给客户端的时候才抽出来。因此,加密字段对应的主表要小得多,并且它的大部分行都存储在共享缓冲区里,因此就可以不需要任何线外存储。对数据库进行字段加密不需要对所有的数据进行加密,加密的粒度更小,对于不需要访问到的记录,完全不需要进行任何操作,所以使用起来效率会高一些。但是由于每一个字段都必须有一个密钥与之匹配,因此产生和管理记录密钥比较复杂。以记录为单位的加密分析与以字段为单位的加密情况相似。其它数据加密方式*支持存储口令加密，防止*用户安全密码被窃取。实现对存储口令的弱密码验证。通过用户的权限来控制用户访问数据库的权限。2、

13、*支持基于安全的SSL(Secure Sockets Layer 安全套接层)连接。SSL作为网络通信提供安全及数据完整性的一种安全协议。SSL在传输层对网络连接进行加密。安全证书既包含了用于加密数据的密钥，又包含了用于证实身份的数字签名。安全证书采用公钥加密技术。公钥加密是指使用一对非对称的密钥进行加密或解密。每一对密钥由公钥和私钥组成。公钥被广泛发布。私钥是隐秘的，不公开。用公钥加密的数据只能够被私钥解密。反过来，使用私钥加密的数据只能被公钥解密。这个非对称的特性使得公钥加密很有用。在安全证书中包含着一对非对称的密钥。只有安全证书的所有者才知道私钥。当通信方A将自己的安全证书发送给通信方B

14、时，实际上发给通信方B的是公开密钥，接着通信方B可以向通信方A发送用公钥加密的数据，只有通信方A才能使用私钥对数据进行解密，从而获得通信方B发送的原始数据。安全证书中的数字签名部分是通信方A的电子身份证。数字签名告诉通信方B该信息确实由通信方A发出，不是伪造的，也没有被篡改。客户端与*数据库服务器通信时，首先要进行SSL握手，SSL握手主要完成以下任务：1)协商使用的加密套件。加密套件中包括一组加密参数，这些参数指定了加密算法和密钥的长度等信息；2)验证对方的身份，此操作是可选的；3)确定使用的加密算法；4)SSL握手过程采用非对称加密方法传递数据，由此来建立一个安全的SSL会话。SSL握手完

15、成后，通信双方将采用对称加密方法传递实际的应用数据。2.3数据库的可扩展性扩展性表现在：最佳的和可预测的系统性能。性能数据的采集：* 推出了范围更大的数据采集，一个用于存储性能数据的新的集中的数据库，以及新的报表和监控工具。扩展事件：*扩展事件是一个用于服务器系统的一般的事件处理系统。扩展事件基础设施是一个轻量级的机制，它支持对服务器运行过程中产生的事件的捕获、过滤和响应。这个对事件进行响应的能力使用户可以通过增加前后文关联数据，以此来快速的诊断运行时问题。事件捕获可以按几种不同的类型输出，包括Windows事件跟踪，当扩展事件输出到ETW时，操作系统和应用程序就可以关联了，这使得可以作更全面

16、的系统跟踪。备份压缩：保持在线进行基于磁盘的备份是很昂贵而且很耗时的。有了*备份压缩，需要的磁盘I/O 减少了，在线备份所需要的存储空间也减少了，而且备份的速度明显加快了。数据压缩：改进的数据压缩使数据可以更有效的存储，并且降低了数据的存储要求。数据压缩还为大型的限制输入/输出的工作负载例如数据仓库提供了显著的性能改进。资源监控器：资源监控器使数据库管理员可以为不同的工作负载定义资源限制和优先权，这使得并发工作负载可以为终端用户提供稳定的性能。2.4数据库的安装的人性化我们对*的服务生命周期提供了显著的改进，它重新设计了安装、建立的架构。这些改进将计算机上的各个安装与*软件的配置分离开来,使得

17、安装方便快捷并且自动配置安装环境，满足多种安装无论是图形界面还是命令行界面的安装。2.5 提供图形化即查询工具即席查询是指用户通过管理工具键入的SQL代码，立刻就可以看到SQL执行的结果。*自带数据库管理平台，用户可以通过该平台实现即席查询的操作。图形管理工具的特点如下：² 全中文操作界面² Web 浏览器访问方式² 支持多个节点的管理² 支持每个节点所有数据库对象的浏览n 模式（Schema）n 表格n 内存表n 表格列n 视图n 函数² 支持SQL的输入输出窗口² 支持SQL高亮显示² 支持主机性能的监控n CPUn 内

18、存n 磁盘n 网络² 支持告警和配置管理图：SQL窗口，数据对象管理图：CPU监控举例图：磁盘监控举例图：内存监控举例图：网络流量监控举例* 管理工具使用J2EE架构，可以通过网络连接到任何一个可用的数据节点上。* 管理工具在Tomcat中部署运行，管理多个节点会频繁查询节点的状态信息，造成一定资源的消耗，建议把*管理工具部署在资源比较空闲的主机上，该主机可以是任何一台数据节点，这样不会造成单部署一台主机的资源浪费。2.6 具备从Hadoop直接加载数据的能力*内带Hadoop插件接口，可以通过配置从Hadoop的HDFS文件系统中直接提取数据，也可从一些标准的接口连接到Hadoop

19、集群。*利用自主开发的数据计算引擎对数据进行计算，计算引擎同时具备SQL的解析能力，能弥补Hadoop中Map Reduce组件的不足，同时比Spark组件更加轻量级。计算的结果可以返回给Hadoop的HDFS文件系统，也可以存储在*中，方便高效的二次分析。*自带Hadoop插件可以从HDFS文件系统中提取文件，但是有的Hadoop集群不允许直接通过HDFS方式访问，而是通过一些标准的API。*的数据载入模块针对不同协议已经进行了一定的封装，如果遇到未知协议，我们也可以根据协议要求定制开发相关读取模块。对于增量数据，读取时需要标记读取位置，这样才能有效避免数据重复。3数据库产品非功能性技术指标

20、3.1 单节点故障不影响系统的操作，并且系统性能至少能保持正常性能的50%*有着较高的高可用性。在数据库集群在任意节点网络异常、主机异常、掉电情况下都体现较高的可用服务能力。在单节点故障下，对整体集群性能不会产生大的波动。对于某个重要的节点，*提供主从灾备方案，切换时间小于1分钟（主要是网络探测不可用时间，根据路由设备的不同略有不同），只要备机和主机性能相当，性能只会衰减50%。*主从灾备架构图 *的主机设计具备如下特点： 同步过程，备机不影响主机性能 检测主机状态，确保切换的正确性 支持主机备机同步读取日志，互斥修改日志，从而保证数据的唯一完整性当中主机不可用时，客户端往往会访问备机进行容错

21、，客户端在向备机调用call master_status();来获取主机的真实可用性，如果主机心跳停止，客户端就可以发送命令把备机提升为主机。备机会同步所有日志，然后完成自我的切换。单节点故障主要分三种情况：情况一，指标分析中所主要描述的场景，主要用在两份数据，主机宕机备机接管，这中情况在于增删改差都有的情况下不会导致数据的丢失，增删改平时只访问主机，备机和主机同时可以进行查询，由于主机和备机的性能相当，所以单节点掉电，相对于这个节点，主要50%的衰减，相对于整个集群衰减很小。情况二：多个数据节点分布管理，如10个节点，但是只有一份数据。某个节点宕机是，不会影响另外9台主机的使用，查询结果当然

22、会有10%的误差，性能衰减也只有10%情况三：协调节点宕机，协调节点不存储数据，平时两个协调节点互为主备，所以一台宕机不会产生数据丢失，最大也只能有50%的性能衰减。3.2 支持在线的集群节点增加、删除和置换，且数据库停止运行的时间应不超过6个小时*有良好的数据库集群管理平台。通过此平台，完成对整个集群节点的管理。可方便地在线完成集群节点的增加、删除、置换。*支持通过字符窗口输入SQL完成集群节点的增加、删除和转换；也支持通过图形化界面完成集群节点的增加、删除和转换。在字符界面窗口输入： sql.sh -c "select add_node('node1','

23、192.168.2.253','8881','dba','123456','*')"-添加节点sql.sh -c "select remove_node('node1')"-删除节点sql.sh -c "select replace_node('node1','192.168.2.253','8881','dba','123456','*')"-置换节点每次完成节

24、点操作以后，调用以下命令更新集群节点池：sql.sh -c "select load_node()"-重新装载节点池另外，*提供了良好的图形化管理集群节点的工具，通过此工具，在界面完成集群节点的增加、删除、置换。如下图所示：在管理集群各节点过程中，无需停止各节点数据库服务，以一种实时在线的方式完成集群节点的管理，集群内节点由控制节点统一调配，管理集群节点，立即重新装载集群节点池，新管理的集群节点立即生效，所以完成可以达到不超过6小时的目标。*添加配置节点主要是在协调节点上实现，添加或者修改一个数据节点，对于其它数据节点没有感知。正如指标分析所示，用户可以通过命令和图形两种方

25、式操作节点。节点在添加过程中，整个集群不需要停止，所以完全可以达到在线的要求。3.3 支持并发数高*提供良好架构方案以支持高并发用户访问，通过分布式部署、缓存技术、支持快速读写的硬件资源实现高并发访问。足以支持1000以上的并发用户数。其总体架构图如下：图：*高并发架构除了利用不同场景的特殊性，高并发还可以使用三种方式获得：1、 通过分布式部署。分布是部署可以缓解单机*数据库服务器的压力。*协调节点，根据规则对不同数据节点进行访问。*协调节点可以根据各分布式*数据库服务器的当前机器运行状态（CPU/IO/MEM等）以一定的负载策略去完成目标*数据库服务器的调度，最大限度地采用最空闲的数据库服务

26、器完成SQL操作，以加快运行结果响应速度。2、 把数据加载到内存。*数据库服务访问海量数据时，根据当前机器内存使用情况，以一定的缓存策略将数据加部分数据装载到内存中，以减少访问硬盘数据文件的次数，以一种最优的方式利用*数据库服务器的内存，通过直接操作内存中的数据，充分利用*数据库服务器的运算性能，加快运算结果的生成并返回客户端。3、 提升硬件资源。在利用硬件资源方面,以提高服务访问硬盘读写速度出发，*数据库服务器部署安装SSD固态硬盘，在硬盘上作设置相应的RADI级别，提高访问硬盘数据文件的读写速度，提高整个数据库服务器的处理运算的能力。对于分析型数据库，增加并发的过程，其实是想办法减小IO充分利用CPU和内存的过程，在整个调试的过程中需要严密监控数据节点的CPU、内存、网络、IO四大资源，清晰定位到底是哪个资源出现瓶颈。当4个资源有一个达到瓶颈的时候，往往可以使用其他三个资源