sybase数据仓库在xx证券公司的应用方案

Sybase 数据仓库在 XX 证券公司的应用方案 在信息化浪潮的冲击下，为了处理大量的业务数据，快速地制定准确的决策，从而迎接未来的严峻挑 战，处于许多行业的各类组织机构都在积极地部署自己的信息系统架构。在这种情况下，系统解决方案提 供商就面临着艰巨的任务，她们需要更深入地了解各个行业的业务处理要求和决策流程的特点，从而提供 性能卓越、适合需求的解决方案。目前，许多厂商都在不断的探索，并寻求积极的技术突破。在这方面， 享有良好市场声誉的行业解决方案提供商 Sybase 公司走在了业界的前列，它向市场推出了众多优秀的解 决方案，其范围涵盖传统数据库、Internet 应用及电子商务等领域，尤其是其行业解决方案，更是成为市 场上一道夺目的亮点，成为众多机构系统部署的首选。在中国市场，在数据处理量庞大、信息化程度要求 严格的证券领域，Sybase 的数据仓库解决方案得到了广泛的好评。其中，国内著名的证券机构-XX 证券 就在其信息系统中部署了 Sybase 的数据仓库技术，为它的信息处理和决策制定提供强大的后台数据仓库 和前端分析应用支持。 XX 证券的系统需求 目前，我国的金融领域正在经历大幅度的变革。在宏观方面，我们的金融政策正进一步放宽，金融市 场的开放程度日益扩大，其中证券业也将拥有开放程度更高、竞争更激烈而变化又更迅速的整体环境。从 微观而言，许多金融业务不断诞生，用户的需求也不断变化，金融服务将占据举足轻重的地位。具体到证 券业而言，它的业务处理和决策支持将面临前所未有的挑战。因此，除了提高自身的意识和能力水平外， 证券业还需要部署先进的信息化系统，为新时代的金融竞争作好应战准备。 正是鉴于严峻的市场形势和自身的发展需要，国内的大型证券商 XX 证券决定构建自己的高级信息系 统，以处理庞大的业务，并为自己的决策提供支持。参考 XX 的业务模式和信息技术的发展趋势， XX 证 券在构建信息化系统时需要充分考虑到下列运作特点：（1）数据处理流量大。除了机构自身的投资业务 外，XX 证券还将处理来自大量用户的交易数据。由于业务的规模较大，而且当前中国的证券业也正处在 高速发展的时期，上交所、深交所的上市公司不断增加，股民数量也不断增加，来自各方面的数据自然就 呈猛增之势。而且随着股市的风云变换，牛市、熊市的交相更替，数据的处理量会呈现骤增骤减之势，其 特点也难以把握，这将是信息系统需要解决的问题之一；（2）实时性强。在证券市场行情瞬息万变的今 天，交易和决策的实时能力将成为至关重要的因素之一，只有对信息作出最快的响应，证券机构或是股民 才可能在市场中抢占先机。这也是证券行业一个比较突出的特点；（3）安全性高。在信息（数据）的潜 在价值难以估计的证券市场，数据的安全性相当重要。XX 证券的信息系统必须保证确保进入的每一条信 息的安全性，这样才能充分保证拥有这些信息的主人的利益，维护证券市场的秩序；（4）实现强大的分 析功能，提供可靠的决策支持。证券市场的变幻无常导致决策者需要采取快速的应对措施，而这些措施并 不是空穴来风，无根无据，它需要信息系统提供相应的数据分析，从而帮助决策者更好地把握未来的趋势。 根据这些需求特点，XX 证券的信息系统就需要强大的后台支持，也需要卓越的前端应用，以帮助它 提供融合的应用，实时的处理，智能的决策支持等特性。总体而言，该系统需要准确了解和掌握公司业务 的历史，及时掌握当前的运营状况，熟悉客户的情况和要求，科学评估投资和金融风险，并准确预测市场 变化和未来走势。为了满足这些功能要求，在最终的数据系统选型中，XX 证券借鉴了招商银行的成功经 验，选择了 Sybase 的数据仓库解决方案，以帮助其成功地实现交易数据的集中处理和分析。 XX 证券的系统机构与功能 在建设过程中，XX 证券采用了三层结构的设计方式。其中第一层为业务处理层，包括各种 业务处理系统的电子化，比如证券交易系统、电子商务系统和券银转账系统等。第二个层次即 办公动化层，XX 证券开发了电子邮件、公文审批、报表和公共信息等子系统，第三层为决策支 持层，在这一层中 Sybase 的数据仓库发挥了卓越的特性。其结构如下图所示： 【总体功能特点】 以 Sybase 的数据仓库为依托，XX 证券拥有了强大的经纪业务分析系统，该系统提供众多 经济业务功能，包括资金、证券、客户、资金交易和非资金交易。它采用两种客户端：浏览器 （提供固定报表和 OLAP)和专业客户端（提供更多功能的 OLAP，固定报表和即席查询），从 而可有针对性的高速响应不同用户的需求。总体而言，该系统采用的分析方法为多维表、多维 图等分析方法。 在多维表分析中，用户可以从多个角度，逐层察看到明细的详细资料，并可对这些资料做 可视化分析。在可视化分析中，表现多种指标的图（柱状图、饼图及分布图等）与数据表等之 间的内容是全部相关的，即无论在其中的任一图（表）选中一些内容，选中的数据在其他图 （表）的情况也相应表现出来。同样，也可对指标的某段时间内的情况进行可视化分析。其具 体分析子系统包括： 帐户的统计分析。按日（周、月、季、年）统计各营业部、各客户经 理、各类客户、各市值区间客户以及各种货币的帐户数量、股东数量、资金 余额、可用资金、冻结资金、股票市值等的总额；当期买入证券的成交金额、 当期卖出证券的成交金额、盈亏情况、持仓比例和活跃度等情况 托管股份统计分析。按日（周、月、季、年）统计各营业部、各客户 经理、各类客户、各市值区间、各种货币以及深沪两个市场的各类证券的各 种股份的持仓股数、冻结股数、未交收股数、股票市值、平均持仓成本、总 的买入股数、总买入的成交金额、总的卖出股数、总卖出的成交金额、市场 占有率，盈亏情况等。 资金交易综合分析。按日（周、月、季、年）统计各营业部、各客户 经理、各类客户、各市值区间、各种货币、深沪两个市场、各类证券、各种 股份、各种交易方式的各种交易的笔数、交易金额。 【核心组件的属性及优点】 在该系统和这些分析功能的背后，是 Sybase 数据仓库解决方案中的 Adaptive Server IQ 在 发挥强大的支持作用。该产品是 Sybase 特意设计的数据仓库存储与管理系统，它突破了传统 技术的很多限制，可以为用户提供灵活的查询功能和快速的响应能力，从而支持多用户环境下 的交互式分析。在 XX 证券的系统中，该产品技术体现出了以下独特的属性： 纵向划分：Adaptive Server IQ 是按列而不是按行存储和访问数据的。 大多数决策支持查询所访问的是相对少量的列，但要跨越大量的行。因此按 列查询就消除了很多不必要的 I/O 操作。在这种处理方式下，最坏的情况是需 要 Adaptive Server IQ 扫描整个列的内容。相对而言，传统数据库系统则需要 作整个表的扫描。凭借这项属性，XX 证券的信息系统就可实现快速的响应。 数据压缩：按照 Adaptive Server IQ 的存储方式，对同一批行数据， 实际在硬盘上占用的空间只是传统存储方法所占空间的 40%到 50%，这样既 大幅度减少了对存储空间的占用，又减少了查询处理中所需的 I/O 操作。 对超大数据库的支持：Adaptive Server IQ 使企业在处理能力上拥有 极大的伸缩性，它能够同时支持从几百到几千个并发用户，一个表所拥有的 行数可以高达 281 万亿行，一个表所拥有的列数可以高达 16000 个，可以支 持总容量达 128 TB 的超大数据库。这些特性对于用户身份复杂、信息来源多 样的证券系统来说，无疑具有特殊的意义。 并行化处理：在数据和/或用户增加时，Adaptive Server IQ 系统具备 了很强的伸缩能力。另外，为了更充分地利用可以得到的处理机资源，在加 载数据或补充数据时，Adaptive Server IQ 进一步对加载过程实施并行处理。 预连接： Adaptive Server IQ 容许设计者在处理中充分利用表之间已 知的连接关系，为此只需在相关的表之间预先定义好这类连接并建立索引即 可。有这些连接索引，即可减少查询时所需的处理的总量。连接索引加上在 查询执行中动态选择的各种连接算法，即可大幅度改善即兴式表连接的效率。 DSS 查询处理器： 这是一个查询处理的智能软件,它可以根据对每个 查询的分析,选择最适合的存取方法与算法。Adaptive Server IQ 能很有效地 对决策支持分析中大量典型而复杂的查询进行处理。因此，使用 Adaptive Server IQ 时，已无须数据库管理员进行人工干预，或优化查询的执行过程， 他们可以将精力放到更重要的事情上去。 多丛结构 ： Adaptive Server IQ 可以将多个 NT 节点和 UNIX 节点组 织在一个应用系统中，它所提供的伸缩性和所花的代价只是海量并行处理机 系统（MPP）或者其他查询方法的若干分之一。还有，具有多丛结构的 Adaptive Server IQ 能够同时支持数千个用户，这是任何其他关系数据库系统 都难以做到的事。 在上述属性的支持下，XX 证券的系统可以实现以下好处： o 高效而代价合理：将所需处理的数据结构减少到只及常规数据库所需处理量 的 20%左右，从而减少了硬盘开销。 o 快速反应： I/O 操作的大规模减少，消除了大多数决策支持查询处理中固有 的瓶颈问题，同时提供了快速反应能力。 o 快速反应查询灵活：存取方法只与数据有关而与查询无关,因此正确的数据结 构在数据加载时就能够预期得到。因此，数据仓库的用户可以随心所欲地提 出查询要求而无须数据库管理员作任何干预，并能确保快速地访问当前信息 和实施快速而有效的加载与更新处理。 数据仓库，为 XX 证券的信息系统提供应用源泉 在 XX 证券的系统中，Sybase 的数据仓库充分提供了信息整合、分析支持等强大功能。在 实际的应用中，它在许多方面都体现了超强的优越性。在客户服务方面，该系统能够快速地完 成用户的数据处理，提供及时的查询响应，从而达到完善客户服务的目的。而且该系统的统计 功能设计非常贴近 XX 证券营业部的实际经营流程，能够随时反映它们的经营状况，并针对经营 中出现的问题提供风险告警，协助有关人员防范经营风险。此外，该系统一个突出的应用特点 是具有强大的分析功能，它可以随机应用多种股市模型和多种经济理论，并进行多种组合理论 的分析。无论是客户的换手操作，还是机构自身的业务决策，该系统都可以提供全面而又完善 的分析结果，而且这些结果已