车险智能核保分析系统总体架构及概要设计.doc

此文档收集于网络，如有侵权，请联系网站删除车险智能核保分析系统总体架构及概要设计 目录版权声明11.项目概述41.1.编写目的41.2.系统目标41.3.假设42.需求概述53.总体架构设计63.1.架构设计原则63.2.总体结构与模块73.2.1.系统架构图及说明73.2.2.主要系统简介93.2.3.关键设计 可选213.3.周边关系223.3.1.周边关系图示223.3.2.接口定义223.3.3.与规划项目的关系可选233.3.4.实时接口设计 可选233.3.5.批处理设计 可选234.组件模型 可选244.1.系统组件模型244.2.组件描述及组件对外接口定义245.系统安全设计255.1.性能设计255.2.可用性设计255.3.链路安全设计255.3.1.远程访问限制255.3.2.传输信息的完整性265.3.3.关键传输设备的可用性265.4.应用安全设计265.4.1.系统性能265.4.2.身份鉴别265.4.3.访问控制275.4.4.安全日志275.4.5.软件容错275.5.数据安全设计275.5.1.数据保密性275.5.2.数据完整性275.5.3.数据存储安全276.安全管理296.1.第三方软件、代码296.2.开发测试环境296.3.文档及代码管理方式296.4.代码使用及归属296.5.外包商安全协议297.出错处理308.生产环境318.1.硬件配置318.2.软件配置319.系统物理部署说明329.1.物理部署图示329.2.物理部署说明329.3.系统网络拓扑图及说明3310.附录3410.1.常用技术英文解释341. 项目概述1.1. 编写目的本文档的主要目的是为车险智能核保分析系统技术人员进行系统开发时提供基本业务了解、功能需求、后台模块划分的说明，使相关技术人员能够顺利的完成系统架构的设计和开发，给后期系统测试和维护人员提供参考。1.2. 系统目标通过建立车险核保分析数据库，进行核保主题分析及信息查询，进一步制定核保的评分标准，实现核保的自动化与智能化，进而识别影响风险的因素，在提高核保标准件率的同时，保证承保业务质量。1.3. 假设本项目的架构设计基于CPIC车险智能核保分析系统需求规格说明书.doc完成，且需求规格说明书涵盖业务需求的各功能点。相关周边系统能提供接口，满足车险智能核保分析系统的功能需求。2. 需求概述伴随车险业务规模的不断扩大，市场局面愈发复杂，要求车险经营必须改变过去单纯追求保费规模的粗放式经营，坚持以效益为中心，努力实现效益、规模、速度相统一的集约式管理模式，大力推进车险精细化管理，通过精细化数据分析判定市场动向，制定合适的生产及销售计划，制定正确的业务决策。同时，公司以“客户需求为导向”的转型战略要求全方位的为客户提供保险需求服务，对车险承保管理水平提出更高的要求，而采取多维度的综合考评方式，更科学的、综合的体现客户价值，是服务客户需求战略要求的体现。同时，业务规模持续扩大要求承保机构不断丰富和创新核保手段，促进车险业务持续发展，提升服务能力，及时响应市场需求。3. 总体架构设计3.1. 架构设计原则 针对产险2011版车险智能核保分析系统的需求，东南融通在太保IT架构的基础上，遵循以下原则进行系统的规划和设计： 规范性、标准性按国际主流的标准和规范进行设计，并有效的结合太保现有IT架构体系。 先进性、稳定性以数据服务的方式为目前和将来的应用系统提供尽可能完整的数据服务，隔绝外围系统对数据的直接操作，以保证数据质量的稳定和系统的拓展。 开放性和灵活性系统基于开放式平台建设，系统的软硬件都采用开放平台。硬件解决方案满足太保产险硬件规划，软件解决方案遵循太保产险软件使用规范。 可扩展性采用层次化的架构设计。层次与层次之间的逻辑分离，互不影响，系统具有高度的灵活性和可扩展性。便于在不同的层次采用最适合的技术实现方式。通过提高每个层次的性能，从而使整个系统的性能得到保证；能够充分利用各个产品软件的优势，例如：数据库软件，应用服务器中间件等等。数据架构设计上要考虑到太保产险各分公司逐步推广带来的影响，在模型设计上要考虑按机构进行数据切分，并且可以容易支持产险全司数据的应用。 安全性与可靠性在数据内容服务上采用完整的数据操作权限管理和数据脱敏机制，在系统的运行能够满足日常营业时间内服务，并且具备有较强的容错能力和良好的恢复能力 建立系统健康保证机制。设立集中的异常情况处理中心，建立系统一致性保障机制，统一考虑系统监控、状态控制、配置维护、流量控制、切换机制等。 易用性、高效性从架构模型上，采用成熟产品而易于使用和维护；通过分层结构、分组服务满足模块在线测试、更新、加载。在数据库模型和访问机制上充分保证其运转的速度和效率。 提高系统吞吐量。整个框架及其每个处理环节尽量采取无状态的异步设计机制，缩短每个环节的服务时间窗口，避免重量级处理环节成为系统瓶颈。 可行性充分考虑太保产险的计算机系统应用现状、业务规程和管理需要，并总结国内各保险公司在数据整合、智能核保方面的经验，在成熟的模型和组件的基础上，为太保产险量身定制本系统的方案。3.2. 总体结构与模块3.2.1. 系统架构图及说明三层体系结构车险智能核保分析系统分为数据获取层、数据存储层和数据访问层三层，其中数据获取层又分为数据来源、抽取/加载两个子层；数据访问层又分为应用平台和分析人员两个子层。如下图所示：系统结构图(三层体系结构示意图) 数据获取层：将P09 IDS、车险承保系统和车险理赔系统中的数据，通过Datastage抽取或数据集中项目下发，加载至车险核保分析数据库。 数据存储层：对抽取自源业务系统的经营数据进行清洗和转换，实现对车险承保数据、核保评分表数据、车辆风险因子数据和元数据的集中存储与管理，并可根据需求建立面向分析主题的数据集市。 数据访问层：通过多样化的前端分析展示工具，实现对车险承保数据库中数据的分析和处理，形成核保所需要的科学、准确、及时的信息和知识；帮助业务人员高效灵活的建立核保参数评分表。系统总体架构车险智能核保分析系统总体架构如下图所示，由数据流、数据分类、工作流构成三维架构体系，从数据流的层面，分为数据抽取、数据增强、数据存储和数据应用，从数据分类，分为原始业务数据存储、业务整合数据存储、主题数据集市、风险因子数据存储、元数据存储；从工作流的层面，分为系统管理、系统监控、元数据管理、数据质量检核。系统总体架构图3.2.2. 主要系统简介3.2.2.1. 车险核保分析数据库子系统信息项内容备注模块名称车险核保分析数据库子系统模块目标按一定策略保存整合车险承保及车险理赔数据，并设计车险核保分析数据模型，定义各种数据字段，设计新的数据集市。包含单位名称、理赔汇总、出险次数、赔付率、续保前出险次数、续保后出险次数等指标，扩展可识别字段，用于数据分析研究；输入来自P09 IDS车险承保、车险理赔系统内的被保机动车辆、保单、保费、保批单、报案、立案、赔案等相关数据；输出车险核保分析数据库；处理逻辑1、 实现分层的数据结构，按照太保经营过程中的业务实体（如保单、车辆等事物）和业务活动（如保批单、立案、赔案等行为）建立相对固定的业务对象模型，在原子层（原始业务数据存储库）中对业务对象进行完整的、描述一致的存储，其结构与源系统保持一致；在数据整合层保存经过数据清洗及业务关联聚合等处理的数据；2、 根据车险智能核保分析系统需求设计车险原子层数据模型，车险整合层数据模型，车险数据集市模型，车险风险因子库模型；3、 根据车险智能核保分析系统需求设计数据库存储规划；相关模块相关系统车险ETL子系统，车险风险因子系统，车险报表系统；3.2.2.2. ETL子系统ETL架构图信息项内容备注模块名称ETL子系统；模块目标实现对源业务系统数据的增/全量抽取，加载入车险智能核保系统；并对加载入系统的数据进行清洗，实现车险核保数据关联、汇总等复杂业务处理，以支持分析清单查询、主题分析等业务应用。输入P09 IDS、车险承保系统、车险理赔系统的数据；输出车险智能核保分析系统清洗、转换、整合后数据；处理逻辑1、 P09 IDS、车险承保系统的数据通过DS；车险理赔系统通过数据集中将增/全量抽取到原子层；2、 通过车险承保数据库的SP对车险原子层数据清洗、转换、增/全量加载到车险整合层；3、 通过Oracle SP，对整合层数据分析、筛选、汇总后增/全量加载到车险集市及风险因子库；4、 通过SP，实现源系统与原子层数据质量校验，原子层与整合层数据质量校验，保证数据的完整性，一致性与正确性。5、 对ETL任务进行统一、便捷化的管理相关模块记分卡管理模块，核保模拟模块，记分卡预警模块，清单查询模块 ，多维分析模块；相关系统P09 IDS、车险承保系统、车险理赔系统，车险智能核保系统；数据抽取及加载模块根据车险智能核保分析系统的业务需求，把分布在P09 IDS、车险承保、车险理赔系统中的原始数据完整地、一致地抽取出来并加载到车险承保数据库，数据抽取模块支持历史全量及日增量的数据抽取；其中IDS、车险承保系统数据的供方采用数据库方式提供数据；车险理赔系统的数据由数据集中系统提供，通过增量表的形式直接将数据加载入车险承保数据库原子层；全量抽取加载实现描述：系统做全量数据抽取加载时对源系统相关表数据做全表抽取并加载入车险智能核保分析系统数据库的原子层。增量数据抽取实现描述：1.通过P09 IDS系统内的增量索引表进行增量数据的判断，即增量索引表的“时间戳+分公司代码+业务主键”，DataStage服务器依据增量索引对P09 IDS系统及车险承保系统内数据进行抽取；2.由数据集中系统做增量的判断，并抽取车险理赔系统内的增量数据；备注：部分参数表无需做增量的判断，每次做全表抽取即可。增量数据加载实现描述：1.增量数据删除：DataStage服务器通过抽取过来的P09 IDS系统内的增量索引“时间戳+分公司代码+业务主键”，对原子层数据进行存在性判断；若车险核保分析数据库中存在重复数据，则删除。2. DataStage服务器将抽取自P09 IDS系统、车险承保系统的增量数据插入车险智能核保分析系统原子层。3车险集中理赔系统的增量数据由数据集中系统直接加载入原子层接口表；数据清洗模块根据车险智能核保分析的业务需求，对不符合业务或技术规则的非法数据，以及不满足车险核保分析的数据进行检查和修复，并保存清洗字段的变化情况便于核查；由于CPIC分公司分布在各省市，存在业务上的差距，且各地保监会的政策不同，造成清洗规则不同，故数据清洗实现采用自定义SP的方式实现， 数据清洗一般从以下几个方面来检验源数据的合格与否：n 关键字段是否为空；n 字段类型格式的校验；n 字段长度校验；n 字符是否包含中文，半角中文；n 其他业务逻辑清洗，拆单、合单、提车险识别等； 数据清洗详细步骤1、 保单数据集合过滤(所有数据以主表集合为标准)。2、 数据层面处理。3、 保单本身清洗。(无效身份证，驾驶员信息，渠道识别，车型名称)。 4、 数据字段历史还原。(车辆使用性质清洗)5、 车辆种类，使用性质新旧转换。6、 交商匹配。7、 车辆统一视图。8、 拆分，合并保单。9、 续保识别。数据转换模块对清洗后的数据进行相应综合加工，整合承保、理赔信息，生成各个数据分析模型所使用的事实数据，并根据已知的数据自动计算其它未知的事实数据，例如赔付率，未决赔付金额等。数据转换由于它自身的业务复杂性，故采用自定义SP的方式实现，主要实现如下一些功能： n 代码转换；n 格式标准化；n 业务关联；n 业务聚合汇总； 数据清洗转换示意图ETL调度模块通过用户自己设定的时间或者系统设置的时间定时调度ETL装载模块，完成源数据抽取、清洗和转换，同时有许多任务是逻辑无关的，可以并行执行，但是又有许多任务是逻辑相关的，需要依赖其他任务的特定条件才能运行；因此需根据依赖关系进行数据处理。故ETL调度支持如下图复杂度的调度功能：系统内总体ETL处理时序如下图所示数据质量检核模块为了保证整个数据处理过程中数据的完整性，将数据检核分解为两步：第一步检核数据抽取过程，主要是检查数据抽取过程中是否发生数据的遗失；第二步检核数据在智能核保分析系统内处理过程，主要是跟踪数据的拆分、组合、转换过程中，是否发生数据的遗失以及虚增。主要使用Oracle存储过程实现 抽取数据检核流程图3.2.2.3. 车险报表子系统信息项内容备注模块名称车险报表系统；模块目标实现车险多维分析报表，清单报表查询；输入车险整合层数据，车险集市层数据；输出车险多维分析报表，车险清单报表；处理逻辑1、 使用cognos工具获取车险整合层、原子层数据实现车险清单报表，再通过Java前端展现；2、 使用cognos工具获取车险集市层数据实现车险多维分析报表，再通过Java前端展现；相关模块清单查询模块 ，多维分析模块；相关系统车险报表系统1、 使用cognos工具获取车险整合层数据实现车险清单报表，再通过Java前端展现；2、 使用cognos工具获取车险集市层数据实现车险多维分析报表，再通过Java前端展现；3.2.2.4. 核保风险因子分析子系统信息项内容备注模块名称核保风险因分析子系统；技术英文缩写请看附录模块目标实现记分卡管理、核保模拟、记分卡预警；输入车险整合层数据、车险风险因子数据；输出记分卡管理、核保模拟、记分卡预警；处理逻辑1、 用户通过WEB界面选择参数，系统后台通过JAVA接收参数，设置记分卡，展现记分卡达到管理记分卡的目的；2、 用户通过WEB界面选择参数，系统通过JAVA接收参数写入数据库表，再通过JAVA触发SP实现模拟核保过程，得出模拟核保结果；3、 用户设置参数，系统通过JAVA自动定时触发SP实现记分卡预警；具体请查阅车险智能核保分析系统-集中展示平台概要设计规格书.doc相关模块记分卡管理模块，核保模拟模块，记分卡预警模块；相关系统ETL子系统，车险智能核保系统；3.2.2.5. 核保风险因子挖掘子系统信息项内容备注模块名称核保风险因子挖掘子系统模块目标验证现有业务人员经验模型是否符合实际数据情况；通过SAS数据挖掘工具建立模型，利用智能核保分析系统内整合的车险承保、车险理赔数据，挖掘现有车辆风险特征，找出有效的风险因子，及因子权重分值，解决可能由于保单标件通过率上升，造成业务品质下降的问题，从而降低业务风险输入车辆相关信息输出相关度、风险特征处理逻辑相关模块ETL子系统3.2.2.6. 数据接口子系统信息项内容备注模块名称数据接口子系统此接口仅供测试环境使用，测试数据为未经批改的保单数据模块目标核保分险因子分析子系统输入样本保单输出规则平台评分结果处理逻辑P09 车险系统提供一个web 服务供外部调用，通过车险智能核保分析系统选取指定样本保单，调用此服务逐笔传送投保单；由P09 依据投保单号组织数据调用规则平台的计算服务，规则平台将评分结果反馈给P09；最终P09系统将评分结果提供给车险智能核保系统进行统计分析，以供展示；分析展示包括对规则平台的评分结果与车险智能核保分析系统评分结果的对比展示，及P09保单要素与车险智能核保分析系统内保单要素的对比展示相关模块3.2.3. 关键设计 可选实现描述：前端输入评分表版本与日期（筛选车险风险因子库数据集合）两个参数并通过JAVA传给SP调用家庭自用车评分表，触发SP执行车险风险因子库数据得出家庭自用车评分表结果1、家庭自用车评分表结果2与评分预警表，最后通过JAVA程序在WEB中展现家庭自用车评分表结果1、家庭自用车评分表结果2与评分预警表。详细步骤如下：1、 通过JAVA实现对家庭自用车评分表的显示，修改，删除，添加功能；2、 通过写SP调用车险风险因子库中数据，家庭自用车评分表得出家庭自用车评分表结果1与家庭自用车评分表结果2，等待JAVA触发调用；3、 通过写SP调用车险风险因子库中数据，家庭自用车评分表得出评分预警表，等待JAVA触发调用；4、 通过JAVA接收前端用户输入参数，触发SP实现整个流程，并展现结果数据。3.3. 周边关系3.3.1. 周边关系图示车险智能核保分析系统不能作为一个应用系统单独存在，与周边其他系统存在着紧密的互为依存和融合关系，如下图所示：3.3.2. 接口定义1、 P09IDS、车险承保、车险理赔接口：车险智能核保分析系统通过DS增、全量抽取P09IDS、车险承保、车险理赔数据库中的所需的数据,日增量存入车险原子层；2、 数据集中接口：数据集中从车险理赔系统取数直接装载至车险智能核保系统原子层；3、 核保引擎接口：详见数据接口子系统；4、 P13单点登录：可通过与P13集成实现单点登录，访问车险智能核保分析系统。3.3.3. 与规划项目的关系可选3.3.4. 实时接口设计 可选3.3.5. 批处理设计 可选4. 组件模型 可选4.1. 系统组件模型4.2. 组件描述及组件对外接口定义5. 系统安全设计5.1. 性能设计数据库性能标识潜在的索引，但不要创建过多的索引。使用查询分析器分析查询计划以优化查询。避免过多复杂的SQL脚本，减少系统的解析过程。避免过多的无用的计算，例如：死循环。避免浪费内存空间没有必要的SQL脚本，导致内存不足。内存中计算和访问。尽可能的减少磁盘的访问的数据量。尽可能的减少磁盘的访问的次数。应用层性能 考虑把部分处理逻辑放在客户端减少服务端的工作量；界面端的考虑，例如绘图，控件重绘都是非常耗资源的；各控件的数据加载和数据绑定性能也各不相同，尽量采用惰性加载，异步加载。5.2. 可用性设计实用性：识别并适应不同类型的用户。无缝的互操作性：通过单一界面使用所有需求功能。可扩展性：系统能被扩展至企业中所有分公司及其用户。可靠性：系统能够实现全天候运作。可部署性部：部署系统必须是一个简单的活动，使用户能够获得他们所需要的信息。可管理性：必须能够对系统进行高效且前摄性的管理，确保及早发现并避免潜在问题，使系统保持有效的运作。安全性：确保对系统及系统中信息的访问始终达到安全要求。5.3. 链路安全设计5.3.1. 远程访问限制使用高级防火墙保护远程连接；设置权限禁止随意修改控制规则；授权特定用户进行系统使用；设置策略谨防远程窃取权限账号；5.3.2. 传输信息的完整性无5.3.3. 关键传输设备的可用性无5.4. 应用安全设计5.4.1. 系统性能用户数：500终端数：500并发用户数：50系统的平均无故障率：98%清单查询平均时间：15秒多维分析平均时间：25秒核保模拟平均时间：300秒内存耗用：80%5.4.2. 身份鉴别本系统独立对登录用户进行身份验证和授权，依用户需求决定是否接入集团SSO平台。系统用户通过在浏览器中打开登录页面输入“用户名”和“密码”后按“提交”铵钮，用户输入的密码会被系统加密然后通过网络传到服务端进行身份验证，系统会对用户的登录次数进行限定，系统默认限定的登录失败次数为5次，系统管理员也可根据具体用户区别对待可以不同用户设定不同的允许登录失败的次数，如用户登录失败的次数达到限制，那么该用户账户就会被系统锁定不允许其再次登录，直到系统管理员为其解除锁定。管理员增加系统用户为其设定账户信息时可以限定用户密码的有效期，系统默认有有效期为90天。快要过期时当用户登录系统后，系统会提示用户修改密码。系统内置了两种不同的密码加密策略。一种是 MD5，另一种是SHA，它们都是不可逆的，都会以“passwordsalt”形式加密用户密码，比如“111111bimp”，这里的111111是用户密码，而 bimp 是加密私钥。5.4.3. 访问控制系统是基于角色的访问控制策略，系统会内置一个管理员帐户“admin”，它具有访问系统所有资源的权限，管理员根据业务功能的划分会创建相应的角色，然后对角色进行授权。新增加的用户不具有访问系统的任何权限，只有给用户增加到相应角色中用户才可访问相应的资源。系统管理员可以给角色授予菜单权限、资源权限（指报表资源）、功能权限（页面上的按钮）、组织权限（可查看的组织数据）。5.4.4. 安全日志安全信息获取包含：程序名，程序描述，增全量标志，程序运行开始时间、结束时间、耗时、程序错误代码、异常原因、操作员及系统的人员使用日志。5.4.5. 软件容错容错性：系统能够阻止用户错误；允许用户改正错误；绝对避免毁灭性错误发生。5.5. 数据安全设计5.5.1. 数据保密性用户密码通过MD5加密传输，保存。5.5.2. 数据完整性通过oracle操作系统文件形式存贮数据，运用Oracle自带安全机制，加密，校验。Oracle 安全机制如下：身份验证：保证只有合法用户才能登录并使用数据库。访问控制：即使是合法用户，也要控制用户对数据库的访问，拒绝非授权访问，防止信息泄密。可审计性：哪怕非法用户的入侵行为和破坏行为也能跟踪，恢复数据。语义保密性：数据库中的数据以某种加密的形式存储，这样非法用户即使得到数据文件也无法利用。5.5.3. 数据存储安全以IDS时间截止到2011年6月29日的数据为例，IDS中宁波分公司保单总数量为1510999，从2008年11月到2011年6月,每月平均增量保单数为27776。描述数据存储方式和数据归档周期： 数据库全备份：选择在月末批处理结束之后或修改之后进行，对数据库进行全备份，数据保留在服务硬盘上或依据集团备份策略进行备份存储； 数据库增量备份：依据集团备份策略，对数据库日志采取周期性增量备份； ETL程序备份：选择在月末批处理结束之后或修改之后进行，对ETL程序进行全备份，数据保留在服务器硬盘上； ETL调度程序备份：选择在月末批处理结束之后或修改之后进行，对ETL调度程序进行全备份，数据保留在服务器硬盘上； Java程序备份：选择在月末批处理结束之后或修改之后进行，对Java程序备份进行全备份，数据保留在服务硬盘上。6. 安全管理6.1. 第三方软件、代码开发工具：Javacc+ PL/SQL Developer8.0.4；应用服务中间件：Weblogic9.2；前端展现工具：Cognos8.4.1；ETL工具：DataStage EnterPrise Edition7；模型设计：Erwin7.3.2；数据挖掘：SAS；6.2. 开发测试环境所有开发工作在中国太平洋保险（集团）股份有限公司交银金融大厦南楼客户现场，开发环境受中国太平洋保险网络安全(Symantec Protection Agent 5.1)监控保护。6.3. 文档及代码管理方式每个配置项都必需被唯一地标识，配置项的标识包括两个方面：配置项名称：CPIC车险智能核保