关于对PLsql中开发ETL程序的指导规范.doc

关于对PL/SQL中开发ETL程序的指导规范背景目前项目组大部分ETL程序都是在数据库中直接用PL/SQL开发，随着对ETL程序不断增加/修改，导致对源代码的维护和管理工作日益加大，程序的版本控制问题凸现，在实际工作中经常发现代码版本不正确等问题，给正常开发工作带来了很大影响。介于上述问题，经项目组决定，将对ETL开发部分进行整体工作进行规范化管理，引入代码版本控制管理、编码规范检查与程序设计文档检查工作。目的实现PL/SQL与VSS结合共同管理程序源代码实现PL/SQL与开发规范结合，自动生成程序设计文档实现对ETL开发人员工作进行全局指导/检查如何与VSS结合使用前提条件安装oracle客户端安装vss客户端安装pl/sql软件直接解压缩plsql developer8.rar文档（此版本为8.0，已经将VSS插件设置好）配置与VSS的结合安装VSS客户端软件（安装过程略）如何设置工程路径与登陆用户首先点击菜单 VCS ，在点击OPEN PROJECT 菜单，系统进入如下页面在此对话框选择输入相应的参数:*选择工程(Project)路径与用户，如下输入VSS帐户,密码,及VSS库路径:选择OK之后会让你选择VSS服务器的工程.下一步选择OK弹出下面窗口,在此窗口选择上一步选择的工程存放到本机的位置可以自由选择点击确定回到此菜单下一步确定设置完成后点击OK按钮工程设置完成配置客户端点击菜单栏VCSPreferences 在VCS Preferences选项全选.下次再登陆的时候会在连接数据库之后提示输入密码,而不用在新建项目的时候输入密码如上*处如何将程序添加到VSS工程1在需要添加到vss工程的程序上鼠标右键，点击 ADD TO VCS,系统进入如下页面，设置注释截至到此，程序已经添加到vss工程中。2.点击菜单VCSCheck Out File.可以选择程序下载到本地配置好的文件内.点击此选项在CheckOut的同时在IDE里打开选中的文件2.点击菜单VCSCheck in File.如何生成设计文档注意：文档生成时需要依赖代码注释，所以在编写代码时需要严格按照编码规范编写注视。设置文档属性点击菜单中tools-plsqldoc-configure.,进入设置页面生成文档在程序上右健点击“Generate Documentation”生成文档，点击“View Documenttation”查看文档。编码规范程序设计1、 程序要遵循模块化设计，保证可拆分性。2、 计算复杂、运行效率低的指标要考虑补数机制，建议每个指标一个过程，当数据发生错误时，可以单独对一个指标进行补数，避免程序运行等待。3、 权衡依赖，不要设计依赖关系过多的程序（如a1为一个单独程序，a2运行前必须运行a1），保证程序的可拆分性、增量、补数机制。代码注释程序每个部分需要加入明确注释。1、 包体注释 /* 作 者: 付贺超 创建日期: 2009-3-17 功能描述: 个险渠道指标计算程序包。用于计算DMA_PERS_COMM1、DMA_PERS_COMM2、DMA_PERS_COMM3集市数据。 */2、 过程/函数注释 /* 作 者: 付贺超 创建日期: 2009-3-17 功能描述: 处理DM_个险销售人力分析（月报）数据集市所有指标。 参数注释: V_WORK_S_DATE -工作开始日期 V_WORK_E_DATE -工作结束日期 V_INCR_FLAG -装载0 存量 ，1增量 V_ADDDATA_FLAG -补数机制 1 补数操作 0无效 依赖关系:如果有写上程序名称 基 本 表: DM_CNT人力公共集市 备 注:修改记录：1、修改起初在职人力算法，具体修改参加sql部分。(修改人：付贺超 日期：2009-7-21) 2、 */3、 语句注释/*计算月初在职人力到临时数据表(TMP_DM_PERS_AGENT_M1)，用于DM_个险销售人力分析（月报）数据集市*/4、 变量注释V_SQL_DES VARCHAR2(200); -语句功能描述V_SQL_ROWS NUMBER(20); -语句涉及的表数据行数5、 行注释（字段/条件）INSERT /*+ APPEND */INTO TMP_DM_PERS_AGENT_M1(DATEID, -时间ID ORGAN_ID, -管理机构ID SALES_DEPT, -营业部 SALES_GRP, -营业组 AGENT_BEGIN) -期初在职人力SELECT TO_CHAR(V_STAT_DATE, YYYY-MM), -时间ID ORGAN_ID, -管理机构ID SALES_DEPT, -营业部 SALES_GRP, -营业组 SUM(AGENT_BEGIN) -期初在职人力FROM TMP_DM_PERS_AGENT_D11 T1 WHERE T1.DATEID = TRUNC(V_STAT_DATE, MM) -日期等于今天 GROUP BY TO_CHAR(V_STAT_DATE, YYYY-MM),ORGAN_ID,SALES_DEPT,SALES_GRP;代码格式1、 程序格式全部采用pl/sql美化器自动调整2、 统一代码大小写，建议全部采用大写格式3、 Select/From/Where/Order by/Group by/Union all等子句必须另其一行写4、 Select 后如果多个字段，每个字段单独占一行，并且加字段注释5、 Insert 后如果多个字段，每个字段单独占一行，并且加字段注释6、 From 后如果多个表，每个join on 单独以行 ，并且加注释7、 Where 后如果多个条件，每个条件单独占一行，并且加注释8、 Group by 后如果多个字段，每个字段单独一行，并且加注释优化方面1、 如遇到单个语句执行时间超过5分钟未出结果的，需要上报项目在技术主管或项目经理。2、 编写程序时，如果单个语句连接表超过5个，需要上报给技术主管或项目经理。3、 所有sql语句在执行前，查看执行计划，检查是否利用上索引，若没有使用任何索引需要给技术主管或项目经理提出索引建议。4、 避免使用多个case when 嵌套，如要使用需向技术经理或项目经理汇报。5、 表间连接时，相等连接使用inner join 替代where。6、 用UNION 替代UNION ALL。7、 INSERT INTO (SELELCT UNION ALL )遇到此类语句建议分拆成多个INSERT语句处理，每次插入一个数据集。8、 查询中要使用别名9、 检查源表条件字段是否索引10、 检查大数据量语句是否有ORDER BY11、 检查CASE WHEN语句，建议替换为DECODE12、 （大量数据存在前提）检查是否有IN NOT IN 语句，建议替换为EXISTS NOT EXISTS13、 检查条件字段是否有IS NOT NULL ,建议用0替代14、 当条件字段中OR较多时，建议用UNION替代15、 当条件字段为索引时，不要用 != 操作符或转换函数，将导致索引无效16、 将1 替换为 =2 小于同此17、 2张表关联时，将数据量小的表名写在后面18、 多张表关联时，将交叉表放在最后19、 多提交COMMIT，释放资源20、 用具体字段替代SELECT * 21、 COUNT(*) 如果索引字段存在，建议用COUNT(INDEX )22、 所有临时表采用TRUNCATE模式删除数据23、 所有临时表在插入数据时采用 append nologging 模式24、 建议将dw层