BENET3.0第二学期课程-第七章 数据转换与综合实战（一）-理论部分.ppt

BENET3.0第二学期课程,第七章数据转换与综合实战（一）,理论部分,2,课程回顾,SQLServer2005有哪几种备份类型？每种备份类型的特点是什么？SQLServer2005有哪几种恢复模式？何时需要备份master数据库？,3,技能展示,掌握使用SSIS导入导出向导进行数据转换的方法掌握使用SSIS包设计器进行数据转换的方法理解数据库技术在实际工作中的综合应用,4,本章结构,数据转换与综合实战,使用导入导出向导,数据库转换概述,综合实战,转换前需要考虑的问题,SSIS概述,项目业务概述,数据转换工具,SQLServer数据导出到TXT,文本数据导入到SQLServer,案例1,需求分析汇总,案例2,建立SSIS包,实验环境准备,数据库表说明,5,数据转换的原因,数据格式的转换OracleAccessExcel文本文件,6,更改数据格式如：1、0“TRUE”或“FLASE”数据的重构和映射如：从多个表中抽取数据，然后存储到一个单独的表数据的一致性如：信用评价1、2、3Good、Average、Poor验证数据有效性如：在导入原始通话记录时，开始时间晚于结束时间的数据是错误的，需要分拣出来,数据转换前考虑的问题,7,数据转换工具,8,使用导入导出向导,导入导出向导概述一种从源向目标复制数据的最简便的方法在多种常用数据格式之间转换数据使用导入导出向导转换数据将SQLServer数据导出到TXT文件将文件数据导入到SQLServer,9,将SQLServer数据导出到TXT文件,推荐步骤【任务】|【导出数据】选择数据源SQLNativeClient选择目标平面文件目标指定表运行验证导出结果,10,将文件数据导入到SQLServer,推荐步骤【任务】|【导入数据】选择数据源MicrosoftExcel选择目标SQLNativeClient指定表执行验证导入结果,11,SSIS概述,SSIS是一个数据集成转换的平台数据提取数据转换数据加载SSIS相关概念包控制流元素任务数据流任务连接管理器,管理员根据任务创建包(任务的集合),也称工作流,定义任务按照预定义的顺序执行,任务,具体定义任务.例如备份数据或分离附加数据,数据流任务,也称流水线,主要解决数据转换的问题,12,案例1：将原始数据导入数据库,案例需求电信在每月计费开始前将原始通话记录call.txt文件导入到Tariffsmall数据库中的Call表中准备批价批价：通过运行程序计算通话记录的话费，形成账单数据把导入过程中的错误数据单独存放到errorinsert.txt文件，做进一步确认,13,案例1：将原始数据导入数据库,实验准备附加tariffsmall数据库清空call表准备原始通话记录call.txt文件准备errorinsert.txt文件用于存放错误数据,14,案例1：将原始数据导入数据库,推荐步骤建立SSIS项目建立数据源创建连接管理器设置目标数据连接设置错误记录的数据连接运行包并显示结果,15,案例2：即时批价个人话费,案例需求在电信计费中，对于某些大客户需要即时给指定号码（结算电话费用，不需要等到账单日实验准备附加tariffsmall数据库检查是否有Temp-accountbill表用于临时存放批价结果检查是否有Accountbill表用于存放批价的结果检查是否有Erroraccountbill.txt文件用于存放批价的错误结果,16,案例2：即时批价个人话费,推荐步骤备份数据库清空临时账单表Temp-accountbill数据运行个人批价存储过程：procTariffPersonal(phonenumber)，批价后数据存储在临时账单表Temp-accountbill中建立数据流，将临时账单表Temp-accountbill数据导入到账单表Accountbill中清空Temp-accountbill中数据,清空临时账单表SQL语句：Truncatetable“Temp-accountbill”,存储过程：经过精心设计和优化的SQL语句集合，执行速度优于普通SQL语句,17,案例2：即时批价个人话费,18,小结,请思考：为什么要进行数据转换？转换前需要考虑哪些问题？有哪些数据转换的工具？,19,综合实战,项目业务概述实验环境准备需求分析汇总数据库表说明,20,项目概述,Tariff是电信公司的计费数据库，计费数据每月都要进行维护将程控交换机下来的原始通话记录文件导入数据库对通话记录进行批价、合帐形成账单用户可以查询当月的账单情况也可以对账单进行缴费用户可以随时查看自己的历史通话记录详单和历史账单情况电信查看每月收入、欠费用户情况等,21,实验环境准备,需要2次课完成综合实战实验期间不允许其他人在该实验环境里做实验，避免人为破坏实验课实验使用计费数据库Tariff，数据库中数据不允许手工修改，以免影响实验结果,22,需求分析汇总,批量导入上月原始话单数据call.txt到Call表每月一次错误的记录分拣到单独文件存放临时批价个人账单批价前备份临时批价上月通话记录某个用户的话费数据，形成本月个人账单批价后查询该号码账单批量批价上月账单批价前备份批量批价上月通话记录形成账单到TEMP-accountbill批价成功后，将数据导入到Accountbill表中每月一次,23,需求分析汇总,个人查询未缴费账单高频，用户随时都可能查询用户在线缴费，数据更新频繁，保证数据安全制定备份策略从Call表中导出上月电话记录到历史通话记录数据表History-call每月一次从账单表Accountbill导出已缴费记录到历史账单表History-accountbill表中每月一次,24,需求分析汇总,个人历史账单查询中频查询系统欠费名单中频统计前几个月客户账单合计费用低频,25,数据库表说明,表一,26,数据库表说明,表二,27,本章总结,数据转换与综合实战,使用导入导出向导,数据库转换概述,综合实战,转换前需要考虑的问题,SSIS概述,项目业务概述,数据转换工具,SQLServer数据导出到TXT,文本数据导入到SQLServer,案例1,需求分析汇总,案例2,建立SSIS包,实验环境准备,数据库表说明,BENET3.0第二学期课程,第七章数据转换与综合实战（一）,上机部分,29,实验案例1：导入原始通话数据,需求描述Tariff是电信公司的电信计费数据库。电信公司8月份的原始通话记录保存在call.txt文件中，需要将call.txt导入Tariff数据库的Call表中，并且错误记录能够集中存放在errorinsert.txt文件,30,实验案例1：导入原始通话数据,实现思路：附加提供的Tariff数据库确认原始通话记录call.txt文件是否存在利用SSIS实现数据导入注意错误记录要分拣出来,31,实验案例1：导入原始通话数据,学员练习：使用SSIS建立包，用来导入原始通话记录。在导入前，确认Tariff数据库中的Call表是否为空，如果不是需要清空设置数据源设置数据目标设置数据访问模式为“表或视图”设置错误记录连接实施导入操作验证导入结果,40分钟完成,32,实验案例2：临时批价个人账单,需求描述电信数据库已经导入了8月份的原始通话记录，现在需要：对电话号行批价将批价后的数据保存在Accountbill表中,33,实验案例2：临时批价个人账单,实现思路：使用BIDS建立SSIS包，完成批价功能在批价前需要备份数据，以防数据丢失批价使用存储过程ExecprocTariffPersona34,实验案例2：临时批价个人账单