资料统计报表业务分析与设计.ppt

李旭升2013 7 27 统计报表业务分析与设计思路 高阶 公开稿 本演示片会介绍统计报表系统的基本业务概念和常用的设计思路 以期对业务分析和信息规划提供思路 但限于篇幅和技术的差异性和可变性 不会对具体报表工具 展现方式进行展开阐述 本片以统计报表为主题讨论 但也会介绍一些表单 文本报告 商务智能的相关概念 本片面对的读者对象是从事行业应用服务的业务分析 设计和开发的人员 需要具备表单设计和实现相关的一些业务和技术经验 技术为业务服务 业务发展会对技术提出发展要求 而技术的发展也会给操作用户带来新的体验 但总体趋势还是技术在不断革新 以尽可能模仿和贴合人类自然思考和体验方式在向前发展 内容提要 不足之处请不吝指正 目录 统计报表业务分析与设计思路 知识背景 统计报表业务分析与设计思路 知识背景之前世今生 条理 脉络 层次 秩序 孟子 万章下 始条理者 智之事也 清戴名世 史论 应用之妙 成乎一心 变化之机 莫可窥测 乃可以将百万之众而条理不紊 臂指可使 报表和图表是满足人类思维模式需要的最佳方式 没有报表设计的管理信息系统是有重大缺陷的 人类思维的模式 前世今生 前世今生 信息技术 电子化 系统化 网络化 前世今生 信息技术 效率工具 解放统计员 分析工具 服务决策层 效率工具 分析工具解放统计员 服务决策层 技术解决了所有的统计报表业务问题了吗 无纸化网络化为啥要做报表 前世今生 思考 统计报表业务分析与设计思路 概念与常识 报表 表格化的数据为主的一张或一套表格 报告 可能包含数据报表 图表 文字在内的一套完整业务主体材料 报表与报告 基期 基是指统计基数 期是指统计时限 一个作为基准的时期 报告期和基期构成一对相对的概念 报告期 基期 的对称 统计中计算指数 发展速度等动态指标时 与基期 年 对比以取得相对指标的计算时期 年份 如以1995年的国民生产总值数字与1990年的数字对比以计算 八五 期间的发展速度时 1995年即为报告期 基本统计学概念 统计说明 正式报表都有严谨的统计说明国家和行业规范报表说明非常严谨细致国统办有 国家统计局统计报表制度格式规定 各地 行业管理部门有地方规定 求和 分组小计 合计 累计平均 平均值最大 最大值最小 最小值同比 同期比 如 报告期 本年 本季 本月 基期 上一年 上一季 上一年上一月环比 两个连续统计周期的对比 如报告期 本月 基期 上月 构成 常用于分析 报表上用总分项来列举 图表中常用饼图来展示排名 按正序或倒序排名 报表常见统计项 有明确 规范 统一的格式要求有明确的数据定义 统计规则 数据完整 一致 有填报说明和相关报送制度 报表的要素构成 一 标题 业务名称 统计周期 报表类型 填报人 填报时间 审核人 审核时间 表体表头总表头 分项 区块表头数据项目分级 分组 区块项目横向 纵向汇总 小计 合计 注脚 说明 统计报表的要素构成 二 定期报表按日 周 旬 月 季 年等固定时间粒度进行统计生成的正式报表 不定期报表借助定期报表样式和统计规则 为满足过程性 特殊或专项统计需求生成的正式报表 临时查询借助定期报表样式和统计规则 为满足临时性查询要求 进行的计算和结果输出 实际不属于报表用途 属于对结果要求比较规范的用户查询 统计报表的时间维度分类 统计周期 自然周期 除了用来填录的表单 Form 统计报表输出格式相对简单 分组清晰以报告为主 统计报表多用于其中的数据说明 国外的报表 中国式报表 中国人是天生的战略家 习惯于整合 系统的看事物 有分项又有合并项 有量值又有比例 有基数也有对比 有列举也有分析 业务主题数据大集中 能用一张表就不分多张表 一览无余 一目了然 喜欢用交叉表喜欢分组 分级喜欢聚合信息计算关系复杂格式要求严谨 中国式报表 国外谚语说 一图抵千言 中国式统计报表更像一幅图 而且是全景画 中国风景画讲究运动 散点 透视 西方风景画讲究焦点透视 统计报表业务分析与设计思路 工作思路和作业方法 工作流程 认真思考 业务管理中为什么要做统计 统计数据的意义和价值 不要为了报表而报表统计的是什么 是指标啊感谢中国式报表 因为它把决策管理者的许多智慧结晶直观的体现到了表格之中 一定意义上 它就是决策管理者的思维蓝图 思维模式 不要为了报表而报表 统计报表中蕴藏着大量的关键业务信息统计项目很多就是指标和业务分类代码统计规则体现了业务处理规则统计报表主要使用对象是高层管理 也就是说包含着大量高层管理关注的信息 而这部分信息 恰恰既是高层访谈时很难获取到的 高层不会跟你聊太细的事情 又是高层访谈准备工作的最好资料之一 制式报表通常是最基本的业务需求 请足够重视统计报表 初级功 照猫画虎忠实于表样 原生态的生成不考虑业务设计和信息规划 以原汁原味产生报表为目的中级功 庖丁解牛在对报表分析的基础上 指导业务设计有效拆解和规划报表信息构成 有严谨的数据结构设计有传承又有创新 一些不合时宜的内容被进化高级功 辞旧迎新针对客户业务合理规划新的业务设计和报表结构体系 统计报表设计的业务能力 用户对象 岗位职责 工作内容统计流程 来源 加工 报送 审核是否纳入计算机流程 异常处理流程和规则报表格式要求 表样 最好有数据报表统计周期 务必准确 报表的保存期限统计规则统计项目含义计算公式表面关系数据来源 数据单位数据精度生成周期现状和使用操作习惯 老系统的不便和便利 改进期望 业务调研 基础 报表的用途是内部报表还是对外报表 是否存在严格的规范 报表和业务系统的关系报表系统是和业务系统紧耦合的关系还是松耦合的关系 业务系统是否是统一规划和建设实施的 确定报表的生成方式是否有明确的定期生成规则 确定报表的输出方式格式是否可以更改格式是否要求导出特定格式 是否要求打印 打印方式 纸张类型 纸张尺寸 套打与否 业务调研 扩展 报表的数据分析 数据含义和数据之间的关系 数据项定义表面平衡关系报表的数据来源分析 数据是自动生成还是人工录入 位置 粒度 数据质量 可获取性报表的格式分析 怎么实现这样的格式 是否可以变通 布局 版式识别 工具选择 报表的数据结构规划 数据怎么存储和展现 数据库设计 存储规则报表的生产和输出分析 采用什么方式生成和输出 触发条件输出格式 工具选择 分析设计 常见表单系统的技术结构 分析报表版式和内容构成 将统计项作为数据字典 类似指标 但不用都做成单列设计 生成报表后留存 查询时不会再做生成过程为了满足业务扩展要求 我们原来的做法都是把报表项拆解成统计项 指标字典 便于单独抽取使用 最终统计表是单独生成保存的 供查询使用在约定账期内 可以重复生成 给予一定的灵活性 但是翻月了 月结或月初始化了 就不允许再重新生成 基本设计经验 统计报表业务分析与设计思路 业务调研与分析思路 统计报表业务分析与设计思路 用户特点分析 企业中谁关注报表 谁使用报表 大概的两类用户管理规范 理解计算机操作特点的 能接受录入界面和报表不一样 能接受格式的小差异 甚至能接受格式的调整和对中国式报表的简化处理 特点 关注数据自动采集 计算和分类 对数据录入工作量敏感 可能会引申对数据采集自动化的较高甚至过度要求 带来业务需求的外延工作量 管理不太规范 不太理解计算机操作特点的 习惯于按照手工填表方式来录入 对格式看得较重 特点 不怕录入工作的繁琐 不关注数据采集自动化 不太理解业务流程 愿意接受 录入 展现 这种最简单的工作模式 但有时会提出历史数据修改等非常规要求 一般来说 统计岗位的人员多数性格比较稳当 严谨细致 能耐受比较枯燥和繁琐的工作 恭喜你 遇到了相对比较好的最终用户群 一定和直接操作者建立沟通关系 尤其是里面那些沉稳踏实的老人 会用他的勤勉认真给你的工作带来推进效应 统计专员 业务操作岗 更关注格式 完整性和准确性 如果能用图表再辅助展现关键数据 他们是不难满足的一群 但注意 如果管理岗是个有创新意识或懂计算机操作特点的 要注意他提出的业务和技术要求 用心理解 认真分析和积极交流 这些要求可能对工作推进带来或正或负的拉动作用 老统计出身的统计部门管理者思维模式与操作岗相近 管理人员 业务管理岗 看你碰上什么样的人 通常对于统计分析 他们更喜欢万能查询 通用报表 灵活自定义图表等技术要求 甚至有些技术用户会想当然的把自己当成业务甚至管理用户 这时候你保持清醒的思路尤为重要 能实现成什么样子 要跟业务口的人配合好 以实现业务目标为首要 附加技术弹性和服务承诺 而这类技术问题要用常识和业务能明白的语言到处打好铺垫 避免过高期望 同时利用我们技术身份和掌握的判据 合情合理的消弭掉来自技术岗的一些技术误导信息 信息技术人员 IT管理员 统计报表业务分析与设计思路 业务边界划分的一些问题 不要把业务问题都变为技术问题管理 工具 系统 技术只是工具不是技术上能不能实现 而是业务上允不允许这样做做信息系统设计的时候 不能单纯从技术出发做判断 一定是先从实际业务和管理规定上做技术实现思路的合理性判断 技术是解决业务问题的工具 为什么这么问对外报表一般是有统一格式和统计标准的 有些是国家 行业标准 有些是和相关方约定的标准 对外报表通常不和内部业务系统直连 数据通常会经过加工和调整 人工干预 是又怎样如果是对外报表 基本是独立系统 即便有从内部业务系统取数的要求 也只是为了操作员方便而已 技术上不会允许直接访问业务数据库 小心也许是受访者自以为是 在一个跨部门层级的统一规划的综合信息系统里面 也许个别部门希望把本该直接共享的信息变成 对外报表 这是不允许的 1 是对外报表吗 为什么这么问如果报表数据能够从业务系统中自动采集并生成 那么可以说是不需要人工 统计者 干预 补充信息 的 无需人工补充信息的报表可以自动化生成 是又怎样需要人工干预 调整 的报表都需要单独设计维护界面 小心要区分人工干预度的大小 有些只是需要人工录入一些描述性信息 操作员是不能修改自动生成的数据结果的 有些是操作员可以修改自动生成的数据结果的 这会使情况变得最为复杂 2 是需人工干预的报表吗 为什么要进行调整合理吗 正规的统计报表管理有严格的审批流程 修订和调整是需要经过审核的报录错误 手误 计算错误 当然需要调整和纠正即便有信息化自动化数据 准确性 完整性和一致性也经常需要人工干预 对于企业级报表 数据做不到从计算机系统中完全获得一些内容需要定性分析 做不到定量计算不应该是一个人自行完成不合理吗 怎么保证不会弄虚作假 Tips 报表的调整 调整未必就是不合理 为什么这么问除非报表系统是个纯录入 报送系统 否则报表系统和业务系统关联性越强 越能体现技术价值 越有生命力 是又怎样报表的分析设计和业务系统规划设计相辅相成 必须考虑彼此的需求 小心和业务系统紧密关联的报表 需要考虑到权限控制 保护数据的一致性 完整性和有效性 有些报表会涉及业务系统本身的利益 需要在项目推进中予以注意 3 报表和业务系统紧密相关吗 为什么这么问通常来说 正式的统计报表都有相当长的稳定周期 但是随着业务的变化 增加 修改报表内容和格式也是正常的 用户都会有这个愿望 我们能不能自己来定义报表 是又怎样实际上 目前最 智能 的自定义报表也只限于通过语义层和内嵌公式来完成新表的设计和数据定义 对于复杂报表 就要求客户自己必须具备后台数据结构 SQL知识甚至存储过程或脚本开发能力 对于现业务系统没有的数据 还准备自己设计录入界面或者补充开发业务系统吗 小心理想很丰满 属于客户的不完全合理期望 当今的IT服务商和客户双方一定不能只是买卖关系 而是生态群落 对于一些客户而言 自定义报表 万能报表之类的叫法 需要客观的阐释清楚 4 报表要自定义吗 技术当然能实现 但 需要自定义报表设计人员掌握必备的信息技术 报表工具的使用 数据库管理 SQL 数据结构 由此可能带来的安全性风险谁来解决 需要自定义报表设计人员能够理解业务系统设计思路需要自定义报表设计人员能够理解业务需求 Tips 对自定义报表要求的标准回答 内涵共识比名称叫法更重要 为什么这么问统计报表是按照统计周期来的 通常统计周期并不等于自然时间 比如财务周期 电费核算周期 信用卡结算周期等 日常业务查询的口径未必和统计报表口径一致 临界值或越界情况 当一个业务数据生成过程恰好和统计周期交叉时 设计不好的话会产生查询和统计的数据结果不一致现象 因为管理问题 产生业务数据未按规定及时下账 或者出现重大数据偏差 可能累积到下一统计周期 造成本期数据失真 是又怎样实际系统中经常出现业务查询和统计报表数据不对应的情况 我们设计上必须考虑因为管理 人为错误 口径不同等原因产生的查询和统计结果数据偏差问题 可能需要扩展字段 比如下账时间 来保证二者口径能够实现统一 小心如果客户说是 其实很多时候是想当然如此 我们要在系统分析和设计阶段和业务系统充分沟通协调 以保障整个系统的完整性 一致性 准确性 5 业务查询和统计结果口径一致吗 复杂套表该问题尤为重要与报表统计口径和采集 录入设计有关 可能需要试算平衡研究分析报表 抽取最基础的数据来统一采集 可以大大降低开发者和用户的工作量 避免重复录入 降低差错率将基础信息和统计信息相对分离 降低开发和平衡计算的工作量注意原始数据统计生成和对外报表的口径未必一致 高阶 统一口径与表面平衡 禁区 一套标准两套账同一个系统中 不允许存在两套账 如果个别部门提出不合理要求 承建方必须回绝 信息系统的原则 现在已经不是单用户 单机电算化的时代 在多用户的网络化时代 除非数据不入机 否则不要期望入机数据不被查询和审计 业务调研 对业务现状和需求进行采集整理需求分析 围绕系统建设范围对业务需求在计算机系统内的实现方式进行定义 需求分析 哪些才是系统实现的范围 不合理需求超范围外需求 系统实现的需求 原始需求 统计报表业务分析与设计思路 系统设计与实现分析思路 业务需求与设计理念 统计报表业务分析与设计思路 数据结构 业务逻辑分析与设计 Level1 为了出报表而做报表的思维模式下 计算机只是辅助出图工具 数据主要以纸张或电子文件方式存在 这是最传统的思维模式 也是IT技术的初级模式 服务于操作员 Level2 随着信息化水平的提高 系统化和网络化环境中 经常需要数据的再加工和再利用 报表数据的数据库内结构化存储成为必然 管理者被纳入IT技术服务范围 Level3 随着商业智能的发展和信息化水平的提升 报表中大量的基础数据项 聚合项甚至二次加工项都被盘活 需要尽可能被结构化存储 IT技术开始直接支持决策层 报表数据要存入数据库吗 因此 结论是要存 而且尽可能完整的保存 缺点 增加了数据冗余设计 但要知道 存储空间已经不是IT系统的主要设计瓶颈数据一致性受到挑战 遵守严格的报表统计和生成规则 就不会出业务偏差数据库操作增多 压力加大 随着业务逻辑压力被应用服务器分离 大多数数据库管理系统本身压力很小 且压力增加其实不大 优点 检索和查询效率非常高业务逻辑集中管理 便于统一设计 开发和维护大量数据项转变成指标项 可利用价值大大增加 便于扩展 报表数据要存入数据库吗 报表工具能解决目前所见的格式化报表及报告功能灵活可定义 图表展现方式丰富是各类报表工具的重要特点 报表工具强大的运算和展现能力很容易让程序员将注意力集中在对它的功能挖掘和发挥上 厂家都在极力宣传报表工具的 无限 用途 但是 从来很少人会告诉你 在一个业务系统中 报表工具应如何被正确使用 反思一下报表工具的使用范围 如果你利用报表工具的运算功能生成了很多有价值的聚合数据 那么这些数据是不是要反存回数据库中 还是每次都重新计算生成 如果每次重新计算 有什么问题 如果反存 如何实现 工作量如何 反思一下报表工具的使用范围 正确用法报表工具的定位层面是Level2和Level1级别的业务应用报表工具可以在缺乏技术人员支持的情况下 临时性的满足一些自定义扩展的需要在Level2和Level3级别应用中 报表工具尽量只作为展现工具 把统计规则的运算放回到应用系统的业务逻辑服务 含DBMS中的存储过程 里面去 所有数据准备在报表展示之前完成 反思一下报表工具的使用范围 报表数据要完整存储 与业务源数据适当隔离表中数据应能方便的提取 可用于新业务和技术的扩展 盘活数据存储结构要优化 业务源数据要便于高效采集报表结果数据要有相对独立性 通过冗余存储来保持完整性 避免代码含义改变或访问效率影响业务系统相关数据要统一规划设计 从完整性 一致性和准确性上达到整体最优 数据结构设计要求 信息规划设计的内容 统计报表业务分析与设计思路 报表格式设计 工作表式的设计器 以数据为主 因能定位提取数据项 可用于采集功能页面式设计器 适用于报告 灵活性强 跟报表有关的两类设计器 基于单元格的电子表格设计模式 Excel 安讯eSpreadsheet等 页面设计模式 BIRT Cognos 水晶报表 安讯百灵报表等 因其展现模式的丰富性和贴合自然模式 这类工具占绝对主流 表格类型交叉表自由格式图表单元表分组表标签表分栏表自由单元表 报表的版式分析与格式设计 多加练习耐心和细致是实现完美的基础 尽量把设计器作为报表模版设计工具 模版承载的加工计算功能 后台数据规划要合理设计 以项目业务范围为指导 在当前功能需求和未来可扩展性上面取得平衡 技术能力满足的情况下 尽可能使用基于BI的报告设计工具 设计器的使用方式 一 统计表是用来表示经过汇总加工后的综合统计资料的一种表格形式 从形式上看 统计表是由纵横交叉的直线组成的左右两边不封口的表格 表的上面有总标题 即表的名称 左边有横行标题 上方有纵栏标题 表内是统计数据 二 统计表的设计要求1 总标题要简明扼要 并能确切说明表中的内容 2 统计表的上下两端的端线应当用粗线绘制 表中其他线条一律用细线绘制 表的左右两端习惯上均不划线 采用开口式 3 指标数字应有计算单位 如果全表的计算单位是相同的 若用 万元 为单位 应在表的右上角注明 单位 万元 字样 如果表中同样的指标数字计算单位相同而各栏之间不同时 应在各栏标题中注明计算单位 4 表中的横行 合计 一般列在最后一行 或最前一行 表中纵栏的 合计 一般列在最前一栏 5 对某些资料必须进行说明时 应在表的下面注明 三 综上 统计报表为什么要设计成横向两端开口 这是表格设计要求规定的 我国从50年代初期即从 闭口式 改为 开口式 即对表格的两端不用封闭线 这不仅有利于印刷编排 而且起到美观大方 规范统一的作用 中国统计报表的规范要求 数据要尽量格式化并右对齐不等长的长文字左对齐等长文字或短文字可居中对齐小计 合计等项为了突出可右对齐 表格内容布局 一般原则 统计报表业务分析与设计思路 数据采集与报表录入分析与设计 报表数据来源 完成信息采集的自动化工具 ETL工具 MicrosoftSSIS OWB OracleWarehouseBuilder ODI OracleDataIntegrator InformaticPowerCenter IBMDataStage ETLAutomation NCRTeradata Beeload Kettle 格式化录入能选择的提供选择输入 比如日期 代码字段数据格式有明确要求的 应设定数据格式 或有填录说明提示简化录入布局符合操作习惯长中文串支持拼音或拼音头自动生成支持回车焦点切换或快捷键操作不脱离系统的自动计算或辅助计算查录一体 校录一体随录随检索 辅助过滤 便于快速选择已有数据一个栏目录入完成 即行格式校验 监测合法性 高 关键项录入完成后 可绑定业务稽核 进行业务规则提示 录入基本要求 一种是自由格式 以方便录入为主 适合于不同部门 不同业务数据来源的处理 有一种是喜欢所见即所得的客户 喜欢按照报表样式录入的 主要适用所有数据都是同人录入采集的情况下 录入的设计 用户习惯 按照最终报表的样式来设计录入画面 完成数据即时计算适用于基础数据采集 不适合成套统计报表 表间数据通常有关联 的情况 录入的设计 所见即所得 按照生成报表所必须的基础项设计录入画面 完成基础录入后 报表可批量 统一生成适用于统计报表 尤其是严格规范的制式套表 录入的设计 录入和生成分离 是指不使用ETL工具 通过数据批量导入专用界面来采集数据的方式通过读取格式化的文件 来实现数据的批量输入 业务场景包括 接口协议格式化文件 二进制 文本 的导入格式化 如txt Excel csv xml等 文件的导入一般限制用于系统的接口部分 如外部数据导入 统计上报系统中的报盘模式等 特殊 用于系统数据初始化 正常运行后功能封闭 文件导入 统计报表业务分析与设计思路 报表生产分析与设计 单表生成业务单一 岗位单一的单表作业用于临时性统计表 平衡验证之用批量生成定期综合统计报表的主要生产模式 套表集中 统一生成 报表的生产方式 事件触发点击 生成 按钮点击 查询 按钮月结 月初始化操作数据导入成功 自动启动生成任务时间触发定时触发 正式报表推荐定时触发 批量生产的模式 设定统计周期报表的统计周期都是有明确规定的 要在数据规划和统计规则设计时进行统一管理 设定生成时间基础性的数据汇总可以设定为定时自动触发执行 月结 月初始化 注意 不是指自然月 而是统计周期 这些都是业务规则已经设定好了的触发条件 推荐生产模式 一个统计周期内 应允许重复生成统计周期结束 上报工作完成后 自动或人工做了功能确认操作 应禁止重复生成报表 尤其是报表已打印上报或电子上报了的除非重大错误或其它业务规则许可 经授权后专人才能进行重新生成工作 因为会影响后面统计周期的报表结果 也许需要重做平衡的 考虑到工作量 一般系统都不承诺也不考虑这种特例 也许系统管理员改一下后台数据都比这种风险低又快捷 好在内部系统通常和对外报表隔离 只要业务设计合理 统计结果不会出偏差 能否重复生成的问题 一 业务上 应充分考虑异常流程的设计 一旦业务出错 应通过取消或新增变更等进行 保证事务的完整性严禁直接修改任何历史数据做到这个要求后 内部信息统计出错的概率可以为0 信息统计出错了 除了自身统计的错误 不要试图修改统计系统本身 而是追查业务上出错的原因 从根本上解决问题 能否重复生成的问题 二 统计报表业务分析与设计思路 报表输出分析与设计 电子数据 格式相对不重要 重要的是可交互能力桌面显示移动设备显示电子文档 PDF WORD EXCEL等通用或专用文档格式打印输出成纸介质文档 用于归档和人工流程 输出的几种方式 输出格式有哪些 设计器是否支持 要打印吗 多联打印大尺幅 A3 打印套打 相比对内容和业务价值的追求 客户已经越来越能开明的接受格式的一些变化和调整了 打印输出设计的考虑 感谢意识的进步和习惯的改变 变态的格式化输出需求越来越少了 输出后格式发生变化的问题工具选型选择国际标准的文档格式做输出 如PDF比WORD规范性好让用户接受微小的变化导出后是否需要系统外的二次调整如果是 则要求导出的格式需支持常用用办公软件编辑 word excel是首选 电子文档输出常见问题 屏幕输出常见问题 屏幕输出 用图表比数据报表更适合表达适应性强 不受纸介质的尺寸影响发挥空间大 展现方式多 和业务结合自然人机工程问题 关注业务体验思维习惯视觉效果操控方式分辨率影响 统计报表业务分析与设计思路 知识进阶 查询Queries 即席查询Adhoc 查询Queries 即