大数据应用的需求分析方法

1、大数据应用的需求分析方法传统方法在大数据需求面前遇到问题需求分析阶段关系到一个软件开发的成败,这已经得到了普遍的熟悉,然而,根据作者实战经验,在大数据应用工程中,根据传统软件工程标准要求的需求分析往往是一个非常为难的过程,为什么呢？根据笔者在实际工作中的经验,问题主要来自以下方面：1 .需求分析本身的难度.需求的任务是了解和描述软件用户对软件的需求,即明确做什么.但在实际的软件开发中,用户了解他们的专业领域,但计算机知识,特别是软件知识往往比拟薄弱,而开发人员与此恰好相反,而在需求分析的过程中,双方面对的往往不是一个可见的产品,而只是头脑中的构思和想象,由于专业的差异和沟通的有限,用户的许多需

2、求对开发人员来说往往是难于理解的和准确把握.2 .传统软件工程标准在需求分析的严格执行有实际治理上的难度.在广阔的应用软件开发部门,软件开发工作的地位往往只是本单位业务的辅助,一般没有专职的而且非常有经验的系统分析员,需求分析往往由主管经理和开发程序员简单进行,而领导往往重成绩多于重过程,对于一个没有显效的需求分析过程,领导的耐心往往有限,这就造成了对需求分析缺乏严格的治理和要求.3 .严格根据软件工程标准要求进行需求分析在时间和开发本钱的限制.由于用户对软件技术的熟悉水平,他们对软件的开发在时间上往往要求过高,特别当用户是单位的上层领导,他们往往觉得这种对他们而言空洞无物的分析是开发人员的纸

3、上谈兵时间一长不免就会流露出不满.这令开发人员非常为难,往往非常严重地打击他们的自信心和士气.综上所述,传统软件工程标准中需求分析理论在实践中的矛盾是本钱,效率和规范要求间的矛盾.而忽略标准要求的代价也是沉重的,那我们能找到一种方法解决以上矛盾吗？大数据应用的需求特点数据库技术的核心思想是数据的独立与共享,所以开发数据应用,就是利用云计算、数据库、数据分析等技术来组织、治理和使用信息.不同形式的数据应用可谓多种多样,但功能需求的核心是围绕着数据分析需求来展开的.笔者曾开发过多个不同应用领域的数据应用,我发现在数据应用中虽然功能很多,许多功能在逻辑上相似,往往只是处理的数据不同,所以,笔者认为数

4、据应用需求分析应该围绕数据信息,而不是软件功能展开.这与传统的需求分析中以软件的功能需求为核心有明显的不同.从这个意义上,如果传统需求分析阶段是“做什么,在数据应用需求分析阶段就是先要解决“有什么,然后再明确“做什么.大数据需求分析工作方法需求分析作为软件工程的第一阶段,是整个软件开发工程进行设计和实现的根底,决定了一个工程的成败.但是需求分析不能只看成是一个独立的阶段,对需求的了解贯穿整个工程的始终,了解需求的过程是一个逐步细化,逐步深入的过程,整个工程自始而终都需要与用户交流.既然大数据应用需求以数据为中央,在需求分析阶段就强调数据和数据结构的分析一点也不过分.围绕数据应用的需求分析大体上

5、分为以下几个阶段：1场景需求分析总体设计2概念需求分析概念设计3细节需求分析详细设计4界面需求分析界面设计这些需求分析贯穿整个工程的各个环节中,与设计是穿插在一起.大数据需求分析过程活动1场景需求分析这个阶段表达了系统的总体构思与设计,任务是了解系统的组织形式和功能需求概貌,解决“是什么的问题.我认为场景需求分析主要任务是用户应用场景的定义,需要明确用户将来是用何种方式、在什么条件下、如何用哪些数据解决什么问题的场景,这当然也会涉及到硬件,用户环境,系统功能等多方面的全局考虑.如界面是手机APP应用还是Web应用,如何进行功能的分层.这些都需要在场景需求分析过程中决定.场景需求分析工作是大数据

6、应用工程的早期分析,所以对功能的描述应该有高度的抽象性,在理想的情况下,一个系统最好由一张纸内直观图形化描述,便于开发人员对系统目标的整体把握,也保持了与用户交流的灵活性和一致性.所以在工程初期,我不赞成用功能模块图对功能需求做太多层次的金字塔式罗列,特别如果是系统的分布式分层设计,详细的功能模块图在工程早期没有什么实际意义,反而容易舍本求末.如对大数据应用场景中数据范围的分析中,可以用笔者前文所介绍的商业模式分析方法,从商业模式的角度对于数据范围做明确的界定.圈件回严或客区努需酬十必峰的啦圉？需+企业与苗琴伙伴父圈分中和交换建爰合作饿惮微些数抠有浊是喜要朱集的？映矢越u务现在建没有IT累僦史

7、E,0it酎占旭烟作*在UHfi口阈源的信息汗卷书IT混轴勺支撑,ttSE些数2绘企业曾有附苫端豆刖前光不泞犯体、企业需要艇者户相到K率邃中如明对于削行商廿惜忆同历什叶幺阴ys*拉上罐下口金整系君尸的虹冤建4.巨幅I：何造?霎道可曜案睇畦tt3S蹄餐用户骊些方面的这批？1HW用户松明骅些般据,的两不箧用户的撷庇本数我的期节度n啊？,应奉期期更新紫次如1寸？,巨吧些.嗡聿是JS.Mi匈化rtn出现感.用洞惧端的？受本改许行企It刁如同忙手和行用了&收加善寸老折拧可乐有情便评话爆化邱崖馍?各业后而间与魏知咖人的法系.育升玄信S.金统ujL工快速堂到有关的St期？2概念需求分析概念需求分析的任务是对

8、系统中涉及的概念、数据范围和内容等进行调查和分析,分析有什么信息、从什么地方可以可靠获得,如何组织和描述数据,数据由那些数据项组成,各数据项是什么含义,数据的走向是什么样的？概念需求分析的目的是建立系统的概念模型,主要是建立描述数据的静态模型和描述系统运行流程的动态模型,解决“有什么问题.当完成模型需求分析后,就要进入到概念需求分析.做概念需求分析,首先要收集原始资料,然后请用户讲述手工的工作流程,根据用户提供的原始资料和对工作流程的了解的根底上,我们才可以着手进行概念设计.3细节需求分析细节需求分析要在进行了概念设计之后进行,这个阶段是分析如何具体实现用户需求,就是解决“怎么做的问题.这个阶

9、段要对用户的需求完整而清楚地确定下来,所以与用户的交流比前两个阶段多,交流的内容应该更加具体.细节分析的具体任务是要根据概念设计定义的概念模型制定具体的实现细节.对于静态模型,要给出详细的数据字典,包括了表,数据项,数据项限制条件等详细信息.对于动态模型,要给出具体的状态定义,事件定义,状态改变的流程,对数据所有操作的定义等等详细的设计信息.要求根据细节需求分析的成果应该能成为编码和建库的依据.对于大数据应用,可能还要明确的是采用怎样的大数据技术架构例如Hadoop和数据挖掘模型,随着开源技术的普及,目前成熟的大数据工具和数据挖掘模型选择已经很多,实际上很多数据应用的开发工作就是在现有的一些大

10、数据分析工具的根底上结合应用场景需求来做些配置性的简单编码就可以了,没有必要做一些重新创造轮子的事情.4界面需求分析用户能否用好软件最终决定工程的成败,良好的用户使用界面是不可无视的.用户界面的好坏并不是追求界面的花巧这是程序员经常犯的毛病,而是界面的设计是否能提升用户使用软件的效率,这需要了解用户的使用环境,操作水平,操作习惯,个人喜好等多方面.输入输出需求分析要做到界面设计和概念设计的相互独立,不能由于界面的表示影响概念设计的稳定,同时也要保持能适应用户各种不同操作要求的灵活性.具体可以先和用户共同草拟一些界面设计大纲,在开发过程中邀请用户试用软件,根据反应意见不断改良和修改.大数据需求表

11、达工具的考虑我们分析“有什么信息,传统的需求分析理论用数据流图和数据字典来表达“有什么信息对大数据应用可能不是特别适宜.传统的数据流图核心是面向软件功能的,而在许多大数据数据库应用系统开发初期,在没有清楚完整的大数据信息内容构成分析前,功能的需求往往难以稳定.在大数据应用的需求分析初期,我不提倡使用数据流图,由于在大数据应用中,数据流图往往不能令人满意地说明信息构成问题,而且随着数据的增加,功能流程的变迁需要经常修改早期的设计,这会造成工作的反复.数据字典可以表达数据的构成,但却没有定义数据的类型.在一个大数据应用中,数据的类型的通过字段类型表达,有开发经验的人应该知道,清楚每一个数据字段的含

12、义和类型在开发数据库应用中有重要的意义,试想一下,如果一个数据格式是视频或者图像,对数据的功能需求不言而喻.而传统的需求分析过程不要求确定数据的具体类型,而在开发一个数据应用时,需求分析阶段忽略了这一步就会毫无疑问地造成对需求理解的模糊,并使得需求分析变成空洞无物的纸上谈兵.所以,对于数据应用需求分析的表达,最好还是和业务场景的分析结合在一起,笔者推荐使用质量治理大师戴明Deming博士创造的SPIOC方法.供给者S输入工流程P输出O客户C1*内部供给者*前续流程*系统=等数据*申请本零件*原材料条件测量指标成果测量指标* 效劳* 产品* 报告* 处理过的数捱*内外部的率最终用户*后续流程步瘴

13、1步性31必骤注:这里的供给者指提供本流程输入的南色,客户指接收本流程输用成果的角色SIPOC模型是一代质量大师戴明提出来的组织系统模型,是一门最有用而且最常用的,用于流程治理和改良的技术.是过程治理和改良的常用技术,作为识别核心过程的首选方法.为什么笔者推荐这个貌似是跟IT界不太搭边的治理学方面的模型呢？从接下来的例如可以看到,在SPIOC里面,我们可以看清楚两方面的数据需求,一方面是业务流程工作本身要处理的数据,另外一方面是更有应用前景的分析业务过程效率中的条件测量指标KPI和成果测量指标KP.数据,这两个指标性数据是支持不断优化业务流程、最终到达精益目的的必要手段,数字挛生理念之父MichaelGrieves说得好：“信息是被浪费的物理资源的替代品；在精益的理念世界里,我们最终能实现用最少的资源数生产产品的目标.没有数据支撑的精益是无法落地