软件数据分析技术与应用 课件第2章-软件数据

RissGroup第二章软件数据Ying

Wei目录2©YZU•Ying

Wei软件数据的特征软件数据的类型开源软件平台与数据集本章小结课后练习3“5V”特征Volume数据体量大Veracity数据真实性高Velocity产生速度快Variety数据类别多样Value数据蕴含价值高“5V”特征©YZU•Ying

Wei软件数据的特征最直接特征开发和演化的螺旋模型4©YZU•Ying

Wei软件数据的类型演化过程数据软件演化是软件不断更新变化的过程，是软件的本质特征之一。在演化过程中程序发生的变更就是软件演化数据之一，即代码提交意义：辅助软件开发者对软件开发过程和演化过程进行度量和分析，进而实现对软件过程的理解和复用5©YZU•Ying

Wei软件数据的类型演化过程数据在开源代码库GitHub上可以发现大量的可参考的开源项目，而在一些大型的项目中，都会详细记录各版本的代码提交Firefox-ios开源项目的一次代码提交6©YZU•Ying

Wei软件数据的类型软件缺陷数据《IEEE软件工程术语标准词汇》中的定义从产品内部看，缺陷是软件产品开发或维护过程中存在的错误、异常等问题从产品外部看，缺陷是系统对所需要实现的某种功能的失效或违背缺陷报告：对测试过程中所发现的软件缺陷的详细记录意义方便开发者找到问题、分析问题及解决问题增加测试人员测试能力的可信度提高开发人员与测试人员的团队合作能力7©YZU•Ying

Wei软件数据的类型软件缺陷数据软件缺陷平台：JIRA、Bugzilla等JIRA：项目与事务跟踪工具，被广泛应用于缺陷跟踪、客户服务、需求收集、流程审批、任务跟踪、项目跟踪和敏捷管理等工作领域Bugzilla：一个开源的缺陷跟踪系统，能够管理软件开发中缺陷的提交（new），修复（resolve），关闭（close）等整个生命周期报告标题、编号、报告人员、负责修复的开发人员（Assigned

to）、问题类别、状态、缺陷优先级、受影响的版本、问题描述、附件8©YZU•Ying

Wei软件数据的类型软件缺陷数据软件缺陷报告内容报告标题：简要描述缺陷编号：缺陷报告的编号。以JIRA为例，缺陷报告编号是一个项目和数字的组合报告人员：发现缺陷的人员负责修复的开发人员(assignedto)：根据缺陷情况(如所处模块)，分配给具体开发人员处理。问题类别：以JIRA为例，类别可以是BUG，也可以是IMPROVEMENT

9©YZU•Ying

Wei软件数据的类型软件缺陷数据软件缺陷报告内容状态：说明当前问题的处理状态。在JIRA中的常见状态有Open，InProgress，Resolved，Reopened和Closed

缺陷优先级：体现缺陷的严重程度。以下为JIRA中对缺陷优先级等级的分类:Blocker:阻塞开发或测试的工作进度，或影响系统无法运行的错误Critical:系统崩溃，丢失数据或内存溢出等严重错误Major:主要的功能无效、新增功能的建议Minor:功能部分无效或对现有系统的改进Trivial:拼写错误、文本未对齐等

10©YZU•Ying

Wei软件数据的类型软件缺陷数据软件缺陷报告内容受影响的版本：缺陷发现时所处的版本问题描述：重现缺陷的详细步骤，以及发现缺陷所使用的数据附件：以其他格式(如图片、日志记录等)对缺陷的进一步描述11©YZU•Ying

Wei软件数据的类型软件缺陷数据软件缺陷报告内容严重程度（NVD）12©YZU•Ying

Wei软件数据的类型问答数据定义：指记录计算机领域相关提问与相应回答的数据背景：搜索引擎搜索、查看技术文档等方法目标：通过求助有相关问题处理经验的人员来解决问题示例：代表性IT技术问答网站——Stack

Overflow平台流程：求助者发布问题，其他开发人员通过文字结合代码回复问题，给出问题解决方案13©YZU•Ying

Wei软件数据的类型代码数据代码作为人与计算机交流的途径，其本质上是编程人员告诉计算机应该以什么样的逻辑执行操作在全球最大的开源代码仓库GitHub中，用户可以获取大量的代码数据代码语言：Python、Java、C、C++、JavaScript、PHP等等整数划分14©YZU•Ying

Wei软件数据的类型文档数据文档数据：主要是注释、说明文档等文本数据，用于对程序功能的解释或软件使用的介绍，帮助开发人员或用户更好地理解程序注释：对代码模块的解释和说明必要性：名称、格式、方法的词汇顺序等许多方面对程序的语义没有影响，个人习惯会影响所写程序的风格，导致代码难以被他人直接理解意义：增加代码的可阅读性，良好的注释习惯必不可少，会大大提高程序的可维护性15©YZU•Ying

Wei软件数据的类型文档数据说明文档定义：如API文档、自述文件(README)等，通常是随软件一起提供的文本文件目的：简要描述该项目的信息，让使用者能快速且成功地上手该项目，同时也提高了程序的可阅读性及可维护性示例：以API文档为例，它是对所有API的调用和其中涉及参数的解释说明16©YZU•Ying

Wei软件数据的类型测试数据定义（国际软件测试资格委员会ISTQB）：测试数据是创建或选择数据以满足执行先决条件和输入来执行一个或多个测试用例测试用例：包括测试步骤、测试输入、预期结果等，是测试工作的核心作用：检验软件是否满足客户需求和检测软件是否存在缺陷测试用例标准：用例无二义性，可操作性强，输入输出明确，只允许有一个预期的结果；用例可维护性强；用例对需求的覆盖率高；用例暴露bug的能力强等17©YZU•Ying

Wei软件数据的类型其他数据定义：存在一些结构零散、获取途径较为单一、质量层次不齐等性质的数据，如配置文档、注册表信息、日志数据、论坛数据等，统称为其他数据。论坛数据特征：文本不需要遵循严格的规约，论坛数据结构较为零散。在使用论坛发言的过程中，用户可以自由编辑生成形式各异的文本。存在挑战：形式不一的文本给数据的提取和分析带来很大困难；用户知识水平的不一致使论坛数据的质量参差不齐，需要对数据进行甄别筛选，增加了论坛数据的利用难度javamaven项目中使用log4j日志18©YZU•Ying

Wei开源软件平台与数据集常用的平台和开源数据集F-droid平台：2010年由CiaranGultnieks创建的一个Android应用程序的开源软件资源库，用户可以通过F-droid平台查阅众多应用程序源代码及其代码提交数据美国国家漏洞库(NVD)：2000年由美国国家标准与技术研究所(NIST)发起，该数据集经常作为软件安全领域的一个公用数据集斯坦福问答数据集(SQuAD)：是一种新的阅读理解数据集，由一组维基百科文章的工作者提出的问题组成，其中每个问题的答案都是从相应阅读段落中截取的一段文字Defects4J数据集：是一个包含可重现的Java缺陷数据的数据集，不仅包含众多Java项目的缺陷数据，还集成了相应的测试用例以及一套自动执行验证的框架CodeSearchNet代码数据集：是一组数据集和基准测试，主要用于探索研究如何使用自然语言进行代码检索，包含Python、JavaScript、Ruby、Go、Java等多种语言写成的代码数据和相应的自然语言文本19©YZU•Ying