软件数据分析技术与应用 课件第4章-软件数据分析技术

第四章软件数据分析技术Ying

WeiRISS

Group目录2自然语言处理技术信息检索技术机器学习技术知识图谱技术形式概念分析技术开源软件数据分析工具本章小结课后练习©YZU•

RiSS

Group3自然语言处理技术自然语言处理定义：主要用于处理自然语言文本，指运用计算机技术对人类日常使用的语言进行处理、理解并运用。流程：认知、理解和生成认知和理解即计算机将输入的自然语言变为有意义的符号和联系，再根据具体目的进行处理生成是指将计算机处理过后的数据信息再转换为自然语言意义：用户可以避免学习计算机语言，节省大量的时间和精力，使人机交互更加便捷。©YZU•

RiSS

Group4自然语言处理技术技术发展阶段基于规则的方法时期：是自然语言处理的初期，人们根据语言学理论建立自然语言分析或生成的规则，描述语言的各种成分以及成分之间的结构关系和意义关系基于统计的方法时期：是从数学的角度分析自然语言，对大量数据进行学习和统计，能更好的解决计算机处理语言的问题基于深度学习的方法时期：随着深度学习技术不断发展，被应用到生活的多个方面。因此，人们也开始考虑将深度学习技术应用在自然语言处理领域，使计算机能够更准确有效地处理自然语言©YZU•

RiSS

Group5自然语言处理技术自然语言处理的优势自然语言处理技术是人工智能领域的一个重要方向，是计算机科学、数学、语言学、逻辑学、认知学等多学科交叉融合的一门学科自然语言处理技术是众多上层应用的基础，除了代码数据外，还有许多自然语言文本构成的数据（问答数据、文档数据等），自然语言处理技术是提取这些文本中软件相关信息或知识的主要手段自然语言处理应用过程收集待处理的语料，对语料进行预处理，将语料向量化以表示其中的特征，在向量化表示的语料上训练特定的模型©YZU•

RiSS

Group6自然语言处理技术自然语言处理应用过程获取语料语料预处理语料清洗分词词性标注去停用词语料向量化文档频率（DocumentFrequency，DF）互信息法（MutualInformation，MI）信息增益法（InformationGain，IG）卡方检验法（Chi-square，CHI）

模型训练示例©YZU•

RiSS

Group7自然语言处理技术自然语言处理应用过程©YZU•

RiSS

Group语料预处理语料向量化相似度比较8自然语言处理技术课堂谈论©YZU•

RiSS

Group自然语言处理技术如何处理语义歧义？分词方式、词义消歧等9信息检索技术©YZU•

RiSS

Group信息检索研究背景：软件数据不断增多，如何快速有效地检索出满足特定语义需求的软件信息，成为备受关注的问题信息检索（informationretrieval，IR）：通常被认为是计算机科学的一个子领域，它主要处理信息的表示、存储和访问信息检索技术：从大型数据库中收集组织和检索信息，找到满足用户信息需求的相关信息或文档信息检索技术适用对象：文档数据等非结构化文本的软件数据典型模型：布尔模型、向量空间模型、概率检索模型、推理网络模型10信息检索技术©YZU•

RiSS

Group布尔模型定义：基于布尔代数和集合的一种检测模型表示：将文档表示为关键词的集合，并将用户的需求信息由AND、OR或NOT/BUT分隔，以表示成关键词的布尔组合判断方式：通过比较数据是否满足用户信息的布尔查询，判断是否能检索出信息11信息检索技术©YZU•

RiSS

Group向量空间模型定义：基于代数的常用模型过程：将文档和用户需求分别看成一组数值向量，形成向量空间将文档的向量和用户需求的向量进行相似度测定对检索出的文献按文档与用户信息之间的相似度进行排序12信息检索技术©YZU•

RiSS

Group概率检索模型定义：利用概率论原理来理解和解决信息检索问题，是基于文档和用户信息是否相关的概率来进行信息检索根据用户的需求将文档分为两类与用户需求相关的与用户需求无关的方式：通过计算文档中索引项的分布，可以判定文档与检索的相关度13信息检索技术©YZU•

RiSS

Group推理网络模型定义：将求解信息检索问题的一般过程转化为一个基于给定证据的推理过程方式：对检索过程中的各个要素，包括文档、用户需求、索引项等建立随机变量，并利用概率网络模型表示这些随机变量之间的概率依赖关系，从而建立一种解决信息检索问题的通用框架14信息检索技术©YZU•

RiSS

Group信息检索技术优势：具备良好的交互性需要明确用户的需求并且索引特定的文档，通过用户的需求在相应文档中检索信息，这个过程应满足良好的交互性应用过程

数据预处理、索引生成、搜索处理和检索15信息检索技术©YZU•

RiSS

Group信息检索技术应用过程数据预处理：从各种格式的数据中提取正文和其他所需的信息索引生成：建立索引是为了快速定位查询词所在的位置签名文件：每个文档使用字符串和哈希生成一个位字符串(签名)生成的文档签名，并按顺序存储在一个单独的文件中倒排索引：每个文档都可以用一个关键字列表表示，这些关键字描述了检索文档的内容搜索处理：即是用户的查询，用户按照自己的需求进行相应的搜索线性搜索：一种从列表或数组中找到特定元素或关键字的方法，它检查列表中的每个元素，按顺序排列一次一个蛮力搜索：一种非常普遍的搜索技术，包括系统地枚举所有可能的候选解决方案，并检查每个候选方案是否满足问题的声明二进制搜索（二分查找）：通过使用已排序数组中的关键值来找到元素的指定位置检索：将检索出来的文档与用户搜索的需求进行相似度比较、概率排序等操作16信息检索技术©YZU•

RiSS

Group信息检索技术应用过程示例数据用D表示，查询用Q表示数据预处理：得到关键词列表——“Python”、“编程语言”、“Java”倒排索引：“Python”：D1、D2；“编程语言”：D1、D2、D3；“Java”：D3线性搜索处理：根据查询Q中的每个元素从倒排文件中线性搜索包含查询中关键词的文档——D1、D2检索：将D1、D2与查询Q进行相似度比较和排序——D2、D117机器学习技术©YZU•

RiSS

Group机器学习定义：给定数据的输入输出，计算机从中学习出算法，通过该算法计算机能够将给定的输入数据进行判断，得到输出结果VS传统算法：是一种能够赋予机器学习的能力，从历史数据中学习得出算法模型，让计算机可以不依赖明确的编码指令能够动态地学习，最终得到相应结果分类方法：基于学习策略的分类、基于学习方式的分类、基于数据形式的分类、基于学习目标的分类等监督学习无监督学习半监督学习强化学习18机器学习技术©YZU•

RiSS

Group机器学习特点多学科交叉：机器学习涉及概率论、统计学、复杂计算理论等多学科的知识，是多学科、多领域融合的技术，想要学习机器学习技术，必须具备一定的数理基础应用广泛：大数据环境下数据分析需求的持续增加，使机器学习技术迅速发展实践性强：机器学习技术有较强的领域工程性，以实验结果主导19机器学习技术©YZU•

RiSS

Group机器学习应用过程首先需要收集待处理的数据，收集完数据后需要对这些数据进行标记，然后进行数据预处理，用预处理好的数据进行模型训练与测试，最后根据测试结果对模型进行评估及优化，最终完成任务收集数据：收集需要处理的数据，数据主要通过开源的数据库获取数据标记：对第一步中收集到的数据进行人工标注，在软件数据分析中主要是对文本数据进行分类、标注，然后将结果数据输入相应模型进行训练数据预处理：主要通过数据清洗、数据转换和数据规范化等操作对数据进行预处理模型训练与测试：在训练之前，会先将数据分为训练集数据和测试集数据，接着使用训练集数据训练模型，最后将测试数据输入模型进行测试，得出结果评估优化：通过将测试数据实际结果与预期结果进行对比，对模型进行评估，并对其中需要改进的地方进行优化处理20机器学习技术©YZU•

RiSS

Group机器学习应用过程可用来处理漏洞定位方面的相关内容，例如对于漏洞报告的检测在数据收集和处理部分与自然语言处理技术的应用过程相同，但与自然语言技术处理不同的是，机器学习技术使用的模型和处理的任务不同在自然语言处理技术的应用中可以使用TF-IDF模型实现缺陷报告和代码的匹配，而在机器学习技术的应用中可以使用基于卷积神经网络(ConvolutionalNeuralNetworks，CNN)的文本分类模型TextCNN检测报告是否为漏洞报告TextCNN思想：将不同长度的短文作为矩阵输入，使用多个不同大小的过滤器去提取句子中的关键信息，并用于最终的分类21知识图谱技术©YZU•

RiSS

Group知识图谱定义：知识图谱（KnowledgeGraph）是传统语义网络概念在大数据时代的延伸，其本质上是一种大规模的语义网络。语义网络是一种图形化的知识表示方式，通过实体（Entity）、概念（Concept）和值（Value）构成的点以及用于刻画点之间关联的边组合而成意义：知识图谱建立了一种由具象化的符号构成的图来描述物理世界和认知世界中的对象，这样统一形式的描述框架能够帮助建立知识的统一表示，有利于知识的分享和利用22知识图谱技术©YZU•

RiSS

Group知识图谱分类根据知识图谱所包含的知识类型对其进行分类：语言知识图谱：语言知识图谱主要包含语言方面的知识，即实体与词汇之间的关系以及词汇与词汇之间的关系语言认知知识图谱：语言认知知识图谱致力于描述认知世界中人们对词语概念的理解常识知识图谱：常识知识图谱侧重于描述人们与物质世界交互产生的经验和知识，是人们在交流时无须额外解释即可理解的知识领域知识图谱：领域知识图谱是针对特定的领域构建的知识图谱，如医疗知识图谱、电影知识图谱等百科知识图谱：百科知识图谱是以LOD（LinkedOpenData）项目支持的开放知识图谱为核心，构建的以百科知识为主的知识图谱23知识图谱技术©YZU•

RiSS

Group知识图谱特征知识图谱可以视为大数据时代知识工程的新方向。当前我们所处的大数据时代互联网数据规模巨大，开放性应用（如问答系统）往往需要大量的知识支撑，而传统的依赖专家知识的专家系统已经很难满足需求规模大：知识图谱中节点和边的数量极为庞大，能够涵盖表征规模巨大的知识语义表达能力强：知识图谱能够表达多种类型的语义关系，将关注不同语义关系的知识图谱相互整合，基本能够涵盖现实世界中所有常见的语义关系机器友好：作为典型的图结构形式，知识图谱在存储过程中相较于纯文本数据更容易被机器处理和“理解”可靠性强：通过交叉验证排除不可靠知识，知识图谱所描述的知识往往具备强可信度24知识图谱技术©YZU•

RiSS

Group知识图谱应用过程在软件数据分析过程中，通过从特定类型的数据（如缺陷数据）中提取特定的知识构建相应的知识图谱能够更好地表达软件数据的某些特征从而助力下游任务构建知识图谱流程图25知识图谱技术©YZU•

RiSS

Group知识图谱应用过程知识建模：知识图谱中的知识建模分为知识体系的构建和实例的抽取知识抽取：知识抽取的目的是把蕴含于信息源中的知识经过识别、理解、筛选、归纳等过程抽取出来。知识融合：知识融合的目标是将多个相关知识图谱对齐、关联、合并使其成为一个有机整体的方法知识存储：即将获取到的三元组形式的知识存储在知识库中。知识推理：主要挖掘实体间隐含的语义关系，其推理方式主要有两种，即基于传统逻辑规则的推理和基于表示学习的推理26知识图谱技术©YZU•

RiSS

Group知识图谱应用实例以知识图谱的缺陷问答方法中如何构建缺陷知识图谱为例进行介绍：爬取缺陷报告获取缺陷提交日志提取关键信息构建数据关联关系构建缺陷知识图谱左图：缺陷数据Neo4j图形实例右图：

ID为404438的数据属性27形式概念分析技术©YZU•

RiSS

Group形式概念分析定义：形式概念分析（FormalConceptAnalysis，FCA）是一种用于数据分析、知识表示和信息管理的方法。它从用数学化的概念和概念层次为人们提供了一种应用数学理论来处理现实世界中对象与属性之间这种二元关系的数据分析方法形式概念分析提供一种聚类具有共同形式属性的形式对象的方法，其输入是形式背景，输出是具有偏序（层次）关系的概念格内涵：内涵是指一个概念所概括的思维对象本质特有的属性的总和外延：外延（对照）是指一个概念所概括的思维对象的数量或者范围28形式概念分析技术©YZU•

RiSS

Group形式概念分析下表展示了一个形式背景实例：表是某些形式对象（类）和形式属性（方法）所组成的形式背景，表中“√”说明该行所对应的形式对象具有该列的形式属性（该行所对应的类与该列所对应的方法间存在依赖关系）形式背景实例29形式概念分析技术概念格形式概念之间通常存在着一种层次关系，有唯一的一个偏序集与这种偏序关系对应，这个偏序集产生的格结构称为概念格(conceptlattice)概念格中节点表示形式概念，内容表示各个形式概念的外延标记以及内涵标记。通过该概念格，可清晰地看到各个形式概念之间的包含关系以及层次关系©YZU•

RiSS

Group30形式概念分析技术©YZU•

RiSS

Group形式概念分析意义形式概念分析已具备较完善的理论基础，在应用到软件工程，特别是软件维护活动中时，具有形式化方面的表达能力，从而具有较强的理论和技术说服力形式对象和形式属性这种二元关系经常出现在软件世界中，对这种二元关系处理的方法也推动形式概念分析技术在软件领域应用的不断发展特点形式概念决定了具有共同形式属性的一组最大的形式对象的集合概念格显示了一种形式对象以及形式属性的层次分类概念格中的某个格与子格关系可以说明一些属性是某抽象属性的不同实例概念格中的一些没有用形式对象以及形式属性标记的格元素可能预示着不同形式对象间存在某种隐性依赖关系31形式概念分析技术©YZU•

RiSS

Group形式概念分析应用步骤构造形式背景，确定形式对象、形式属性以及两者之间的二元关系根据概念格构造算法生成概念格根据概念格上的特性，与具体应用相结合形式概念分析在代码数据分析和非代码文本数据分析上都有应用。研究人员利用概念格提供了一种“导航”视图，通过概念格上层次化的视图，指导维护人员应该从哪个方法着手去理解源代码，然后根据这样的层次关系一步一步理解整个类形式概念分析应用于软件数据分析活动的过程32开源软件数据分析工具©YZU•

RiSS

Group开源软件数据分析工具PaddleNLPJiaguControlFlagSySeVR1DeepWukong2[1]LiZ,ZouD,XuS,etal.SySeVR:Aframeworkforusingdeeplearningtodetect

so