《信息技术导论》课件-9.6大数据模型应用

大数据模型应用一、词频分析（热点分析）二、时序分析（态势分析）三、深度学习（人工智能）四、生命周期分析（点线系统分析）五、智能知识图谱词频分析（热点分析）0102词频分析（热点分析）词频分析方法步骤1对司法行政大数据中心需要分析的数据（文本）进行归集和清洗，把文本的标题、类别、属性、标点、空行、段落、符号进行清理。按照司法行政业务特性，进行专有词整理，明确过滤词汇集、保留词汇集、近义词汇集等的词汇内容。词频分析（热点分析）词频分析方法步骤1把待分析文本进行分词，使用基于司法行政业务的专有词划分库，结合过虑词库、保留词库、近意词库对文本进行词语划分，并保存到新的已分词文件中。对已分词文件进行词语出现次数统计，排序，并保存到词频记录文件中。0304词频分析（热点分析）词频分析方法步骤1对词频进行核验，若发现因分词、过虑词、保留词、近义词导致词频统计缺陷，返回第②步进行各类词库修订。重复第③步和第④步操作，得到最终优化结果。词频记录文件可视化，一般进行词频分析后，需要以某种数据可视化方式进行展现，常用的是词云图。0506词频计算公式

词频=TF*IDF时序分析（态势分析）时序分析（态势分析）时序分析方法步骤1从司法行政业务数据库中提取待分析业务的每一条记录信息，其中不可缺少时间戳信息，若起始时间和终止时间都保存在记录信息中则更优。去除时间序列中，随机变量不合要求的记录项。0102时序分析（态势分析）时序分析方法步骤1利用起始时间或终止时间作为时间序列，以一天24小时，一月30天，一年12月分别进行时间分布分析，时间曲线分析等。基于时间序列的随机变量统计、直方图分析、分类、聚类、曲线相似度分析等。依据分析结果提出精准普法建议。0304图12-5法网(www)与掌上12348（Mobil）咨询量趋势图深度学习（人工智能）深度学习（人工智能）深度学习算法步骤1创建法律问答知识训练集，对法律问答知识集的文件进行标准化后，进行分词处理。对每一个词进行向量标注（称为词嵌入），向量之间的相似性与词语义相关，便于进行计算。0102深度学习（人工智能）深度学习算法步骤1构建深度学习数学模型，将法律问答知识训练集导入深度学习模型进行计算，并调整神经元函数的权值，使其满足输入与输出的最优匹配。深度学习（人工智能）深度学习算法步骤1用法律知识测试集对深度学习模型进行测试验证，并返回第2步调优神经元函数。输出法律知识问答结果，并推送知识库中相关案例。0304深度学习（人工智能）深度学习算法步骤1y=（x）将输入x映射到类别y在法律知识问答中可使用如下算法，前馈网络的目标是近似某个函数f。例如对于分类，前馈网络定义了一个映射y=f（x;θ）并学习了导致最佳函数逼近的参数θ的值。图12-6深度学习算法示意图生命周期分析（点线系统分析）生命周期分析（点线系统分析）生命周期分析步骤1（一）确定普法对象的类别自然人法人机构家庭一般采用时间点与时间段结合的方式进行划分生命周期分析（点线系统分析）生命周期分析步骤1（二）对确定的普法对象生命周期与法律年龄对应进行科学划分，达到合理时间划分时间维度太细对应的角色和法律资源在时间段重叠现象用时间来划分时间维度太细（三）对生命角色进行科学划分（四）对法律资源进行划分生命周期分析（点线系统分析）生命周期分析步骤1随着生命周期时间的不断增长，生命角色会出现重叠，此时需要按社会学方法以先赋角色和自致角色分别进行分类。特别是有交叉关联的法律资源进行分析，一般有交叉关联的法律法规，最后会形成一个点，这样可以精准指向普法对象。01未成年人保护法02合同法03消费者权益保护法生命周期分析（点线系统分析）生命周期分析步骤1同时指向向未成年人销售商品，商家不受保护。图12-7生命周期三维普法关系图图12-8普法关系引力图智能知识图谱智能知识图谱知识图谱是在知识树的基础上让AI去理解知识的逻辑与关系，根据问题理解后给出或寻找组合并计算出答案。智能知识图谱知识图谱主要关注应用构建挖掘智能知识图谱把结构化、半结构化和非结构化的数据用统一的语义数据结构以向量或权值标注方式统一存储，便于后续计算。构建智能知识图谱挖掘是实体、属性和关系的推理，可以按知识进行推理、逻辑进行推理、统计学推理也可以用深度学习的方式进行黑盒匹配。挖掘指定分析知识图谱的应用领域和应用场景，用合适的方式对应用场景进行开发。挖掘图12-9婚姻法律知识图谱结