【《基于深度学习的法律文本分类分析案例》9900字】

基于深度学习的法律文本分类分析案例目录TOC\o"1-3"\h\u26900基于深度学习的法律文本分类分析案例 [34]：（1）输入层（Inputlayer）：指的是输入的句子，对于中文，需要将输入的句子先进行分词处理，得到单个独立的词作为输入；（2）Embedding层：将上一层输入的词映射成指定长度的词向量；（3）LSTM层：此处的LSTM层为双向的LSTM，通过此层的计算，得到句子级别的向量；（4）Attention层：对双向LSTM的结果使用Attention加权；（5）输出层（Outputlayer）：输出最终的结果。图STYLEREF1\s3SEQ图\*ARABIC\s113BiLSTM-Attention模型BiLSTM-Attention模型计算过程主要由3个部分组成：第一个部分是BiLSTM层的输出，假设句子被分词后得到的T个词为：{x1,x2,⋯,xT}，每一个词xh式中 ⨁———对应元素相加。第二个部分是注意力机制，假设H是所有Tw个词经过BiLSTM后得到的向量的集合：[hM=tanhH，H∈Rdw×α=softmaxwTM r=HαT h∗=tanhr 式中 dwwT第三个部分是分类，针对句子S，通过上述的BiLSTM以及注意力机制，得到了对应的表示矩阵：h∗，其维度为dw×p双向门控循环单元+注意力图STYLEREF1\s图STYLEREF1\s3SEQ图\*ARABIC\s114BiGRU-Attention模型结构BiGRU-Attention模型的计算分为三层依次进行。第一步是输入层的计算，目的是将输入的数据处理成BiGRU层能够直接接收并能处理的向量形式。m个单词组成L个句子的文本a即a={s1,s2,⋅⋅⋅,第二步是隐含层的计算，分为两个步骤：首先是通过BiGRU层对上一步处理成向量的文本进行深层次特征的提取。根据BiGRU神经网络模型图，可以把BiGRU模型看做由向前GRU和反向GRU两部分组成。在第i时刻输入的第j个句子的第t个单词的词向量为cijt，通过BiGRU层特征提取后，可以更加充分地学习上下文之间的关系，进行语义编码，具体计算公式如公式(3-12)所示：hijt=BiGRUcijt式中 ht−1—前一时刻的隐层状Xt其次是为不同的词向量分配相应的权重，从而将关键的法律文本内容进行突出显示，能够进一步提取文本特征。在文本中，不同的词对法律文本的重要程度不同。人物、时间状语对法律文本来说，重要程度相对较小；而地点状语、造成的伤害以及事件的影响对法律文本却至关重要。为了突出不同词对整个法律文本分类的重要度，引入了注意力机制矩阵，该矩阵由每个词向量不同的概率权重与隐含层先做乘积，再累加求和，最后通过softmax函数做归一化操作得到。这一步的输入为上一层中经过BiGRU神经网络层处理的输出向量hijtuαijt=expuijtTuwiexpuijtTus式中 hijt—上一层BiGU神经网络层的输出向量；wwbwuw第三步是输出层的计算，输出层的输入是上一层注意力层的输出，通过softmax函数对其进行相应计算的方式从而最终输出结果，具体公式利用softmax函数对输出层的输入进行相应计算的方式从而进行文本分类，具体公式(3-14)如下：yj=softmaxw1sijt式中 w1———attention机制层到输出层的待训练的权重系数矩阵；b1yj双向门控循环单元+逐标签的注意力双向门控循环单元+逐标签的注意力（Bi-directionalGatedRecurrentUnit+label-wiseAttention，BiGRU-label-wiseAttention）模型共分为三部分：文本向量化输入层、隐含层和输出层。其中，隐含层由BiGRU层、逐标签的注意力层和全连接层三层构成。BiGRU-label-wiseAttention模型结构如图3-15所示。其与BiGRU-Attention模型的区别存在于隐含层中，即用逐标签的注意力机制取代注意力机制。图STYLEREF1\s3SEQ图\*ARABIC\s115BiGRU-label-wiseAttention模型结构BiGRU-label-wiseAttention模型的计算分为三层依次进行，其与BiGRU-Attention模型的计算相差无几，仅在隐含层计算的第二部分存在区别，即用逐标签的注意力机制的计算取代注意力机制部分的计算。此处不对相同的内容进行冗余介绍，仅详细描述区别之处。隐含层第二步计算是为不同的词向量分配相应的权重，从而将关键的法律文本内容进行突出显示，能够进一步提取文本特征。为了突出不同词对整个法律文本分类的重要度，引入了逐标签的注意力机制矩阵。这一步的输入为上一层中经过BiGRU神经网络层处理的输出向量hijtuα sijt,l=i=1nαijt,lhβp式中 hijt,lww,lbw,luw,lβlPAGEPAGE38双向门控循环单元+改进的注意力双向门控循环单元+改进的注意力（Bi-directionalGatedRecurrentUnit+Attention2，BiGRU+改进的注意力）模型如图3-16所示。其与BiGRU-Attention模型仅在隐含层计算的第二部分注意力的计算部分存在区别，即用改进的注意力机制的计算取代注意力机制部分的计算。图STYLEREF1\s3SEQ图\*ARABIC\s116BiGRU+改进的注意力模型结构此处不对相同的内容进行冗余介绍，仅详细描述区别之处。隐含层第二步计算是为不同的词向量分配相应的权重，从而将关键的法律文本内容进行突出显示，能够进一步提取文本特征。为了突出不同词对整个法律文本分类的重要度，引入了改进的注意力机制矩阵。该矩阵由每个词向量不同的概率权重与隐含层先做乘积，再累加求和，紧接着通过softmax函数做归一化，最后将所有向量中各元素的平方和相加，然后再求平方根。这一步的输入为上一层中经过BiGRU神经网络层处理的输出向量hijtuα sijt=i=1nαijthijt|式中 hijt—上一层BiGU神经网络层的输出向ww———权重系数bw———偏置系数uw———随机初始化的注意力矩阵双向门控循环单元+改进的逐标签注意力双向门控循环单元+改进的逐标签的注意力（Bi-directionalGatedRecurrentUnit+label-wiseAttention2，BiGRU+改进的逐标签注意力）模型结构如图3-17所示。其与BiGRU-逐标签注意力模型仅在隐含层计算的第二部分注意力的计算部分存在区别，即用改进的逐标签注意力机制的计算取代逐标签注意力机制部分的计算。图STYLEREF1\s3SEQ图\*ARABIC\s117BiGRU-label-wiseAttention模型结构此处不对相同的内容进行冗余介绍，仅详细描述区别之处。隐含层第二步计算是为不同的词向量分配相应的权重，从而将关键的法律文本内容进行突出显示，能够进一步提取文本特征。为了突出不同词对整个法律文本分类的重要度，引入了改进的逐标签的注意力机制矩阵，该矩阵由每个词向量不同的概率权重与隐含层先做乘积，再累加求和，紧接着通过softmax函数做归一化，最后将所有向量中各元素的平方和相加，然后再求平方根。这一步的输入为上一层中经过BiGRU神经网络层处理的输出向量hijtuα sijt,l=i=1nαijt,lhβp|式中 hijt,lww,lbw,luw,lβl模型结果模型评价指标本实验模型评价采用双指标的综合评价方式。第一个评价指标是准确率，由公式(3-18)求得。准确率（Accuracy）=正确预测的数量总预测的数量 第二个评价指标是损失率，采用交叉熵损失函数由公式(3-19)求得。loss=−1nxylna+1−yln1−a式中 样本；y———实际的标签；a———预测的输出；n———样本总数量。结果本实验模型的准确率见表3-3。根据表中显示的数据，我们可以得出结论，本实验实现的模型的准确率均能达到95%以上，在使用二范数和多标签的注意力机制的情况下，准确率更是达到了97%。为了防止过拟合情况的出现，我在数据处理的时候将给定的训练数据按照8:2的比例划分为训练集和测试集，因此此处显示的为验证集准确率。表中最后一项显示的是模型在训练的时候达到最好效果时需要训练的步数，从某种意义上也可以认为是模型达到最好效果所需要的时间。表3-3 模型的准确率模型准确率损失率best_stepsTextCNN96.3314%0.1358712200BiLSTM95.8333%0.1573981000BiLSTM+attention95.4684%0.1586911300BiGRU+attention95.9665%0.1573981500BiGRU+attention296.7455%0.1327921600BiGRU+label-wiseattention96.1588%0.1483591000_1BiGRU+label-wiseattention297.23867%0.1461811100本实验实现的另一个功能是对给定案件描述进行罪名的预测。在实验中，通过输入一个给定的案件经过，输出该案件应该被判定的罪名。此步骤是在终端窗口输入预测命令，通用格式为"pythonmymain.py-model-kind"模型名称"-snapshot"快照位置"-predict"案件事实经过"。每个模型的命令详见表3-4。最后输出的结果见表3-5。模型命令textcnn模型pythonmymain.py-model-kind"textcnn"-snapshot"./snapshot/new/best\_steps\_2200.pt"-predict"攸县人民检察院指控，2017年3月2日19时许，被告人吴某某到攸县江桥街道“窝里人”饭店找易某谈论事情时，双方发生口角，吴某某顺手拿起桌上的瓷碗向易某砸去，致使易某的脸部、耳朵等部位被划伤。后经鉴定，易某的伤情构成轻伤一级。公诉机关并提供了被害人的陈述、被告人的供述、证人的证言、伤情鉴定意见书等证据，以被告人吴某某犯××向本院提起公诉，请求依法判处。"bilstm模型pythonmymain.py-model-kind"bilstm"-snapshot"./snapshot/new/best\_steps\_1000.pt"-predict"攸县人民检察院指控，2017年3月2日19时许，被告人吴某某到攸县江桥街道“窝里人”饭店找易某谈论事情时，双方发生口角，吴某某顺手拿起桌上的瓷碗向易某砸去，致使易某的脸部、耳朵等部位被划伤。后经鉴定，易某的伤情构成轻伤一级。公诉机关并提供了被害人的陈述、被告人的供述、证人的证言、伤情鉴定意见书等证据，以被告人吴某某犯××向本院提起公诉，请求依法判处。"bilstmatt模型pythonmymain.py-model-kind"bilstmatt"-snapshot"./snapshot/new/best\_steps\_1300.pt"-predict"攸县人民检察院指控，2017年3月2日19时许，被告人吴某某到攸县江桥街道“窝里人”饭店找易某谈论事情时，双方发生口角，吴某某顺手拿起桌上的瓷碗向易某砸去，致使易某的脸部、耳朵等部位被划伤。后经鉴定，易某的伤情构成轻伤一级。公诉机关并提供了被害人的陈述、被告人的供述、证人的证言、伤情鉴定意见书等证据，以被告人吴某某犯××向本院提起公诉，请求依法判处。"bigruatt模型pythonmymain.py-model-kind"bigruatt"-snapshot"./snapshot/new/best_steps_1500.pt"-predict"攸县人民检察院指控，2017年3月2日19时许，被告人吴某某到攸县江桥街道“窝里人”饭店找易某谈论事情时，双方发生口角，吴某某顺手拿起桌上的瓷碗向易某砸去，致使易某的脸部、耳朵等部位被划伤。后经鉴定，易某的伤情构成轻伤一级。公诉机关并提供了被害人的陈述、被告人的供述、证人的证言、伤情鉴定意见书等证据，以被告人吴某某犯××向本院提起公诉，请求依法判处。"模型命令bigru_label_att2模型pythonmymain.py-model-kind"bigru_label_att2"-snapshot"./snapshot/new/best_steps_1100.pt"-predict"攸县人民检察院指控，2017年3月2日19时许，被告人吴某某到攸县江桥街道“窝里人”饭店找易某谈论事情时，双方发生口角，吴某某顺手拿起桌上的瓷碗向易