CN115344811B 基于深度学习的数学解题器的处理方法及系统 （哈尔滨工业大学）

基于深度学习的数学解题器的处理方法及本申请提供一种基于深度学习的数学解题题器中的解题模型都是利用神经网络训练得到将该搜索问题输入至该目标解题器的解题模型中进行解题处理，得到解题结果输出给用户查2接收搜索题目类型，根据所述题目类型从所述数学解题器的几接收搜索问题，对所述搜索问题进行预处理得到题目信息，将所所述接收搜索问题，对所述搜索问题进行预处理得到题目信息，将所至所述目标解题器中，通过所述目标解题器中的解题模型对所述题目信息进行解题处理，响应于确定所述目标解题器为几何解题器，将所述图片元素信息和所述文本元素信息，以及确定的公理所述将所述图片元素信息和所述文本元素信息，以及确定的公理所述搜索问题进行元组划分后，元组中包括：图片元素信息和所通过深层神经网络将所述元组中的文本元素信息的单词转换为谓词和变量，对所述元组中的图片元素信息提取几何元素得到元素通过强对象检测器提取所述几何元素中的图标符号以及文本区域，通过光学确定所述符号集合S中的每个符号Si和元素集合P中与Si对应的几何元素pj的几何关系i将关联的结果进行规则转换准换位形式语言获取几何问题数据集Geometry3K，其中，所述几何问题数据集3利用所述几何问题数据集Geometry3K对定理预测器构建与所述几何问题数据集对应的最优解定理规则；在时序t确定定理ki的前提a与当前从所述关系集合R中筛选的关系Rt-1匹配，按照所述基于Rt构建已知值和未知问题目标之间的方程关系，对这个方程进行求解运算得到几所述接收搜索问题，对所述搜索问题进行预处理得到题目信息，将所至所述目标解题器中，通过所述目标解题器中的解题模型对所述题目信息进行解题处理，响应于确定所述目标解题器为代数解题器，将所述关键变量生成节点和所述内部表示参数输入至所述代数解题接收代数问题，利用双向长短记忆模型对所述代数问题进行根据所述代数问题节点表示中的代数单词和所有代数变量基于所述根节点生成决策树，根据决策树对根节点中的数据进行解4功能逻辑层，被配置为根据所述题目类型从数学解题器的几功能执行层，包括几何解题器和代数解题器，被配置为对存储计算层，被配置为存储几何解题器和代数解题器所需的数5至所述目标解题器中，通过所述目标解题器中的解题模型对所述题目信息进行解题处理，6索问题输入至该目标解题器的解题模型中进行解题处理，得到解题结果输出给用户查看。78优化负对数似然损失，进而根据所述负对数似然损失对所述深度神经网络进行参数调整，[0051]近年来发布的一些几何问题的数据集，如GEOS(Seoetal.,2015)、GEOS++(Sachanetal.,2017)，GeoShader(Alvinetal.,2017)和GEOS_OS(SachanandXing,={t1,…ti}。如公式3_4所示，训练序列对序列(Seq2Seq)模型以优化负对数似然损失，[0057]步骤A22，将所述元组中的文本元素信息通过深层神经网络模型进行文本转换得据所述最优解序列确定几何答案和几何解题过程作9[0064]步骤A224，确定所述符号集合S中的每个符号Si和元素集合P中i的结论q更新关系集合Rt。[0077]步骤B2，将所述关键变量生成节点和所述内部表示参数输入至所述代数解题器[0082]每个代数问题P的生成树定义其表达示例为(P,T)，定义预测节点T的的概率的[0083]其中qt是目标向量，Gc是全局上下[0091]对用户搜索的问题文本初始化利用双向长短记忆模型BiLSTM来将问题文本中的关键变量生成节点，在根据文本中的数量单元构造数量比较图(QuantityComparisonGraph)和数量单元图(QuantityCellGraph)。对于这两个图和节点使用构造的图转换器还是代数解题器，然后系统根据用户提供的题目和图片信息调用深度学习模型进行解析，问题文本中的关键变量生成节点，在根据文本中的数量单元构造数量比较图(Quantity积网络的深度学习模型。最后基于构造的树的解码器(Tree_BasedDecode)来生成解表达[0107]几何问题的解题器模块：对于几何问题的图形利用霍夫变换(HoughTransform)形类型和所求答案类型反馈给用户。[0110]从系统设计的角度分析，几何代数问题解题器子系统需要具有以下费功能性需几何问题解题器要求能够到达预期的解题正确率40代数问题解题器要求能够到达预期统的功能性和非功能性进行了详尽的分析，并且通过用例图描述了子系统总体业务需求，使用流程图详细讲解了几何解题器模块和代数解题器模块这两个主要模块[0119]第二部分的主要内容是通过分别对几何问题解题器和代数问题解题器设计进行[0122]近年来发布的一些几何问题的数据集，如GEOS(Seoetal.,2015)、GEOS++[0125]本文采用来自UCLA(UniversityofCalifornia,L洛杉矶分校)、浙江大学和中山大学等机构的联合研究团队构建的一个新的大规模基准的北美6_12年级高中生编写的两本流行教科书。对于几何问题解题器模型的训练非常合适。[0129]本文将Geometry3K数据集中的3002个问题按照7:1:2的比列分为训练、验证和测对于给定的一个文本T和图d，需要一个算法来预测正确的答案ci∈c。在几何问题解题器组文本LT，即一个由谓词和变量组成的序列。使用深层神经网络模型完成从序列到序列[0152]对于几何问题的图表部分，先对图表进行霍夫变换(Hough)(ShapiroandRetinaNet(Linetal.，2017)提取图表符号和文本区域，并通过光学字符识别工具MathPix进一步识别文本内容。以此来获得元素集P和符号集S。如图2_E所示，元素集合P[0160]几何问题解题器的核心部分就是符号解析器，关系集合R中包含了几何问题中的[0161]定理集合KB表示为一组定理，KB中的每个定理ki都被定义为一个具有前提p和结[0167]所使用的数据集Geomety3K中的大多数问题都需要应用多个定理才能建立起已知解序列作为最优解序列。ti了一个开源的NLP工具stanfordcorenlp工具包(Manningetal.,2014)完成了对代数问j)添加到图Gqcomp中。使用这种启发式约束可以防止从较小的数字减去较大[0194]这两个图可以通过邻接矩阵来表示这数量单元图和数量比较图，对于每个图来[0199]单个GCN有参数wxetr,其中dk＝d/K。给定表示图结构的邻接矩阵Ak和表_5)[0206]图转换器模块还使用前馈馈网络结构(feed_forwardnetwolayer_normlayer技术和残差连接(resgg[0217]树的解码器首先根据上一节中得到的全局上下文表示图zg初始化根节点向量pppp[0233]模型切换到回溯以找到新的空的右节点位置。如果模型找不到新的空右节点位[0240]使用了两种常用的代数问题数据集MAWPS(Koncel_Kedziorskietal.,2016)和[0242]代数问题解题器的流程具体为，代数问题解题器首先读入用户查询的数学应用[0245]在最初的算法中文本解析器会将T的单词序列转换为一组文本LT，即一个由谓词这种方法在Geometry3K数据集上无法生[0246]具体的原因可能是Geometry3K这种几何数据集的有限规则削弱了这些高数据驱[0247]改进的方法是将给予规则解析方法与正则表达式一起应用于几何问题文字描述[0250]改进后的可以使用的搜索策略有：Random:及随机应用定理集中的定理；Low_[0252]本章作为本文中几何代数问题解题器子系统的系统核心和算法设计方面实现的在实施本申请时可以把各模块/层/单元的功能在同一个或多个软件[0264]基于图卷积网络模型题目分析器和定理预测器的几何问题解题器在使用数据集树的解码器模型的代数问题解题器对于大多数数据集可以达到3[0274]Genism：一个简单高效的自然语言处理Python库，用于抽取文档的语义主题[0285]本部分首先对几何代数问题解题器子系统进行了需求分析的回顾，配合课题来器以自然语言对问题文本进行编码(Choetal.,2014)。I_only仅使用ResNet_50编码器关系的强大方法。FiLM(Perezetal.,2018)在回答关于抽象图像的问题时实现了有效的[0296]如表4_2所示，展示了本文的几何解题器模型在应用不同搜索策略解决问题所需该策略将平均步骤大大减少到6.5步。最后一种策略是在剩余搜索步骤中应[0300]基于规则的文本解析器的准确率为97而语义文本解析器的准确率仅为67％。表4_3展示了不同文字来源下的解题器的性能。利用的解题器生成的文字，精度达到点差距。带注释图表文字的解题器的性能提高了17.5这表明图解析器仍有很大的改进得令人满意的结果。这是因为这些神经方法从问题输入中学习有意义语义的数据样本有26.735.334.635.9[0312]使用两种常用的代数问题数据集MAWPS(Koncel_Kedziorskietal.,2016)和[0314]将代数解题器模型与一组广泛的基准线和最先进的模型进行比较：DNS(Wanget程式归一化以减少目标空间。T_RNN(Wangetal.,2019)将递归神经网络应用于预测的树[0319]表4_5本文解题器与其它模型的对比(Math23K表示公共测试集上的结果，一个图丰富数量表示也会优于基线GTS模型，这表明数量表示在代数问题解题任务中的重[0332](1)针对用户搜索的几何问题可以有效迅速向用户反馈结果，并且正确率具有一[0333](2)针对用户搜索的代数问题可以求解出街表达式并计算出所求答案，正确率有[0337]图4示出了本实施例所提供的一种更为具体的电子设备硬件结构示意图，该设备案。(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器[0347]上述实施例的存储介质存储的计算机指令用于使所述计算机执行如上任一实施图中可以示出或可以不示出与集成电路(IC)芯片和其它部件