CN119494078A 一种多模态Action Transformer模型及其智能化任务执行方法 （言生行(北京)科技有限公司）

一种多模态ActionTransformer模型及其一种多模态ActionTransformer模型及其智能模态ActionTransformer模型及其智能化任务通过注意力机制能够有效捕捉和利用操作序列2Transformer编码器，由多层Transformer编码器结构组成，每S301：从图像处理子模块获取页面的视觉特征，S302：将提取的视觉特征、文本嵌入和结构化特4.根据权利要求3所述的一种多模态ActionTransformer模型，其特征在于：3所述Transformer编码器在进行工作时包括有S405：自注意力机制的输出被传递给前馈神经S503：使用多层感知机对处理后的特征进行分类6.根据权利要求5所述的一种多模态ActionTransformer模型，其特征在于：Action47.根据权利要求6所述的一种多模态ActionTransformer模型，其特征在于：Action8.一种多模态ActionTransformer模型智能S804：Transformer编码：将融合后的特征输入到多层Transformer编码器，每层Transformer编码器包含自注意力机制和前馈神经网络，通过多层处理，捕捉长程依赖关9.根据权利要求8所述的一种多模态ActionTransformer模型智能化任务执行方法，5S904：使用预训练的卷积神经网络ResNet对S908：使用图神经网络对DOM树进行处理，捕S1004：通过将操作类型映射到嵌入向量将WebS1006：通过拼接、相加的融合方法将Web页面10.根据权利要求9所述的一种多模态ActionTransformer模型智能化任务执行方法，6S1106：将融合后的特征输入到多层TransformeFeatureVectors＝NLPModel(PFusedFeatures＝FusionLayer(ImageFeatures,TextFeatures,DOMFeatures,EncodedFeatures＝TransformerEncoStructuredInstruction＝FormaResult＝ExecutionEngine(Struc7[0006]基于DOM结构的自动化，通过分析Web页面的DOM(文档对象模型)结构来定位和操作元素；如Puppeteer库就是一个常用的工具，它提供了一个高级API来控制Chrome或[0008]但现有技术下的Web页面操作自动化技术仍存在诸多缺陷和不足，主要体现在以[0015]2、即使是在同一网站内，不同页面或不同版本之间的自动化脚本也往往难以复8并通过多模态信息融合和上下文理解来提高决[0026]为了克服现有Web页面操作自动化技术中存在的灵活性和适应性不足、泛化能力9机制层用于通过计算每个元素与其他元素之间的注意力权重捕捉到序列中的长程依赖关Transformer编码器包含自注意力机制和前馈神经网络，通过多层处理，捕捉长程依赖关[0118]FusedFeatures＝FusionLayer(ImageFeatures,TextFeatures,DOM采用基于Transformer架构的深度学习模型，极大地提升了系统的泛化能力；Action发明的ActionTransformer模型通过注意力机制能够有效捕捉和利用操作序列中的长程[0133]图1展现的为本发明的多模态ActionTransformer模型的ActionTransformer模[0136]图4展现的为本发明的多模态ActionTransformer模型智能化任务执行方法步骤机制层用于通过计算每个元素与其他元素之间的注意力权重捕捉到序列中的长程依赖关Transformer编码器包含自注意力机制和前馈神经网络，通过多层处理，捕捉长程依赖关[0229]FusedFeatures＝FusionLayer(Imag