CN119296516B 基于rag的领域化语音识别方法及系统 （中科南京人工智能创新研究院）

GenerationwithoutAutomaticSp本发明公开了一种基于RAG的领域化语音识别方法及系统，该方法包括获取原始领域文档频流进行多尺度时频分析，提取并增强声学特应分块和递进式注意力处理，构建概率估计模2S4、对候选文本序列集合进行多维度特征表示，生2.根据权利要求1所述的基于RAG的领域化语音识别主题向量矩阵；对分层文档结构中的段落层级文本采用预配置的语义向量化模型进行处3.根据权利要求2所述的基于RAG的领域化语音34.根据权利要求3所述的基于RAG的领域化语音识别方法，其特5.根据权利要求4所述的基于RAG的领域化语音46.根据权利要求5所述的基于RAG的领域化语音识别方5S225、基于MFCC特征矩阵、基频特征序列和声学所述存储器存储有可被所述处理器执行的指令，所述指令用于被所现权利要求1~9任一项所述的基于RAG的领域678生成k行dt列的主题向量矩阵；对分层文档结构中的段落层级文本采用预配置的语义向量成主题层索引；对多粒度向量矩阵集中的段落向量矩阵采用层次化近邻搜索算法构建索9[0035]语义分段算法具体为：段落边界得分B(t)表示文本位置t作为段落边界的可能性[0036]句法分析方法具体为：句子语法结构得分G(s)表示候选句子边界s处的语法完整DepTree(s)=Complete(T(s))/Size(T(s))为依存树完整度得分，T(s)为位置s处的依存分辨率为t2×f2的细节频谱特征；采用伽玛通(Gammatone)滤波器组对实时音频流进行听[0074]S24、基于上下文特征矩阵和多尺度频谱特征，采用多头注意力机制计算特征权中CNN(x)=Pool(Conv(x))表示卷积网络特征，Conv表示卷积操作，Pool表示池化操作；[0077]梅尔频率倒谱系数提取算法：MFCC特征M(t，f)表示时间t和梅尔频率f的倒谱系[0101]本实施例通过多尺度自注意力和跨块特征融合，实现了高质量的时序特征表=_Σp(w|s)log(p(w|s))表示内容熵，p(w|s)表示片段s中词w的概[0123]本实施例通过层次化检索策略和多维度相关性优化，实现了高效准确的知识检[0125]S51、基于多尺度特征张量和相关知识片段集，对声学特征空间进行线性投影变[0129]在本申请的一个实施例中，计算模态内部的特征关联度具体为：特征关联强度C候选文本序列。[0138]本实施例通过分层Transformer编码和深度残差优化的设计，实现了高质量的特[0147]步骤1、文档处理：从相关领域中收集并整理现有文档，遵循检索增强生成便后续检索使用。相关的热词实体，随后将热词实体作为context输入到ASR模型中，进行最终的ASR识别任和相关文本D_rel与音频A一起输入到ASR模型，生成最终转录文本T_final：T_final=ASR[0153]本实施例通过结合ASR转录结果与相关文档，系统能够利用上下文信息和领域知数据库实现了实时的信息检索，使得模型在面对复杂领域语音时能够快速获取相关信息，[0158]本发明通过构建完整的RAG增强语音识别框