人工智能通识教程（理工版）课件 第9-11章 人工智能与声音信号处理、人工智能与自然语言处理、人工智能的伦理

人工智能通识（理工科）北京科技大主要内容声音的时域分析声音的频域分析声音信号中频谱分析的实现9.1声音的时域分析从时间域上进行分析（以时间为自变量），提取信号的时域特征。时域波形：从整体上看语音信号的特征及参数均是随时间而变化的，但在较短时间范围内（10～30ms）其特性基本保持不变，即语音信号的“短时平稳性”对语音信号的分析应建立在“短时平稳”的基础上9.1.1声音的时域分析时域分析的意义：语音的分割、分类的辅助运算元音：具有较大的振幅和很强的准周期性浊辅音：具有较强的周期性，振幅较清辅音大清辅音：振幅很小，没有明显的周期性浊音：发音时声带振动的音（多数元音、浊辅音）清音：发音时声带不振动的音（清辅音）声音的时域分析——短时加窗处理时域分析的步骤语音分帧：将语音信号分为一段一段来分析其特征。每一段称为一帧，帧长一般取10～30ms。加窗操作窗函数声音的时域分析——短时加窗处理声音的时域分析时域分析的步骤定量分析：语音信号具有典型的时域特征，短时能量、短时平均能量、短时平均过零率等设某语音信号s(x)，分帧处理后的第n帧语音信号为sn(x)，每帧取N个采样点声音的时域分析短时平均能量256个采样点为一帧N=256苹果派反映语音的能量随时间缓慢变化无声有声短时能量清音浊音声母韵母主要应用：区分清音和浊音；有声段和无声段判定，声母和韵母分解以及连字分界声音的时域分析短时平均过零率粗略反映信号的频率特征，区分清音和浊音浊音段有较低的过零率，在清音段有较高的过零率苹果派清音p浊音ing浊音g清音p浊音ai清音uo短时平均过零率和短时能量结合判断语音起止点的位置，端点检测9.2声音的频域分析频域分析：从频率域上提取信息的频率特性频域分析的意义：分析信号的频率构成，发现主要成分频域是看待声音信号的另一个角度时域分析描述了信号随着时间的变化关系频域分析描述了信号的频率组成及结构举例：在一段谈话的声音信号中，男声通常对应低频成分，女声通常对应高频成分，可以通过滤波来区分出各个频段的声音，提取男声部分和女声部分。也可以提高男声信号的频率，即可将男声变为女声。声音的频域分析语音的频域分析信号是由哪些单一频率的信号合成的基本思想：将函数表示为一组正弦函数或余弦函数的线性组合在物理学、电子学、信号处理等众多领域有着广泛的应用频域分析方法连续周期性的语音信号：傅立叶级数连续非周期性的语音信号：傅立叶变换时域频域傅立叶变换声音的频域分析——傅立叶级数设有周期为T的连续周期信号f(t)满足狄利克雷条件，其傅立叶级数展开式为：

n次谐波的幅值ω1t2ω1t3ω1t……2次谐波n次谐波的相位基波3次谐波……n次谐波的角频率9.2.1声音的频域分析——傅立叶级数(a)波形图(b)幅度谱T=0.005ms1/T=200kHz1次谐波基频2次谐波3次谐波9.2.2声音的频域分析——语音信号的语谱图傅立叶级数及傅立叶变换：呈现一帧声音的频谱语谱图：在连续一段时间上对声音信号进行的频谱分析短时傅立叶变换的基本思想：用傅立叶变换分析每个分帧，得到每个分帧的局部频谱。所有分帧的局部频谱组合在一起，体现了信号频谱在时间上的变化过程。声音的频域分析——语音信号的语谱图语谱图：横轴表示时间，纵轴表示频率，每个点的灰度值大小反映了相应时刻和相应频率的能量。点越亮表示能量越高。扬琴演奏《渔光曲》乐曲《天空》tfff1000Hz10kHz1000Hz10kHz声音的频域分析——语音信号的语谱图语谱图上不同的颜色形成不同的纹路，称为声纹。声纹因人而异，可以利用声纹来鉴别不同的说话人，即声纹识别。9.3声音信号的时域分析案例AdobeAudition查看一个音频信号的时域波形图，音频时长7.073秒，采用44.1KHz采样率、32bit量化深度，通过AdobeAudition可直观显示其时域波形图，其中坐标X轴代表时间轴（秒），Y轴表示振幅强度（单位为dB）。声音信号的时域分析案例当采样频率从44100Hz降至16000Hz时，采样点间隔变大，导致高频声音成分细节无法被精确捕捉，波形包络因失真而改变形状；因此，根据奈奎斯特采样定理，为避免失真，采样频率需至少为声音信号最高频率的两倍，才能确保获取无失真的高质量音频信号。9.3.1对WAV音频文件的编程处理在Python中，对音频文件的处理一般包括以下步骤：首先通过wave库读取音频文件，获取采样频率、采样帧数、声道数和量化位数等关键信息；接着读取原始音频数据，并借助Numpy库将其转换为数组形式，为后续数据处理和可视化建立基础；最后，利用matplotlib.pyplot库绘制波形图，直观呈现音频信号特性。matplotlib库可视化展示wave库读取音频数据WAV类型声音文件numpy库形成数组Wave库读取声音数据过程（1）导入wave库（2）打开WAV音频文件（3）读取WAV音频文件基本参数信息importwave#导入wave库wr=wave.open("EngAudio.wav","rb")#打开WAV文件，返回wave_read对象wrnchannels=wr.getnchannels()#获得声道数sampwidth=wr.getsampwidth()#获得量化位数framerate=wr.getframerate()#获得采样频率nframes=wr.getnframes()#获得总采样点数#打印各个参数信息print("该音频信号的声道数为（个）："+str(nchannels))print("该音频信号的量化位数为（字节）："+str(sampwidth))print("该音频信号的采样频率为（Hz）："+str(framerate))print("该音频信号的总采样点数为（个）："+str(nframes))Wave库读取声音数据过程（4）读取WAV音频数据使用readframes(nframes)方法从音频文件中读取指定数量的帧，并返回一个字符串，其中nframes参数表示要读取的帧数。若要读取音频文件的所有帧数据，可以使用getnframes()方法获取总帧数，然后使用readframes()方法读取所有帧。importwave#导入wave库wr=wave.open("EngAudio.wav","rb")frames=wr.readframes(1)#读取第1帧的二进制音频数据print("第1帧的采样数据为：",frames)nframes=wr.getnframes()#获取总帧数frames=wr.readframes(nframes)#读取所有帧的数据9.3.2绘制单声道音频波形具体程序代码importwaveimportnumpyasnpimportmatplotlib.pyplotasplt#通过wave库读取音频文件数据

wr=wave.open("EngAudio_single.wav","rb")#打开文件

params=wr.getparams()#获取音频基本参数信息，返回元组，包括声道数,量化位数,采样频率和采样帧数。

nchannels,sampwidth,framerate,nframes=params[:4]str_data=wr.readframes(nframes)#获取音频所有帧的数据wr.close()#关闭WAV文件具体程序代码#读取的二进制数据转换为numpy数组ifsampwidth==2:#根据音频数据的量化位数设置数组元素类型dtype=16#对于16位采样数据，使用16作为数组元素目标类型

elifsampwidth==4:dtype=32#对于32位采样数据，使用32作为数组元素目标类型

wave_data=np.frombuffer(str_data,dtype=dtype)#将音频字符串数据转换为一维数组#通过matplotlib.pyplot库绘制音频波形图

time=np.arange(0,nframes)*(1.0/framerate)#计算时间轴，使用采样帧数和采样频率来#计算每个采样点时刻，作为绘图时X轴坐标。plt.figure(figsize=(10,4))#创建绘图区域plt.plot(time,wave_data)#绘制波形，X轴为time序列，Y轴是音频数据。plt.xlabel("Time(s)")#设置X轴标签为时间（秒）plt.ylabel("Amplitude")#设置Y轴标签为幅值plt.title("Single-ChannelAudioWaveform")#设置图标题plt.grid('on')#设置网格线显示，on表示显示网格线，off表示不显示网格线。plt.show()#显示图形

9.3.3绘制双声道音频的部分采样点波形从Audition上可以很清楚的看到在两个声道中各采样点取值和时间间隔#省略与前面程序相同的读取文件数据和转换成numpy数组部分的代码#通过matplotlib.pyplot库绘制音频波形图

time=np.arange(0,nframes)*(1/framerate)#计算时间轴的采样点时间序列start_time=5.5600end_time=5.5626start_index=int(start_time*framerate)#计算时间起点的帧编号end_index=int(end_time*framerate)#计算时间终点的帧编号left_range=left_channel[start_index:end_index]#用切片截取左声道波形数据数组

right_range=right_channel[start_index:end_index]#用切片截取右声道波形数据数组

time_range=time[start_index:end_index]#用切片截取时间序列数组#创建两个子图分别绘制左、右声道音频波形。plt.figure(figsize=(10,4))#设置绘图窗口大小

plt.subplot(2,1,1)#创建2行1列的子图，当前是第1个子图。time=np.arange(0,nframes)*(1.0/framerate)#计算时间轴作为横坐标plt.plot(time_range,left_range,marker='o',linestyle='-',markerfacecolor='red')

#在子图1上绘制左声道波形，实线类型，红色圆点标识采样点。plt.xlabel("Time(s)")#设置子图1的X轴标签为时间（秒）plt.ylabel("Amplitude")#设置设置子图1的Y轴标签为幅值plt.title("LeftChannelAudioWaveformbetween5.5600sand5.5626")#设置子图1标题plt.grid(True)#设置子图1网格线显示

plt.subplot(2,1,2)#当前是第2个子图

#在子图2上绘制右声道波形，绿色虚线类型，黄色三角标识采样点。plt.plot(time_range,right_range,c='green',marker='^',linestyle='--',markerfacecolor='yellow')plt.xlabel("Time(s)")#设置子图2的X轴标签为时间（秒）plt.ylabel("Amplitude")#设置子图2的Y轴标签为幅值plt.title("RightChannelAudioWaveformbetween5.5600sand5.5626")#设置子图2标题plt.grid(True)#设置子图2网格线显示

plt.tight_layout()#调整两个子图的间距plt.show()#显示图形

9.4声音信号的频域分析案例音频信号的傅里叶变换FFT变换

输入时域信号离散时间序列x[n]n=0、1、2、...N-1

输出频域信号X(k)k为各频率分量声音信号的频域分析编程步骤编程实现音频信号的频率分析与可视化，通常包括三个关键步骤：（1）读取音频文件在Python中，可根据需求选择不同库读取音频数据。scipy.io.wavfile模块提供便捷接口，直接将WAV文件转换为NumPy数组，适合快速分析。（2）进行傅里叶变换使用numpy.fft.fft()函数实现快速傅里叶变换（FFT）。（3）绘制频谱图使用matplotlib.pyplot模块绘制频谱图，通过频谱图，可以观察音频信号在频域的分布，从而理解音频信号特性。频谱图的X轴表示频率值，Y轴表示幅度值。9.4.1实现绘制单声道音频信号的频谱图绘制频谱图的程序流程图importnumpyasnpfromscipy.ioimportwavfileimportmatplotlib.pyplotasplt#读取声音文件sampling_freq,audio_data=wavfile.read("EngAudio_single.wav")#使用read()方法读取音频文件时返回两个值：sampling_freq是音频数据采样频率，audio_data是离散采样值numpy数组。已知该信号是单声道音频，所以返回的audio_data为一维数组。audio_data=audio_data/np.max(np.abs(audio_data))#每个数组元素除以数组最大值的绝对值进行数据的归一化。#进行快速傅里叶变换，计算幅度值和频率轴数据。

fft_audio=np.fft.fft(audio_data)#应用FFT变换N=len(audio_data)#获取音频样本数量

fft_audio=np.abs(fft_audio[:N//2])#计算幅度值，因为FFT是对称#只绘制FFT一半的频率分量，即正频率部分，因此用[:N//2]切片选取数组的前半部分fft_audio=fft_audio/np.max(fft_audio)#归一化最大幅值为1freq_axis=np.fft.fftfreq(N,1.0/sampling_freq)[:N//2]#使用fft.fftfreq()方法计算FFT各频率分量值，生成X轴各频率值。该方法第一个参数N是输入数据的长度；第二个参数是采样频率sampling_freq的倒数，调用np.fft.fftfreq(N,1.0/sampling_freq)生成长度为N的数组，其中包含了从0到采样频率的N个等间隔频率点。由于FFT是对称的，因此用[:N//2]切片选取数组的正频率部分。#绘制频谱图plt.figure(figsize=(15,5))plt.plot(freq_axis,fft_audio)plt.xlabel('Frequency(Hz)')plt.ylabel('Amplitude')plt.title('SpectrumofSingleChannelAudio')plt.grid(True)plt.show()9.4.2绘制单声道音频信号的分贝幅度谱在本程序中使用NumPy库中的log10()对数函数与abs()绝对值函数来实现分贝幅度谱的转换。由源程序实例得到FFT变换结果的数组幅度谱正频率部分fft_audio后，转换成分贝幅度谱的语句如下：dB_value=20*np.log10(np.abs(fft_audio+1e-10))9.5语谱图绘制语谱图通常使用短时傅里叶变换（Short-TimeFourierTransform，简称STFT）计算得出，STFT短时傅里叶变换的具体步骤：1）选择窗函数：窗函数用于抑制频谱分析中的频率泄漏现象。频率泄漏是指对信号进行截短后，时域不再无限长，导致频域能量不再完全集中在预期的频率点，而是会向相邻频率扩散。选择合适的窗函数能减少频谱泄漏，提升频谱分析精度。2）信号分割：将原始信号按照设定的窗口大小分割成一系列连续的、等长的帧，每帧包含特定数量的样本，相邻帧之间存在重叠部分。通过设置窗口重叠参数，来决定相邻窗口重叠的采样点数。3）应用傅里叶变换：针对每帧应用快速傅里叶变换FFT，获取该帧的频率组成。4）生成STFT结果：将所有帧的FFT结果组合起来，形成一个二维数组，该数组各列代表不同时间点的频谱，各行表示不同频率分量随时间的变化。这个二维数组就是STFT的结果。语谱图绘制程序实现下面是实现语谱图绘制的程序代码：fromscipy.ioimportwavfileimportnumpyasnpfromscipy.signalimportspectrogramimportmatplotlib.pyplotaspltsampling_freq,audio_data=wavfile.read("EngAudio.wav")#读取音频文件ifaudio_data.ndim>1:#确保音频数据是一维的，如果是立体声则取一个声道audio_data=audio_data[:,0]#进行窗函数和重叠设置

nperseg=256#设定窗口大小为256noverlap=128#设定重叠参数为128nfft=512#设定实际数据段长度为512#计算语谱图

f,t,Sxx=spectrogram(audio_data,sampling_freq,nperseg=nperseg,noverlap=noverlap,nfft=nfft)#返回频率轴f、时间轴t以及不同时间和频率下的能量矩阵Sxx的值。Sxx_db=10*np.log10(Sxx+1e-10)#功率谱换成dB单位，并添加极小值1e-10语谱图绘制程序实现#绘制语谱图

plt.figure(figsize=(15,8))plt.pcolormesh(t,f,Sxx_db,shading='gouraud')#gouraud插值，使得图像更加平滑plt.xlabel('Time(s)')plt.ylabel('Frequency(Hz)')plt.colorbar(label='Power/Frequency(dB/Hz)')#添加颜色条和标签以显示颜色与能量的关系plt.title('AudioSpectrogram')plt.tight_layout()#调整布局以适应颜色条plt.show()语谱图绘制程序实现程序生成的语谱图结果，音频信号的主要能量集中在4kHz以内的频率范围，高频成分较少。信号起始时刻的低频部分功率谱较大，随后能量随时间推移逐步衰减；超过4kHz的频率区域，功率谱衰减到大约10dB左右，表明信号在高频段能量较低。9.6基于声音信号的故障检测在基于声音信号的故障检测中，通常包括以下主要步骤：（1）声音信号采集：使用麦克风或其他声音传感器来捕获机械设备产生的声音，这些声音信号蕴含设备状态的关键信息。（2）预处理：对采集的声音信号进行滤波、放大、降噪等处理，提升信号质量，并通过标准化或归一化处理，为后续的特征提取和故障诊断建立基础。（3）特征提取：作为故障检测的关键步骤，需要提取能够表征设备运行状态的特征。时域特征通常包括信号均值、方差、均方根值、峰值等。频域特征涵盖频率分布（如幅度谱和功率谱等）。时频域特征结合时域和频域的信息（如小波变换或短时傅里叶变换所得特征等）。（4）故障诊断：利用特征匹配或机器学习算法分析和提取特征，以识别故障的存在、类型和位置等信息，其准确性依赖于所提取特征的敏感性和特异性。声音信号的故障检测实例采集时长1分钟的音频"EngFailAudio.wav"，记录了发动机从启动到发生故障的完整过程。在音频前38秒内信号保持平稳，发动机处于正常工作状态，该阶段声音信号可作为正常运行的基准；从38秒起，音频信号响度突然放大，转变为刺耳噪音，这种声音变化是发动机发生严重机械故障的明显迹象。声音信号的故障检测实例通过Python编程绘制该音频信号的时域波形图，程序运行结果如下图。前38秒内信号幅值保持稳定，处于正常波动范围，对应发动机的正常工作状态；从38s起，信号幅值骤然增大，显著超出正常幅值区间，呈现出异常剧烈的波动特征，由此可判定发动机在此刻发生了故障。在程序绘制的语谱图中，也可清晰观察到：38秒前，信号功率谱分布平稳，能量主要集中在中低频区域，对应发动机正常运行状态；38s后，功率谱值也发生了急剧增大，高频区域能量显著提升，频谱分布呈现高强度特征，直观反映出发动机发生故障后声音信号的剧烈变化。声音信号的故障检测实例本章重要知识点声音信号时域分析的方法声音信号频域分析的方法语谱图的绘制基于声音信号的故障检测人工智能通识（理工科）北京科技大学主要内容自然语言处理概述及发展语言学基础自然语言处理的主要应用领域词表示与词嵌入语言模型大语言模型自然语言处理概述自然语言处理（NaturalLanguageProcessing，NLP）是人工智能和计算语言学相结合的一个重要分支NLP实现计算机对人类自然语言的分析、理解和生成自然语言处理的发展以统计方法为主的自然语言处理基于规则的自然语言处理以统计方法和特征工程为主的自然语言处理基于深度学习的自然语言处理词法分析词法分析是将输入的句子或文本分解为最小的语言单位—词汇或词语（Lexemes）的过程分词分词是将连续的字符序列分割成具有明确含义的独立词语英文文本单词之间由空格或标点符号标识分隔中文文本借助一定规则或统计方法来进行分词例：“我爱自然语言处理”，分割为：“我”、“爱”、“自然语言处理”

词性标注词性标注为每个词语分配一个词性标签例：句子“我爱自然语言处理”中的“我”是名词，“爱”是动词。句法分析识别词语之间的语法关系句法树-将句子分解为层次化的结构句法规则S->NPVPNP->DetNVP->VNP语义分析将句子的语法结构转换为实际含义词义消歧根据上下文信息区分词汇的不同含义，确保理解的准确性语义表示

整个句子的语义信息转化为机器能够理解的形式例：“所有猫都是动物”可以表示为：∀x(Cat(x)→Animal(x))指代消解在文本中确定代词（如“他”、“它”）所指代的实体自然语言处理的主要应用领域机器翻译情感分析对话系统与聊天机器人问答系统语音识别与合成词表示与嵌入词表示是NLP核心环节，通过将词语转为向量为语义理解、信息检索、情感分析等任务提供关键特征支持传统方法-独热编码独热编码将每个单词类别转换为一个二进制向量，其中只有一个位置上的值为1，其余位置上的值为0词嵌入是将词汇映射到连续低维空间的技术，能让语义相似的词在向量空间中距离更近。tokend1d2d3d4dog-0.40.370.02-0.34cat-0.15-0.02-0.23-0.23lion0.19-0.40.35-0.48tiger-0.080.310.560.07elephant-0.04-0.090.11-0.06cheetah0.27-0.28-0.2-0.43monkey-0.02-0.67-0.21-0.48rabbit-0.04-0.3-0.18-0.47mouse0.09-0.46-0.35-0.24近义词与上位词分布式词表示中，相似的词会被映射到距离较近的向量空间分布式词表示可以通过训练模型自动学习到词汇之间的层级关系语言模型根据已有的词序列预测下一个词的概率N-gram模型是一种基于统计的语言模型，通过计算一组连续N个词语的联合概率来预测下一个词神经网络模型给定前面的词，模型通过神经网络的激活函数来生成下一个词的预测大语言模型概述在大规模语料库上进行训练，拥有数十亿甚至数千亿参数的深度学习模型基于Transformer架构训练过程通常包括预训练和微调两个阶段常用的大模型介绍大模型GPT系列：由OpenAI开发，包括GPT3.5、GPT4、GPT4o等版本。这些模型以其强大的语言生成能力和深刻的模型进化历程而闻名，是自然语言处理领域的重要模型之一。GPT模型是基于Transformer的解码器部分构建的，它采用了Transformer的自注意力机制来建模语言数据中的长距离依赖关系。文心一言：由百度开发，是一种基于Transformer架构的大型语言模型，旨在提供高效的自然语言处理能力。这是一种基于BERT（BidirectionalEncoderRepresentationsfromTransformers）的预训练语言模型，同样采用了Transformer架构。BERT是一种双向Transformer模型，它同时关注输入序列中前后的词汇，通过掩码语言模型（MaskedLanguageModel,MLM）进行训练，即模型会随机掩盖一部分输入词，然后通过上下文信息来预测这些被掩盖的词。BERT更适合分类、序列标注等任务，因其能够在双向上下文中进行预测，捕捉了更全面的上下文信息。豆包：字节跳动为创作者打造的AI助手，支持视频脚本撰写、文案生成、营销策划等，具备聊天机器人、写作助手、英语学习助手等功能。Kimi：由月之暗面（MoonshotAI）

公司开发的大语言模型，以其卓越的长文本处理能力和强大的上下文理解而闻名。天工：由昆仑万维开发，昆仑万维在AI领域的旗舰产品，采用MoE专家混合模型架构，响应速度快，训练及推理效率高。它支持超长上下文窗口，擅长图文对话、知识问答、生成式搜索等场景。通义千问：由阿里云开发，是基于Transformer架构的大型语言模型，提供多种参数规模的版本，如千问-1.8B、千问-7B、千问-14B和千问-72B等。百川：由王小川的百川智能开发，是一种大型语言模型，与智谱AI等成为中国大模型赛道的重要竞争者。为了使模型的输出更加符合人类的预期，百川模型采用了对齐技术，包括：人类反馈强化学习（RLHF）：通过人类的反馈信息，对模型的输出进行调整和优化，使其更加符合人类的预期。基于AI反馈的强化学习（RLAIF）：通过AI系统的反馈信息，对模型的输出进行调整和优化，提高模型的性能。智谱：由智谱AI开发，是一种基于GLM（GeneralLanguageModel）算法框架的大型语言模型，提供多种大模型服务，包括语言大模型、超拟人大模型、向量大模型与代码大模型等。智谱由多层Transformer组成，每层包含多头自注意力机制（Multi-HeadSelf-Attention）、前馈神经网络（Feed-forwardNeuralNetwork,FFN）、残差连接（ResidualConnection）和层归一化（LayerNormalization）等关键模块。这些模块共同作用，使得模型能够高效处理对话任务，通过对历史上下文的理解生成连贯的自然语言文本；使用混合专家模型（MoE）架构，参数规模达万亿，擅长处理复杂场景和多任务场景。腾讯混元：是腾讯自主研发的通用大语言模型，拥有超千亿参数规模，预训练语料超2万亿tokens，具有强大的中文理解与创作能力、逻辑推理能力，以及可靠的任务执行能力。基于深度学习中的Transformer架构，该架构的优势在于其强大的并行处理能力，使模型能够快速处理大量数据。使用混合专家模型（MoE）架构，参数规模达万亿，擅长处理复杂场景和多任务场景。通过优化预训练算法及策略，让混元大模型的幻觉相比主流开源大模型降低了30%至50%；通过强化学习的方法，让模型学会识别陷阱问题；通过位置编码优化，提高了超长文的处理效果和性能；提出思维链的新策略，让大模型能够像人一样结合实际的应用场景进行推理和决策。常用的大模型介绍文本-图片生成大模型（国内）文心知识增强大模型（以ERNIE-ViLG为例）：由百度研发。其背后的文心大模型（如ERNIE3.0/4.0）具备知识增强特性，能更精准地理解文本语义。ERNIE-ViLG作为文生图模型，受益于此，提升了根据复杂中文描述生成图像的准确性、丰富性和语义一致性。无界AI：提供多种风格图像生成服务的平台。该平台整合了前沿的多模态AI技术，并通过对现有大模型进行工程化优化、微调和对齐，确保生成内容的质量和符合法规标准。海若多模态大模型V1.0：由浪潮云发布，结合了视觉编码器、大语言模型和模态对齐模块的产线编排等技术手段，集成了文本生成图像、视觉语言对话以及文本搜索图像三大功能。这种技术组合使得模型能够深入理解用户的视觉输入和语言指令，实现图像、文本之间的无缝交互和统一语义空间对话。TextHarmony：由华东师范大学和字节跳动的研究人员共同开发的一款多模态生成模型，它在视觉文本理解与生成领域展现出卓越的能力。该模型通过创新的Slide-LoRA技术，有效解决了在单一模型中同时生成图像和文本时遇到的性能下降问题。Slide-LoRA通过动态聚合特定于模态和模态无关的低秩适应(LoRA)专家，实现了在保持参数增加极小化的同时，提高了模型对视觉和语言模态的生成一致性。Qwen2vl-Flux：阿里巴巴开源的多功能图像生成模型。它基于Qwen2VL语言模型和FLUX架构，能够根据图像或文本输入进行生成、编辑和融合，并提供精确的控制能力。文心一格：由百度发布，其模型训练结合了强大的基础模型和海量的图像数据。该模型旨在生成高质量、高真实感的图像，减少生成内容的‘机器味’，以满足商业应用的需求。通义万相-文本生成图像大模型（wanx-v1）：支持中英文双语输入，支持输入参考图片进行参考内容或者参考风格迁移，重点风格包括但不限于水彩、油画、中国画、素描、扁平插画、二次元、3D卡通。基于自研的Composer组合生成框架的AI绘画创作大模型，通过知识重组与可变维度扩散模型，加速收敛并提升最终生成图片的效果。这种技术使得生成的图像语义一致性更精准，布局自然、细节丰富、画面细腻、结果逼真。摩笔马良：由国产GPU芯片初创公司摩尔线程推出的一款人工智能图像生成和绘画创作工具，能够根据用户输入的文本描述自动创作出符合主题和风格的图片。常用的大模型介绍文本-图片生成大模型（国外）DALL-E2：由OpenAI研发，其核心是基于扩散模型（DiffusionModel）架构，并集成了CLIP文本编码器和Transformer先验模型来理解和关联文本与图像信息。CogView：基于Transformer架构的文本生成图像模型，采用自编码器-解码器的结构，包括文本编码器、图像解码器和跨模态嵌入空间。在生成高质量、符合文本描述的图像方面表现出色，并且在训练过程中采用了生成对抗网络（GAN）的思想，通过不断迭代训练，生成器能够生成越来越符合文本描述的图像，判别器也能越来越准确地判断图像的质量。Midjourney：它能够生成非常高质量且富有创意的图像。在艺术创作、设计等领域被广泛使用。Midjourney的底层技术主要包括生成对抗网络（GAN）、大型语言模型、自然语言处理（NLP）以及其他图像处理、计算机图形等技术。

StableDiffusion：这是一个开源的文本到图像生成模型。模型采用了文本编码器（TextEncoder）、自编码器（Autoencoder，用于处理图像数据，将其编码为低维度的潜在表示，并能够从潜在表示中重构出高质量的图像）、U-Net网络组成。

RecraftV3：Recraft公司推出的AI文本到图像生成模型，曾在HuggingFace的文本到图像模型排行榜上获得过高分/名列前茅。Imagen：由GoogleResearch开发的文本到图像扩散模型，它通过先进的AI技术实现了前所未有的照片级真实感和深度语言理解能力。GLIDE：OpenAI推出的文本到图像生成模型，基于扩散模型，能够生成高质量的图像。Make-A-Scene：Adobe推出的文本到图像生成模型，其最大特点是允许用户通过输入草图来精确控制生成画面的构图和布局，再结合文本描述生成复杂且真实感强的场景图像。Parti：Google推出的文本到图像生成模型，基于Transformer架构，能够生成高质量的图像。它在生成图像的细节和多样性方面表现出色，并且能够根据文本描述生成具有复杂结构的图像。CivitAI：一个专注于AI绘画的平台，提供了多种文本到图像生成模型，包括一些基于StableDiffusion的模型。CivitAI上的模型涵盖了多种风格和应用场景，用户可以根据自己的需求选择合适的模型进行图像生成。DreamStudio：一个提供文本到图像生成服务的平台，基于StableDiffusion模型，能够生成高质量的图像。它在生成图像的细节和真实感方面表现出色，并且支持用户对生成的图像进行后期处理。

常用的大模型介绍文本-视频生成大模型OpenAISora：Sora的技术架构基于DiffusionTransformer(DiT)模型构建，结合了Diffusion扩散模型和Transformer架构的优点。它能够处理复杂的视频数据，并生成高质量、高保真度的视频内容。智谱AI清影（Ying）：清影基于CogVideoX模型的最新技术进展和音效模型CogSound。CogVideoX在内容连贯性、可控性和训练效率等方面实现了多项创新，包括自研的三维变分自编码器结构(3DVAE)、因果三维卷积、端到端的视频理解模型CogVLM2-caption以及融合文本、时间、空间三个维度的transformer架构等。快手可灵：为快手AI团队自研，基于快手在视频技术方面的多年积累，采用类似Sora的DiT技术路线，结合多项自研技术创新。它能够生成时间长、帧率高，能准确处理复杂运动的视频，并且在完成度、创新度和参数表现上都有出色的表现。字节跳动豆包视频生成模型：豆包视频生成模型基于DiT架构，通过高效的DiT融合计算单元，让视频在大动态与运镜中自由切换，拥有变焦、环绕、平摇、缩放、目标跟随等多镜头语言能力。全新设计的扩散模型训练方法攻克了多镜头切换的一致性难题，在镜头切换时可同时保持主体、风格、氛围的一致性。阿里通义万相：基于阿里自研的Composer组合生成框架的AI绘画创作大模型，提供了一系列的图像生成能力。上海人工智能实验室书生·筑梦2.0（Vchitect2.0）：书生·筑梦2.0采用了扩散式Transformer(DiffusionTransformer)网络模型，通过并行结构的Transformer模块处理视频的空间和时间信息，包括自注意力(self-attention)、交叉注意力(cross-attention)和时间注意力(temporal-attention)等。常用的大模型介绍其他多模态大模型CLIP（ContrastiveLanguage-ImagePre-training）：CLIP是一种基于对比学习的视觉语言模型，通过在大规模图像和文本数据集上进行预训练，学习图像和文本之间的对应关系。CLIP模型的核心是对图像和文本特征向量进行对比学习，将与图像内容相匹配的文本描述的特征向量拉近，同时将不匹配的文本描述的特征向量推远。这种方法使得模型在没有额外训练数据的情况下识别新的图像类别，展现出“零样本”（zero-shot）能力。BLIP（BilingualLanguage-ImagePre-training）：BLIP是一种通过自举字幕来高效利用噪声网络数据的视觉语言模型，通过融合理解与生成能力的多任务预训练框架，实现更高效的跨模态交互。BLIP模型的一个关键特点是其能同时胜任基于图像的理解性任务和生成性任务。它通过引入文本生成任务来提升模型对图像内容的理解深度，并能产出更准确、更自然的描述。BLIP2：BLIP2是BLIP的升级版，在保持原有优点的基础上，引入了Q-Former模块，它作为桥梁，可以高效地将冻结的图像编码器的特征与冻结的大语言模型相连接，从而以更少的可训练参数实现强大的性能。Flamingo：Flamingo是一种基于Transformer的视觉语言模型，通过在模型中引入图像特征和文本特征的交互，实现跨模态推理。Flamingo模型的特点在于其强大的文本生成能力，可以生成高质量的描述、问答和对话等文本内容。在实际应用中，Flamingo模型可用于图像描述、视觉问答、对话生成等多种任务。LLaVA（LargeLanguageandVisionAssistant）：

LLaVA是一种端到端训练的视觉语言模型。其核心是一个简单的投影层，用于将CLIP提取的图