CN119415674A 一种基于大语言模型的古诗词到视频的生成方法及装置 （哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)）

一种基于大语言模型的古诗词到视频的生本发明公开一种基于大语言模型的古诗词型采用SoftPrompt训练方法，得到训练好的故本知识、训练好的故事学习向量以及大语言模大语言模型，得到待生成古诗词数据对应的剧据集匮乏的问题，提升了古诗词视频的生成质2S3、获取待生成古诗词数据，在所述古诗词知识S6、根据待生成古诗词数据对应的故事图片以从与古诗文相关的文本网站上获取古诗词的原文、译文及注释、古诗的从与古诗文相关的图片网站上获取与古诗词内容相关的图片，包括人物对初始的大语言模型中的模型参数进行冻结，将样本古诗词输入到冻结将样本古诗词对应的预测故事序列与真值故事序列进行比较，根据其中，T为真值故事序列的长度，p(yilyzi,x,p)表示在样本古诗词X和soft根据训练好的故事学习向量，将所述待生成古诗词数据3S41、使用预设规则将所述待生成古诗词数据对应的故事进行分解，得到文字描述序S42、使用大语言模型对所述待生成古诗词数据对应的故事中的人物信息和地点信息中的第二剧本描述故事的视频片段，所述四个剧本中的第三剧本描述人物场景对应关系，述图片生成模型包括stablediffusionmodel以及Multi_subjectconsistence所述S5的根据所述待生成古诗词数据对应的剧本、图片知识以及图片生S51、将所述第一剧本中的人物和地点对应的文本描述输入到stablediffusionS53、使用大语言模型对生成的多个场景片段的图片进行优化，得到优化后的故事图将待生成古诗词数据对应的故事图片以及对应的文本提示输入到Pi8.一种基于大语言模型的古诗词到视频的生成装置，所视频的生成装置用于实现如权利要求1_7任一项所述基于大语言模型的古诗词到视频的生获取模块，用于获取待生成古诗词数据，在所述古诗词知识库第一生成模块，用于根据所述待生成古诗词数据对应的第二生成模块，用于根据所述待生成古诗词数据对应的剧本、4第三生成模块，用于根据待生成古诗词数据对应的故事图片9.一种基于大语言模型的古诗词到视频的生成设备，存储器，所述存储器上存储有计算机可读指令，所述计算机5whiteegretsflyintothebluesky.Mywindowframesthesnow_crownedwestern指令调整数据集ACCN_INS，为了减少知识密集型任务中LLMs生成的错误信息增强生成技术，显著提高了模型在知识密集型任务中的性能。Chen等人提出了使用检索增等人提出了一个新的任务，如何艺术化地将中国古典诗词可视化生成绘画作品，手动收集了3,648对丰子恺绘画作品的标题_绘画配对和从网络上收集了89,204对传统中国绘画风实现了将中国古典诗词转化为具有特定艺术风格的绘画作品Jiang提出了一个名为"Poetry2Image"的迭代修正框架，旨在解决从中国古典诗歌生成图像时文本到图像生成模型常见的关键元素丢失或语义混淆问题，通过引入一个外部数据集，让大预言模型检测出6技术问题，本发明实施例提供了一种基于大语言模型的古诗词到视频的生成方法及装置。[0020]第三生成模块，用于根据待生成古诗词数据对应的故事7[0026]图1是本发明实施例提供的一种基于大语言模型的古诗词到视频的生成方法流程[0031]图6是本发明实施例提供的一种基于大语言模型的古诗词到视频的生成装置框[0032]图7是本发明实施例提供的一种基于大语言模型的古诗词到视频的生成设备的结8的生成设备可以是终端或服务器。如图1所示的基于大语言模型的古诗词到视频的生成方[0050]其中，T为真值故事序列的长度，p(yrlyi,x,p)表示在样本古诗词X和soft型语言模型）作为作家和导演任务，为了让LLM找到一个最优的任务提示，采用了soft9有蜻蜓立上头。”[0060]S41、使用预设规则将待生成古诗词数据对应的故事进行分解，得到文字描述序[0062]S42、使用大语言模型对待生成古诗词数据对应的故事中的人物信息和地点信息f“““Justanswermetheserialnumber(1selectionispossible,butnomore,pickoutwhatyouthinkismostlikely.Ifyouselect}},}},{story}.Iwanttomakeavideoaccordingtothisstory,thisismyvideoproductionscriptinthefollowingthreesinglequotes{video_list},af“““ofthevideo.However,thmissing,suchasimportantplotmissing,ortransitionsbetweenpictures,anythingelse)withthefollowingkeys:videofragmentid,videofragment}},}},videoclipisnotlong,nomorethanfifteenwords,buttherecanb#f“““Veryimportant!!!:avoidcharacter_to_characterf“““Justanswermetheserialnumber(1selectionispossible,butnomore,pickoutwhatyouthinkismostlikely.Ifyouselect}},}},productionscriptinthefollowingthreesinglequotes{new_video_list}avideoshavealengthof2seconds,pleasehelpmeplanhowmuchtimeitwill}},}},}},}},{},{},{},{},{}{},{},{}{},{},{}[0069]可选地，图片生成模型可以包括stablediffusionmodel以及Multi_subject[0071]S51、将第一剧本中的人物和地点对应的文本描述输入到stablediffusion[0078]S52、根据生成的人物和地点对应的图片、第二剧本、第三剧本、第四剧本以及[0079]一种可行的实施方式中，如图5所示，首先是通过使用GPT_4O模型生成任务的id果，将输出的图片和原始物体的图片、CharacterPrompt输入给LLM，让LLM通过self[0090]图6是根据一示例性实施例示出的一种基于大语言模型的古诗词到视频的生成装[0096]第三生成模块660，用于根据待生成古诗词数据对应的故事图片以及视频生成模[0105]其中，T为真值故事序列的长度，p(yrlyi,x,p)表示在样本古诗词X和soft[0106]迭代训练，直到损失函数达到收敛，停止训练，得到训练好的故事学习向量[0108]根据训练好的故事学习向量，将所述待生成古诗词数据对应的文本知识进行分[0111]S42、使用大语言模型对所述待生成古诗词数据对应的故事中的人物信息和地点[0113]可选地，所述图片生成模型包括stablediffusionmodel以及Multi_subject[0115]S51、将所述第一剧本中的人物和地点对应的文本描述输入到stablediffusion[0116]S52、根据生成的人物和地点对应的图片、第二剧本、第三剧本、第四剧本以及[0122]图7是本发明实施例提供的一种基于大语言模型的古诗词到视频的生成设备的结[0123]可选地，基于大语言模型的古诗词到视频的生成设备710还可以包括存储器2002[0125]下面结合图7对基于大语言模型的古诗词到视频的生成设备710的各个构成部件[0126]其中，第一处理器2001是基于大语言模型的古诗词到视频的生成设备710的控制specificintegratedcircuit，ASIC或者是被配置成实施本发明实施例的一个或多个[0127]可选地，第一处理器2001可以通过运行或执行存储在存储器以及调用存储在存储器2002内的数据，执行基于大语言模型的古诗词到视频的生成设备[0130]其中，所述存储器2002用于存储执行本发明方案的软件程序，并由第一处理器可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但语言模型的古诗词到视频的生成设备710的接口电路（图7中未示出）与第一处理器2001耦[0136]此外，基于大语言模型的古诗词到视频的生成设备710的技术效果可以参考上述方法实施例所述的基于大语言模型的古诗词到视频的生成方法的技术效果，此处不再赘[0137]应理解，在本发明实施例中的第一处理器2001可以是中央处理单元（centralprocessingunit，CPU该处理器还可以是其他通用处理器、数字信号处理器（digital可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存