大语言模型技术与应用 第9课强化学习方法-第10课提示工程与技术教学案例

第9课第9课强化学习方法强化学习方法【实训与思考】熟悉文生视频大模型Sora2024年2月15日，OpenAI发布了文生视频大模型Sora，揭示了其背后的强大训练思路和详细的技术特性。用户通过输入简短说明文字，Sora就能输出一段时长1分钟、包含多镜头切换、画面元素互动符合真实物理规律的视频（见图9-7），相比起2023年亮相的其他人工智能视频演示，技术的突破上了一个台阶，Sora的横空出世，进一步证明人工智能学习能力的进化。图9-7小狗玩雪的Sora示例Sora与ChatGPT背后的支持模型GPT，其底层技术都是Transformer模型。对于大众用户来说，两者的日常使用感受都类似于“发出指令-获得反馈”的过程。自文生视频工具Sora推出以来，OpenAI始终在与视觉艺术家、设计师、创意人士以及电影制作人等各界精英展开合作，共同探讨Sora如何助力创作之旅。2024年3月25日，OpenAI公布了首批获得Sora访问权限的艺术家们创作的视频，艺术家们对Sora的评价普遍积极，认为它不仅能够创造逼真的视觉效果，更能带来超现实的创意表现，为故事讲述和艺术创作开辟了新的可能性。Sora的试用反馈显示其在创意产业中的应用潜力，可能推动行业创新和竞争。1.实训目的（1）尝试使用文生视频大模型，对比分析文生文、文生图和现在的文生视频大模型的产品成熟度，思考它们的不同应用方向。（2）有条件的可以登录闭源大模型，例如Sora，或者在网上查收顺手的开源视频大模型。比较这些产品的异同点。（3）积极思考大模型未来的产品应用方向，以及大模型会对各行各业的影响。2.实训内容与步骤（1）请仔细阅读本课课文，熟悉强化学习方法的重要知识内容。（2）初步应用OpenAISora。Sora是收费注册的，若不方便注册，可以阅读下述步骤即可。或者建议在网上搜索一款开源的国内文生视频大模型，注意评价分析该产品。步骤1：使用前的准备工作。在浏览器中搜索Sora，获得产品界面（见图9-8）。图9-8Sora下载界面步骤2：下载并安装Sora（见图9-9）。安装后，确保获得OpenAI账号和Sora的访问权限。步骤3：登录Sora系统主界面（见图9-10）。步骤4：欣赏Sora案例。Sora的应用范围非常广泛，从教育教学、产品演示到内容营销等，都可以通过Sora来实现高质量的视频内容创作。下面是几个OpenAI官方发布的应用案例。案例1（见图9-11）：【提示词】一位时尚的女性走在街头，周围是温暖闪亮的霓虹灯和活力四射的城市标识。她穿着一件黑色皮夹克，一条长长的红色连衣裙，搭配黑色靴子，并背着一个黑色手提包。她戴着墨镜，涂着红色口红。她步履自信，悠然自得地走着。街道潮湿而反光，呈现出丰富多彩的灯光的镜面效果。许多行人在街上走动。案例2（见图9-12）：【提示词】几只巨大的长毛猛犸象踏过一片雪白的草地，它们长长的毛发在微风中轻轻飘动着，远处覆盖着雪的树木和雄伟的雪山，午后的光线下有些薄云，太阳高悬在远方，营造出温暖的光芒。低角度的摄影视角令人惊叹，捕捉到了这些大型毛茸茸的哺乳动物，画面景深感强烈。图9-9Sora下载界面图9-10Sora操作界面图9-11Sora案例：时尚女性图9-12Sora案例：猛犸象过雪地案例3（见图9-13）：【提示词】参观一个艺术画廊，展示了许多不同风格的精美艺术品。图9-13Sora案例：艺术画廊图9-14Sora案例：中国新年案例4（见图9-14）：【提示词】一个有中国龙的中国农历新年庆祝视频。步骤5：文本描述。准备好想要转化成视频的文本描述，越详细越好。登录OpenAI的Sora账号。在界面的指定区域输入你的文本描述，可以是一个故事概述、场景描述或是具体的动作指令。步骤6：生成视频。完成文本描述和自定义设置后，点击“生成视频”按钮。Sora将开始处理生成请求，这可能需要几分钟时间。完成后，应该可以预览所生成的视频。步骤7：评价。评价： □完美 □合适 □待提高----------------------请将丰富内容另外附纸粘贴于此----------------------3.实训总结____________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________4.实训评价（教师）______________________________________________________________________________第10课第10课提示工程技术提示工程技术【实训与思考】文生图：注册使用Midjourney绘图工具Midjourney是一款著名和强大的人工智能绘画工具（官网中国地址：，简称MJ，见图10-7），它为用户提供了各种创意的绘图功能，可以是文生图或者图生图等。Midjourney是一个独立的研究实验室，一个位于美国旧金山的小型自筹资金团队，专注于设计、人类基础设施和人工智能的绘图平台，它致力于探索新的思维方式并扩展人类的想象力。MJ于2022年7月12日首次进行公测，并于2022年3月14日正式以架设在Discord上的服务器形式推出，用户直接注册Discord并加入MJ的服务器即可开始人工智能创作。图10-7Midjourney文生图大模型首页Midjourney的创始人大卫·霍尔茨之前创立的公司是做智能硬件传感器的，该公司于2019年被收购，据官网标注，该创始人还是一位NASA的研究员。而另一个人工智能绘图工具DiscoDiffusion的创始人索姆奈在2021年10月加入了MJ，并一直在推特和YouTube上分享画作和制作参数。除了全职人员以外，MJ还有一个非常强大的技术顾问团队，包括有在苹果、特斯拉、英特尔、GitHub等就职背景的一众大佬。MJ产品每隔几个月就会升级一次大版本。它生成的图片分辨率高，写实风格人物主体塑形准确，细节更多且审美在线。GPT-4模型拥有1.8万亿参数，普通开发者基本没有可能本地部署。文生图模型技术壁垒较低、成熟度高，探索新的模型结构意义相对不大，而大语言模型仍然存在大量研究难点。1.实训目的（1）了解文生图大模型，熟悉Midjourney大模型工具的功能。（2）对比不开源文生图大模型（例如Midjourney）与开源文生图大模型的功能、性能表现，重视注册应用的必要性。（3）体验人工智能艺术与传统艺术领域的不同表现力及应用发展方向。2.实训内容与步骤（1）请仔细阅读本课课文，熟悉大模型的提示工程与微调技术。（2）对于有条件的读者，建议注册登录Midjourney网站开始实践体验人工智能艺术创作。例如，注册登录后，尝试输入提示词：武松，身长八尺，仪表堂堂，浑身上下有百斤力气（小说《水浒》形容）。MJ生成的武松形象如图10-8所示。将提示词调整成：男子身长八尺，仪表堂堂，浑身上下有百斤力气。MJ生成的男子形象如图10-9所示。请对比提示词的不同及生成作品的变化。图10-8MJ生成的武松形象示例图10-9Midjourney绘图工具的操作界面（3）在网页搜索引擎中输入“文生图”，可以找到一些文生图的开源网站，尝试用同样方式体验体现开源大模型，体会和比较国内外以及闭源和开源大模型的异同及各自的进步水平。3.实训总结_________________________________________________________________________________________________________________________________________________________________________________________________________________________________