通信行业深度：AI文生视频多模态应用的下一站

内容目录文生视频，多模态AIGC圣杯 4相较于文字和图片，视频能承载的信息量更大 4当前公测的文生视频应用数量较少 4文生视频，难在哪里？ 5技术路线沿革：文生视频，哪种技术更强？ 6阶段一：基于GAN和VAE，以为代表 6阶段二：基于Transformer，以Phenaki为代表 6阶段三：基于扩散模型，以Make-A-Video和阿里通义为代表 7Meta：Make-A-Video 8阿里达摩院：通义文生视频大模型 9Zeroscope：由阿里达摩院Modelscope文生视频模型优化得出 9实测：文生视频模型当前风格各异，总体质量较低 10复杂人物动作生成帧连续效果较差 10非日常场景的视频架构能力连续能力一般 11多主体视频生成缺乏逻辑连续性 12从图片生成看文生视频的商业前景 13为什么选择图片生成作为对标对象？ 13图片生成相对成熟 13已经收费的视频生成应用，商业模式与图片生成趋同 13细分领域：看好人像生成，短期内变现较快 14LensaAI：人像生成功能推出后用户付费意愿高 14妙鸭相机：国内首个“破圈”应用，写真生成引起社交裂变 15竞争优势：看好有算力储备的公司 16Midoey“无限量”套餐拢获用户，映射市场对算力的高需求 腾讯云：云服务厂商加紧多模态生成布局 17无界AI“按时长付费”和“潮汐生成模式”彰显算力底座特性 业务协同：看好多模态生成与原有业务有协同的公司 19Adobe：AI生成工具有望带来增量付费用户 19Microsoft365Copilot：推出增强功能，高定价反应市场强需求 20展望：看好文生视频与文生图、图生视频的联动 20投资建议 21风险提示 23图表目录图表1：文生图与文生视频发展进程 4图表2：Phenaki与Make-A-Video模型对比 5图表3：基于GAN及VAE文生视频示意图 6图表4：Phenaki文生视频示意图 7图表5：Phenaki模型原理图 7图表6：扩散模型原理示意图 8图表7：Make-A-Video视频生成过程图解 8图表8：Make-A-Video模型原理图 8图表9：通义-文本生成视频大模型-英文-通用领域-v1.0模型原理示意图 9图表10：Runway、ZeroScope、PikaLabs生成时长、平台对比 10图表11：RunwayGen-2、ZeroScope、PikaLabs人物动作应用效果对比 11图表12：RunwayGen-2、ZeroScope、PikaLabs非日常场景应用效果对比 11图表13：RunwayGen-2、ZeroScope、PikaLabs多主体应用效果对比 12图表14：各家图像生成类模型/应用对比 13图表15：RunwayGen-2套餐收费标准及对应权益 14图表16：LensaAI“魔法头像”应用截图 14图表17：妙鸭相机写真制作过程图 15图表18：妙鸭相机榜单排名 15图表19：妙鸭相机近一月收入估算（截至2023年8月14日） 16图表20：Midjourney套餐收费标准及对应权益 16图表21：腾讯云AI绘画PaaS版收费标准 17图表22：腾讯云AI绘画功能示意图 17图表23：无界AI专业版购买时长收费标准 18图表24：无界AI权益卡等级与对应权益 18图表25：AdobeFirefly功能示意图 19图表26：Firefly定价方案 19图表27：科幻预告片《Trailer:Genesis（创世纪）2周内在上达14万播放量 20图表28：投资标的 22文生视频，多模态AIGC圣杯AI相较于文字和图片，视频能承载的信息量更大相较于文字和图片，视频在多维信息表达、画面丰富性及动态性方面有更大优势。视频可以结合文本、图像、声音及视觉效果，在单一媒体中融合多种信息形式。从视频生视频到文生视频、图生视频，多模态的发展重视用更少的用户输入信息量实现更丰富的AIRunwayGen-1AI当前可应用的模态转化主要集中在文字、图片、视频的转化。当前公测的文生视频应用数量较少202115OpenAIClipDALL·E2022313日，MidjourneyAI论。目前已积累较多用户、可稳定使用的文生图模型主要有Midjourney、StableDiffusion、DALL·E等。文生视频领域，目前公众可使用的主要有Gen-1、RunwayGen-2ZeroScopePikaLabsRunwayZeroScopePikaLabs均可免文生视频发展速度慢于文生视频，在视频质量、视频时长等方面突破较为困难，相比于文生图的快速优化迭代，文生视频的进展较慢。图表1：文生图与文生视频发展进程资料来源：OpenAI、Microsoft、Midjourney、Google、StabilityAI、Adobe、阿里达摩院、百度、魔塔，即便是Meta和Google别推出的和Phenaki均尚未公测，从官方公布的DemoPhenaki虽然可生成任意长度视频，但其质量较差且欠缺真实性；Make-A-Video无需“文本-视频”2：Phenaki与Make-A-Video

Phenaki Make-A-Video数据集类型数据集类型突破点文本+图像；文本+视频视频长度文本+图像视频品质模型原理 扩散型资料来源：《Phenaki:Variablelengthvideogenerationfromopendomaintextualdescripitons》、《Make-A-Video:Text-To-VideogenerationwithoutText-Videodata》，文生视频，难在哪里？文生视频更困难。技术实现本身更困难。从本质看，视频是连续的多帧图像，然而文生图到文生视频并非简单的图片组合，而文生视频在文生图的基础上增加了时间维度。文生视频需突破瓶颈多。可用的文生视频需具备一定的时长，优良的画面质计算难度大计算成本高。通过文本生成高质量图片对算力的要求已经达到了一定程度，由于生成视频模型复杂度提升及其时长、分辨率提高等因素，文生视频对算力的需求进一步加大。计算复杂性提升。数据要求高缺乏高质量配对数据集。视频的合理性及连贯性体现模型的架构能力、创造力、理解能力。例如，当用户输入“一只大象在厨房做饭”这类文字指令时，模型需理解文字指令内容，并根据训练数据库选取画面及对象组合，过程中可能出现缺乏相应素材、难以合理组合人物、难以合理架构场景等问题。频需要大量的文本-视频配对数据，但当前缺乏相应数据集，数据标注工作量缺乏具备多样性的数据集。由于用户的文本指令要求各异，缺乏多样数据集使得模型无法生成预期效果。技术融合难度大多领域融合技术复杂性提升。文生视频涉及自然语言处理、视觉处理、画面合成等领域，跨学科多领域使其需攻克的技术难点增加。技术路线沿革：文生视频，哪种技术更强？同文生图及大语言模型的发展类似，文生视频也在不断探索中寻找更为高效且效果更佳的基础模型。目前主流的文生视频模型主要依托Transformer模型和扩散模型。目前阿里ModelScope社区中提供了可用的、基于扩散模型的开源文生视频模型，促进了如ZeroScope高质量文生视频模型的发展，有利于后续文生视频的技术迭代优化。阶段一：基于GAN和VAE，以Text2Filter为代表原理：GAN（GenerativeAdversarialNets和VAE（Variationalautoencoder）GAN由生成器和判别器构成，生成器类似于小偷，生成器生成图片；判别器生成过程分为两步：首先，利用条件GAN问题代表。3：基于GAN及VAE资料来源：《VideoGenerationFromText》，阶段二：基于Transformer，以Phenaki为代表原理模型在文本及图像生成中均得到了广泛应用，因此也成为文频。问题代表：Phenaki、CogVideo、VideoGPT。Phenaki是基于Transformer框架进行文生视频的代表之一，其突破了文生视频的时长限制进行任意时长视频生成。Phenaki模型基于1.4s左右的短视频进行训练，通过连续的文字指令生成连续的较短时长的视频并串联成1分钟左右的长视频。例如，通过输入一段类似故事的文字指令，从而实现逐个短视频的衔接成为长视频。图表4：Phenaki文生视频示意图资料来源：《Phenaki:Variablelengthvideogenerationfromopendomaintextualdescripitons》，图表5：Phenaki模型原理图资料来源：《Phenaki:Variablelengthvideogenerationfromopendomaintextualdescripitons》，阶段三：基于扩散模型，以Make-A-Video和阿里通义为代表原理：当前扩散模型是文生视频领域使用更广的架构之一。通过预训练模型进行文本特征提取后，再进行文本到图片，图片到视频的生成，过程中需基于扩散模型进行。简单来说，扩散模型即在图片上逐渐添加高斯噪声再进行反向操作。以扩散模型为基础的文生视频模型，一般是在文生图基础上增加时间维度实现视频生成。扩散模型在语义理解、内容丰富性上更有优势。问题代表：Make-A-Video、VideoLDM、、Runway-Gen1、Gen2以及NUWA-XL。图表6：扩散模型原理示意图资料来源：《DiffusionModelsinVision:ASurvey》，Meta：Make-A-VideoMake-A-Video是基于扩散模型的代表之一，其重点在于提升视频品质。其模型训练时间较短，无需“文本-视频”配对数据即可生成视频。生成视频主要思CLIPCLIPCLIPBaseDiffusionModel（Super-Resolution（TSR）进行帧插值以补充关键细节，最后利用两个空间超图表7：Make-A-Video视频生成过程图解资料来源：《Make-A-Video:Text-To-VideogenerationwithoutText-Videodata》，图表8：Make-A-Video模型原理图资料来源：《Make-A-Video:Text-To-VideogenerationwithoutText-Videodata》，通义-文本生成视频大模型-英文-通用领域-v1.0是由阿里达摩院提供的、发布在阿里ModelScope平台上的开源文生视频大模型，目前仍在集成中，暂未开放公测。通义-文本生成视频大模型仅支持英文输入，基于多阶段文本到视频生成扩散模型。根据ModelScope官网，该模型整体参数约60亿，由五个子网格构成：CLIPViT-L/14@336pxtextencoderDiffusionprior部分，以CLIPtextembedding输出CLIPimageembedding。图像特征到64x64视频生成模型：同样采用diffusionmodel，以GLIDE模型UNetUNet3Dcrossattentionimageembedding16x64x6416X4x64到64X4x4dion16x64x64imageembedding64X64x6416x64x64464X64x64以concatimageembedding同样以crossattention64X4x64到6X25x2duionUNet3D结构，推理过程输入64X64x64视频，输出64X256x256视频。图表9：通义-文本生成视频大模型-英文-通用领域-v1.0模型原理示意图资料来源：ModelScope官网，Zeroscope：由阿里达摩院Modelscope文生视频模型优化得出在我们找到的三个文生视频模型（RunwayGen-2、PikaLabs和Zeroscope）中，Zeroscope明确提出其由开源模型优化而来。我们认为，这在一定程度上代表了一种新的技术路线——基于开源，开枝散叶。ZeroScopevilab“modelscope-damo-text-ovido-hs317亿。ZeroScope由两个组件构成：Zerscope_v2567w（用于以较低分辨率快速创建内容）和Zeroscope_v2XL（。ZeroScopeV3Discord实测：文生视频模型当前风格各异，总体质量较低（、使用简易程度等。尽管当前已有可公测的应用，但由于生RunwayGen-1、Gen-2：是当前文生视频领域实际应用最“出圈”的模型，ZeroScope：是目前文生视频领域高质量的开源大模型之一。ZeroScopeModelScope的模型基础上优化而来，能提供更高的分辨率。ZeroScope可供用户RunwayGen-2PikaLabs：为近期发布的文生视频平台，该模型一经发布便因其真实感、动作RunwayGen-2184sRunway、ZeroScopePikaLabsMidjourney用平台，当前可通过申请在Discord（Discord。图表10：Runway、ZeroScope、PikaLabs生成时长、平台对比模型名称 最长生成频时长PikaLabsZeroScope4PikaLabsZeroScope434080DiscordHuggingFace（网页）RunwayGen-2 18 60 网页、APP

平均生成所需时间（秒）

应用平台资料来源：Runway、ZeroScope、PikaLabs，目前的文生视频模型产出结果质量较低，主要存在以下问题：复杂人物动作生成帧连续效果较差复杂人物动作的视频生成考验文生视频模型的帧连续效果及动作理解能力。从测试效果看：RunwayGen2：基本完成文字指令要求，突出“一个女孩”人物主题，跳舞动作有一定流畅性，但后续出现身体器官重叠问题；iaabs：ZeroScope：图表11：RunwayGen-2、ZeroScope、PikaLabs人物动作应用效果对比（文字指令：Agirldancingintheclassroom）资料来源：Runway、ZeroScope、PikaLabs，非日常场景的视频架构能力连续能力一般非日常场景的视频生成考验文生视频模型的指令理解及架构能力。从“猫拿遥控器看电视”这一虚构场景文字指令的要求生成效果看：RunwayGen-2：整体仍然最为出色，但后续动作变化不自然且幅度小，出现脸部变形等情况；PikaLabs：对文字指令的理解有一定问题，并未体现“拿遥控器”的动作，但其图表12：RunwayGen-2、ZeroScope、PikaLabs非日常场景应用效果对比（文字指令：CatwatchingTVwitharemoteinhand）资料来源：Runway、ZeroScope、PikaLabs，多主体视频生成缺乏逻辑连续性多主体的视频生成考验文生视频模型的复杂场景处理能力及细微语言理解能力。当前RunwayGen-2：对画面及人物动作细节及双人互动如“牵手”指令的处理较好，生成人物符合逻辑但人物动作幅度不明显；PikaLabs：ZeroScope：图表13：RunwayGen-2、ZeroScope、PikaLabs多主体应用效果对比(文字指令：Agirlandaboyrunninghandinhand)资料来源：Runway、ZeroScope、PikaLabs，总体来看，三个文生视频模型的不同生成效果体现其背后模型及训练数据特点。RunwayGen-2：画面精细度、清晰度及艺术美感均较强，视频动作幅度均较小，PikaLabs：ZeroScope：从图片生成看文生视频的商业前景为什么选择图片生成作为对标对象？图片生成相对成熟图片生成类在多模态大模型中的商业程度较高，可为视频生成的商业化前景可提供一定参考。813IOSAI”247类应用占比.%；而“音乐”类应用仅占比.%用占比20.2%目前，从类别上看，图片生成类为现阶段多模态大模型相对成熟的商业化场景，视频生成类的商业前景可参考图片生成类的商业化发展历程。整体来看，图片生成类的商AI图表14：各家图像生成类模型/应用对比产品名Midjourney文心一格妙鸭相机LensaAI公司名Midjourney百度阿里巴巴PrismaLabs活跃用户数8月网站总访问量N/A7月16日-8月14日总下载量203万9月下载量10万2100万+套餐内容标准版以上套仅为限量套餐，且单张9.9元可解锁30+种模0张图（99美元；特点餐拥有无限量图片生成数图片生成价格与Midjourney限量套餐价板，制作写真生成1次。0张图（99美元；200张图美元。量。格接近。资料来源：各公司官网、SimilarWeb、七麦数据、CNN、SensorTower，RunwayGen-2为文生视频领域大模型及应用端树立了标杆，与广泛的图片生成类模型及应用的商业模式类似，RunwayGen-2来，RunwayGen-220239760平均停留时长为3分37秒。图表15：RunwayGen-2套餐收费标准及对应权益套餐版本月付套餐价格年付套餐价格点数权益单个视频可生套餐内可生成视频存储空间权益（美元/（美元/（点成的最的总长度（GB）月）月）数）长长度（秒）（秒）标准版151262516125100Pro版35282250161450500无限制版9576无限16无限500资料来源：Runway官网，细分领域：看好人像生成，短期内变现较快LensaAILensaAILensaAIApp于2018年上线，原本的主要用途是图片编辑和美化。2年1月1LnaAI（Mgcaar）11301214国AppStore150100、2003.99、5.99图表16：LensaAI“魔法头像”应用截图资料来源：Medium，Sensor121213501120012天消费者在App2930（SensorLensaAI740100人像生成写真应用妙鸭相机上架即火爆，迅速爬升社交类应用第一名。妙鸭相机是国内第一个出圈的图片生成类应用。用户通过上传一张正面照以及不少于20张的补充照片，就能利用妙鸭相机生成各式写真。妙鸭相机收费9.9元，可以解锁现有模板，包括证件照、古装写真、晚礼服写真等。图表17：妙鸭相机写真制作过程图资料来源：AIHub，妙鸭相机上线后非常火爆，生成图片的等待时长一路走高，7月20日晚间高峰期有4000-5000人排队，需等待十几个小时才能生成图片。据七麦数据，妙鸭相机近自发布以来，热度高涨，截至8月13日，妙鸭相机在iPhone社交类应用中排名第一。图表18：妙鸭相机榜单排名资料来源：七麦数据，妙鸭相机现阶段收入规模可观，但市场对其复购及持续收费能力存疑，后续须不停上线新模板、开创新玩法。293领先，可以算作破圈的现象级产品。但目前还处于拉新阶段，后期用户的复购收入持续增长的能力亟待验证。图表19：妙鸭相机近一月收入估算（截至2023年8月14日）资料来源：七麦数据，竞争优势：看好有算力储备的公司目前，国内外图像生成类模型及模应用大多按照生成量、生成速度等来区分定价，但不同点是国外产品的付费套餐中多有“无限量”套餐，而国内产品未出现“无限量”套餐，可看出国内算力仍为瓶颈，因此，具有算力储备的云服务厂商在发展视频生成类应用时具有天然优势。ijorMidjourneySimilarMidjourney202382850630Midjourney的1500StableDiffusion10001Midjourney图表20：Midjourney套餐收费标准及对应权益套餐版本套餐价格图片生成数量高速GPU体是否具有隐私（美元/月）（张）验（小时）模式基础版10200无否标准版30无限无否Pro版60无限30是Mega版120无限60是资料来源：Midjourney官网，反过来看，由于本身具有算力能力优势，云服务大厂也开始注重多模态生成的能力建设，上线图像生成类产品。AI讯云解决方案平台上，客户可选择开通AI20次APIAIPaaSSaaSSaaS图表21：腾讯云AI绘画PaaS版收费标准接口名称新用户价格限购1次价格新老同享不限购价格（元）资源包（千次）（元）智能图生图19.9651智能文生图29.9651资料来源：腾讯云，22AI资料来源：腾讯云，无界AI20225AIAI100/1000/用户还可开通权益卡或购买时长。其中，1）开通权益卡能获得更多积分，适用于对普通文生图有更多需求（如更多超分辨次数、更多单张加速次数）的用户。2）购买时长适用于需要更多生成类型（如图生图、条件生图）和功能（如局部重绘、多区域控制绘图等）按时长付费也是阿里云、腾讯云等AIAI23AI时间（小时）套餐价格（元）预计生成创作（张）12045048018001221654002443210800资料来源：无界AI，图表24：无界AI权益卡等级与对应权益权益卡等级套餐价格赠送积分有效期超分辨次数单张加速次数（元/月）（积分/月）（月）（次）（次）AI魔法体验卡030---青铜权益卡9912001--白银权益卡19912002--黄金权益卡129918006100100铂金权益卡4699360012200200资料来源：无界AI，业务协同：看好多模态生成与原有业务有协同的公司Adobe：AIbe上线Iirf（萤火虫，或为be20233AIFirefly5月底宣布全面开放，深度绑定Adobe旗下产品Photoshop。图表25：AdobeFirefly功能示意图资料来源：AdobeFirefly官网，Adobe于2023年9月13日宣布Firefly（Generativecredits）254.99100积分。根据AdobeFirefly202311月1日起将实行限额，生成积分的消耗取决于生成输出的计算成本和所使用的生成人工智能功能的价值。图表26：Firefly定价方案资料来源：AdobeFirefly官网，Microsoft365CopilotMicrosoft365Copilot定价策略大幅超预期，侧面反应人工智能生成产品的强劲需求。OfficeCopilot是基于GPT-4API的应用，具有文档编辑、表格处理等在Office软件原有AI718Microsoft365Copilot定价策略，Microsoft365Copilot将面向Microsoft365E3、E5、BusinessStandardBusinessPremium30/Microsoft36522/Copilot53-240%CopilotAI展望：看好文生视频与文生图、图生视频的联动由于当前文生图、文生视频、文生音频等都具有一定局限性，已经有创作者借助不同模型平台进行视频合成，从而实现最优效果。例如，近日出现的一则约一分钟左右完全由AIalr:GnsMdouy处理图像、RunwayPixabayCapCut剪辑视频。我们预计，后续AI在图表27：科幻预告片《Trailer:Genesis》（创世纪）2周内在YouTube上达14万播放量资料来源：Youtube，5投资建议AIGC从投资角度看，我们总结如下：5GAIGCAIGCPCB为代表。另一方面，重视国产化趋势，AIGCAIGCAIGC对大模式层面的竞争将持续，国内外巨头均重视对多模态大模型的开发应用。投资层面，我们将进一步聚焦大模型的边际变化，例如OpenAI发布图生文、语音交互等多模态功能。大模型仍是互联网巨头的兵家必争之地，具备搜索、云计算能力的企业具备先发优势。+AIGCAIOfficeOpenAIIP综上所述，在算力、模型、应用等维度，我们给出如下投资组合标的：图表28：投资标的赛道 公司 代码 内容算力新易盛300502400G时代领先的光收发器件解决方案提供商。天孚通信300394全球光模块及数通厂商光学器件供应商。中际旭创300308全球光电子领军企业，四大云厂商供应商，光模块行业“灰马”。太辰光300570掌握MPO核心技术，供应北美云厂商IDC建设，有望受益超算需求爆发。德科立688205华工科技000988发布800G相干光模块，硅光技术领先。锐捷网络301165主营网络设备、网络安全产品、云桌面，2019年至2021年中国以太网交换机市占率第三。紫光股份000938网络设备龙头，2022年中国交换机市占率第二。工业富联6011382022年云计算服务器出货量全球第一。菲菱科思301191国内稀缺的算力交换机代工龙头。寒武纪688256国内AI芯片第一梯队。中兴通讯0000635G设备商龙头，在数通及服务器市场亦处于领先地位。美格智能002881物联网智能算力模组供应商。奥飞数据300738有影响力的IDC服务提供商。光环新网300383国内第三方IDC核心服务商，深度合作AWS。中贝通信603220主业聚焦5G新基建、云网算力服务。云赛智联600602大数据中心资源平台总集成商和运维商、数据运营平台总运营商。谷歌GOOG谷歌GOOG深度学习模型Transformer，AIGC生成应用Imagen。微软MSFT自然语言处理应用ApacheSpark，投资了OpenAI。百度