Pika基于MiniMax H3开源H3 Flex,六步去噪实现音视频联合生成

H3开源一个月内下载量已经超过2400万次,产生超过300个公开衍生模型,成为2026年全球下载量最高的模型之一。

近日,Pika发布基于MiniMax H3的衍生模型Pika H3 Flex,并开放适配器权重与推理代码。该模型通过六步去噪联合生成画面与声音,支持文本、首尾帧及多模态参考输入,面向创作者的镜头设计、参考生成和视频编辑场景。

本次发布包含两套LoRA适配器,分别用于文本及首尾帧条件生成、多模态参考生成,同时提供MiniMax H3基础组件与本地推理工具。模型原生支持480P、768P输出,可生成约5至15秒的视频及同步立体声音频。Pika提供ComfyUI工作流和Hugging Face Diffusers两种接入方式,便于开发者将其集成至现有创作工具链。

在本地生成之外,Pika通过API提供1080P、2K和4K视频增强以及音频分轨功能。创作者可先以较低分辨率生成并筛选草稿,再对选定版本进行高分辨率处理;同步生成的声音可拆分为对白、配乐、音效、拟音和环境声五类独立音轨,便于后期分别调整。高分辨率增强视频与音频分轨由Pika API服务提供。

据Pika技术博客介绍,团队先在内部音视频数据集上对MiniMax H3进行监督微调,再采用投影分布匹配蒸馏(PDMD),将教师模型的50步去噪压缩至6步。随后通过奖励反馈学习和直接偏好优化训练LoRA适配器,改善美学质量、清晰度和指令遵循能力。适配器合并用于推理后,无须增加生成步数。

Pika还对托管推理服务进行了加速。在保持模型权重和六步采样方案不变的测试中,使用8张NVIDIA B300 GPU生成一段5秒、768P音视频,条件编码、去噪和解码的合计耗时从3.409秒缩短至2.129秒,处理速度约为原来的1.6倍。

在视觉与音频表现方面,Pika公布的对比评测结果显示,H3 Flex在五项视觉和音频质量指标上均在参评模型中取得最高得分,并在DesignArena文生视频榜单上位列第八,是该榜单中排名最高的开源视频模型。

今年8月MiniMax H3开源后,MiniMax与合作企业围绕不同使用场景继续训练和优化模型,并在社区中开放。其中包括与Running Hub打造MiniMax H3 480P;与fal选择面向实时生成做后训练和推理优化,推出H3 Max 768P、H3 Max 480P;以及FastVideo通过稀疏化和硬件适配推出的FastH3、英伟达与MIT联合围绕H3开发的StreamRender-H3、Open-H3-Regenerate-2K等多款模型。海外开发者围绕H3衍生模型搭建了Twitch直播、24小时“AI电视台”和AI短视频直播软件等应用。

H3开源一个月内下载量已超过2400万次,产生超过300个公开衍生模型,成为2026年全球下载量最高的模型之一。从基础模型开源到衍生模型密集涌现,音视频联合生成领域的社区协作正在加速,Pika此次开放适配器权重与推理代码,进一步降低了开发者在本地部署和二次开发的门槛。

该文观点仅代表作者本人,企服科学平台仅提供信息存储空间服务。

赞 (0)
DeepSeek Harness团队提出Super Agent架构,开源原型并引入Router-Worker分工机制
上一篇 5小时前
中国气象智能预警方案“妈祖”斯里兰卡智能一体机交付,预计2026年底投入业务运行
下一篇 3小时前

相关推荐

发表回复

登录后才能评论
分享本页
返回顶部