潞晨Open-Sora开源大升级：单镜头16秒720p高清任意视频一键生成，

2025-01-17 来源：AI图库吧

潞晨Open-Sora团队在720p高清文生视频质量和生成时长上实现了突破性进展，支持无缝产出任意风格的高质量短片，并且，该版本继续全部开源，为开源社区带来亿点点震撼。

开源地址：https://github.com/hpcaitech/Open-Sora

从我们的官方Github下载的模型权重，能够生成各种酷炫的短片，比如海浪和海螺的亲密接触，还有那些深不可测的森林秘境。

人物肖像的渲染也相当逼真。

还能精准渲染赛博朋克风，让短片瞬间充满强烈的未来感和科技感。

注：GIF 图已被压缩

也能生成有趣生动的动画镜头，带来极具表现力的视觉体验。

即使是电影级别的镜头制作，也能轻松应对。

例如，实现流畅的变焦效果，为影片增添专业级的视觉效果。

注：GIF 图已被压缩

还能帮助电影制作人员创造出逼真的电影镜头。

注：GIF 图已被压缩

潞晨的 Open-Sora 模型以其卓越的性能揭示了视频生成领域的广阔前景，我们已经将模型权重和训练代码全面开源，感兴趣的朋友可以访问我们的 GitHub阅读技术报告，了解更多信息。网址：https://github.com/hpcaitech/Open-Sora

文生视频界的开源战士

LambdaLabs，美国科技界独角兽，基于潞晨团队先前开源的 Open-Sora 模型权重打造了一个数字乐高宇宙，乐高迷们在这里找到了极致的创意体验。

潞晨深谙开源对于文生视频技术突破的助力，因此，我们不仅持续开源模型权重，还在 Github 上晒出了技术路线，让每个玩家都能成为文生视频大模型的掌控者，不再是单纯的围观群众。

我们还撰写了技术报告，方便更多AI爱好者共同学习进步。报告地址：https://github.com/hpcaitech/Open-Sora/blob/main/docs/report_03.md

技术深度解码

我们在技术报告中，深度剖析了本次模型训练的核心和关键。在上一个版本基础上，引入了视频压缩网络(Video Compression Network)、更优的扩散模型算法、更多的可控性，并利用更多的数据训练出了 1.1B 的扩散生成模型。

在这个"算力为王"的时代，我们深知视频模型训练的两大痛点：计算资源的巨大消耗与模型输出质量的高标准。我们以一种极简而有效的方案，成功地在成本和质量之间找到了平衡点。

我们提出了一个创新的视频压缩网络(VAE)，该网络在空间和时间两个维度上分别进行压缩。具体来说，我们首先在空间维度上进行了 8x8 倍的压缩，接着在时间维度上进一步压缩了 4 倍。通过这种创新的压缩策略，既避免了因抽帧而牺牲视频流畅度的弊端，又大幅降低了训练成本，实现了成本与质量的双重优化。

视频压缩网络结构

Stable Diffusion 3.最新的扩散模型，通过采用了 rectified flow 技术替代 DDPM，显著提升了图片和视频生成的质量。尽管 SD3 的 rectified flow 训练代码尚未公开，但潞晨 Open-Sora 团队已经基于 SD3 的研究成果，提供了一套完整的训练解决方案，包括：

简单易用的整流(rectified flow)训练

用于训练加速的 Logit-norm 时间步长采样

基于分辨率和视频长度的时间步长采样

通过这些技术的整合，我们不仅能够加快模型的训练速度，还能显著减少推理阶段的等待时间，确保用户体验的流畅性。此外，这套训练方案还支持在推理过程中输出多种视频宽高比，满足了多样化场景下的视频素材需求，为视频内容创作者提供了更加丰富的创作工具。

我们还在报告中透露了更多关于模型训练的核心细节，包括数据清洗和模型调优的实用技巧，以及构建了更完善的模型评估体系，保障模型的稳健性和泛化能力。

除此之外，我们还提供了可以自行一键部署的 Gradio 应用，并支持调节输出的运动分数、美学分数和镜头移动方式等参数，甚至可以一键通过 GPT-4o 自动修改指令并支持中文输入。

要忍不住 get hands dirty 了，详情请戳：https://github.com/hpcaitech/Open-Sora/blob/main/docs/report_03.md