在 🤗 Huggingface Space 或 🤖 ModelScope Space 在线体验 CogVideoX-5B 模型
📍 前往 清影 和 API平台 体验更大规模的商业版视频生成模型。
2025/03/24: 我们推出了 CogKit 工具，这是一个微调CogView4, CogVideoX 系列的微调和推理框架，一个工具包，玩转我们的多模态生成模型。2025/02/28: DDIM Inverse 已经在CogVideoX-5B 和 CogVideoX1.5 -5B 支持，查看 here.2025/01/08: 我们更新了基于diffusers版本模型的Lora微调代码，占用显存更低，详情请见这里。2024/11/15: 我们发布 CogVideoX1.5 模型的diffusers版本，仅需调整部分参数即可沿用之前的代码。2024/11/08: 我们发布 CogVideoX1.5 模型。CogVideoX1.5 是 CogVideoX 开源模型的升级版本。
CogVideoX1.5-5B 系列模型支持 10秒 长度的视频和更高的分辨率，其中 CogVideoX1.5-5B-I2V 支持 任意分辨率 的视频生成，SAT代码已经更新。diffusers版本还在适配中。SAT版本代码前往 这里 下载。2024/10/13: 成本更低，单卡4090可微调 CogVideoX-5B
的微调框架cogvideox-factory已经推出，多种分辨率微调，欢迎使用。2024/10/10: 我们更新了我们的技术报告,请点击 这里
查看，附上了更多的训练细节和demo，关于demo，点击这里 查看。2024/10/09: 我们在飞书技术文档
公开CogVideoX微调指导，以进一步增加分发自由度，公开文档中所有示例可以完全复现2024/9/19: 我们开源 CogVideoX 系列图生视频模型 CogVideoX-5B-I2V
。该模型可以将一张图像作为背景输入，结合提示词一起生成视频，具有更强的可控性。
至此，CogVideoX系列模型已经支持文本生成视频，视频续写，图片生成视频三种任务。欢迎前往在线体验。2024/9/19: CogVideoX 训练过程中用于将视频数据转换为文本描述的 Caption
模型 CogVLM2-Caption
已经开源。欢迎前往下载并使用。2024/8/27: 我们开源 CogVideoX 系列更大的模型 CogVideoX-5B
。我们大幅度优化了模型的推理性能，推理门槛大幅降低，您可以在 GTX 1080TI 等早期显卡运行 CogVideoX-2B，在 RTX 3060
等桌面端甜品卡运行 CogVideoX-5B 模型。 请严格按照要求
更新安装依赖，推理代码请查看 cli_demo。同时，CogVideoX-2B 模型开源协议已经修改为Apache 2.0 协议。2024/8/6: 我们开源 3D Causal VAE，用于 CogVideoX-2B，可以几乎无损地重构视频。2024/8/6: 我们开源 CogVideoX 系列视频生成模型的第一个模型, CogVideoX-2B。2022/5/19: 我们开源了 CogVideo 视频生成模型（现在你可以在 CogVideo 分支中看到），这是首个开源的基于
Transformer 的大型文本生成视频模型，您可以访问 ICLR'23 论文 查看技术细节。跳转到指定部分：
在开始运行模型之前，请参考 这里 查看我们是怎么使用GLM-4(或者同级别的其他产品，例如GPT-4) 大模型对模型进行优化的，这很重要， 由于模型是在长提示词下训练的，一个好的提示词直接影响了视频生成的质量。
查看sat文件夹下的 sat_demo：包含了 SAT 权重的推理代码和微调代码，推荐基于此代码进行 CogVideoX 模型结构的改进，研究者使用该代码可以更好的进行快速的迭代和开发。
pip install -r requirements.txt
查看diffusers_demo：包含对推理代码更详细的解释，包括各种关键的参数。
欲了解更多关于量化推理的细节，请参考 diffusers-torchao。使用 Diffusers 和 TorchAO，量化推理也是可能的，这可以实现内存高效的推理，并且在某些情况下编译后速度有所提升。有关在 A100 和 H100 上使用各种设置的内存和时间基准测试的完整列表，已发布在 diffusers-torchao 上。
查看画廊的对应提示词，请点击这里
CogVideoX是 清影 同源的开源版本视频生成模型。 下表展示我们提供的视频生成模型相关基础信息:
| 模型名 | CogVideoX1.5-5B (最新) | CogVideoX1.5-5B-I2V (最新) | CogVideoX-2B | CogVideoX-5B | CogVideoX-5B-I2V |
|---|---|---|---|---|---|
| 发布时间 | 2024年11月8日 | 2024年11月8日 | 2024年8月6日 | 2024年8月27日 | 2024年9月19日 |
| 视频分辨率 | 1360 * 768 | Min(W, H) = 768 768 ≤ Max(W, H) ≤ 1360 Max(W, H) % 16 = 0 |
720 * 480 | ||
| 帧数 | 必须为 16N + 1 其中 N <= 10 (默认 81) | 必须为 8N + 1 其中 N <= 6 (默认 49) | |||
| 推理精度 | BF16(推荐), FP16, FP32，FP8*，INT8，不支持INT4 | FP16*(推荐), BF16, FP32，FP8*，INT8，不支持INT4 | BF16(推荐), FP16, FP32，FP8*，INT8，不支持INT4 | ||
| 单GPU显存消耗 |
SAT BF16: 76GB diffusers BF16 : 10GB起* diffusers INT8(torchao): 7G起* |
SAT FP16: 18GB diffusers FP16: 4GB起* diffusers INT8(torchao): 3.6G起* |
SAT BF16: 26GB diffusers BF16 : 5GB起* diffusers INT8(torchao): 4.4G起* |
||
| 多GPU推理显存消耗 | BF16: 24GB* using diffusers |
FP16: 10GB* using diffusers |
BF16: 15GB* using diffusers |
||
| 推理速度 (Step = 50, FP/BF16) |
单卡A100: ~1000秒(5秒视频) 单卡H100: ~550秒(5秒视频) |
单卡A100: ~90秒 单卡H100: ~45秒 |
单卡A100: ~180秒 单卡H100: ~90秒 |
||
| 提示词语言 | English* | ||||
| 提示词长度上限 | 224 Tokens | 226 Tokens | |||
| 视频长度 | 5 秒 或 10 秒 | 6 秒 | |||
| 帧率 | 16 帧 / 秒 | 8 帧 / 秒 | |||
| 位置编码 | 3d_rope_pos_embed | 3d_sincos_pos_embed | 3d_rope_pos_embed | 3d_rope_pos_embed + learnable_pos_embed | |
| 下载链接 (Diffusers) | 🤗 HuggingFace 🤖 ModelScope 🟣 WiseModel |
🤗 HuggingFace 🤖 ModelScope 🟣 WiseModel |
🤗 HuggingFace 🤖 ModelScope 🟣 WiseModel |
🤗 HuggingFace 🤖 ModelScope 🟣 WiseModel |
🤗 HuggingFace 🤖 ModelScope 🟣 WiseModel |
| 下载链接 (SAT) | 🤗 HuggingFace 🤖 ModelScope 🟣 WiseModel |
SAT | |||
数据解释
diffusers库自带的优化，该方案未测试在非NVIDIA A100 / H100
外的设备上的实际显存 / 内存占用。通常，该方案可以适配于所有 NVIDIA 安培架构
以上的设备。若关闭优化，显存占用会成倍增加，峰值显存约为表格的3倍。但速度提升3-4倍左右。你可以选择性的关闭部分优化，这些优化包括:pipe.enable_sequential_cpu_offload()
pipe.vae.enable_slicing()
pipe.vae.enable_tiling()
enable_sequential_cpu_offload() 优化。FP16 精度训练， 搜有 CogVideoX-5B 模型采用 BF16 精度训练。我们推荐使用模型训练的精度进行推理。torch.compile，这可以显著提高推理速度。在 NVIDIA H100
及以上设备上必须使用 FP8 精度，这需要源码安装 torch、torchao Python 包。建议使用 CUDA 12.4。diffusers版本模型支持量化。我们非常欢迎来自社区的贡献，并积极的贡献开源社区。以下作品已经对CogVideoX进行了适配，欢迎大家使用:
本开源仓库将带领开发者快速上手 CogVideoX 开源模型的基础调用方式、微调示例。
这里提供了三个能直接在免费的 Colab T4上 运行的项目
torch-nightly,torchao源代码安装，不建议在生产环境中使用。
本文件夹包含了一些工具，用于模型的转换 / Caption 等工作。
diffusers
版本模型。支持更多分辨率，单卡4090即可微调 CogVideoX-5B 。CogVideo: Large-scale Pretraining for Text-to-Video Generation via Transformers 的官方repo位于CogVideo branch。
CogVideo可以生成高帧率视频，下面展示了一个32帧的4秒视频。
CogVideo的demo网站在https://models.aminer.cn/cogvideo。您可以在这里体验文本到视频生成。 原始输入为中文。
🌟 如果您发现我们的工作有所帮助，欢迎引用我们的文章，留下宝贵的stars
@article{yang2024cogvideox,
title={CogVideoX: Text-to-Video Diffusion Models with An Expert Transformer},
author={Yang, Zhuoyi and Teng, Jiayan and Zheng, Wendi and Ding, Ming and Huang, Shiyu and Xu, Jiazheng and Yang, Yuanming and Hong, Wenyi and Zhang, Xiaohan and Feng, Guanyu and others},
journal={arXiv preprint arXiv:2408.06072},
year={2024}
}
@article{hong2022cogvideo,
title={CogVideo: Large-scale Pretraining for Text-to-Video Generation via Transformers},
author={Hong, Wenyi and Ding, Ming and Zheng, Wendi and Liu, Xinghan and Tang, Jie},
journal={arXiv preprint arXiv:2205.15868},
year={2022}
}
本仓库代码使用 Apache 2.0 协议 发布。
CogVideoX-2B 模型 (包括其对应的Transformers模块，VAE模块) 根据 Apache 2.0 协议 许可证发布。
CogVideoX-5B 模型 (Transformers 模块，包括图生视频，文生视频版本) 根据 CogVideoX LICENSE 许可证发布。