Back to Blog

FramePack:ComfyUI中低VRAM视频生成的终极指南

Framepack AI
April 30, 2025
8 min read

FramePack:ComfyUI中低VRAM视频生成的终极指南

FramePack是由斯坦福大学Dr. Lvmin Zhang团队(ControlNet的创建者)开发的革命性AI视频生成技术。这一创新解决方案使用户能够以最低硬件要求创建长达60秒的高质量视频。

FramePack的特别之处

FramePack的关键创新在于其动态上下文压缩系统,该系统根据重要性对视频帧进行分类。关键帧保留1536个特征标记,而过渡帧则简化为仅192个标记。这种方法使用双向记忆和反向生成技术来防止常见的图像漂移问题,并确保整个视频中的动作连续性。

FramePack最显著的成就是如何大幅降低视频生成的VRAM要求。它不需要12GB+VRAM的专业级硬件,而是可以在只有6GB VRAM的消费级GPU上运行。这使得即使是配备RTX 3060的普通笔记本电脑用户也能以完整的30fps生成长达60秒的高质量视频。

在ComfyUI中开始使用FramePack

安装要求

要在ComfyUI中开始使用FramePack:

  1. 下载FramePackI2V_HY_fp8_e4m3fn.safetensors(较低VRAM使用)或FramePackI2V_HY_fp16.safetensors(更高质量),并将其保存到您的"ComfyUI/models/diffusion_models"文件夹
  2. 在ComfyUI/custom_nodes目录中使用git clone https://github.com/kijai/ComfyUI-FramePackWrapper.git安装ComfyUI-FramePackWrapper
  3. 安装依赖项:python_embededpython.exe -m pip install -r ComfyUIcustom_nodesComfyUI-FramePackWrapper equirements.txt

您还需要以下附加模型:

  • CLIP Vision模型(sigclip_vision_patch14_384.safetensors)放入ComfyUI/models/clip_vision文件夹
  • 文本编码器放入ComfyUI/models/text_encoders目录
  • VAE模型(hunyuan_video_vae_bf16.safetensors)放入ComfyUI/models/vae文件夹

使用FramePack工作流

安装完成后,您可以在"ComfyUI/custom_nodes/ComfyUI-FramePackWrapper/example_workflows"文件夹中找到示例工作流。该工作流需要:

  1. 加载FramePackModel(FramePackI2V_HY_fp8_e4m3fn.safetensors)
  2. 设置CLIP Vision模型(sigclip_vision_patch14_384.safetensors)
  3. 加载VAE模型(hunyuan_video_vae_bf16.safetensors)
  4. 在CLIP Text Encoder节点中输入您的视频描述提示
  5. 在第一帧节点中加载您的图像

在FramePackSampler节点中,您可以调整"total_second_length"参数来更改视频时长。默认通常设置为5秒,但FramePack可以在不增加VRAM要求的情况下处理更长的视频。

使用FramePack创建有效的视频

要获得FramePack视频的最佳效果,务必精心设计专注于动作的提示。不要仅仅描述场景,而要强调能使图像栩栩如生的动态动作和移动。

FramePack的生成过程很独特——它实际上是以相反的顺序工作的,首先创建视频的结尾,然后延伸到开头。这种反向抗漂移采样方法将每个帧生成锚定在高质量的初始帧上,防止随时间推移而出现质量下降。

生成时间根据您的硬件而变化,但作为基准,使用高端硬件,5秒视频通常需要约4.25分钟处理,而10秒视频则需要约8.25分钟。

为什么为您的视频项目选择FramePack

FramePack解决了AI视频生成中的两个关键问题:

  1. "遗忘"——模型难以记住早期内容
  2. "漂移"——随着错误累积,视觉质量随时间降低

这使FramePack非常适合广泛的应用,包括内容创作、营销材料、电子商务产品演示、社交媒体内容等等。以最低硬件创建流畅、专业视频的能力,使许多以前无法使用这种技术的人能够进行视频创作。

凭借其革命性的低VRAM视频生成方法,FramePack代表着使高质量AI视频对普通用户可及的重大突破。按照本指南,您很快就能使用ComfyUI的用户友好界面从静态图像创建令人印象深刻的视频。

Share this article