Framepack AI 概述
Framepack AI 是斯坦福大学研究人员开发的一种突破性神经网络结构，它彻底改变了视频生成模型处理长篇内容的方式。
Framepack AI 的核心在于解决了长期困扰视频生成系统的根本性“遗忘-漂移困境”。通过实施一种创新的压缩技术，该技术根据帧的重要性对其进行优先排序，Framepack AI 无论视频时长如何，都能保持固定的 Transformer 上下文长度。
这一成就使得人工智能系统能够在不增加计算需求的情况下处理显著更多的帧，从而使长视频生成不仅成为可能，而且变得实用且高效。
Framepack AI 关键创新
固定上下文长度
无论输入视频长度如何，都能保持恒定的计算瓶颈，从而实现对更长视频的高效处理
渐进式压缩
对不重要的帧应用更高的压缩率，在保留关键视觉信息的同时优化内存使用。
抗漂移采样
新颖的采样方法，通过双向上下文生成帧，以防止随时间推移的质量下降
兼容架构
通过微调而非从头开始重新训练，与现有的预训练视频扩散模型协同工作
均衡扩散
支持更均衡的扩散调度器，具有不那么极端的流偏移时间步长，以提高视觉质量
更高的批量大小
使得训练时的批次大小可与图像扩散模型媲美，显著加快了训练过程
AI视频生成中的遗忘-漂移困境
Framepack AI 解决的两大核心挑战
遗忘
随着模型难以记住早期内容并保持一致的时间依赖性，记忆会逐渐衰退。
漂移
由于误差随时间累积导致的视觉质量迭代下降（也称为曝光偏差）。
悖论
通过增强记忆来减轻遗忘的方法可能会加速错误累积，而通过中断错误传播来减少漂移的方法可能会加剧遗忘。
为何这很重要
视频生成模型在创建更长、并在整个时长内保持一致性和质量的视频方面一直面临挑战。这一限制阻碍了人工智能生成视频的实际应用。
当模型尝试生成更长的视频时，它们通常会：
- 忘记早期帧的细节，导致角色、场景或动作不一致
- 随时间推移累积并加剧的误差，导致视觉质量下降和伪影出现
FramePack 的创新方法同时解决了这两个问题，为人工智能生成内容创作开辟了新的可能性。
Framepack AI 的工作原理
渐进式帧压缩
Framepack AI 的核心创新是一种压缩技术，该技术根据输入帧对预测任务的重要性对其进行差异化处理。
Framepack AI 利用一个对不重要帧应用渐进式压缩的长度函数，确保总上下文长度收敛到一个固定的上限，从而使计算不受输入视频长度的影响。
其中 L 是总上下文长度，S 是要预测的帧数，Lf 是每帧上下文长度，λ 是压缩参数，T 是输入帧数。
典型的几何级数，相对压缩率为：1, 1/2, 1/4, 1/8, 1/16...
重复层级的进展：1、1/4、1/4、1/4、1/16、1/16...
使用时间核（单个张量中包含多个帧）的进展
抗漂移采样方法
FramePack引入了创新的采样方法，以不同的时间顺序生成帧，从而防止质量下降。
朴素采样
按时间顺序迭代预测未来帧，但随着时间推移误差累积，会出现漂移现象。
抗漂移采样
首先生成开头和结尾部分，然后填充这些锚点之间的空白，防止漂移。
反漂移倒置
以逆序生成帧，特别适用于图像到视频生成，因为它使用高质量的用户输入作为参考。
Framepack AI 性能结果
Framepack AI 与替代架构
FramePack 与替代架构在关键指标上的性能比较
关键发现
在7项指标中，倒置抗漂移采样方法在其中5项取得了最佳结果，显著优于其他方法。
根据人类评估得分较高的情况来看，每部分生成 9 帧比生成 1 帧或 4 帧能够带来更好的感知效果。
与替代架构相比，FramePack 在所有指标上都表现出较低的漂移误差。
该方法与现有的视频扩散模型（如 HunyuanVideo 和 Wan）兼容，可通过微调实现。
训练效率
批量大小比较
传统视频扩散模型：约16个样本/批次
FramePack：约 64 个样本/批次
13B 模型 (480p) 的训练时间
| 方法 | 时间（小时） |
|---|---|
| 传统 | ~240 |
| FramePack | ~48 |
Framepack AI 的实际应用
扩展视频生成
在不引起计算爆炸或质量下降的情况下，创建更长、更高质量的视频。
- 短视频到长视频内容扩展
- 一致的多分钟叙事
- 内存高效处理
图像到视频转换
将静止图像转化为具有自然运动的流畅、一致的视频序列。
- 保留身份的照片动画
- 增强的上下文理解
- 无缝时间过渡
文本到视频生成
根据文本提示生成具有增强一致性和时间连贯性的视频。
- 多场景叙事
- 详细的提示词解读
- 降低视觉退化
Framepack AI 示例
图像到5秒视频示例
图像到 60 秒视频示例
Framepack AI 常见问题解答
FramePack与其他视频生成方法有何不同？
FramePack 通过渐进式帧压缩解决了遗忘-漂移困境，无论视频时长如何，都能保持固定的 Transformer 上下文长度，从而脱颖而出。与其他优先考虑内存或误差减少的方法不同，FramePack 在同时解决这两个问题的同时，计算需求与图像扩散模型相似。
FramePack能否与我现有的视频生成流程集成？
是的，FramePack 旨在与现有的预训练视频扩散模型兼容。研究表明，通过微调，FramePack 可以成功地与混元视频（HunyuanVideo）和万（Wan）等模型集成，而无需进行彻底的架构改造。
实现 FramePack 需要哪些硬件要求？
FramePack 实现了显著的效率，在单个 8×A100-80G 节点上，使用 13B 参数模型，以 480p 分辨率实现了 64 的批处理大小。这种效率使其适用于研究级硬件，并在适当优化后，也可能适用于商业应用。
FramePack 如何处理不同的视频分辨率和宽高比？
FramePack支持带有长宽比分桶的多分辨率训练。论文提到使用32像素作为最小单位尺寸，并在480p下采用多种分辨率分桶，从而灵活处理不同的长宽比和分辨率。
FramePack 是否适用于实时应用？
尽管 FramePack 的主要关注点在于高质量视频生成而非实时性能，但其计算效率为进一步优化后实现潜在的实时应用展现了前景。无论视频时长如何，固定的上下文长度对于流媒体或交互式场景尤其有利。
Framepack AI 技术资源
Framepack AI 文档与代码
模型架构
FramePack Architecture (Example Config): - Base Model: HunyuanVideo (13B Parameters) - Resolution: 480p (Multiple aspect ratios) - Compression Parameter (λ): 2 - Context Length Convergence: 2 * Lf - Patchify Kernel Sequence: * (1, 2, 2) for most recent frame * (1, 4, 2) for second frame * (1, 4, 4) for third frame * (1, 8, 4) for fourth frame * (1, 8, 8) for older frames - Independent Parameters: True - Sampling Method: Inverted Anti-Drifting
模型变体
| 变体 | 参数 | 上下文长度 |
|---|---|---|
| Base | 13B | 3,120 |
| Lite | 7B | 2,080 |
| Extended | 20B | 3,900 |
硬件要求
- 训练： 8块 A100-80GB GPU（推荐）
- 推理： 单张 A100-80GB 或 2× RTX 4090
- 内存使用： 生成480p视频约需40GB。