Aibee飞书用户2310
Paper Reading - Sora技术报告
输入“/”快速插入内容
Paper Reading - Sora技术报告
Paper Reading - Sora技术报告
飞书用户23102024年3月6日修改
1.
Overview
优点：一个在可变持续时间、分辨率和宽高比的视频和图像上联合训练文本条件扩散模型。
实现：We leverage a transformer architecture that operates on spacetime patches of video and image latent codes 我们利用一个 transformer 架构，该架构对视频和图像潜在编码的时空块进行操作。
意义：Our results suggest that scaling video generation models is a promising path towards building general purpose simulators of the physical world. 我们的结果表明，扩展视频生成模型是构建物理世界通用模拟器的一条有前途的途径。
2.
Sora 概览
本技术报告重点关注:
（1）我们将所有类型的视觉数据转化为统一表示的方法，从而能够大规模训练生成模型
（2）对 Sora 的能力和局限性进行定性评估。本报告不包含模型和实施细节
亮点：先前的工作通常关注一小类视觉数据、较短的视频或固定大小的视频，Sora 是视觉数据的通用模型，它可以生成不同时长、长宽比和分辨率的视频和图像，最多可达一分钟的高清视频。
3.
Turning visual data into patches 将视觉数据转化为补丁
灵感来自自然语言处理领域的token，LLM 范式的成功部分归功于token的使用，这些token优雅地统一了文本代码、数学和各种自然语言的不同模式。
文本用token，视频用patch. 我们发现patch是一种高度可扩展且有效的表示形式，可用于在不同类型的视频和图像上训练生成模型.
At a high level，我们首先将视频压缩到低维潜在空间，然后将representation分解为时空patches，从而将视频转换为patches.
4.
Video compression network 视频压缩网络
我们训练了一个降低视觉数据维度的网络VAE(Auto-Encoding Variational Bayes)。该网络将原始视频作为输入，并输出在时间和空间上压缩的潜在表示。 Sora 在这个压缩的潜在空间中接受训练并随后生成视频。我们还训练了相应的解码器模型，将生成的latents映射回像素空间。
5.
Spacetime latent patches 时空潜在斑块
给定一个压缩的输入视频，我们提取一系列时空patch，充当transformer token。该方案也适用于图像，因为图像只是具有单帧的视频。我们基于patch的表示使 Sora 能够对不同分辨率、持续时间和长宽比的视频和图像进行训练。在推理时，我们可以通过在适当大小的网格中排列随机初始化的patch来控制生成视频的大小。
6.
Scaling transformers for video generation用于视频生成的缩放变压器
Sora是一个扩散模型；给定输入噪声patch（以及文本提示等调节信息），它被训练来预测原始的“干净”patch。
在这项工作中，我们发现diffusion transformers也可以有效地缩放为视频模型。下面，我们展示了训练过程中具有固定种子和输入的视频样本的比较。随着训练计算的增加，样本质量显著提高。(Sample quality improves markedly as training compute increases.)
7.
Variable durations, resolutions, aspect ratios可变的持续时间、分辨率、宽高比
过去的图像和视频生成方法通常会将视频调整大小、裁剪或修剪为标准尺寸，例如 256x256 分辨率的 4 秒视频。我们发现，对原始大小的数据进行训练有几个好处。
7.1
Sampling flexibility 采样灵活性
Sora 可以采样宽屏 1920x1080p 视频、垂直 1080x1920 视频以及介于两者之间的所有视频。这使得 Sora 可以直接以其原生宽高比为不同设备创建内容。它还使我们能够在以全分辨率生成之前快速以较低尺寸制作原型内容 - 所有这些都使用相同的模型。
7.2
Improved framing and composition改进的框架和构图
我们根据经验发现，以原始长宽比对视频进行训练可以改善构图和取景。我们将 Sora 与将所有训练视频裁剪为正方形的模型版本进行比较，这是训练生成模型时的常见做法。在方形裁剪（左）上训练的模型有时会生成仅部分可见主体的视频。相比之下，Sora（右）的视频的取景效果有所改善。