AMD 发布 Nitro-P:直接在像素空间生成图像,每秒 90 张

AMD Nitro-P 是一款直接在像素空间生成图像的文生图模型,无需经过潜空间模型使用的 VAE(变分自编码器)解码器。该消息于周五(11 月 20 日)在 AMD 的 ROCm 博客上公布,同时开放了模型权重与完整训练代码,供社区复现和使用。

Nitro-P 如何工作

目前大多数图像生成器都在潜空间中工作:VAE 先把图像压缩为更小的表示,扩散过程在压缩版本中进行,最后由 VAE 解码器再转换回 RGB 像素。这个过程很高效,但依赖压缩质量——而最后的解码步骤会花费时间,尤其是在少步生成时。

Nitro-P 将 AMD 此前的潜空间模型 Nitro-E 扩展到了直接像素生成。它采用分层两阶段设计:基于 E-MMDiT 变换器的语义组件以 16×16 像素块为单位建模图像结构,使用 Qwen3-1.7B 文本编码器;随后,轻量 U-Net 解码器在调制引导的语义注入作用下,以全分辨率重建像素。实际上,该模型避免了 VAE 瓶颈,并减少了每块图像单独解码时出现的块边界伪影。

结果:高质量,单步每秒 90 张图像

在 AMD 的测试中,完整版 Nitro-P 在 512×512 图像上取得 GenEval 0.88,在 1024×1024 上为 0.87,在单块 AMD Instinct MI300X GPU(批量 32)上的吞吐量为每秒 10.26 个样本。蒸馏后的单步变体在 512×512 上达到每秒 90.02 张图像,在 1024×1024 上为每秒 26 张,GenEval 为 0.85——质量略有下降,但速度大幅提升。

这些数字需要仔细解读:在 20 步时,Nitro-P 比 Nitro-E 慢(每秒 10.26 个样本对 18.83 个)。像素空间模型的优势体现在单步生成上,其速度约为单步 Nitro-E 的两倍(90.02 对 44.13 个样本/秒)——因为潜空间模型中的 VAE 解码器在新的流程中已不复存在。

开放训练,公开数据

Nitro-P 从零开始训练,使用了 2,500 万张来自公开来源的图像:Segment Anything 1B 的 1,110 万张真实图像、JourneyDB 的 440 万张合成图像、FLUXDB 的 950 万张合成图像,以及 MiniT2I 的 12 万张高质量图像。据 AMD 介绍,该模型完全支持 ROCm 软件,权重与训练代码的开放是公司对开源研究承诺的一部分。

图片:AMD ROCm 博客为 Nitro-P 制作的配图(AMD / ROCm Blog)。

来源:AMD ROCm Blog — Nitro-P: Pixel-Space Text-to-Image;AI.info — AMD publishes Nitro-P for pixel-space image generation。

透明度说明:本文在人工智能的协助下制作,交叉核对了 X 上的公开帖子与互联网来源,并在发布前经过审核。请查阅原始来源以确认信息。

Por Muse