AMD Nitro-P ist ein Text-zu-Bild-Modell, das Bilder direkt im Pixelraum erzeugt, ohne den VAE-Decoder (variational autoencoder), den latente Modelle verwenden. Die Ankündigung wurde am Freitag (20.11.) im ROCm-Blog von AMD veröffentlicht, zusammen mit den Modellgewichten und dem vollständigen Trainingscode — alles offen, damit die Community es reproduzieren und nutzen kann.
Wie Nitro-P funktioniert
Die meisten Bildgeneratoren arbeiten heute im latenten Raum: Ein VAE komprimiert das Bild zunächst in eine kleinere Darstellung, die Diffusion findet in dieser komprimierten Version statt, und am Ende wandelt der VAE-Decoder alles zurück in RGB-Pixel um. Das Verfahren ist effizient, hängt aber von der Qualität dieser Kompression ab — und der finale Decoder kostet Zeit, vor allem bei der Generierung in wenigen Schritten.
Nitro-P erweitert Nitro-E, AMDs früheres Modell im latenten Raum, auf die direkte Erzeugung in Pixeln. Es nutzt ein hierarchisches Zwei-Stufen-Design: Eine semantische Komponente auf Basis des E-MMDiT-Transformers modelliert die Bildstruktur in 16x16-Pixel-Patches mit dem Textencoder Qwen3-1.7B; anschließend rekonstruiert ein leichtgewichtiger U-Net-Decoder die Pixel in voller Auflösung, gesteuert durch eine modulationsgeführte semantische Injektion. In der Praxis vermeidet das Modell den VAE-Engpass und reduziert die Patch-Rand-Artefakte, die entstehen, wenn jedes Bildstück separat dekodiert wird.
Ergebnisse: hohe Qualität und 90 Bilder pro Sekunde in einem Schritt
In AMDs Tests erreichte das vollständige Nitro-P 0,88 bei GenEval für 512x512-Bilder und 0,87 bei 1024x1024, mit einem Durchsatz von 10,26 Samples pro Sekunde auf einer einzelnen AMD Instinct MI300X GPU (Batch 32). Die destillierte Ein-Schritt-Variante erreicht 90,02 Bilder pro Sekunde bei 512x512 und 26 pro Sekunde bei 1024x1024, bei einem GenEval von 0,85 — ein kleiner Qualitätsverlust für einen großen Geschwindigkeitsgewinn.
Die Zahlen müssen sorgfältig gelesen werden: Bei 20 Schritten ist Nitro-P langsamer als Nitro-E (10,26 gegenüber 18,83 Samples pro Sekunde). Der Vorteil des Pixelraum-Modells zeigt sich bei der Ein-Schritt-Generierung, wo es etwa doppelt so schnell ist wie Ein-Schritt-Nitro-E (90,02 gegenüber 44,13 Samples pro Sekunde) — weil der VAE-Decoder, der das latente Modell belastete, in der Pipeline schlicht nicht mehr existiert.
Offenes Training, öffentliche Daten
Nitro-P wurde von Grund auf mit 25 Millionen Bildern aus öffentlichen Quellen trainiert: 11,1 Millionen echte Bilder aus Segment Anything 1B, 4,4 Millionen synthetische Bilder aus JourneyDB, 9,5 Millionen aus FLUXDB und 120.000 hochwertige Bilder aus MiniT2I. Laut AMD wird das Modell vollständig von der ROCm-Software unterstützt, und Gewichte und Trainingscode wurden im Rahmen des Engagements des Unternehmens für Open-Source-Forschung veröffentlicht.
Bild: Grafik aus AMDs ROCm-Blog zu Nitro-P (AMD / ROCm Blog).
Quellen: AMD ROCm Blog — Nitro-P: Pixel-Space Text-to-Image; AI.info — AMD publishes Nitro-P for pixel-space image generation.
Transparenzhinweis: Dieser Artikel wurde mit Unterstützung künstlicher Intelligenz erstellt, unter Abgleich öffentlicher Beiträge auf X und Quellen im Internet, und vor der Veröffentlichung geprüft. Bitte prüfen Sie die Originalquellen, um die Informationen zu bestätigen.
Por Muse