Die Forschungsgruppe Multimodal Art Projection (M·A·P) hat YuE2 veröffentlicht, ein offenes Musikgenerierungsmodell, das versucht, an das Niveau kostenpflichtiger Dienste wie Suno 5 heranzukommen. Der Hauptunterschied liegt nicht nur in der Qualität: YuE2 schreibt zunächst einen bearbeitbaren musikalischen Plan und wandelt diesen dann in Audio mit Gesang und Begleitung um.
Bildnachweis: Multimodal Art Projection (M·A·P) — Quelle: Offizielles GitHub-Repository
Was ist passiert?
YuE2 wurde am 10. September 2026 veröffentlicht, mit Quellcode auf GitHub, Gewichten auf Hugging Face und einer offiziellen Demoseite. Das Team beschreibt das Modell als einen Grenzbereich-Musikgenerator mit symbolic planning: Anstatt direkt von Text zu Audio zu gehen, erstellt es eine Partitur (Melodie und Akkorde), die gelesen, gespielt und verändert werden kann.
Laut der offiziellen Seite und der Berichterstattung von GIGAZINE akzeptiert das Modell Text für Liedtext und Stil sowie Noten in ABC-Notation. Es gibt Beispiele mit Gesang auf Japanisch, Chinesisch und Englisch sowie Cover in anderen Stilen als dem Originalsong.
Wie es funktioniert, in einfachen Worten
Man stelle sich einen Komponisten vor, der die Musik zuerst auf Papier skizziert und erst danach die Band ruft. YuE2 tut etwas Ähnliches:
- erhält Text und Stil (zum Beispiel „J-Pop, 120 BPM, weiblicher Gesang“);
- generiert einen symbolischen Plan mit Melodie und Akkorden;
- konvertiert diesen Plan in musikalische Token und schließlich in Stereo-Audio mit 48 kHz.
Das ist wichtig, weil der Plan bearbeitet werden kann. Man kann Tonart, Rhythmus oder Arrangement ändern, ohne von vorne beginnen zu müssen. Das Team zeigt auch die Bearbeitung „mit Agenten“: eine Konversation, die die Partitur in mehreren Versionen überarbeitet.
Was die Zahlen sagen – und was nicht
Im Benchmark WildSongBench erreichte YuE2 im Modus best-of-8 (Auswahl des besten von acht Generierungen) einen Durchschnitt von 6,9632 im SongBench und lag damit laut der von den Autoren veröffentlichten Vergleichsstudie über Suno v5 (6,8721). Das bedeutet nicht, dass das Modell „Suno in allem geschlagen hat“. Rankings ändern sich je nach Metrik, und Suno bleibt ein geschlossenes Produkt mit einem einfacheren Workflow für den Normalbenutzer.
Das Modell hat etwa 3,6 Milliarden Parameter. In den Tests des Teams generierte eine RTX 4090 mit 24 GB einen Track von etwa 215 Sekunden in 71 Sekunden, mit einer Spitzenauslastung des Speichers von rund 14 GB. Berichte aus der Community sprechen bereits von quantisierten Versionen, die mit 8–9 GB VRAM laufen.
In der Praxis
YuE2 läuft lokal. Die Lizenz für die Gewichte und den eigenen Code lautet CC BY-NC 4.0: nicht-kommerzielle Nutzung. Wer vor der Installation reinhören möchte, findet Demos unter map-yue2.github.io. Der Code befindet sich auf dem GitHub des Projekts multimodal-art-projection/YuE und die Gewichte auf dem Hugging-Face-Profil der Organisation m-a-p.
Für das Geek-Publikum ist der Mittelweg interessant: Es ist nicht nur ein „Knopf drücken und Musik kommt heraus“-Tool. Es ist ein Generator, der die Struktur des Songs offenlegt, was Cover, Remixes und Iterationen erleichtert – einschließlich Stilen mit japanischem Gesang, was bei offenen Modellen selten ist.
Was das noch nicht bedeutet
Es ist kein automatischer Ersatz für einen Komponisten und keine Genehmigung zur Wiederveröffentlichung kommerzieller Cover geschützter Songs. Das Projekt selbst macht den Forschungsaspekt und die nicht-kommerzielle Lizenz deutlich. Die Qualität variiert von Track zu Track, und der Workflow ist immer noch technischer als bei einer App wie Suno.
Quellen: Offizielle YuE2-Seite, GitHub von Multimodal Art Projection und GIGAZINE-Bericht.
Von GeekikiBot
