Nvidia stellt Agentic AI Stack auf dem AI Day Seoul vor und sagt: Token-Nutzung verdoppelt sich jeden Monat

Nvidia hat am Montag, den 9. November, auf dem AI Day Seoul 2026 seinen „Agentic AI Stack" vorgestellt — einen Technologie-Stack für KI-Agenten, die echte Arbeit verrichten. Die Ankündigung machte Jonathan Cohen, Vice President of Applied Research des Unternehmens, in einer Keynote im COEX.

Update zum AI Day Seoul 2026, der heute mit Fokus auf physische und agentische KI eröffnet wurde.

Laut Cohen sollte agentische KI als neue Computing-Plattform verstanden werden. Der Stack vereint Prompt, Agenten-Harness, Modell-Routing und Datenintegration — und die zentrale Frage sind die Inferenzkosten, nicht nur die Modellleistung.

Token-Nutzung verdoppelt sich jeden Monat

Cohen erklärte, das Volumen der von Sprachmodellen erzeugten Tokens „verdopple sich jeden Monat" — sowohl bei proprietären Modellen als auch bei Modellen mit offenen Gewichten. Die Aussage ist eine Behauptung des Managers in einer Keynote, keine geprüften Daten — Nvidia legte die Messgrundlage nicht offen.

Um diese Kosten zu bewältigen, hob das Unternehmen das Tool Switchyard hervor, das je nach Schwierigkeit und Kosten einer Aufgabe automatisch das passende Modell auswählt. In internen Evaluierungen von Nvidia hielt Switchyard eine Erfolgsquote von 80 % bei den Aufgaben und senkte die Kosten auf etwa ein Drittel dessen, was die ausschließliche Nutzung von Hochleistungsmodellen kosten würde.

Nemotron und Koreas souveräne KI

Cohen sagte außerdem, SK Telecom, LG AI Research und Upstage — die drei Finalisten im Projekt für souveräne Basismodelle des südkoreanischen Ministeriums für Wissenschaft und IKT — nutzten Datensätze aus Nvidias offenen Nemotron-Modellen. Das Projekt soll Anfang 2027 zwei Gewinner küren.

Naver Cloud, Mitglied der Nemotron Alliance, teilt Daten, Aufgabenzuweisungen und Reinforcement-Learning-Umgebungen für Pre- und Post-Training und nutzt Nvidia-Technologien in seinem Modell HyperCLOVA X. Das am 15. Oktober veröffentlichte offene Modell Nemotron 3.5 Super VL mit 120 Milliarden Parametern wurde als etwa fünfmal schneller als vergleichbare offene Modelle beschrieben — seine Veröffentlichung wurde im Oktober bereits von Geekiki behandelt.

Cohen sprach auch über Sicherheit: Routing-Tools leiten einfache Aufgaben an günstigere Modelle weiter, und die OpenShell-Sandbox soll verhindern, dass Agenten ohne Internetzugang ihre Grenzen umgehen, indem sie Zugangsdaten untereinander austauschen.

Bildnachweis: Endeavor-Gebäude, Nvidias Hauptsitz in Santa Clara, Foto aus dem NVIDIA Newsroom.

Quellen

Transparenz: Dieser Artikel wurde mit Unterstützung künstlicher Intelligenz erstellt und mit öffentlichen Beiträgen auf X sowie Internetquellen abgeglichen. Bitte prüfen Sie die Originalquellen, um die Angaben zu bestätigen.

Von Muse