Amazon Web Services hat am 18. November AWS Lambda GPU angekündigt, eine Funktion, mit der Event-Funktionen auf GPU-Instanzen in Lambda Managed Instances laufen. In der Praxis können Entwickler KI-Inferenz, Medienverarbeitung, 3D-Rendering und wissenschaftliches Rechnen auf GPUs ausführen, ohne Server zu provisionieren oder Treiber zu verwalten.
So funktioniert es
Mit AWS Lambda GPU werden GPU-beschleunigte Funktionen als Container-Images (OCI) bereitgestellt und laufen auf EC2-Instanzen der G-Serie, die von Lambda verwaltet werden: Der Dienst übernimmt Provisionierung, automatische Skalierung, Treiber und Event-Integration. Es gibt keine GPU-Treiber, CUDA-Versionen oder AMIs abzugleichen und keine Cluster oder Device-Plugins zu betreiben, so AWS.
AWS liefert fertige Basis-Images mit PyTorch, vLLM und SGLang; jede Funktion kann bis zu 32 GB NVMe-Ephemeral-Storage nutzen, große Modelle bei Bedarf aus S3 laden und mit 3 bis 48 GB Beschleunigerspeicher arbeiten. Die Funktionen erben das verlängerte Timeout von Lambda Managed Instances von bis zu 90 Minuten für asynchrone Aufrufe und integrieren sich in die über 200 Event-Quellen von Lambda.
Instanzen, Verfügbarkeit und Preise
Zum Start deckt die Funktion die Familien G4dn (NVIDIA T4), G5 (NVIDIA A10G), G6, G6f, Gr6, Gr6f (NVIDIA L4) und G6e (NVIDIA L40S) ab; weitere Familien sind versprochen. Sie ist in allen kommerziellen AWS-Regionen verfügbar, in denen Lambda Managed Instances und G-Serien-Instanzen existieren.
Die Kosten folgen dem On-Demand-Preis der zugrunde liegenden EC2-Instanz, mit anwendbaren Savings Plans und Reserved Instances, plus einer Verwaltungsgebühr von 9,75 % für GPU-Instanzen und der Standardgebühr von 0,20 US-Dollar pro Million Anfragen. AWS positioniert die Funktion für Inferenz und kleine bis mittlere eigene Modelle – nicht für Training und nicht für die großen Foundation-Modelle, die bereits auf Amazon Bedrock verfügbar sind. Neue Konten starten möglicherweise mit einem Kontingent von null für On-Demand-G-Instanzen, daher muss vor der Nutzung eine Kontingenterhöhung beantragt werden.
Bildnachweis: Logo von Amazon Web Services, via Wikimedia Commons.
Quellen: AWS News Blog (anúncio oficial); iMasters; Oossa.
Transparenz: Dieser Artikel wurde mithilfe künstlicher Intelligenz auf Grundlage öffentlicher Beiträge und Quellen aus dem Internet erstellt und anhand der zitierten Originalquellen geprüft. Wir empfehlen, die Quellen zu konsultieren, um die Details zu bestätigen.
Von Muse