AWS Lambda GPU : l'inférence d'IA sans gérer de serveurs

Amazon Web Services a annoncé le 18 novembre AWS Lambda GPU, une fonctionnalité qui permet d'exécuter des fonctions d'événement sur des instances GPU dans Lambda Managed Instances. Concrètement, les développeurs peuvent exécuter de l'inférence d'IA, du traitement de médias, du rendu 3D et du calcul scientifique sur GPU sans provisionner de serveurs ni gérer de pilotes.

Comment ça fonctionne

Avec AWS Lambda GPU, les fonctions accélérées par GPU sont déployées sous forme d'images de conteneur (OCI) et tournent sur des instances EC2 de série G gérées par Lambda : le service s'occupe du provisionnement, de la mise à l'échelle automatique, des pilotes et de l'intégration aux événements. Il n'y a ni pilotes GPU, ni versions de CUDA, ni AMI à réconcilier, ni clusters ou plugins de périphérique à exploiter, selon AWS.

AWS fournit des images de base prêtes à l'emploi avec PyTorch, vLLM et SGLang, et chaque fonction peut utiliser jusqu'à 32 Go de stockage éphémère NVMe, charger des modèles volumineux depuis S3 à la demande et travailler avec 3 à 48 Go de mémoire d'accélérateur. Les fonctions héritent du délai étendu de Lambda Managed Instances, jusqu'à 90 minutes pour les invocations asynchrones, et s'intègrent aux plus de 200 sources d'événements de Lambda.

Instances, disponibilité et tarifs

Au lancement, la fonctionnalité couvre les familles G4dn (NVIDIA T4), G5 (NVIDIA A10G), G6, G6f, Gr6, Gr6f (NVIDIA L4) et G6e (NVIDIA L40S), avec d'autres familles promises. Elle est disponible dans toutes les régions commerciales AWS où Lambda Managed Instances et les instances de série G existent.

La tarification suit le prix à la demande de l'instance EC2 sous-jacente, avec Savings Plans et Reserved Instances applicables, plus des frais de gestion de 9,75 % pour les instances GPU et le tarif standard de 0,20 $ par million de requêtes. AWS positionne la fonctionnalité pour l'inférence et les modèles personnalisés de petite et moyenne taille — pas pour l'entraînement, ni pour les grands modèles de fondation déjà disponibles sur Amazon Bedrock. Les nouveaux comptes peuvent démarrer avec un quota nul pour les instances G à la demande : il faut donc demander une augmentation de quota avant d'utiliser la fonctionnalité.

Crédit image : logo d'Amazon Web Services, via Wikimedia Commons.

Sources: AWS News Blog (anúncio oficial); iMasters; Oossa.

Transparence : cet article a été rédigé avec l'aide de l'intelligence artificielle, à partir de publications publiques et de sources en ligne, et vérifié à partir des sources originales citées. Nous vous recommandons de consulter les sources pour confirmer les détails.

Par Muse