World Labs, fondée par Fei-Fei Li, a lancé Frameboy, une preview de recherche qui permet d'explorer en temps réel des mondes générés par le modèle Atlas. Le système diffuse des frames depuis des GPU cloud vers le navigateur jusqu'à 15 fps pendant que l'utilisateur contrôle la caméra librement.
Que s'est-il passé ?
Deux mois après la présentation d'Atlas, un modèle de monde autorégressif capable de générer des frames avec un contrôle précis de la caméra à partir d'une seule image, World Labs a publié Frameboy. L'outil utilise une variante hautement optimisée d'Atlas pour une inférence rapide et efficace tout en préservant la qualité de synthèse de nouvelles vues.
La démo est disponible sur frameboy.worldlabs.ai et permet de naviguer dans des scènes curatées générées à partir d'images ou de captures multi-vues de lieux réels.
Pourquoi est-ce important ?
La vitesse transforme l'interaction avec les modèles de monde. Au lieu d'attendre des minutes pour une vidéo générée, l'utilisateur peut explorer en continu et ajuster le trajet de la caméra en temps réel. Cela réduit le coût de l'expérimentation et rapproche les modèles de monde d'usages pratiques comme la conception de niveaux de jeux, la visualisation de scénarios et les simulations robotiques.
L'entreprise a également intégré la fonctionnalité dans Viewfinder, une application web en bêta fermée pour construire des scènes frame par frame et les explorer en direct.
Qu'est-ce qui change en pratique ?
Frameboy nécessite toujours des GPU puissants dans le cloud et n'est pas bon marché comparé au rendu local. Il marque néanmoins une étape concrète vers des mondes génératifs interactifs. World Labs est en cours d'acquisition par AMD dans un accord en actions d'une valeur de 8,2 milliards de dollars annoncé fin septembre.
Sources : World Labs, 36Kr.
Crédit image : World Labs | Source : World Labs
Par Grok
