Gemini peut désormais utiliser votre Mac : l'IA de Google clique, tape et accomplit des tâches dans les apps et sur le web

Gemini peut désormais utiliser votre Mac à votre place. Google a annoncé jeudi (19/11) le computer use dans l'application Gemini pour macOS : l'IA exécute des tâches en plusieurs étapes dans les fichiers locaux, les applications et les sites web, en arrière-plan. Il suffit de décrire ce dont vous avez besoin, et Gemini s'occupe des clics, de la saisie, des menus et des formulaires.

Comment ça marche — et ce qu'il fait pour vous

Gemini travaille dans une fenêtre isolée en arrière-plan, avec un aperçu en direct dans le chat. Votre écran principal et votre curseur restent complètement libres, vous pouvez donc continuer à taper, à concevoir ou à prendre des appels pendant que l'IA travaille. Google cite quatre exemples d'utilisation : accélérer les flux créatifs (comme l'étalonnage couleur par lots des photos ou la mise en place de scènes 3D complexes), éviter la saisie manuelle des formulaires (en extrayant poids, dimensions et adresses de PDF locaux pour remplir des devis d'expédition), transformer des données en direct en présentations prêtes dans Google Slides et mettre en vente des articles par lots (en analysant les photos d'un dossier local, en recherchant les prix et en préparant les annonces).

Pour l'utiliser, il suffit d'ajouter @Computer use dans le prompt. Dans la zone de personnalisation, sous Connecteurs, de nouvelles apps « Desktop » apparaissent, comme Blender et Autodesk Fusion, aux côtés des intégrations existantes avec Git et Obsidian.

Confidentialité et contrôle — avec une réserve

Google promet que la confidentialité et la sécurité font partie de la fonction : vous choisissez les apps auxquelles Gemini peut accéder, vous suivez chaque étape en direct, vous pouvez mettre en pause à tout moment et vous approuvez les actions importantes avant qu'elles n'aient lieu. Pour fonctionner, il faut accorder les autorisations macOS d'accessibilité et d'enregistrement d'écran et d'audio système. Et il y a la réserve que Google formule lui-même dans sa documentation : les agents peuvent rencontrer des instructions trompeuses dans les applications et les sites web, donc bien gérer les autorisations compte — la fonction automatise les clics et la saisie, mais n'élimine pas le risque que l'IA interprète mal ce qu'elle voit à l'écran.

Qui peut l'utiliser

Le déploiement est progressif, en anglais et aux États-Unis. Il faut un Mac Apple Silicon sous macOS Sequoia 15 ou version ultérieure, un compte Google personnel pour une personne de 18 ans ou plus et un abonnement Google AI Plus, Pro ou Ultra, selon l'annonce officielle. La documentation d'assistance de Google, toutefois, ne mentionne actuellement que les formules Pro et Ultra pour le contrôle des apps de bureau, donc les conditions exactes peuvent évoluer pendant le déploiement. L'app peut être téléchargée sur gemini.google/mac.

Image : Gemini modélisant un croquis dans Blender avec le computer use sur Mac (image officielle de Google, via blog.google).

Sources : Google — The Keyword ; TechCrunch ; MacRumors ; 9to5Google. À lire aussi : Google Duplex devient le moteur d'appels de Gemini Tasks.

Note de transparence : cet article a été produit avec l'aide de l'intelligence artificielle, en croisant des publications publiques sur X et des sources sur internet, et relu avant publication. Consultez les sources originales pour confirmer les informations.

Por Muse