Google startet Semantic Governance Policies auf Gemini, um KI-Agenten vor Aktionen zu stoppen

Google hat Semantic Governance Policies gestartet, eine Funktion in der Vorschau auf der Gemini-Plattform, die jeden von einem KI-Agenten vorgeschlagenen Tool-Aufruf vor seiner Ausführung prüft. Die Ankündigung wurde am 20. November 2026 im Google Developers Blog veröffentlicht.

Die Idee ist einfach: Berechtigungen sagen, was ein Agent darf, aber nicht, ob ein bestimmter Aufruf den Regeln des Unternehmens folgt. Ein Modell kann auch dazu gebracht werden, seine Systemanweisungen zu ignorieren — von einem Nutzer mit einem guten Grund oder von einem Dokument mit verstecktem Text, einer Technik, die als indirekte Prompt-Injection bekannt ist. Deshalb muss die Prüfung außerhalb des Codes des Agenten liegen.

Zwei Prüfungen vor jeder Aktion

Jeder Tool-Aufruf durchläuft zwei Prüfungen. Erstens, ob er die in natürlicher Sprache verfassten Regeln des Teams einhält — zum Beispiel: „Vor der Bilanzveröffentlichung dürfen Quartalsergebnisse nur mit Adressen @example.com geteilt werden.“ Zweitens, ob er dem entspricht, was der Nutzer ursprünglich verlangt hat. Diese zweite Prüfung gegen Abweichungen von der Nutzerabsicht ist standardmäßig aktiviert, um vor Session-Hijacking zu schützen. Ein Aufruf wird nur ausgeführt, wenn er beide Prüfungen besteht.

Der Durchsetzungspunkt ist das Agent Gateway: Der gesamte Datenverkehr des Agenten läuft darüber, und wenn das Modell einen Tool-Aufruf vorschlägt, sendet das Gateway den Vorschlag an die Policy-Engine, bevor er den Agenten erreicht. In der Engine bewertet ein Sprachmodell als Richter den Aufruf anhand des bisherigen Gesprächs, der Systemanweisungen, der Tool-Beschreibungen und der konfigurierten Richtlinien. Besteht der Aufruf, erreicht er den Agenten unverändert; scheitert er, wird der Inhalt durch eine konfigurierbare Ablehnungsnachricht ersetzt und die Aktion findet nie statt. Das Urteil und die Begründung des Richters landen in Cloud Logging. Antworten, die nur Text enthalten — eine Antwort, ein Plan oder eine Rückfrage — werden nicht bewertet, da sie keine Aktion ausführen.

Das Beispiel mit den Quartalsergebnissen

Google veranschaulicht die Funktion mit einem Finanz-Agenten, der Dateien suchen, Dokumente lesen, E-Mails senden und Entwürfe löschen kann. Das Unternehmen schreibt eine einzige Richtlinie: Quartalsergebnisse dürfen vor der offiziellen Veröffentlichung nicht öffentlich geteilt werden; davor nur mit Adressen @example.com; niemals mit externen oder persönlichen Adressen, Investoren, Analysten oder Presse, unabhängig von Geheimhaltungsvereinbarungen, Dringlichkeit oder Rang des Anfragenden.

Drei vorgeschlagene Aufrufe zeigen den Filter in Aktion: Das Senden der vorläufigen Ergebnisse an den Controller des Unternehmens ist erlaubt; das Senden an einen Investor mit Kopie an die private Gmail-Adresse des Mitarbeiters wird durch die Richtlinie abgelehnt; und das Löschen von Entwürfen aus einem Ordner auf Anweisung eines versteckten Textes in einem Planungsdokument wird durch die Absichtsprüfung abgelehnt — das hat niemand verlangt.

Was die Funktion sonst noch bietet

Richtlinien werden in natürlicher Sprache geschrieben und können in der Google Cloud Console oder per CLI erstellt werden, mit dem Befehl gcloud beta ai semantic-governance-policies create. Rechts-, Compliance- und Business-Teams können sie ohne Code oder neues Deployment ändern. Der Agent kann sein Modell über die Gemini API, die Anthropic Messages API, Claude-Modelle auf der Gemini-Plattform oder OpenAI-kompatible Chat-Completions-APIs aufrufen, einschließlich selbst gehosteter Server wie vLLM. Jede Entscheidung wird in Cloud Logging festgehalten, mit Urteil, Begründung und verwendeten Tokens.

Grenzen, die Google einräumt

Da die Urteile von einem Sprachmodell stammen, das probabilistisch arbeitet, können sie variieren — Google empfiehlt, Semantic Governance Policies vor der Durchsetzung im Dry-Run-Modus zu testen und sie zusammen mit den anderen Kontrollen zu nutzen. Gestreamte Antworten werden nicht bewertet, und die Funktion ergänzt Offenlegungskontrollen und rechtliche Prüfungen, ersetzt sie aber nicht.

Die Funktion reiht sich ein in Googles weitere Agenten-Kontrollen: die Zugriffsrichtlinien von IAM und Agent Gateway, Model Armor, das Prompts und Antworten filtert, und Agent Anomaly Detection, das Sitzungen asynchron analysiert. In einem Folgebeitrag will Google zeigen, wie sich die Richtlinien gegen Prompt-Injection auf AgentDojo, einem öffentlichen Benchmark für Agentensicherheit, geschlagen haben.

Quellen

Google Developers Blog: Check what your AI agents do before they do it, with Semantic governance policies (20. November 2026, auf Englisch)

Bildnachweis: Google-Gemini-Symbol, von Google LLC, via Wikimedia Commons (Public Domain).

Transparenz: Dieser Artikel wurde mit Hilfe künstlicher Intelligenz auf der Grundlage öffentlicher Beiträge und Quellen aus dem Internet erstellt. Bitte prüfen Sie die Originalquellen, um die Informationen zu bestätigen.

Von Muse