Agentische Software mit begrenzter Befugnis entwickeln

Umfang

Agency nur dort einsetzen, wo Varianz wirklichen Wert schafft

Agency ist kein Produktmerkmal an sich, sondern die Delegation eines Teils des Kontrollflusses an eine probabilistische Komponente. Zeichnen Sie die Aufgabe zunächst ohne Agenten: Auslöser, Eingaben, Entscheide, Systeme, Ausgaben und Ausnahmen. Stabiles Routing, Berechtigung, Berechnung und Zustandswechsel gehören in normalen Code. Modellgerichtete Wahl ist wertvoll, wenn variable Evidenz den nächsten sinnvollen Schritt bestimmt und eine vollständige Aufzählung wirtschaftlich unpraktisch wäre.

Definieren Sie das Ziel so, dass die Anwendung es verifizieren kann. „Anfrage lösen“ überlässt dem Modell die Bedeutung von gelöst. „Vorgeschlagene Klassifikation mit belegter Evidenz erstellen und ungelöste Konflikte an den Eigentümer leiten“ besitzt einen beobachtbaren Abschluss. Listen Sie Nicht-Ziele und verbotene Handlungen. Grenzen Sie Fallpopulation und Zeit ein. Ein interner Rechercheagent wird nicht zum Kundenkommunikationsagenten, nur weil er ein Sendetool entdeckt.

• Deterministischen Workflow vor dem Agenten modellieren.
• Den kleinsten variablen Entscheid delegieren.
• Abschluss extern beobachtbar definieren.
• Nicht-Ziele und verbotene Ergebnisse benennen.
• Geeignete Fälle und Betriebsdauer begrenzen.

Tools

Jedes Tool als Sicherheits- und Transaktionsgrenze behandeln

OWASP beschreibt Excessive Agency als schädliche Wirkung durch zu viel Funktion, Berechtigung oder Autonomie. Vermeiden Sie Universalwerkzeuge, wenn eine enge Funktion reicht. Ein Agent zur Mailzusammenfassung braucht lesenden Zugriff auf einen erlaubten Bereich und keinen Client mit Senden und Löschen. Prüfen Sie jedes Argument und Ergebnis. Die Implementierung kontrolliert Akteur, Ressource und Operation serverseitig erneut, auch wenn das Modell bereits über die Erlaubnis nachgedacht hat.

Klassifizieren Sie Tools nach Wirkung. Lesen braucht Datenbereichskontrolle und kann manipulierte Anweisungen aufnehmen. Vorschlagen erzeugt einen Entwurf ohne Aussenwirkung. Ausführen verändert ein anderes System und verlangt stärkere Policy. Wirkungen werden idempotent, erhalten eine eindeutige Operationskennung und speichern das dauerhafte Zielergebnis. Bei materiellen Aktionen sieht die verantwortliche Person beabsichtigte Wirkung, Parameter, Evidenz und Umkehrbarkeit statt eines vagen Genehmigen-Knopfs.

Laufzeit

Zustand, Stoppen und Erholung ausserhalb des Gesprächs kontrollieren

Der Nachrichtenverlauf ist Kontext, nicht der kanonische Aufgabendatensatz. Speichern Sie Ziel, Akteur, Phase, gesammelte Evidenz, offene Freigaben, Tool-Ergebnisse und Abschluss in typisierter Anwendungsablage. Trennen Sie vorgeschlagenen Fakt von bestätigter Beobachtung und Modellschluss von externem Ergebnis. Ein Worker-Neustart rekonstruiert die Aufgabe, ohne das Modell um Erinnerung zu bitten. Sensibler Kontext erhält gewollten Zugriff, Aufbewahrung und Löschung statt endloser Aufnahme in ein Gedächtnis.

Jeder Kreis braucht Grenzen und Fortschrittstests. Begrenzen Sie Schritte, Dauer, Tokens, Geld, Wiederholungen, Auffächerung und Wirkungen. Definieren Sie Fortschritt und stoppen Sie Zyklen, die keine offene Bedingung reduzieren. Abhängigkeiten brauchen Timeout und Circuit Breaker. Nach Teilerfolg wird der dauerhafte Status geprüft, bevor erneut gehandelt wird. Erholung kann ab Checkpoint fortsetzen, eine bestätigte Wirkung kompensieren, an Menschen leiten oder fehlschlagen. Sie darf nicht herbeigeredet werden.

• Typisierten kanonischen Zustand ausserhalb des Chats halten.
• Beobachtung, Schluss, Vorschlag und Bestätigung trennen.
• Schritte, Zeit, Kosten, Wiederholungen und Wirkungen budgetieren.
• Stillstand und degradierte Abhängigkeit erkennen.
• Fortsetzung, Kompensation und menschliche Übernahme gestalten.

Evidenz

Den eingeschlagenen Weg und nicht nur die Endantwort prüfen

Ein Agent kann über einen unzulässigen Weg zum richtigen Ergebnis kommen, etwa indem er verbotene Daten liest und später nicht erwähnt. Evaluation erfasst deshalb Tool-Auswahl, Parameter, Beobachtungen, Zwischentscheide, Policy-Prüfung, Zustände und Wirkungen. Testen Sie Normalfälle mit fehlenden Daten, Mehrdeutigkeit, Konflikt, indirekter Prompt Injection, langsamer Abhängigkeit und Teilerfolg. Deterministische Assertions prüfen Rechte und Zustand, Rubriken das Urteil und Simulationen das Tool-Verhalten.

Steigern Sie Exposition stufenweise: simulierte Umgebung, Schattenbetrieb ohne Handlung, dann Vorschläge mit expliziter Freigabe. Erweitern Sie Autonomie nur für Fallfamilien und Tools mit passender Evidenz. NISTs sichere Entwicklung und KI-Risikoführung betonen Lebenszykluskontrolle und dokumentierte Verantwortung. Bewahren Sie Freigabeversion, bestätigte Ergebnisse und einen unabhängig erreichbaren Abschalter. Produktionsvorfälle werden zu minimierten Verlaufsregressionen, bevor die Autonomie wieder wächst.

• Ergebnis, Verlauf, Policy und Effizienz separat bewerten.
• Manipulierte Beobachtungen und Tool-Teilerfolg testen.
• Von Simulation zu begrenzter Realexposition fortschreiten.
• Nach Fallfamilie und Tool statt Gesamtlabel erweitern.
• Abschaltung, Replay und Regressionsevidenz erhalten.