Ein KI-Agent ist ein Softwaresystem, das ein Ziel interpretiert, Zwischenschritte wählt und Tools oder Information nutzt. Viele heutige Agenten verwenden ein Sprachmodell für Planung oder Toolwahl, während umgebende Software Identität, State, Berechtigung und Ausführung kontrolliert.
Agent wird oft für jeden Chatbot oder automatisierten Flow verwendet. Echte Agency erhöht mögliche Pfade und die Wirkung von untrusted Input, Toolfehlern und State. Breite Credentials plus vages Ziel machen Flexibilität zur unkontrollierten Execution Surface.
Nutzen Sie so wenig Agency wie nötig. Begrenzen Sie das Ziel, bieten Sie enge Tools, autorisieren Sie jede Aktion bei Ausführung, checkpointen Sie irreversible Schritte und messen Sie die gesamte Trajectory statt nur das Resultat.
Architektur
Agenten wählen Pfade, Workflows codieren Pfade
Ein Workflow besitzt bekannte Übergänge: Feld extrahieren, validieren, Freigabe holen und schreiben. Ein Modell unterstützt einen Übergang, ohne den Pfad zu steuern. Ein Agent erhält ein breiteres Ziel und wählt Tool oder Zwischenschritt anhand wechselnden Kontexts.
Diese Flexibilität hilft bei Investigation oder offener Multi-Source-Arbeit, erhöht aber Evaluation. Bei stabilem Prozess ist explizite Orchestration leichter testbar, auditierbar und recoverbar. Agency löst echte Varianz und dekoriert keine einfache Automation.
| Pattern | Best Fit | Primäre Kontrolle |
|---|---|---|
| Deterministischer Workflow | Stabile Regeln und Sequenz | Tests und State Machine |
| Modellschritt | Flexible Sprache im fixen Pfad | Input, Output und Review |
| KI-Agent | Adaptives mehrstufiges Ziel | Tools, Identität, Trajectory |
| Human Process | Hohe Ambiguität oder Folge | Expert Judgement und Evidenz |
Security
Autorität liegt ausserhalb des Modells
Das Modell schlägt eine Aktion vor, die Toolschicht entscheidet über aktuelle Erlaubnis. Authorization berücksichtigt User, Tenant, Resource, Action und Policy. Ein System Prompt mit nicht löschen ist keine Zugriffskontrolle.
Nutzen Sie enge Capabilities und kurzlebige Credentials. Wesentliche externe Effekte verlangen explizite Bestätigung mit sichtbarer Folge. Loggen Sie autorisierte Anfrage und Resultat und entwerfen Sie Idempotency und Compensation vor Launch.
- System Instructions von untrusted Content trennen.
- Bei jedem Tool Call autorisieren.
- Aktion, Ressource, Dauer und Spend begrenzen.
- Irreversible externe Effekte checkpointen.
- Stop-, Timeout- und Recovery-Pfade bieten.
Woran gute Arbeit erkennbar ist
Konkrete Ergebnisse für KI-Agent
- Das Team trennt festen Workflow und modellgesteuerten Agenten.
- Jedes Tool besitzt enges Schema, Permission Boundary und sichtbares Resultat.
- Der Agent erhält nie mehr Autorität als auslösender User oder Service.
- High-impact-Aktionen brauchen deterministische Policy und Freigabe.
- Gescheiterte Trajectories lassen sich reproduzieren, stoppen und recovern.
Betriebsmodell
So wird die Arbeit ausgeführt
- 01
Agency-Bedarf beweisen
Beschreiben Sie Ziel, Umgebungsvarianz und Entscheide, die kein fixer Workflow zuverlässig ausdrückt. Vergleichen Sie Agent mit deterministischer Orchestration plus wenigen Modellschritten. Wählen Sie die einfachere Variante bei stabilem Pfad.
- 02
Identität und Tools begrenzen
Geben Sie dedizierte Identität und Minimalrechte. Entwerfen Sie Tools um konkrete Business Actions statt rohe Datenbank-, Shell- oder Browserzugriffe. Validieren Sie Inputs und Outputs, erzwingen Sie Tenant und Policy und setzen Sie Call-, Zeit- und Spend-Budgets.
- 03
State und Aktion kontrollieren
Trennen Sie Trusted Instructions, Retrieved Content, User Data, Working Memory und Durable Memory. Externer Content bleibt untrusted. Sending, Purchase, Delete, Publish und materielle Records brauchen Confirmation oder Human Approval. Nutzen Sie Idempotency und Compensation.
- 04
Ganze Trajectories evaluieren
Testen Sie normale, ambige, adversarial und Failure Cases. Prüfen Sie Toolwahl, Permission Checks, Loops, Zwischenstate, Ergebnis und Side Effects. Monitoren Sie Runs, bieten Sie Stop und bewahren Sie genug Trace für Analyse ohne übermässige Datensammlung.
Bewertung
Fragen, die den Entscheid verändern
- Braucht der Task dynamische Planung oder reicht ein fixer Workflow?
- Welche Tools und Daten sind strikt notwendig?
- Welche Aktionen sind reversibel und welche brauchen Vorabfreigabe?
- Welcher State darf zwischen Schritten, Sessions oder Usern bestehen?
- Wann muss der Agent stoppen, sich enthalten oder eskalieren?
Fehlermuster
Wo Teams die Kontrolle verlieren
Untrusted Content lenkt den Agenten zum Angreiferziel.
Overprivileged Tools machen Reasoning-Fehler zu Systemänderungen.
Poisoned oder Cross-user Memory beeinflusst spätere Entscheide.
Loops verbrauchen Geld und Zeit und verschlechtern falschen State.
Einzeln vernünftige Aktionen bilden zusammen ein unsicheres Ergebnis.
Messung
Das fertige Ergebnis messen
Gemessen wird der abgeschlossene Prozess inklusive Review-Aufwand und Ausnahmen. Reines Output-Volumen beweist noch keine bessere Arbeitsweise.
- Zielerfüllung nach definierten Kriterien
- Toolwahl und Argumentvalidität
- Policy Denials und Approval Outcomes
- unerforderliche Schritte, Loops und Kosten je Trajectory
- Side-effect- und Recovery-Erfolg
- Human Escalation nach Grund und Risiko
Fragen
Häufige Fragen
Was ist ein KI-Agent?
Software, die ein Ziel interpretiert, Zwischenschritte wählt und Tools oder Information nutzt, meist mit einem Modell für einen Teil der Entscheide.
Wie unterscheidet sich ein Agent vom Chatbot?
Ein Chatbot tauscht primär Nachrichten. Ein Agent plant über Schritte, ruft Tools, hält State und verändert andere Systeme. Conversation allein ist noch keine Agency.
Darf ein Agent Production Credentials besitzen?
Nur eng begrenzt und policy-erzwungen. Die Toolschicht autorisiert jede Aktion; irreversible oder wesentliche Änderungen brauchen zusätzliche Bestätigung.
Wann sollte man keinen Agenten nutzen?
Wenn ein deterministischer Workflow den bekannten Pfad zuverlässiger löst oder Fehler nicht innerhalb des Geschäftsrisikos begrenzt, beobachtet, freigegeben und recovered werden können.
Quellen
Primärquellen
- Securing Agentic Applications Guide OWASP Gen AI Security Project
Über den Autor
Tony Kim
Tony schreibt über angewandte AI, verlässliches Product Engineering und Systeme, die komplexe Response-Arbeit kontrollierbar machen.
Zeke
AI Product Engineering, das aus einem Software-Briefing ein zuverlässiges Produkt im Betrieb macht.
Produktverantwortliche, Gründungsteams und Software-Engineering-Teams. Ausgangspunkt sind der bestehende Ablauf, seine Grenzen und die vorhandenen Nachweise.
Zeke ansehen→