8. November 2026

Lesen ist nicht Freigeben: Wie KI-Agenten im Backoffice begrenzt werden

Eine Mitarbeiterin prüft am Bildschirm eine vorgeschlagene Datenänderung, bevor sie freigegeben wird.

Eine E-Mail kommt an. Ein Datensatz soll sich ändern. Genau zwischen diesen beiden Vorgängen liegt die Sicherheitsfrage bei KI-Agenten: Darf ein System Informationen erkennen und sortieren – oder darf es daraus auch unmittelbar eine folgenreiche Handlung auslösen? Mahbouba Gharbi und Dr. Sönke Magnussen beschreiben in ihrem Beitrag eine Architektur, die diese Fähigkeiten voneinander trennt. Für den Kundenservice ist das eine wichtige Leitlinie: Nicht jede Aufgabe, die ein Agent sprachlich bearbeiten kann, sollte er auch selbstständig ausführen dürfen.

Ein Agent liest nicht nur, er kann etwas auslösen

Klassische Automatisierung arbeitet häufig mit klar strukturierten Daten und vorhersehbaren Abläufen. Das Backoffice ist laut Gharbi und Magnussen jedoch oft anders organisiert: Informationen kommen in E-Mails, PDF-Anhängen oder Notizen an. Ein KI-Agent kann solche Inhalte auswerten, ein Ziel verfolgen, Werkzeuge aufrufen und deren Ergebnisse in den nächsten Arbeitsschritt einbeziehen. Dazu können etwa Datenbankabfragen, E-Mails oder Schnittstellen gehören.

Damit ist ein Agent mehr als eine Suchfunktion oder ein Textgenerator. Er kann in einen laufenden Prozess eingreifen. Eine Antwort formulieren und eine Änderung in einem System speichern sind aber nicht dieselbe Art von Tätigkeit. Die erste lässt sich prüfen, bevor sie jemand verschickt. Die zweite kann einen bestehenden Datensatz verändern und damit weitere Abläufe beeinflussen.

Diese Unterscheidung ist auch am Telefon wichtig. Ein Sprachassistent kann eine Anfrage aufnehmen und für die Bearbeitung strukturieren. Sobald er darüber hinaus einen Termin verbindlich ändert, eine Kundendatei aktualisiert oder einen Vorgang abschließt, geht es nicht mehr allein um die Qualität seiner Formulierung. Dann zählt, welche Handlung das System ausführen darf und welche Kontrolle davor liegt.

Eine gute Anweisung ist noch keine technische Grenze

Gharbi und Magnussen unterscheiden zwischen Guardrails und programmierten Kontrollen. Guardrails sind Regeln, die dem Sprachmodell im Kontext mitgegeben werden. Sie sollen sein Verhalten lenken, etwa indem es bei ungewöhnlichen Angaben vorsichtig sein oder vor einer bestimmten Handlung nachfragen soll. Das kann nützlich sein. Es ist aber keine unabhängig erzwungene Sperre.

Ein Sprachmodell interpretiert Vorgaben. Es führt keine formale Prüfung durch, die zuverlässig beweist, dass eine Handlung unter allen Umständen erlaubt ist. Widersprüchliche Anweisungen, missverständliche Eingaben oder manipulierte Inhalte können beeinflussen, wie es reagiert. Wer eine kritische Grenze nur als Satz im Prompt hinterlegt, verlässt sich deshalb darauf, dass das Modell sie in jeder Situation richtig deutet.

Das ist kein Argument gegen Anweisungen. Sie helfen, den gewünschten Ablauf zu beschreiben. Nur dürfen sie nicht die einzige Sicherung sein, wenn ein Fehler eine reale Änderung auslösen kann. Eine Vorgabe wie „Ändere keine Stammdaten ohne Prüfung“ beschreibt das gewünschte Verhalten. Eine technische Berechtigung, die dem Agenten die Änderung gar nicht gestattet, setzt eine andere Grenze. Beides kann zusammenspielen, erfüllt aber nicht dieselbe Aufgabe.

Trennen Sie Informationszugriff und Handlungsspielraum

Die zentrale Architekturfrage lautet nicht nur, welche Daten ein Agent sehen kann. Sie lautet auch, was er mit diesen Daten tun darf. Für jeden Prozess sollte deshalb getrennt feststehen, ob das System Informationen lesen, einen Vorschlag erstellen, einen Vorgang vorbereiten oder eine Änderung tatsächlich ausführen kann.

Im Kundenservice lässt sich das an einer eingehenden Anfrage durchdenken. Der Agent kann den Inhalt zusammenfassen und den passenden Vorgang im System suchen. Er kann einen Entwurf für eine Antwort vorbereiten. Daraus folgt nicht automatisch, dass er auch Kontaktdaten überschreiben, eine Vereinbarung ändern oder eine verbindliche Zusage versenden sollte. Zwischen Erkennen und Ausführen gehört eine klar definierte Grenze.

Das muss nicht bedeuten, dass jeder einzelne Arbeitsschritt von einem Menschen bestätigt wird. Es bedeutet, dass die Berechtigungen zum tatsächlichen Risiko passen müssen. Eine unkritische, leicht rückgängig zu machende Aufgabe kann anders behandelt werden als eine Änderung, die Geld, Zugang oder eine bestehende Kundenbeziehung betrifft. Welche Kontrollen sinnvoll sind, hängt vom Prozess und seinen Folgen ab. Die Grenze sollte aber in der Software wirksam sein und nicht allein in einer sprachlichen Bitte an das Modell bestehen.

Der Übergabepunkt gehört zum Prozess

Wenn ein Agent an eine Grenze stößt, braucht er einen sinnvollen nächsten Schritt. Ein bloßes Abbrechen lässt Mitarbeitende mit einer unklaren Anfrage zurück. Besser ist ein Ablauf, in dem der Agent erkennen kann, dass die vorliegende Information nicht ausreicht oder eine Handlung außerhalb seiner Befugnis liegt, und den Vorgang zur Prüfung weitergibt.

Dafür muss die Übergabe verständlich sein. Ein Mensch sollte sehen können, worum es geht, welche Informationen der Agent verwendet hat und welche Handlung noch offen ist. Sonst wird aus der Kontrolle eine zweite Suche: Mitarbeitende müssen den gesamten Vorgang neu zusammensetzen, bevor sie entscheiden können. Bei einer telefonischen Anfrage kann eine brauchbare Zusammenfassung den Anschluss erleichtern. Sie ersetzt aber nicht die Prüfung, wenn eine Entscheidung oder Freigabe erforderlich ist.

Auch ein Abbruch muss als Ergebnis vorgesehen sein. Der Agent darf nicht dazu gedrängt werden, für jeden Vorgang eine vollständige Antwort oder Handlung zu produzieren. Wenn die Eingabe nicht zu den verfügbaren Informationen passt, kann eine Weiterleitung die bessere Leistung sein. Das ist keine Schwäche des Ablaufs, sondern eine bewusst gesetzte Grenze.

Prüfen Sie den Weg von der Eingabe bis zur Änderung

Die Autoren stellen die Architektur vor die Hoffnung, ein Modell werde einen riskanten Fall schon zuverlässig erkennen. Für Unternehmen lässt sich daraus eine konkrete Prüfung ableiten: Nehmen Sie einen Prozess, in dem ein Agent Informationen aus unstrukturierten Eingaben verarbeitet, und gehen Sie den Weg bis zur möglichen Änderung im System durch.

Fragen Sie dabei: Welche Eingaben darf der Agent auswerten? Auf welche Daten und Werkzeuge kann er zugreifen? Kann er nur einen Vorschlag vorbereiten oder auch selbst speichern und versenden? Was passiert, wenn die Eingabe widersprüchlich, unvollständig oder ungewöhnlich ist? Und wer übernimmt, wenn der Agent nicht sicher innerhalb des vorgesehenen Ablaufs arbeiten kann?

Wichtig ist, nicht nur den Normalfall zu testen. Der Normalfall zeigt, ob die Aufgabe grundsätzlich funktioniert. Die Grenze zeigt, ob ein problematischer Vorgang tatsächlich gestoppt oder zur Prüfung weitergereicht wird. Ein Prompt, der im Test freundlich auf eine Grenze hinweist, beantwortet noch nicht die Frage, ob ein Werkzeugaufruf technisch verhindert wird.

Automatisieren Sie den Schritt, nicht die Verantwortung

KI-Agenten können bei Aufgaben helfen, die bislang an unstrukturierten Informationen und manuellen Übergängen hängen. Daraus folgt nicht, dass sie möglichst weitreichende Rechte brauchen. Im Gegenteil: Je mehr ein Agent selbst ausführen kann, desto wichtiger wird eine Architektur, die Lesen, Vorbereiten und Ändern unterscheidet.

Für den Kundenservice ist die entscheidende Prüfung deshalb nicht, ob ein Agent eine Anfrage überzeugend formuliert. Prüfen Sie, welche Änderung er tatsächlich auslösen kann – und ob ein Vorgang an der richtigen Stelle an einen Menschen übergeht.

Quellen: heise – „Sichere Architektur für KI-Agenten im Backoffice“ (https://www.heise.de/hintergrund/Sichere-Architektur-fuer-KI-Agenten-im-Backoffice-11514414.html?wt_mc=rss.red.ho.ho.atom.beitrag.beitrag)

Passend dazu

Womit wir das lösen.

Angebot & Beratung 0261 133770 Hier geht ein Mensch aus unserem Team ran.

Haben Sie zu diesem Thema eine Frage? Rufen Sie uns an, wir gehen sie mit Ihnen durch.

Mo bis Fr, 8 bis 18 Uhr Festnetztarif info@qvmed.de

Weitere Beiträge.