AI-Agenten und Automatisierung in der Praxis: Vom Piloten zum Produktionsbetrieb

• Der Agent im täglichen Unternehmensalltag
• Von der Validierung einer Idee zum realen Betrieb
• Woraus ein solcher Agent besteht
• Was sich bei steigender Nutzerzahl ändert
• Wie man die Infrastruktur passend zur Projektphase auswählt
• Speicher, Kontext und Durchsatz im regulären Betrieb
• Ohne Aufsicht wird der Agent zur Blackbox
• Wann ein Agent Berechtigungen und Genehmigungen benötigt
• Wie man ein Pilotprojekt konzipiert, das eine Chance auf den Produktivstart hat
• Vom Pilotprojekt zum Betrieb: Ein AI-Agent muss sich im realen Einsatz bewähren

Der Agent im täglichen Unternehmensalltag

Im Vergleich zu einem herkömmlichen Chatbot rückt ein Agent wesentlich näher an die tatsächliche Arbeit der Mitarbeiter im Unternehmen heran. Er kann dem Kundenservice dabei helfen, die richtige Antwort in der Dokumentation zu finden, bereitet dem Vertriebsmitarbeiter Unterlagen für Verhandlungen vor und kann bei administrativen Aufgaben das manuelle Wechseln zwischen mehreren Anwendungen reduzieren. Je näher ein solches Tool dem echten Workflow kommt, desto mehr kommt es darauf an, wie es technisch und betrieblich konzipiert ist.

Ein erstes Pilotprojekt kann relativ schnell entstehen, wenn das Unternehmen ein gut gewähltes Szenario, einen begrenzten Nutzerkreis und eine Umgebung hat, in der Daten (gerne fiktive oder synthetische) sowie typische Anfragen sicher getestet werden können. Beim Übergang in die tägliche Praxis wird aus der Demonstration ein Service, auf den sich die Menschen zu verlassen beginnen. Der Agent muss auch bei höherer Auslastung berechenbar reagieren, entsprechend den Berechtigungen der einzelnen Nutzer arbeiten und genügend Spuren für das Team hinterlassen, das später die Ursache für eine fehlerhafte oder unerwartete Antwort nachvollziehen muss.

Sie erfahren:

• worin der Unterschied zwischen einem Pilotprojekt und dem Produktivbetrieb eines AI-Agenten besteht,
• was eine erfolgreiche Demo von einem stabilen Unternehmenseinsatz trennt,
• wie sich die Anforderungen an Leistung, Speicher, Kapazität und Netzwerk verändern,
• warum Monitoring, Protokollierung und Zugriffsverwaltung bei Agenten von entscheidender Bedeutung sind,
• wann man eine Workstation, einen AI-Server, mehrere GPUs oder ein hybrides Modell in Betracht ziehen sollte.

Von der Validierung einer Idee zum realen Betrieb

Die Pilotphase soll zeigen, ob der Agent ein konkretes Problem besser löst als das bisherige Verfahren. In Unternehmen beginnt dies oft bei einer internen Wissensdatenbank, dem Kundenservice oder der Erstellung von Vertriebsunterlagen, da sich dort viele ähnliche Anfragen wiederholen und sich gleichzeitig die Zeiteinsparung gut messen lässt. In diesem Teil des Projekts findet das Unternehmen vor allem heraus, ob das neue Tool den Mitarbeitern wirklich hilft und ob seine Antworten im Arbeitsalltag standhalten.

Technische Anforderungen werden kontinuierlich gelöst, da bereits das Pilotprojekt mit realistischen Daten, Dokumenten und Aufgabenstellungen arbeiten sollte. In dieser Phase lohnt es sich, den Fokus enger zu halten: Zuerst den Wert eines konkreten Szenarios validieren und erst aus den Ergebnissen ableiten, welche Infrastruktur für eine breitere Einführung erforderlich sein wird. Ein gut vorbereitetes Pilotprojekt testet daher lieber einen kleineren, klar abgegrenzten Prozess als eine vage Zielsetzung wie „Wir führen einen AI-Assistenten für alle ein“.

Der Produktivbetrieb bringt eine höhere Verantwortung und auch höhere Erwartungen der Nutzer mit sich. Der Agent wandelt sich schrittweise von einem Testwerkzeug zu einem allgemein verfügbaren Dienst, der mehrere Anfragen gleichzeitig bewältigen, mit aktuellen Daten arbeiten und auch zu Spitzenzeiten ein vorhersehbares Verhalten beibehalten muss. Zudem steigt der Druck auf die Berechtigungsverwaltung, da der Agent nur aus den Quellen antworten darf, auf die der jeweilige Nutzer tatsächlich Zugriff hat.

Bereich | Pilotphase | Produktivbetrieb Ziel | Nutzen und Usability validieren | Einen stabilen Service für die tägliche Arbeit sicherstellen Nutzer | Kleines Team, ausgewählte Rollen | Mehrere Teams oder breitere Unternehmensauslastung Daten | Begrenzte Dokumentenstichprobe | Aktuelle interne Daten und gesteuerter Zugriff Leistung | Reserve für Tests | Antwortzeit, Gleichzeitigkeit und Wachstumspotenzial Risiko | Fehler dient zum Lernen | Fehler hat einen klaren Lösungsprozess Betrieb | Einfachere Aufsicht | Monitoring, Protokollierung, Versionierung, Verantwortlichkeit

Mit steigender Nutzerzahl ändert sich auch die Art und Weise, wie Menschen das System wahrnehmen. Einem Experiment verzeihen sie eine langsamere Reaktion oder gelegentliche Ungenauigkeiten; bei einem Werkzeug für die tägliche Arbeit erwarten sie jedoch bereits einen stabilen Service, auf den sie sich verlassen können. Genau an diesem Punkt zeigt sich, ob der Agent als isolierte Demo oder als Bestandteil des operativen Geschäfts konzipiert wurde.

Woraus ein solcher Agent besteht

Bei der Planung eines AI-Agenten wird oft hauptsächlich über das Sprachmodell gesprochen, da dieses der sichtbarste Teil der gesamten Lösung ist. Im Unternehmenseinsatz entscheidet jedoch die Architektur drumherum. Das Modell interpretiert die Aufgabenstellung und generiert die Antwort, die Anwendungsschicht steuert den Arbeitsablauf und Konnektoren fungieren als sichere Anbindung an die Unternehmensressourcen. Über diese greift der Agent auf Dokumente, Datenbanken oder interne Werkzeuge zu, ohne automatisch freien Zugriff auf alles zu haben.

In der finalen Lösung ergänzen sich die einzelnen Schichten je nachdem, welche Rolle sie im Gesamtprozess spielen. Das Identitätsmanagement bestimmt, auf welche Daten ein bestimmter Nutzer zugreifen kann, während die Protokollierung dabei hilft, den Verlauf einer Anfrage nachträglich nachzuvollziehen. Die Benutzeroberfläche wiederum entscheidet darüber, ob die Mitarbeiter das Tool in ihre tägliche Arbeit integrieren oder anfangen, es zu umgehen. Bei einem einfachen Prototyp können diese Teile sehr schlank ausfallen, im Produktivbetrieb eines Unternehmens bilden sie jedoch das Fundament für Zuverlässigkeit und Sicherheit.

Gut zu sehen ist das bei RAG-Szenarien, also bei der Arbeit mit einer internen Wissensdatenbank. Der Agent sucht zunächst relevante Teile der Unternehmensdokumente heraus und bereitet erst danach basierend darauf die Antwort vor. In der Praxis kann es sich beispielsweise um eine Kombination aus internen Richtlinien, Vertragsunterlagen und technischer Dokumentation handeln, bei der eine manuelle Suche deutlich mehr Zeit in Anspruch nehmen würde.

Dies erhöht die Anforderungen an die Infrastruktur, da Dokumente vor der Nutzung für die Suche aufbereitet werden müssen. Das System unterteilt sie in sinnvolle Abschnitte, konvertiert deren Bedeutung in ein für die Suche geeignetes Format und speichert sie so ab, dass der Agent schnell die für eine bestimmte Anfrage relevanten Passagen findet. Die GPU trägt vor allem zur Geschwindigkeit der Inferenz bei, während die Datenbank, der Speicher, die CPU und die Netzwerkschicht beeinflussen, wie zügig der gesamte Weg von der Anfrage bis zur Antwort verläuft.

Was sich bei steigender Nutzerzahl ändert

Mit dem Übergang in die Produktion macht sich zuerst die Gleichzeitigkeit von Anfragen bemerkbar. Im Pilotprojekt arbeiten einige Personen aus einem Team mit dem Agenten, der produktive Einsatz kann jedoch zur gleichen Zeit den Vertrieb, den Support, die Verwaltung und das Management bedienen. Für die Dimensionierung der Infrastruktur ist es daher entscheidend, wie viele Anfragen gleichzeitig laufen und wie lange die einzelnen Aufgaben dauern.

Eine komplexere Aufgabenstellung belastet das System völlig anders als die einfache Zusammenfassung eines einzelnen Dokuments. Der Agent kann zunächst Informationen in mehreren Quellen suchen, diese dann mit internen Regeln abgleichen, gegebenenfalls Daten aus einem weiteren Unternehmenssystem anfordern und erst ganz am Ende einen Antwortentwurf für den Kunden vorbereiten. In einem solchen Szenario ist es bereits wichtig, den gesamten Arbeitsablauf zu überwachen, da ein Fehler bei der Suche, beim Aufruf eines Tools, bei der Dateninterpretation oder beim eigentlichen Erstellen der Antwort auftreten kann.

Mit der wachsenden Bedeutung des Agenten in den Unternehmensprozessen verschiebt sich auch die Grenze der Verantwortung. Im Pilotprojekt wird mit Optimierungen und gelegentlichen Ungenauigkeiten gerechnet, ein produktiver Einsatz benötigt jedoch klar definierte Leitplanken. In der Praxis geht es vor allem um die Unterscheidung zwischen Situationen, in denen der Agent lediglich eine Grundlage vorbereitet, und solchen, in denen sein Ergebnis bereits Auswirkungen auf den Kunden, eine Bestellung oder eine interne Entscheidung hat. Genau in diesen Situationen muss vorab klar sein, ob er selbstständig fortfahren darf oder ob das Ergebnis zuerst von einem Menschen freigegeben werden muss.

Eine vollständige Implementierung erfordert daher auch ein eigenes IT-Team oder einen Integrationspartner. Dieser muss die Unternehmensumgebung gut genug kennen, damit der Agent mit den richtigen Daten arbeitet, Berechtigungen respektiert und sich in die Prozesse einfügt, die im Unternehmen bereits existieren. Die Infrastruktur liefert das technische Fundament, der Agent selbst muss jedoch Teil des konkreten Betriebs werden, nicht ein isoliertes Werkzeug außerhalb desselben.

Wie man die Infrastruktur passend zur Projektphase auswählt

Für erste Tests ist eine leistungsstarke Workstation oder ein kleinerer AI-Server meist am praktischsten. Das Team kann schnell verschiedene Modelle ausprobieren und mit realen Dokumenten arbeiten, ohne sofort die finale Infrastruktur für die gesamte Organisation entwerfen zu müssen. In dieser Phase spielen vor allem der Arbeitsspeicher, ein schneller NVMe-Speicher und eine GPU mit ausreichend VRAM für das gewählte Modell und den Arbeitskontext eine große Rolle.

Im Produktivbetrieb muss die Infrastruktur bereits eine Reserve einplanen, da das System Spitzenlasten, eine größere Anzahl gleichzeitiger Anfragen und ein schrittweises Wachstum bewältigen soll. Neben der reinen Leistung werden daher auch Aspekte wie Wartungsfreundlichkeit, Datensicherung, langfristige Erweiterbarkeit und die Fähigkeit zur Lastverteilung wichtig, falls ein einzelner Server nicht mehr ausreicht.

Die Auswahl der Konfiguration sollte auf der konkreten Auslastung basieren. Ein interner Assistent für Dutzende Mitarbeiter hat andere Anforderungen als ein Agent, der mit einer umfangreichen Dokumentation und einem langen Kontext arbeitet. Es lohnt sich, zuerst reale Anfragen zu testen, die Antwortzeit zu messen und erst danach über die finale Infrastruktur zu entscheiden.

Platz für TCO-Rechner

Speicher, Kontext und Durchsatz im regulären Betrieb

Bei AI-Agenten lässt sich die Leistung nur schwer anhand des Namens der Grafikkarte oder eines einzelnen Parameters in der Konfiguration beurteilen. Einen großen Einfluss hat die VRAM-Kapazität, da das Modell, der Kontext und ein Teil des Laufzeit-Overheads hineinpassen müssen. Sobald der Agent mit längeren Eingaben oder einer größeren Anzahl gleichzeitiger Anfragen arbeitet, steigen die Speicheranforderungen sehr schnell an.

Arbeitsspeicher und Speicherlaufwerke beeinflussen vor allem die Datenverarbeitung. Bei RAG-Szenarien verarbeitet das System fortlaufend Dokumente und speichert deren Repräsentationen für die spätere Suche. Ein schnelles Speichermedium hilft bei der Arbeit mit der Dokumentenbasis sowie temporären Dateien, während eine schwächere Komponente der Infrastruktur die gesamte Kette verlangsamen kann, selbst wenn das Modell selbst auf einer leistungsstarken GPU läuft.

Die Quantisierung eines Modells kann die Speicheranforderungen senken und den Betrieb auf erschwinglicherer Hardware ermöglichen. Bei einfacheren internen Anfragen kann dies eine praktische Lösung sein; bei fachspezifischen, rechtlichen oder finanziellen Ergebnissen muss jedoch auch die Qualität überwacht werden. Eine schnellere Antwort hat nur begrenzten Wert, wenn das System beginnt, Details schlechter zu verarbeiten, oder bei wiederholter Nutzung weniger stabil ist.

Wie groß muss das Modell wirklich sein, wie lang werden die Eingaben sein, wie viele Personen werden das System gleichzeitig nutzen und welche Antwortzeit ist für die Arbeit noch komfortabel? Ohne diese Antworten wird die Hardware im Blindflug ausgewählt.

Ohne Aufsicht wird der Agent zur Blackbox

Ein produktiver Agent benötigt eine ähnliche Überwachung wie jede andere Unternehmensanwendung, nur mit einem größeren Bedarf, die einzelnen Schritte zu verfolgen. Eine einzige Nutzeranfrage kann die Suche nach Dokumenten, den Aufruf eines internen Systems, die Interpretation von Ergebnissen und das Erstellen der Antwort auslösen. Wenn das Ergebnis nicht den Erwartungen entspricht, muss das Unternehmen nachvollziehen können, wo das Problem entstanden ist.

Auf technischer Ebene werden vor allem Antwortzeit und Durchsatz überwacht, da die Nutzer diese am schnellsten wahrnehmen. Im Betrieb ist es jedoch ebenso wichtig zu wissen, wie stark die GPU ausgelastet ist, wie viel Speicher das System verbraucht und ob Fehler im Modell, in den Konnektoren oder bei der Dokumentensuche auftreten. Bei komplexeren Agenten haben daher Trace-Logs, also Aufzeichnungen der einzelnen Schritte, einen hohen Stellenwert.

Die wirtschaftliche Seite der Überwachung ist genauso wichtig wie die technische, denn ohne fortlaufende Metriken sieht ein Unternehmen nicht, was der Betrieb des Agenten tatsächlich kostet. In der Cloud ändern sich die Kosten je nach Modellnutzung und Volumen der verarbeiteten Anfragen; bei einer eigenen Infrastruktur entscheidet wiederum, wie gut die angeschaffte Hardware ausgelastet ist und welche Reserve sie für Spitzenzeiten bereithält. Erst anhand dieser Daten lässt sich feststellen, ob das System mehr Kapazität, eine bessere Optimierung oder ein einfacheres Betriebsmodell benötigt.

Wann ein Agent Berechtigungen und Genehmigungen benötigt

Im Produktivbetrieb arbeitet ein Unternehmensagent oft mit Informationen, die nur bestimmten Rollen oder Teams zugänglich bleiben sollen. Wenn er beispielsweise auf Vertrags- oder Preisgrundlagen zurückgreift, muss er sich an dieselben Regeln halten wie ein Mitarbeiter, der manuell damit arbeiten würde. Ein Fehler bei den Berechtigungen ist dann kein technisches Detail, sondern ein direktes Sicherheitsrisiko.

Bei Wissensassistenten ist das Grundprinzip einfach: Der Agent darf keine Antwort auf Basis eines Dokuments generieren, das der jeweilige Nutzer selbst nicht öffnen dürfte. Daher muss die Verwaltung von Identitäten und Zugriffsrechten von Anfang an Teil des Konzepts sein und nicht erst eine nachträgliche Anpassung nach dem Pilotprojekt. In der Praxis entscheidet auch, ob das System nachträglich aufzeigen kann, auf welcher Quelle eine Antwort basierte und wer zu diesem Zeitpunkt die Berechtigung dafür hatte.

Noch sensibler ist die Situation bei Agenten, die Aktionen auslösen können. Die Vorbereitung einer Antwort an einen Kunden oder der Entwurf einer Bestelländerung kann automatisch ablaufen, das eigentliche Absenden oder der Eingriff in ein Unternehmenssystem erfordert jedoch oft eine Bestätigung durch einen Menschen. Ein produktiver Agent benötigt daher eine klar definierte Grenze zwischen einer Empfehlung, einem Entwurf und der tatsächlichen Durchführung einer Aktion.

Wie man ein Pilotprojekt konzipiert, das eine Chance auf den Produktivstart hat

Ein Pilotprojekt sollte bei einem Prozess beginnen, bei dem sich ähnliche Arbeit wiederholt und das Ergebnis vernünftig messbar ist. In der Praxis ist dies oft der Kundenservice, da dieser mit ähnlichen Fragen arbeitet und sich auf eine bestehende Dokumentation stützt. Ebenso gut kann eine interne Wissensdatenbank oder die Erstellung von Vertriebsunterlagen funktionieren, sofern klar ist, welchen Teil der Arbeit der Agent beschleunigen soll und woran der Erfolg gemessen wird.

Erst nach der Klärung des konkreten Szenarios folgt die Auswahl von Modell, Datenbank und Hardware. Bei einem Pilotprojekt ist es wichtiger herauszufinden, wie sich der Agent im realen Arbeitskontext verhält, als sofort die Infrastruktur für das gesamte Unternehmen zu entwerfen. Genau deshalb lohnt es sich, mit einem kleineren, gut abgegrenzten Anwendungsfall zu beginnen, den man anhand echter Anfragen testen und schrittweise erweitern kann.

Das Testset sollte mehr als nur Beispiel-Fragen umfassen, die so vorbereitet wurden, dass der Agent gut dasteht. Im ersten Schritt können anonymisierte oder synthetische Daten ausreichen, aber das Pilotprojekt sollte so schnell wie möglich auch mit repräsentativen Unterlagen des Unternehmens arbeiten. Erst an diesen zeigt sich, wie das System mit unvollständigen Angaben, älteren Dokumentenversionen, uneinheitlicher Terminologie oder einer Situation umgeht, in der es lieber Unsicherheit eingestehen sollte, anstatt eine überzeugende, aber falsche Antwort zu generieren.

Bereits während des Pilotprojekts lohnt es sich, die Geschwindigkeit der Antwort zusammen mit ihrer Qualität und der Fähigkeit, die richtige Quelle nachzuvollziehen, zu messen. Ebenso wichtig ist es zu beobachten, ob die Menschen das Tool tatsächlich nutzen oder es nach dem ersten Ausprobieren umgehen. Wenn das Pilotprojekt standhält, muss der Entwurf für den Produktivbetrieb die erwartete Auslastung, Regeln für die Datenverarbeitung, Sicherheit und die Art und Weise lösen, wie der Agent im Laufe der Zeit weiter an die Bedürfnisse des Unternehmens angepasst wird.

Kontrollfragen vor der Produktion

• Welchen Prozess soll der Agent beschleunigen oder automatisieren?
• Wer wird ihn nutzen und wie oft?
• Wie viele Anfragen können gleichzeitig laufen?
• Mit welchen Daten wird der Agent arbeiten?
• Welche Berechtigungen muss er respektieren?
• Wo ist eine menschliche Freigabe erforderlich?
• Wie wird die Qualität der Antworten gemessen?
• Wer kümmert sich um Integrationen, Monitoring und Veränderungen im Laufe der Zeit?
• Welches Wachstum der Auslastung ist nach einer erfolgreichen Einführung zu erwarten?

Vom Pilotprojekt zum Betrieb: Ein AI-Agent muss sich im realen Einsatz bewähren

AI-Agenten können Unternehmen die Arbeit mit Informationen und wiederkehrenden Aufgaben beschleunigen, der tatsächliche Nutzen zeigt sich jedoch erst im regulären Betrieb. Wichtig ist, dass die Menschen das Tool wirklich nutzen, die Antworten auch bei unpräzisen Fragen standhalten und die Infrastruktur Spitzenlasten ohne spürbare Verschlechterung der Antwortzeit bewältigt. Die Pilotphase hilft dabei, den Nutzen eines konkreten Szenarios zu validieren. Der Produktivbetrieb erfordert bereits eine robustere Infrastruktur, Zugriffssteuerung, Monitoring, das Testen von Änderungen und eine klare Verantwortung für das gesamte System. Ein gut konzipierter Agent beginnt mit einem konkreten Szenario, wird durch einen realistischen Test fortgeführt und geht erst danach zur Entscheidung über die Infrastruktur über.

Bei der Auswahl der technischen Basis ist es am wichtigsten, die Auslastung, die Daten und den erwarteten Betrieb zu kennen. Ein Entwicklungsteam benötigt eine andere Konfiguration als ein internes Pilotprojekt oder eine produktive Implementierung für mehrere Abteilungen. Ein Unternehmen, das diese Unterschiede rechtzeitig benennt, vermeidet sowohl eine unterdimensionierte Lösung als auch den unnötig teuren Kauf von Leistung ohne klare Nutzung.

Peter Vnuk

Technologien sind für mich sowohl Beruf als auch Hobby – am meisten beschäftige ich mich mit Smartphones, Notebooks, Audiotechnik, künstlicher Intelligenz und allem, was hi-tech ist. Ich rezensiere gerne Neuheiten, verfolge futuristische Trends und versuche, die zukünftige Entwicklung von Technologien abzuschätzen. Science-Fiction und Visionen zukünftiger Welten faszinieren mich – sie sind oft auch eine Inspiration für reale technologische Fortschritte. Beruflich beschäftige ich mich zudem mit Videospielen und der Gaming-Branche. Und wenn ich mal nicht arbeite, entspanne ich gerne bei einem guten Spiel, einem qualitativ hochwertigen Bier oder beim Erstellen von Tech-Memes auf Facebook.