• Autor: Peter Vnuk
Eine leistungsstarke Workstation oder ein GPU-Server ist üblicherweise viele Jahre im Einsatz, doch die Betriebsbedingungen ändern sich im gleichen Zeitraum schneller als das Gerät selbst. Aus einem kleinen Pilotprojekt kann ein Dienst für mehrere Teams werden und ursprünglich ausreichende Modelle werden durch anspruchsvollere Varianten ersetzt. Eine für das erste interne Projekt angeschaffte Konfiguration stößt dann an ein Speicherlimit, auf wachsende Aufgabenwarteschlangen oder auf ungünstige Kosten pro verarbeiteter Aufgabe.
Die wirtschaftliche Entscheidung richtet sich daher danach, wie viel Wert das Gerät während seiner gesamten Nutzungsdauer schafft und welche Rolle es später übernimmt. Der Anschaffungspreis ist der Ausgangswert, an den sich die erwartete Auslastung und die Betriebskosten anschließen. Ebenso entscheidend ist, ob sich die Infrastruktur ohne umfangreichen Umbau erweitern lässt und was mit der älteren Generation geschieht, sobald neue Hardware die anspruchsvollsten Aufgaben übernimmt.
Ein gut vorbereiteter Plan unterteilt den Lebenszyklus in mehrere Kontrollpunkte und vergleicht die ursprünglichen Annahmen fortlaufend mit dem tatsächlichen Betrieb. Das Unternehmen beschafft Leistung für die bekannte Arbeitslast, lässt Spielraum für Wachstum und klärt im Voraus den nächsten Schritt nach Ausschöpfung der aktuellen Konfiguration. Ein solches Vorgehen ist in der Regel sicherer als eine einzige große Bestellung, die auf einer Schätzung des Bedarfs für viele Jahre im Voraus beruht.
Sie erfahren:
Die technische Lebensdauer richtet sich nach der Zuverlässigkeit des Geräts und der Dauer des Supports. Die wirtschaftliche Lebensdauer endet dagegen früher, sobald der weitere Betrieb ungünstiger wird als eine verfügbare Alternative. Eine neuere Plattform bewältigt dieselbe Arbeitslast beispielsweise mit weniger GPUs oder verkürzt die Verarbeitungszeit erheblich. Zur entscheidenden Kennzahl werden dann die Kosten des Ergebnisses – also der Betrag, den das Unternehmen für eine abgeschlossene Inferenzaufgabe oder einen anderen Output bezahlt, auf dem das jeweilige Projekt basiert.
Die Wahl der Kennzahl richtet sich nach der Aufgabe des Systems. Entscheidend ist, ob die Antwortzeit auch zu Spitzenzeiten akzeptabel bleibt und wie viele Anfragen die Infrastruktur gleichzeitig bedient. Ein Entwicklungsteam spürt wiederum jede Stunde Wartezeit auf eine Berechnung, da langsamere Iterationen den gesamten Arbeitszyklus verlängern. Dieselbe Hardware kann deshalb in einer Umgebung viele Jahre wirtschaftlich bestehen und andernorts deutlich früher unter Druck geraten.
Die Dauer der effizienten Nutzung unterscheidet sich zwischen Unternehmen vor allem nach der Intensität der Arbeitslast. Eine an jedem Arbeitstag ausgelastete GPU weist eine andere Wirtschaftlichkeit auf als eine leistungsstarke Karte, die nur für gelegentliche Experimente verwendet wird. Im ersten Fall wirkt sich die Einsparung einer neuen Generation auf ein großes Arbeitsvolumen aus, im zweiten amortisiert sich die Investition langsamer. Regelmäßige Messungen zeigen zugleich, ob das Unternehmen für dauerhaft ungenutzte Reserven bezahlt oder sich der Kapazitätsgrenze nähert.
| Kennzahl | Was sie zeigt | Wie sie bei der Entscheidung hilft |
|---|---|---|
| Kosten einer abgeschlossenen Aufgabe | Kosten für Inferenz, Training oder Batch-Verarbeitung | Ermöglicht den Vergleich zweier Generationen bei derselben Aufgabe |
| GPU-Auslastung | Welchen Anteil der Zeit der Beschleuniger arbeitet | Deckt überschüssige und fehlende Kapazität auf |
| Speicherreserve | Wie viel VRAM bei normaler Arbeitslast verbleibt | Zeigt den Spielraum für größere Modelle und mehr Anfragen |
| Verarbeitungszeit | Wie lange eine kritische Aufgabe dauert | Hilft, die Auswirkungen auf die Arbeit der Mitarbeiter und den Betrieb zu beziffern |
| Verbrauch pro Aufgabe | Wie viel Energie auf ein Ergebnis entfällt | Präzisiert den Vergleich der Betriebskosten |
| Auswirkung eines Ausfalls | Was die Nichtverfügbarkeit des Geräts das Unternehmen kostet | Hilft bei der Wahl von Service und Ersatzkapazität |
Buchhalterische Abschreibungen liefern den finanziellen Rahmen, Betriebskennzahlen ergänzen das Bild um den Nutzen des Geräts. Eine vollständig abgeschriebene Workstation kann eine stabile Arbeitslast mit geringen Kosten weiterhin gut bewältigen, während ein relativ neuer Server unter Druck gerät, wenn ein schnell wachsender Dienst die Speicherkapazität ausschöpft oder lange Warteschlangen erzeugt. Die Entscheidung über eine Erneuerung beruht deshalb auf einer gemeinsamen Betrachtung von Finanzen und Betrieb.
i
Regelmäßige Messungen zeigen zugleich, ob das Unternehmen für dauerhaft ungenutzte Reserven bezahlt oder sich der Kapazitätsgrenze nähert.
Vergleichsdiagramme der Hersteller zeigen, wie sich die Leistung der neuen Beschleunigerreihe entwickelt hat. Der Nutzen für das Unternehmen hängt jedoch von der konkreten Anwendung ab. Ein großes Modell mit langem Kontext zeigt einen anderen Unterschied als ein Dienst, der kurze Anfragen mit hoher Parallelität verarbeitet. Das Ergebnis wird außerdem davon beeinflusst, ob die eingesetzte Software die neuen Möglichkeiten der Hardware nutzen kann.
Produktive Inferenz profitiert dann von einem höheren Durchsatz, wenn das heutige System durch die eigentliche Rechenebene begrenzt wird. Ein Projekt, das die meiste Zeit auf die Datenaufbereitung oder einen langsamen Speicher wartet, gewinnt durch den Austausch der GPU weniger. Ermitteln Sie daher vor der Bestellung der nächsten Generation, wo heute die größte Verzögerung entsteht und wie viel sie das Unternehmen kostet.
Ein repräsentativer Test sollte den normalen Betrieb einschließlich der Spitzenlast so realitätsnah wie möglich nachbilden und mit dem in der Produktion eingesetzten Modell laufen. Erst das Ergebnis eines solchen Tests lässt sich mit den Migrationskosten verknüpfen und zur Berechnung der Amortisation der Änderung verwenden. Bei einem kritischen Dienst gehören außerdem die Überprüfung der gesamten Betriebsumgebung und ein vorbereiteter Rückweg für den Fall von Komplikationen bei der Einführung zum Übergang.
Infobox 1: Was Sie beim Nutzen eines Upgrades berücksichtigen sollten
Für einen grundlegenden Vergleich können Sie mit folgenden Positionen arbeiten:
Einsparung bei Energie und Betrieb + Wert der höheren Kapazität + Wert der kürzeren Verarbeitungszeit + eingesparte Arbeitszeit der Mitarbeiter − Migrationskosten − Kosten für Anpassungen der Infrastruktur − Kosten der Ausfallzeit
Die Wirtschaftlichkeit der Erneuerung wird auch durch die weitere Nutzung des ursprünglichen Geräts beeinflusst, da ein älterer Beschleuniger nach der Verlagerung auf weniger anspruchsvolle Aufgaben weiterhin Wert schafft.
Die Konzentration auf die Spitzenleistung des Beschleunigers kann andere Teile der Konfiguration leicht verdecken, typischerweise die VRAM-Kapazität. Das Modell und der Betriebs-Overhead müssen in den Speicher passen, während ein längerer Kontext oder eine höhere Anzahl gleichzeitiger Anfragen zusätzlichen Platz beansprucht. Ein Pilotprojekt funktioniert so problemlos, stößt nach der Ausweitung auf mehrere Teams jedoch bereits vor Ausschöpfung der Rechenleistung an die Speichergrenze.
Ein Speicherlimit zwingt das Team in der Regel dazu, den Kompromiss zwischen Qualität und Dienstkapazität zu verändern. Ein kleineres Modell gibt einen Teil des VRAM frei, eine geringere Parallelität reduziert wiederum die Anzahl der gleichzeitig verarbeiteten Anfragen. Die Verteilung der Arbeitslast auf mehrere Geräte verursacht zusätzliche Kosten und erhöht den Verwaltungsaufwand. Beim Kauf lohnt es sich deshalb, auch das erwartete Wachstum der Nutzerzahl und die geplante Skalierung des Dienstes zu berücksichtigen.
Eine ebenso wichtige Rolle spielen Stromversorgung und Kühlung, da ein neuerer Beschleuniger die Möglichkeiten der ursprünglichen Konfiguration mitunter durch seine Leistungsaufnahme oder Abmessungen überschreitet. Bei Serverinfrastruktur kommen Einschränkungen des gesamten Standorts hinzu. Aus einem ursprünglich einfachen Kartentausch wird dann ein umfassenderer Eingriff in die technische Infrastruktur, wodurch sich die erwartete Amortisation erheblich verändert.
!
Aus einem ursprünglich einfachen Kartentausch wird dann ein umfassenderer Eingriff in die technische Infrastruktur, wodurch sich die erwartete Amortisation erheblich verändert.
| Ebene | Was das Wachstum begrenzt | Was Sie vor dem Kauf prüfen sollten |
|---|---|---|
| GPU und VRAM | Größere Modelle, längerer Kontext, mehr Nutzer | Speicherreserve und unterstützte Konfigurationen |
| CPU und RAM | Datenaufbereitung und Steuerung der Verarbeitungskette | Erweiterungsmöglichkeiten und Ausgewogenheit gegenüber der GPU |
| Speicher | Wachstum von Datensätzen, Zwischenergebnissen und Cache | Freie Steckplätze, Durchsatz und Redundanz |
| Netzwerk | Mehr Knoten und größere Datenströme | Verfügbare Geschwindigkeit und Erweiterungsspielraum |
| Stromversorgung | Höhere Leistungsaufnahme der nächsten Generation | Netzteilleistung, Anschlüsse und Limit der gesamten Konfiguration |
| Kühlung | Höhere Wärmedichte | Luftstrom, Abstand zwischen den Karten und Rack-Kapazität |
| Software | Änderungen bei Treibern und unterstützten Plattformen | Supportdauer und freigegebene Konfigurationen |
Lassen Sie sich bei teureren Servern daher bereits vor dem Kauf bestätigen, dass der Hersteller die geplante Erweiterung unterstützt und dass die Konfiguration sie auch hinsichtlich Leistungsaufnahme und Kühlung bewältigt. Ein freier Steckplatz für eine weitere Karte ist nur dann wertvoll, wenn daran eine praxistaugliche Konfiguration des gesamten Systems anknüpft.
Eine Workstation oder ein Server mit späterer Erweiterungsmöglichkeit erlaubt es, die Ausgaben auf mehrere Etappen zu verteilen. Die erste Konfiguration deckt den aktuellen Bedarf ab und zusätzliche Leistung kommt erst nach steigender Nutzung hinzu – die teuersten Komponenten warten dadurch nicht monatelang ungenutzt und das Unternehmen behält zugleich Spielraum für ein erfolgreiches Projekt.
Eine erweiterbare Konfiguration benötigt deshalb eine präzise Beschreibung der künftigen Eingriffe. Bei einer Workstation ist entscheidend, ob die physische Anordnung und die Stromversorgung das Nachrüsten eines weiteren Beschleunigers ohne umfangreiche Änderungen ermöglichen. Bei einem Server kommen Fragen zur Unterstützung konkreter Konfigurationen und zur Verfügbarkeit des Service hinzu. Für die Budgetplanung ist wesentlich zu wissen, was sich in zwei oder drei Jahren ergänzen lässt und wie viel eine solche Änderung kosten wird.
Dicht integrierte Multi-GPU-Plattformen erfordern eine noch sorgfältigere Beurteilung, da ihre hohe Leistung auf dem Design der gesamten Konfiguration und der Art der Verbindung zwischen den einzelnen Komponenten beruht. Die spätere Erneuerung richtet sich deshalb nach den Grenzen der konkreten Plattform. Die Beschaffungsanforderungen sollten von Anfang an zwischen einer normalen Erweiterung und einer Änderung unterscheiden, die praktisch bereits ein neues System bedeutet.
| Lösungstyp | Typische Erweiterungsmöglichkeit | Was Sie prüfen sollten |
|---|---|---|
| KI-Workstation | RAM, SSD, bei einigen Konfigurationen GPU | Netzteil, Steckplätze, Abmessungen und Kühlung |
| GPU-Server | RAM, Speicher, Netzwerk, unterstützte Beschleuniger | Liste der freigegebenen Konfigurationen |
| Dicht bestückter Multi-GPU-Server | Ausgewählte Komponenten innerhalb der Plattform | Leistungsaufnahme, Verbindungsart und Service |
| Infrastruktur mit mehreren Knoten | Hinzufügen weiterer Knoten | Netzwerk, Verwaltung und Lastverteilung |
| Notebook | Modellabhängig begrenzte Erweiterung | Arbeitsspeicher, Speicher und Möglichkeiten der gesamten Plattform |
Eine Reserve für eine zweite GPU besitzt bei einem Projekt hohen Wert, das bereits während des Pilotbetriebs schnell neue Nutzer gewinnt. Bei einer gelegentlichen experimentellen Arbeitslast bleibt dieselbe Vorbereitung lange ungenutzt und erhöht den Einstiegspreis. Verknüpfen Sie die Erweiterbarkeit daher mit dem erwarteten Projektwachstum und einem im Voraus festgelegten Termin für die nächste Bewertung.
Rechenknoten altern in der Regel schneller als die Daten- und Netzwerkebene der Umgebung, sodass das gesamte System nicht im gleichen Rhythmus erneuert werden muss. Hochwertige Speicher- oder Netzwerkinfrastruktur kann über mehrere Generationen von GPU-Servern hinweg eingesetzt werden. Die Trennung dieser Zyklen ermöglicht es, die Leistung schrittweise zu verändern und Komponenten zu erhalten, die ihren Zweck weiterhin erfüllen.
Ein Unternehmen kann beispielsweise einen gemeinsamen Speicher und ein Netzwerk für mehrere Rechenknoten vorbereiten und die eigentlichen GPU-Server anschließend entsprechend der wachsenden Nutzung beschaffen. Bei der nächsten Erneuerung wird der am stärksten belastete Rechenbereich ausgetauscht, während die übrigen Ebenen weiterbetrieben werden – so verteilt sich die Investition über die Zeit und kann besser auf die Entwicklung des Projekts reagieren.
Eine Reserve im Netzwerk, Speicher oder bei der Stromversorgung muss an die erwartete Entwicklung gekoppelt sein. Dabei kann es sich beispielsweise um einen geplanten zweiten Knoten oder um ein im Voraus geschätztes Wachstum des Datenvolumens innerhalb von zwei Jahren handeln. Eine solche Annahme bestimmt, wie viel Kapazität Sie vorbereiten sollten und wann deren Nutzung erneut bewertet wird.
Infobox 2: Drei Planungshorizonte
Aktueller Betrieb: Die Konfiguration bewältigt die normale Arbeitslast und bekannte Spitzen mit einer angemessenen Reserve.
Erwartetes Wachstum: Das Budget berücksichtigt beispielsweise die Ausweitung des Dienstes auf ein weiteres Team innerhalb von zwei Jahren oder ein im Voraus geschätztes Wachstum der Nutzerzahl.
Nächste Erneuerung: Bereits beim Kauf ist klar, welche Komponenten ergänzt werden können, welche in Betrieb bleiben und wo der Austausch einer gesamten Ebene vorgesehen ist.
Anforderungen an eine künftige Erweiterung haben das größte Gewicht, wenn sie Bestandteil der Beschaffungsanforderungen sind. Der Anbieter beurteilt die heutige Konfiguration dadurch im Kontext des geplanten Wachstums und der technischen Grenzen des Systems. Klären Sie, ob Sie später einen weiteren Beschleuniger ohne grundlegende Änderung der Stromversorgung oder des Gehäuses ergänzen können, und fordern Sie Informationen zu unterstützten Konfigurationen sowie zur Dauer des Service-Supports an.
Der Wechsel zur nächsten Generation erfordert in der Regel mehr Arbeit als die reine Montage der Hardware. Die Produktionsumgebung muss unter Last überprüft werden und das Team muss Zeit für die Migration einplanen. Bei einem kritischen Dienst kommen außerdem ein geplantes Wartungsfenster und Ersatzkapazität hinzu. Ein technisch kompatibles Upgrade wird nach Einbeziehung des Arbeitsaufwands daher deutlich teurer, als es der Preis der Komponente allein vermuten lässt.
Legen Sie auch im Voraus fest, was nach dem Ende der Hauptrolle mit dem Gerät geschieht. Am vorteilhaftesten ist meist die Verlagerung auf einen anderen Workload, sofern die ältere Hardware die erforderliche Aufgabe weiterhin zu akzeptablen Kosten bewältigt. Wo der weitere Betrieb wirtschaftlich nicht sinnvoll ist, kommen die Rückgabe im Rahmen einer Miete oder Verkauf und Ankauf gemäß den verfügbaren Bedingungen infrage. Berücksichtigen Sie einen künftigen Restwert nur in dem Umfang, in dem er im Voraus belegt ist.
Bewahren Sie die Informationen aus den Beschaffungsanforderungen zusammen mit dem Angebot und der Beschreibung der ursprünglichen Konfiguration auf, damit die nächste Investitionsentscheidung auf einem Vergleich des Plans mit der Entwicklung der Arbeitslast beruht. Das Beschaffungsteam kann so zu den ursprünglichen Annahmen zurückkehren, ohne technische Details langwierig zusammensuchen zu müssen.
Ein Direktkauf eignet sich gut für eine stabile Arbeitslast mit hoher langfristiger Auslastung, da sich der Anschaffungspreis auf ein großes Arbeitsvolumen verteilt. Das Ergebnis wird dann vor allem davon beeinflusst, wie viel Arbeit die Hardware tatsächlich erledigt und wie lange das Unternehmen sie produktiv einsetzt. Zur Wirtschaftlichkeit gehören außerdem Energieverbrauch und Service, die bei dauerhaft ausgelasteten Geräten zunehmend an Bedeutung gewinnen.
Bei Diensten mit weniger vorhersehbarer Entwicklung kommt die Miete in den Vergleich. Sie verteilt die Ausgaben über die Zeit und vereinfacht bei ausgewählten Kategorien die regelmäßige Erneuerung. Der Vergleich muss deshalb auf den Gesamtkosten über den gesamten Zeitraum und den Bedingungen beruhen, unter denen Sie das Gerät zurückgeben oder austauschen. Bei einem Teil der Computer, darunter ausgewählte KI-Konfigurationen, lassen sich auf diese Weise auch der Aufwand für einen späteren Verkauf und die Ausmusterung der Technik reduzieren.
Spezialisierte GPU-Server und individuelle Konfigurationen erfordern eine vorsichtigere Beurteilung, da die Verfügbarkeit von Miete, späterem Austausch oder Ankauf von der konkreten Konfiguration und den Geschäftsbedingungen abhängt. Ein konservativer Investitionsplan arbeitet deshalb nur mit Optionen, die für das jeweilige Gerät bestätigt wurden. Fehlt ein im Voraus bekannter Mechanismus, sollte der Restwert vorsichtiger bewertet werden.
| Modell | Wann es geeignet ist | Was Sie in die Entscheidung einbeziehen sollten |
|---|---|---|
| Direktkauf | Stabile und gut bekannte Arbeitslast | Auslastung, Energie, Service und weitere Nutzung |
| Miete | Höhere Unsicherheit und regelmäßige Erneuerung | Gesamtkosten, Rückgabe und Änderungsbedingungen |
| Schrittweiser Kauf | Ein in Etappen wachsendes Projekt | Kompatibilität und Erweiterungskosten |
| Eigene Basiskapazität + externe Spitzenlast | Stabiler Betrieb mit deutlichen Schwankungen | Kosten externer Kapazität, Datenübertragung und Verwaltung |
| Begrenztes Pilotprojekt | Nicht validiertes Anwendungsszenario | Messbare Ergebnisse vor einer größeren Investition |
Mit dem Fortschritt des Projekts verändert sich auch die am besten geeignete Finanzierungsform. Ein Pilotprojekt kann mit einer kleineren Konfiguration oder einem gemieteten Gerät beginnen und nach der Bestätigung einer regelmäßigen Arbeitslast zu eigener stabiler Kapazität wechseln. Weitere Leistung kommt anschließend je nach gemessener Nutzung schrittweise hinzu.
Die Kosten desselben technischen Defekts unterscheiden sich erheblich nach der Rolle des Geräts: Der Ausfall einer Entwicklungs-Workstation stoppt die Arbeit eines Spezialisten, der Ausfall eines Produktionsservers betrifft eine gesamte Abteilung oder den Kundendienst. Vergleichen Sie den Serviceumfang daher mit den finanziellen Auswirkungen der Ausfallzeit und dem Zeitraum, in dem das Unternehmen ohne die jeweilige Kapazität arbeiten kann.
Der betriebliche Wert des Service wird vor allem durch die Zeit bestimmt, nach der das Gerät wieder einsatzbereit ist. Sie hängt von der Reaktionsgeschwindigkeit und der Verfügbarkeit von Ersatzteilen ab, bei kritischen Diensten kommt vorbereitete Ersatzkapazität hinzu. Eine einzelne Workstation kann eine längere Reparatur verkraften, wenn das Team die Arbeit an anderer Stelle fortsetzen kann. Dasselbe Servicepaket besitzt deshalb nicht für alle Gerätetypen denselben Wert.
Bei ausgewählten Produkten lässt sich die Nutzungsdauer durch einen Serviceumfang verlängern, der insbesondere bei Geräten für einen längeren Betrieb die Unsicherheit in der Budgetplanung reduziert. Die Kosten einer solchen Leistung werden mit den Auswirkungen eines Defekts und damit verglichen, wie schnell Ersatz bereitgestellt werden kann.
Nach der Erneuerung des anspruchsvollsten Teils der Infrastruktur kann die ursprüngliche Hardware für weniger anspruchsvolle Aufgaben weiterhin wirtschaftlich eingesetzt werden. Eine ältere GPU kann die Entwicklungsumgebung oder einen internen Dienst auf Basis eines kleineren Modells übernehmen. Eine weitere geeignete Rolle ist die Erstellung von Embeddings für die Suche in Dokumenten, da eine solche Aufgabe nicht den neuesten Beschleuniger in der primären Produktionsebene benötigt.
In der Praxis entsteht dadurch eine aufeinanderfolgende Kaskade. Die neue Generation übernimmt die anspruchsvollste Produktion, die vorherigen Geräte stabile interne Dienste und die ältere Hardware Entwicklungs- oder Batch-Aufgaben. Erst Technik ohne weitere wirtschaftlich vertretbare Nutzung wird gemäß den verfügbaren Bedingungen zurückgegeben, verkauft oder angekauft.
Die Wirtschaftlichkeit der Zweitnutzung hängt auch davon ab, wie viel Administratorarbeit der Betrieb mehrerer Generationen beansprucht. Eine standardisierte und automatisierte Umgebung erleichtert die Verlagerung von Aufgaben zwischen Servern, stark individuelle Konfigurationen verteuern das zweite Leben der Technik deutlich. Zur TCO gehört deshalb auch die für die weitere Verwaltung erforderliche Zeit.
Die regelmäßige Bewertung beginnt mit einem Vergleich der Kosten der zentralen Aufgabe und der Kapazitätsreserve des Systems, da deren Entwicklung schnell zeigt, ob die aktuelle Plattform weiterhin den Anforderungen des Projekts entspricht. Ein dynamisch wachsender Dienst erfordert häufigere Kontrollen als eine stabile interne Anwendung mit einer sich langsam verändernden Arbeitslast.
Steigende Kosten der abgeschlossenen Arbeit weisen auf einen Verlust der betrieblichen Effizienz hin, während Speicherdruck die einsetzbaren Modelle oder die Anzahl gleichzeitiger Anfragen begrenzt. Lange Warteschlangen helfen dabei, die Auswirkungen mangelnder Kapazität auf Nutzer und Arbeitsteams zu beziffern. Aus diesen Signalen lässt sich ein wirtschaftlicher Vergleich einer weiteren Erweiterung mit dem aktuellen Zustand erstellen.
Zur selben Bewertung gehören Support und Teileverfügbarkeit, da ein hinsichtlich der Leistung ausreichendes System durch längere Ausfälle oder aufwendigere Serviceleistungen schrittweise teurer wird. Die Entscheidung über die Erneuerung beruht dann auf den Betriebskosten und dem Nutzen der neuen Plattform unter Berücksichtigung der weiteren Verwendung der ursprünglichen Technik.
Eine schrittweise Entscheidungsfindung lässt Spielraum für Wachstum und begrenzt lange Zeiträume, in denen teure Kapazität auf ihre Nutzung wartet. Im Bereich der KI-Infrastruktur besitzt dieser Ansatz einen hohen Wert, da einzelne Projekte unterschiedlich schnell wachsen und die nächste Hardwaregeneration innerhalb weniger Jahre die Wirtschaftlichkeit eines Teils der Aufgaben verändern kann.
Eine langfristig nutzbare KI-Infrastruktur entsteht aus einem präzisen Bild der aktuellen Arbeitslast und einem im Voraus durchdachten Wachstumspfad. Die Leistung einer neuen Generation besitzt für das Unternehmen dann einen Wert, wenn sie die Arbeitskosten senkt, Kapazitätsgrenzen beseitigt oder Aufgaben mit messbaren Auswirkungen auf den Betrieb verkürzt. In die Entscheidung fließen außerdem die Migrationskosten und die spätere Rolle des ursprünglichen Geräts ein.
Wenn die einzelnen Ebenen schrittweise erneuert werden, verteilt das Unternehmen die Investition über die Zeit und reagiert besser auf die Entwicklung des Projekts. Bei einem Teil der Technik helfen Miete oder ein längerer Serviceumfang, während ältere Hardware mit weniger anspruchsvollen Aufgaben weiterarbeitet. Das Ergebnis ist ein Lebenszyklus, der auf fortlaufenden Entscheidungen beruht und die Abhängigkeit des Budgets von einer einzigen Zukunftsschätzung reduziert.
Die wirtschaftliche Lebensdauer endet, sobald der weitere Betrieb ungünstiger wird als eine verfügbare Alternative. Eine neuere Plattform bewältigt dieselbe Arbeitslast beispielsweise mit weniger GPUs oder verkürzt die Verarbeitungszeit erheblich. Zur entscheidenden Kennzahl werden dann die Kosten des Ergebnisses – also der Betrag, den das Unternehmen für eine abgeschlossene Inferenzaufgabe oder einen anderen Output bezahlt, auf dem das jeweilige Projekt basiert.
Neben der Rechenleistung der GPU begrenzt vor allem die VRAM-Kapazität das Wachstum, da das Modell und der Betriebs-Overhead in den Speicher passen müssen. Weitere Grenzen sind Stromversorgung und Kühlung, da ein neuerer Beschleuniger die Möglichkeiten der ursprünglichen Konfiguration mitunter durch seine Leistungsaufnahme oder Abmessungen überschreitet. Auch CPU, RAM, Speicher und Netzwerkinfrastruktur spielen eine Rolle.
Ein repräsentativer Test sollte den normalen Betrieb einschließlich der Spitzenlast so realitätsnah wie möglich nachbilden und mit dem in der Produktion eingesetzten Modell laufen. Erst das Ergebnis eines solchen Tests lässt sich mit den Migrationskosten verknüpfen und zur Berechnung der Amortisation der Änderung verwenden. Vergleichsdiagramme der Hersteller zeigen die allgemeine Leistungsentwicklung, der Nutzen für das Unternehmen hängt jedoch von der konkreten Anwendung und der eingesetzten Software ab.
Zur TCO gehören Anschaffungspreis, Energieverbrauch, Servicekosten, Migrationskosten und die Auswirkungen von Ausfällen. Ein wichtiger Posten ist außerdem die weitere Nutzung des ursprünglichen Geräts – ein älterer Beschleuniger schafft nach der Verlagerung auf weniger anspruchsvolle Aufgaben weiterhin Wert. Miete oder Ankauf berücksichtigen Sie gemäß den für das jeweilige Produkt verfügbaren Bedingungen.
Die Miete eignet sich für Dienste mit weniger vorhersehbarer Entwicklung, da sie die Ausgaben über die Zeit verteilt und bei ausgewählten Kategorien die regelmäßige Erneuerung vereinfacht. Der Vergleich muss auf den Gesamtkosten über den gesamten Zeitraum sowie den Rückgabe- oder Austauschbedingungen beruhen. Spezialisierte GPU-Server erfordern eine vorsichtigere Beurteilung, da die Verfügbarkeit der Miete von der konkreten Konfiguration und den Geschäftsbedingungen abhängt.
Eine ältere GPU kann die Entwicklungsumgebung oder einen internen Dienst auf Basis eines kleineren Modells übernehmen. Eine weitere geeignete Rolle ist die Erstellung von Embeddings für die Suche in Dokumenten. In der Praxis entsteht dadurch eine aufeinanderfolgende Kaskade – die neue Generation bedient die anspruchsvollste Produktion, die vorherigen Geräte stabile interne Dienste und die ältere Hardware Entwicklungs- oder Batch-Aufgaben.

Peter Vnuk
Technologien sind für mich sowohl Beruf als auch Hobby – am meisten beschäftige ich mich mit Smartphones, Notebooks, Audiotechnik, künstlicher Intelligenz und allem, was hi-tech ist. Ich rezensiere gerne Neuheiten, verfolge futuristische Trends und versuche, die zukünftige Entwicklung von Technologien abzuschätzen. Science-Fiction und Visionen zukünftiger Welten faszinieren mich – sie sind oft auch eine Inspiration für reale technologische Fortschritte. Beruflich beschäftige ich mich zudem mit Videospielen und der Gaming-Branche. Und wenn ich mal nicht arbeite, entspanne ich gerne bei einem guten Spiel, einem qualitativ hochwertigen Bier oder beim Erstellen von Tech-Memes auf Facebook.