NVIDIA L40S Passive PCIe 48GB

Hauptmerkmale: Grafikkarte NVIDIA L40S Passive PCIe 48 GB

AD102 im Einsatz im Rechenzentrum

Große Sprachmodelle, die auf Milliarden von Parametern trainiert wurden, erfordern bei der Inferenz sowohl Genauigkeit als auch Geschwindigkeit. Die NVIDIA L40S Passive PCIe 48 GB Transformer Engine vereint beides: Die automatische Umschaltung zwischen FP8- und FP16-Genauigkeit auf der Ebene einzelner Netzwerkschichten maximiert die Leistung, wo es das Modell zulässt, und gewährleistet die Genauigkeit, wo sie entscheidend ist. Das Ergebnis sind 1.466 TFLOPS effektive KI-Leistung in FP8 und eine drastische Verkürzung der Latenzzeit des ersten Tokens bei Modellen wie Llama 2-7B, 13B und 70B. Für AI-Factory- und Enterprise-LLM-Bereitstellungen, bei denen sich die Kosten für die Inferenz auf Millionen von Token pro Stunde belaufen, ist die L40S-GPU sowohl in wirtschaftlicher als auch in leistungsbezogener Hinsicht die optimale Wahl.

Rendering, 3D-Grafik und Video

Die Rechenzentren bedienen heute nicht nur KI-Workloads, sondern auch virtuelle Workstations, Echtzeit-Visualisierungen und Videopipelines. Die NVIDIA L40S Passive PCIe 48 GB bietet genau das: RT-Kerne der 3. Generation mit einer Leistung von 212 TFLOPS ermöglichen Hardware-Raytracing für Architekturvisualisierungen, Produktrenderings und VFX-Produktionen direkt im Serverbetrieb. DLSS 3 mit Bildgenerierung sorgt für flüssigen Betrieb für VDI-Anwender auch in anspruchsvollen 3D-Anwendungen. Die drei NVENC-Encoder mit AV1-Unterstützung bewältigen dann parallele Videostreams für die Medienproduktion, den Rundfunk oder Remote-Workstations, ohne dass dabei Abstriche bei der Qualität oder der Latenz gemacht werden müssen.

Zuverlässigkeit auf Enterprise-Niveau für Rechenzentren im 24/7-Betrieb

Leistung allein reicht nicht aus – eine GPU für ein Produktionsrechenzentrum muss auch ausdauernd sein. Die NVIDIA L40S Passive PCIe 48 GB wurde direkt von NVIDIA für den 24/7-Einsatz in Unternehmensumgebungen entwickelt, gebaut, getestet und wird von NVIDIA unterstützt. Sie verfügt über eine passive Kühlung ohne bewegliche Teile, die als potenzielle Fehlerquelle dienen könnten. Die NEBS-Level-3-Zertifizierung erfüllt die Anforderungen von Telekommunikations-Rechenzentren hinsichtlich der Ausfallsicherheit. Secure Boot mit Root-of-Trust-Technologie bietet zusätzlichen Hardware-Schutz für einen sicheren Systemstart und Schutz vor unbefugten Eingriffen. Für IT-Manager und Rechenzentren, die sich keine Ausfälle leisten können, ist die L40S-GPU die erste Wahl mit einer klaren Garantie für Betriebssicherheit.