Falls Sie sich fragen „Wie kann meine Universität oder Institution mit Künstlicher Intelligenz (KI) Kosten senken oder etwas besser machen?“ sind Sie hier genau richtig. Im dritten Teil dieser Blogartikel-Serie geht es um Fragen zur technischen Basis: Welche Infrastruktur benötige ich zwingend, was ist optional?
Der Aufbau einer KI-Umgebung im Unternehmen erfordert eine Hardware-Infrastruktur, die sowohl leistungsstark als auch skalierbar ist. Die Größe einer solchen Umgebung hängt erheblich von der Art der Anwendung und der Menge an zur Verfügung stehenden Daten ab sowie von der Frage, wie isoliert diese innerhalb einer Infrastruktur betrieben werden. Lösung A kann z. B. mit einem feststehenden und unveränderlichen Datenpool an einer gezielten Fragestellung arbeiten (geringe Anforderung). Lösung B könnte dagegen aus einem täglich oder minütlich aktualisierten Datenpool dynamisch verändernde Anforderungen bearbeiten, deren konkrete Fragestellung noch dazu variabel ist (sehr hohe Anforderung).
Größter, bekanntester und aufgrund eines umfassenden Software- und Dienstleistungsportfolios bei vielen gesetzter Anbieter für GPUs ist NVIDIA. Wir bieten unseren Kunden sowohl die nativen H100-Systeme (und ähnliche) an, aber auch Server der Hersteller Dell und HPE mit entsprechenden NVIDIA-GPUs. Die GPU-Server verschiedener Hersteller zu vergleichen, ist eine sehr sinnvolle Form der Marktbetrachtung. Preis, Ausstattung und Verfügbarkeit können sehr unterschiedlich sein.
Wenn Sie zu denjenigen gehören, die noch nie NVIDIA-Aktien gekauft haben und vielleicht einem der aufstrebenden Underdogs im Bereich KI-Hardware eine Chance geben wollen, lohnt es sich, einen Blick auf die Firma Cerebras zu werfen. Die seit Sommer 2024 verfügbare dritte Prozessorgeneration wurde mit vollmundigen Worten angekündigt. Hier ein Zitat: „Heute stellt Cerebras den CS-3 vor, unseren dritten Wafer-Scale-AI-Beschleuniger, der speziell für das Training der fortschrittlichsten KI-Modelle entwickelt wurde. Mit über 4 Billionen Transistoren – 57-mal mehr als die größte GPU – ist der CS-3 doppelt so schnell wie sein Vorgänger und setzt neue Maßstäbe beim Training großer Sprach- und multimodaler Modelle. Der CS-3 ist für Skalierbarkeit ausgelegt: Mit unserer nächsten Generation des SwarmX-Interconnects können bis zu 2048 CS-3-Systeme miteinander verbunden werden, um KI-Supercomputer im Hyperskalierungsbereich mit bis zu einem Viertel eines Zettaflops (10^21) zu bauen. Der CS-3 kann mit bis zu 1.200 Terabyte externem Speicher konfiguriert werden – was es einem einzelnen System ermöglicht, Modelle mit bis zu 24 Billionen Parametern zu trainieren. Damit ebnet er den Weg für ML-Forscher, Modelle zu entwickeln, die 10-mal größer sind als GPT-4 und Claude.“
Ein weiterer, spannender Anbieter ist die Firma Graphcore, ebenfalls aus dem Silicon Valley. Auch Graphcore stellt modernste, für KI optimierte Serverarchitekturen her, die es von kleinen handlichen Einsteigermodellen bis hin zu maximal optimierten Supercomputern gibt. Das Unternehmen gehört mittlerweile zur renommierten Softbank-Gruppe und ist damit auch finanziell zukunftssicher aufgestellt.
Aus Deutschland kommt z. B. der Anbieter Artificial Intelligence Machines, ebenfalls mit einem breiten Angebot an GPU- und CPU-Servern, Workstations, Cloud-Lösungen und dazugehörigen Infrastrukturen.
Selbstverständlich können alle diese Produkte über die Concat AG bezogen werden.
Grundsätzlich ist es Ihnen überlassen, welche Speichersysteme oder Speicherarchitekturen Sie verwenden. Funktionieren werden alle Lösungen, die per NFS angesprochen und mit leistungsfähigen NVMe-Platten ausgestattet wurden. Ein hoher Durchsatz (100 bis 400GBps) der Netzwerk-Infrastruktur (alternativ per Infiniband) ist wünschenswert.
Achten Sie bitte darauf, dass das primäre Hochleistungssystem ausreichend dimensioniert und angeschlossen ist. Dahinter sollte ein Archivspeicher liegen, auf dem die aktuell nicht bearbeiteten Daten vorhanden sind. Dieser Speicherbereich wird stetig weiter wachsen.
Folgendes sollte aus unserer Sicht beachtet werden:
GPUDirect ist ein zentraler Baustein für Hochleistungssysteme, da es die Effizienz von GPU-gestützten Workflows erheblich steigert. Besonders in Kombination mit Speichersystemen wie Dell PowerScale und NVIDIA DGX-Servern ermöglicht es schnellere, skalierbarere und ressourcenschonendere KI- und HPC-Lösungen. Mit der Kombination dieser beiden Hardwareprodukte erreichen Sie aktuell die minimalste Latenz und die maximalste CPU-Auslastung.
Dell PowerScale ist auch generell das von uns empfohlene Speichersystem für die Datenhaltung der KI-Rechenknechte. Alle notwendigen und zahlreiche weitere Features sind hier enthalten. Sie nutzen den Vorteil einer schnellen und flexiblen NVMe-Architektur (True Scale-out) und preisgünstigen Archivspeicher. Auf Wunsch stellen wir gern den Kontakt zu einem unserer zahlreichen Referenzkunden her. Ebenfalls gut geeignet sind die Lösungen von PureStorage (Flash-Blade) und Huawei (OceanStore Pacific). Hier ist allerdings die Integration von maximal schnellem Produktionsspeicher mit dem Archivspeicher nicht bzw. nicht so nahtlos vorhanden wie bei der Dell PowerScale.
Weitere Links
