Memphis beherbergt rekordverdächtigen KI-Supercomputer, gebaut von xAI und Nvidia

TLDR

• Der Colossus-Supercomputer von xAI in Memphis ist mit 100.000 Nvidia-GPUs heute der weltweit größte KI-Trainingscluster
• Mit dem System wird die dritte Generation der Grok-KI-Modelle trainiert
• Der Aufbau dauerte 122 Tage, die Modellschulung begann 19 Tage nach der Installation
• xAI plant eine Verdoppelung der Kapazität auf 200.000 GPUs
• Die Spectrum-X-Technologie von Nvidia ermöglicht eine Durchsatzeffizienz von 95 % im Vergleich zu 60 % bei herkömmlichen Netzwerken.

Im Rahmen einer wichtigen Entwicklung für die Infrastruktur für künstliche Intelligenz gab Nvidia am Montag bekannt, dass seine Spectrum-X-Netzwerktechnologie den Colossus-Supercomputer von xAI in Memphis, Tennessee, antreibt, der mittlerweile als weltweit größter KI-Trainingscluster gilt.

Das riesige System, bestehend aus 100.000 Nvidia Hopper-GPUs, dient als Trainingsgrundlage für die dritte Generation von Grok, der Sprachmodellsuite von xAI, die Chatbot-Funktionen für X Premium-Abonnenten unterstützt.

Noch bemerkenswerter ist, dass xAI den Bau dieses Rechenkraftwerks in nur 122 Tagen abgeschlossen hat.

Besonders bemerkenswert ist die Geschwindigkeit der Bereitstellung in der Supercomputing-Welt. Das System begann bereits 19 Tage nach der Installation mit dem Training seiner ersten Modelle und stellte die technischen Fähigkeiten sowohl des xAI-Ingenieurteams als auch der Hardware-Integration von Nvidia unter Beweis.

Das Herzstück von Colossus ist ein einheitliches Remote Direct Memory Access-Netzwerk, das die große Auswahl an Hopper-GPUs verbindet.

Dieses Wochenende ist die @xAI Das Team hat unser Colossus 100k H100-Trainingscluster online gestellt. Von Anfang bis Ende dauerte es 122 Tage.

Colossus ist das leistungsstärkste KI-Trainingssystem der Welt. Darüber hinaus wird sich die Größe in einigen Monaten auf 200.000 (50.000 H200) verdoppeln.

Exzellent…

— Elon Musk (@elonmusk) 2. September 2024

Diese spezialisierten Prozessoren bewältigen komplexe Aufgaben, indem sie Arbeitslasten auf mehrere Einheiten verteilen und parallel verarbeiten, was ein schnelleres und effizienteres KI-Modelltraining ermöglicht.

Die Implementierung der Spectrum-X-Technologie von Nvidia markiert einen Durchbruch in der Netzwerkeffizienz. Während herkömmliche Ethernet-Netzwerke normalerweise bei einem Durchsatz von 60 % ihr Maximum erreichen und häufig mit Überlastung und Paketverlust zu kämpfen haben, erreicht Spectrum-X einen Durchsatz von 95 %, ohne Kompromisse bei der Latenz einzugehen.

Dieser Fortschritt erweist sich als entscheidend für KI-Trainingsaufgaben, bei denen riesige Datenmengen schnell zwischen Verarbeitungseinheiten übertragen werden müssen.

Die Architektur ermöglicht die direkte Übertragung von Daten zwischen Knoten unter Umgehung des Betriebssystems, was zu einer optimalen Leistung für umfangreiche KI-Trainingsvorgänge führt.

Die Ambitionen von xAI gehen über das aktuelle Setup hinaus. Das Unternehmen hat Pläne angekündigt, die Kapazität von Colossus auf 200.000 GPUs zu verdoppeln und damit seine Position als führender Akteur in der KI-Infrastruktur weiter zu festigen.

Diese Erweiterung entspricht den wachsenden Anforderungen beim Training immer ausgefeilterer KI-Modelle.

Der Standort von Colossus in Memphis stellt eine Abkehr von der typischen Küstenkonzentration der technischen Infrastruktur dar.

.@xAI’s Colossus in Memphis, der weltweit größte KI-Supercomputer mit 100.000 NVIDIA Hopper-GPUs, erreicht mit NVIDIA Spectrum-X Ethernet neue Höhen. Ein Beweis für NVIDIAs Engagement für #KI Fortschritt.

Lesen Sie mehr: https://t.co/NDSMpQKbGl pic.twitter.com/KpLpWg3Ao1

– NVIDIA (@nvidia) 28. Oktober 2024

Die Wahl Tennessees für eine solch riesige Rechenanlage könnte ein Signal für einen breiteren Trend sein, dass Technologieunternehmen nach Standorten mit Vorteilen bei den Stromkosten und dem physischen Platz suchen.

Die praktischen Auswirkungen dieser Rechenleistung werden deutlich, wenn man den Schulungsbedarf von Grok berücksichtigt. Das KI-Modell muss enorme Mengen an Text, Bildern und Daten verarbeiten, um seine Reaktionen und Fähigkeiten zu verbessern.

Die durch Spectrum-X bereitgestellte verbesserte Netzwerkeffizienz führt direkt zu schnelleren Trainingszeiten und verfeinerten Modellausgaben.

Aus technischer Sicht adressiert die Fähigkeit von Spectrum-X, einen hohen Durchsatz bei gleichzeitiger Minimierung der Latenz aufrechtzuerhalten, eine der größten Herausforderungen beim Aufbau großer KI-Systeme.

Die Technologie ermöglicht einer großen Anzahl von GPUs eine reibungslosere Kommunikation untereinander und vermeidet so die Engpässe, die herkömmliche Netzwerke bei der Abwicklung umfangreicher Datenübertragungen typischerweise plagen.

Die Marktreaktion auf die Ankündigung vom Montag blieb gedämpft, wobei die Nvidia-Aktie einen leichten Rückgang verzeichnete. Die Aktien des Unternehmens wurden bei 141 US-Dollar gehandelt, womit die Marktkapitalisierung bei 3,45 Billionen US-Dollar blieb.

Diese gedämpfte Reaktion deutet darauf hin, dass Anleger die wachsende Rolle von Nvidia bei der Entwicklung der KI-Infrastruktur möglicherweise bereits eingepreist haben.

Die Zusammenarbeit zwischen xAI und Nvidia unterstreicht die kontinuierliche Weiterentwicklung der KI-Computing-Infrastruktur.

Da Modelle immer komplexer und anspruchsvoller werden, wird der Bedarf an effizienten, groß angelegten Computerlösungen immer wichtiger. Colossus repräsentiert den aktuellen Höhepunkt dessen, was im Bereich der KI-Trainingsmöglichkeiten möglich ist.

Die Geschwindigkeit der Bereitstellung und Aktivierung von Colossus zeigt die Reife der Supercomputer-Installationsprozesse.

Der Bauzeitplan von 122 Tagen, gefolgt von nur 19 Tagen für den Beginn des Modelltrainings, setzt neue Maßstäbe für die groß angelegte Bereitstellung von KI-Infrastrukturen.