NVIDIA führt NIM-Mikroservices zur Verbesserung der generativen KI in digitalen Umgebungen ein

NVIDIA hat bedeutende Fortschritte bei der generativen physischen KI angekündigt und auf der SIGGRAPH neue NIM-Mikrodienste und den NVIDIA Metropolis-Referenzworkflow vorgestellt. Diese Innovationen sollen das Training physischer Maschinen verbessern und ihre Fähigkeit zur Bewältigung komplexer Aufgaben steigern, heißt es im NVIDIA-Blog.

Generative KI in physischen Umgebungen

Generative KI-Technologie, die bereits weithin zum Schreiben und Lernen eingesetzt wird, ist nun bereit, bei der Navigation in der physischen Welt zu helfen. Zu den neuen Angeboten von NVIDIA gehören drei fVDB NIM-Mikrodienste, die Deep-Learning-Frameworks für 3D-Welten unterstützen, und mehrere USD NIM-Mikrodienste für die Arbeit mit Universal Scene Description (USD), auch bekannt als OpenUSD.

Die neu entwickelten OpenUSD NIM-Mikroservices arbeiten im Tandem mit generativen KI-Modellen, um Entwicklern die Integration generativer KI-Copiloten und -Agenten in USD-Workflows zu ermöglichen und so die Fähigkeiten von 3D-Umgebungen zu erweitern.

NVIDIA NIM-Microservices transformieren physische KI-Landschaften

Physische KI nutzt fortschrittliche Simulationen und Lernmethoden, um Robotern und anderen automatisierten Systemen zu helfen, ihre Umgebung besser wahrzunehmen, zu verstehen und zu navigieren. Diese Technologie revolutioniert Branchen wie die Fertigung und das Gesundheitswesen, indem sie intelligente Räume voranbringt und die Funktionalität von Robotern, Fabriktechnologien, chirurgischen KI-Agenten und autonomen Fahrzeugen verbessert.

NVIDIA bietet eine Suite aus NIM-Mikroservices, die auf bestimmte Modelle und Branchenanwendungen zugeschnitten sind und Funktionen in den Bereichen Sprache und Übersetzung, Sehen und Intelligenz sowie realistische Animation und Verhalten unterstützen.

Visuelle KI-Agenten in Visionäre verwandeln

Visuelle KI-Agenten, die Computer Vision-Funktionen nutzen, sind darauf ausgelegt, die physische Welt wahrzunehmen und mit ihr zu interagieren. Diese Agenten basieren auf Vision Language Models (VLMs), einer neuen Klasse generativer KI-Modelle, die digitale Wahrnehmung und Interaktion in der realen Welt verbinden. VLMs verbessern Entscheidungsfindung, Genauigkeit, Interaktivität und Leistung und ermöglichen es visuellen KI-Agenten, komplexe Aufgaben effektiver zu bewältigen.

Visuelle KI-Agenten auf Basis generativer KI werden in zahlreichen Branchen schnell eingesetzt, darunter Krankenhäuser, Fabriken, Lagerhäuser, Einzelhandelsgeschäfte, Flughäfen und Verkehrsknotenpunkte. NVIDIAs NIM-Mikroservices und Referenz-Workflows für physische KI bieten Entwicklern die erforderlichen Tools zum Erstellen und Bereitstellen leistungsstarker visueller KI-Agenten.

Fallstudie: K2K verbessert das Verkehrsmanagement von Palermo

Im italienischen Palermo haben städtische Verkehrsmanager visuelle KI-Agenten mit NVIDIA NIM eingesetzt, um physikalische Erkenntnisse zu gewinnen und Straßen besser zu verwalten. K2K, ein NVIDIA Metropolis-Partner, integriert NIM-Mikrodienste und VLMs in KI-Agenten, die Live-Verkehrskamera-Feeds in Echtzeit analysieren. Auf diese Weise können Stadtbeamte Fragen in natürlicher Sprache stellen und genaue Erkenntnisse und Vorschläge zur Verbesserung des städtischen Betriebs erhalten, beispielsweise zur Anpassung der Ampelschaltungen.

Überbrückung der Lücke zwischen Simulation und Realität

Viele KI-gesteuerte Unternehmen verfolgen bei generativen physischen KI-Projekten einen „Simulation-First“-Ansatz. Die physische KI-Software, -Tools und -Plattformen von NVIDIA, einschließlich NIM-Mikroservices und Referenz-Workflows, helfen bei der Optimierung der Erstellung digitaler Darstellungen, die reale Bedingungen genau nachbilden. Dieser Ansatz ist besonders für Unternehmen in den Bereichen Fertigung, Fabriklogistik und Robotik von Vorteil.

Vision Language Models (VLMs) werden branchenübergreifend häufig eingesetzt, da sie realistische Bilder erzeugen können. Für das Training sind jedoch enorme Datenmengen erforderlich. Aus digitalen Zwillingen generierte synthetische Daten bieten eine leistungsstarke Alternative und liefern robuste Datensätze für das Training physischer KI-Modelle ohne die hohen Kosten und Einschränkungen der Datenerfassung in der realen Welt.

Mithilfe der Tools von NVIDIA, beispielsweise NIM-Microservices und Omniverse Replicator, können Entwickler synthetische Datenpipelines zum Erstellen vielfältiger Datensätze erstellen und so die Anpassungsfähigkeit und Leistung von Modellen wie VLMs verbessern.

Verfügbarkeit

Entwickler können auf die hochmodernen KI-Modelle und NIM-Mikroservices von NVIDIA unter ai.nvidia.com zugreifen. Der Metropolis NIM-Referenzworkflow ist im GitHub-Repository verfügbar und Metropolis VIA-Mikroservices stehen in der Entwicklervorschau zum Download bereit. OpenUSD NIM-Mikroservices sind auch in der Vorschau über den NVIDIA API-Katalog verfügbar.

Bildquelle: Shutterstock