Ein leistungsstarkes Sprachmodell auf einer einzelnen GPU

NVIDIA hat in Zusammenarbeit mit Mistral Mistral NeMo 12B vorgestellt, ein bahnbrechendes Sprachmodell, das in verschiedenen Benchmarks Spitzenleistungen verspricht. Dieses fortschrittliche Modell ist für die Ausführung auf einer einzelnen GPU optimiert und stellt damit laut NVIDIA Technical Blog eine kostengünstige und effiziente Lösung für Anwendungen zur Textgenerierung dar.

Mistral NeMo 12B

Das Mistral NeMo 12B-Modell ist ein dichtes Transformer-Modell mit 12 Milliarden Parametern, das mit einem riesigen mehrsprachigen Vokabular von 131.000 Wörtern trainiert wurde. Es eignet sich hervorragend für eine Vielzahl von Aufgaben, darunter gesundes Denken, Codierung, Mathematik und mehrsprachiger Chat. Die Leistung des Modells bei Benchmarks wie HellaSwag, Winograd und TriviaQA unterstreicht seine überlegenen Fähigkeiten im Vergleich zu anderen Modellen wie Gemma 2 9B und Llama 3 8B.

Mit einer Kontextlänge von 128 K kann Mistral NeMo umfangreiche und komplexe Informationen verarbeiten, was zu kohärenten und kontextbezogen relevanten Ergebnissen führt. Das Modell wird anhand des proprietären Datensatzes von Mistral trainiert, der eine erhebliche Menge mehrsprachiger und Codedaten enthält, was das Merkmalslernen verbessert und Verzerrungen reduziert.

Optimiertes Training und Inferenz

Das Training von Mistral NeMo wird von NVIDIA Megatron-LM unterstützt, einer PyTorch-basierten Bibliothek, die GPU-optimierte Techniken und Innovationen auf Systemebene bietet. Diese Bibliothek enthält Kernkomponenten wie Aufmerksamkeitsmechanismen, Transformatorblöcke und verteiltes Checkpointing, die das Training von Modellen im großen Maßstab erleichtern.

Für die Inferenz nutzt Mistral NeMo TensorRT-LLM-Engines, die die Modellschichten in optimierte CUDA-Kernel kompilieren. Diese Engines maximieren die Inferenzleistung durch Techniken wie Mustervergleich und Fusion. Das Modell unterstützt auch Inferenz in FP8-Präzision mit NVIDIA TensorRT-Model-Optimizer, wodurch kleinere Modelle mit geringerem Speicherbedarf erstellt werden können, ohne die Genauigkeit zu beeinträchtigen.

Die Möglichkeit, das Mistral NeMo-Modell auf einer einzigen GPU auszuführen, verbessert die Rechenleistung, senkt die Kosten und erhöht Sicherheit und Datenschutz. Dadurch eignet es sich für verschiedene kommerzielle Anwendungen, darunter Dokumentzusammenfassung, Klassifizierung, Multi-Turn-Konversationen, Sprachübersetzung und Codegenerierung.

Bereitstellung mit NVIDIA NIM

Das Mistral NeMo-Modell ist als NVIDIA NIM-Inferenz-Mikroservice verfügbar und wurde entwickelt, um die Bereitstellung generativer KI-Modelle in der beschleunigten Infrastruktur von NVIDIA zu optimieren. NIM unterstützt eine breite Palette generativer KI-Modelle und bietet hochdurchsatzfähige KI-Inferenz, die sich mit der Nachfrage skalieren lässt. Unternehmen können von einem erhöhten Token-Durchsatz profitieren, was sich direkt in höheren Umsätzen niederschlägt.

Anwendungsfälle und Anpassung

Das Mistral NeMo-Modell ist besonders effektiv als Coding-Copilot und bietet KI-gestützte Codevorschläge, Dokumentation, Unit-Tests und Fehlerbehebungen. Das Modell kann mit domänenspezifischen Daten für eine höhere Genauigkeit feinabgestimmt werden, und NVIDIA bietet Tools zur Ausrichtung des Modells auf bestimmte Anwendungsfälle.

Die befehlsoptimierte Variante von Mistral NeMo zeigt in mehreren Benchmarks eine starke Leistung und kann mit NVIDIA NeMo, einer End-to-End-Plattform zur Entwicklung benutzerdefinierter generativer KI, angepasst werden. NeMo unterstützt verschiedene Feinabstimmungstechniken wie die parametereffiziente Feinabstimmung (PEFT), die überwachte Feinabstimmung (SFT) und das bestärkende Lernen aus menschlichem Feedback (RLHF).

Erste Schritte

Um die Funktionen des Mistral NeMo-Modells zu erkunden, besuchen Sie die Lösungsseite für künstliche Intelligenz. NVIDIA bietet außerdem kostenlose Cloud-Credits an, um das Modell im großen Maßstab zu testen und einen Proof of Concept zu erstellen, indem Sie eine Verbindung zum von NVIDIA gehosteten API-Endpunkt herstellen.

Bildquelle: Shutterstock