Chainbase hat das Open-Source-KI-Modell Theia-Llama-3.1-8B veröffentlicht. Es handelt sich um ein Sprachmodell, das sich auf Krypto konzentriert.
Das Unternehmen hatte im August eine Alpha-Version des Chatbots namens TheiaChat auf den Markt gebracht. Es wurde damals veröffentlicht, um die Funktionen von Theia offenzulegen.
Die Ausbildung von Theia erfolgte aus zwei Quellen
Die zum Trainieren des Modells verwendeten Daten stammen von CoinMarketCap und anderen Forschungsberichten. Die Daten von CoinMarketCap, die zum Trainieren und Feinabstimmen von Theia-Llama-3.1-8B verwendet werden, umfassen Projektdokumente wie Whitepapers, offizielle Blogbeiträge und Nachrichtenartikel.
Die Forschungsberichte wurden aus glaubwürdigen Online-Quellen bezogen, um detaillierte Einblicke in die Grundlagen, den Markteinfluss und den Entwicklungsfortschritt des Projekts zu bieten.
Der Blogbeitrag führt weiter aus, dass die Daten aus diesen beiden Primärquellen auch einer manuellen und algorithmischen Filterung unterzogen wurden, um Redundanz zu reduzieren und Fehler zu beseitigen.
Chainbase nutzte auch ausgefeilte Techniken zur Feinabstimmung und Optimierung des Modells. Für eine effiziente Feinabstimmung nutzte das Team LoRA (Low-Rank Adaptation). Dies half bei der Anpassung des Basismodells Llama-3.1-8B-Instruct an die Kryptowährungsdomäne.
Der Trainingsprozess wurde mithilfe von LLaMA Factory und DeepSpeed verbessert und erweiterte Techniken wie ZeRO, Offload, Sparse Attention, 1-Bit-Adam und Pipeline-Parallelität integriert, um das Training zu beschleunigen und die Speichernutzung zu reduzieren.
Neben der Feinabstimmung optimierte Chainbase das Modell, um es für eine effiziente Bereitstellung vorzubereiten. Dieser Quantisierungsprozess reduziert den Speicherbedarf des Modells und beschleunigt die Inferenz, während gleichzeitig eine akzeptable Genauigkeit erhalten bleibt.
Chainbase hat einen Krypto-KI-Modell-Benchmark vorgeschlagen
Um die Leistung von Theia-Llama-3.1-8B zu bewerten, schlug Chainbase einen Benchmark für Krypto-KI-Modelle vor.
Der Benchmark bewertet Modelle in sieben Dimensionen, darunter das Verständnis und die Generierung von Krypto-Wissen, die Wissensabdeckung und die Argumentationsfähigkeiten.
Erste Benchmark-Ergebnisse, die sich auf das Verständnis und die Generierungsfähigkeiten im Kryptobereich konzentrieren, zeigen, dass Theia-Llama-3.1-8B 11 andere LLMs übertrifft. Dazu gehören beliebte Modelle von OpenAI, Google, Meta, Qwen und DeepSeek. Das Modell erreichte einen Ratlosigkeitswert von 1,184 und einen BERT-Wert von 0,861 und übertraf damit die derzeit auf dem Markt erhältlichen Mainstream-Modelle.
Chainbase gab in seinem Blogbeitrag außerdem an, dass die Leistung von Theia-Llama-3.1-8B die der derzeit auf dem Markt erhältlichen Mainstream-Modelle übertrifft. „Als nächstes werden wir größere Modelle bauen und weitere Dimensionen der Modelle bewerten.“ Chainbase angegeben.
Dieser Beitrag ist ein öffentlicher RSS Feed. Sie finden den Original Post unter folgender Quelle (Website) .
Unser Portal ist ein RSS-Nachrichtendienst und distanziert sich vor Falschmeldungen oder Irreführung. Unser Nachrichtenportal soll lediglich zum Informationsaustausch genutzt werden. Die auf dieser Website bereitgestellten Informationen stellen keine Finanzberatung dar und sind nicht als solche gedacht. Die Informationen sind allgemeiner Natur und dienen nur zu Informationszwecken. Wenn Sie Finanzberatung für Ihre individuelle Situation benötigen, sollten Sie den Rat von einem qualifizierten Finanzberater einholen. Kryptohandel hat ein großes Handelsrisiko was zum Totalverlust führen kann.
