Der Aufbau und die Unterstützung moderner KI-Modelle erfordern erhebliche Investitionen, die mehrere Hundert Millionen Dollar übersteigen können. Schätzungen zufolge könnten diese Kosten in naher Zukunft eine Milliarde Dollar erreichen.
Diese Ausgaben sind hauptsächlich auf die Rechenleistung zurückzuführen, die bei der Verwendung von Geräten wie Nvidia-GPUs entsteht, die jeweils etwa 30.000 US-Dollar kosten und möglicherweise Tausende mehr erfordern, um effizient zu sein. Forscher haben erklärt, dass die Qualität und Quantität des Trainingsdatensatzes, der bei der Entwicklung solcher Modelle verwendet wird, sehr wichtig sind.
Branchenführer enthüllen schwindelerregende Kosten der KI-Entwicklung
Laut James Betker von OpenAI ist die Leistung eines Modells eher eine Funktion der Trainingsdaten als des Designs oder der Architektur des Modells. Seiner Behauptung nach erzielen Modelle, die mit großen Datensätzen trainiert werden, dieselben Ergebnisse. Daher sind Daten der Schlüssel zur Weiterentwicklung der KI-Technologie.
Dario Amodei, CEO des KI-Unternehmens Anthropic AI, teilte im Podcast „In Good Company“ seine Erkenntnisse über die finanziellen Aspekte dieser Herausforderungen. Er erklärte, dass das Training der aktuellen Modelle, wie ChatGPT-4, schätzungsweise rund 100 Millionen US-Dollar kosten wird und das Training zukünftiger Modelle in den nächsten Jahren 10 bis 100 Milliarden US-Dollar kosten könnte.
Generative KI-Modelle und solche, die von großen Unternehmen entwickelt werden, sind im Kern statistische Modelle. Daher verwenden sie viele Beispiele, um die wahrscheinlichsten Ergebnisse vorherzusagen. Kyle Lo vom Allen Institute for AI (AI2) sagt, dass die Leistungssteigerung größtenteils auf die Daten zurückzuführen ist, insbesondere wenn die Trainingsumgebung konsistent ist.
Datenzentralisierung wirft ethische Bedenken und Bedenken hinsichtlich der Zugänglichkeit auf
Die hohen Kosten für die Beschaffung qualitativ hochwertiger Daten machen die Entwicklung künstlicher Intelligenz zu einer Domäne einiger weniger Großunternehmen in den Industrieländern. Diese Bündelung von Ressourcen gibt auch Anlass zur Sorge hinsichtlich der Verfügbarkeit von KI-Technologie und der Möglichkeit eines Missbrauchs.
Allein OpenAI hat Hunderte Millionen Dollar für Datenlizenzen ausgegeben, und Meta hat erwogen, Verlage für den Datenzugriff zu kaufen. Der Markt für KI-Trainingsdaten dürfte wachsen, und Datenbroker dürften von dieser Chance profitieren.
Probleme entstehen durch fragwürdige Datenerfassungspraktiken. Berichten zufolge haben viele Unternehmen große Mengen an Inhalten ohne die Genehmigung der Eigentümer dieser Inhalte erfasst, und einige Unternehmen nutzen Daten von verschiedenen Plattformen und entschädigen die Benutzer nicht dafür. Wie wir bereits berichteten, verwendete OpenAI sein Whisper-Audiotranskriptionsmodell, um mehr als eine Million Stunden YouTube-Videos zu transkribieren und GPT-4 zu optimieren.
Organisationen arbeiten an der Erstellung frei zugänglicher KI-Trainingsdatensätze
Da das Wettrennen um die Datenerfassung einige Probleme mit sich bringt, sind einige Anstrengungen unabhängiger Parteien erforderlich, um Trainingsdatensätze öffentlich verfügbar zu machen. Einige Organisationen wie EleutherAI und Hugging Face erstellen große Datensätze, die der Öffentlichkeit für die KI-Entwicklung zur Verfügung stehen.
Das Wall Street Journal hat kürzlich zwei mögliche Strategien zur Lösung von Datenerfassungsproblemen hervorgehoben: generative Datengenerierung und Curriculum Learning. Synthetische Daten werden mithilfe von KI-Modellen selbst erstellt, während Curriculum Learning versucht, Modellen qualitativ hochwertige Daten auf strukturierte Weise bereitzustellen, damit sie auch mit weniger Daten Verbindungen herstellen können. Beide Methoden befinden sich jedoch noch in der Entwicklungsphase und ihre Wirksamkeit wurde noch nicht getestet.
Dieser Beitrag ist ein öffentlicher RSS Feed. Sie finden den Original Post unter folgender Quelle (Website) .
Unser Portal ist ein RSS-Nachrichtendienst und distanziert sich vor Falschmeldungen oder Irreführung. Unser Nachrichtenportal soll lediglich zum Informationsaustausch genutzt werden. Die auf dieser Website bereitgestellten Informationen stellen keine Finanzberatung dar und sind nicht als solche gedacht. Die Informationen sind allgemeiner Natur und dienen nur zu Informationszwecken. Wenn Sie Finanzberatung für Ihre individuelle Situation benötigen, sollten Sie den Rat von einem qualifizierten Finanzberater einholen. Kryptohandel hat ein großes Handelsrisiko was zum Totalverlust führen kann.
