Personen, die OpenAI verwenden, haben eine Schwachstelle identifiziert. Kurz nachdem OpenAI o1, sein erstes „Begründungs“-KI-Modell, veröffentlicht hatte, wurde ein eigenartiges Verhalten beobachtet. Wenn eine Anfrage auf Englisch gestellt wird, beginnt das Modell offenbar gelegentlich, in einer anderen Sprache als Englisch zu „denken“, beispielsweise in Chinesisch oder Persisch.
Ein Benutzer sagte: „(O1) hat mittendrin zufällig begonnen, auf Chinesisch zu denken.“ Darüber hinaus ein völlig anderer Benutzer auf X sagte auch, „Warum hat (o1) zufällig angefangen, auf Chinesisch zu denken?“
Warum hat o1 pro zufällig angefangen, auf Chinesisch zu denken? Kein Teil der Konversation (5+ Nachrichten) war auf Chinesisch … sehr interessant … Einfluss der Trainingsdaten pic.twitter.com/yZWCzoaiit
– Rishab Jain (@RishabJainK) 9. Januar 2025
Beobachtungen zufolge begann o1, wenn ihm ein zu lösendes Problem vorgelegt wurde, mit seinem „Denkprozess“, der eine Abfolge von Denkschritten umfasst, die zu einer Antwort führen. Die endgültige Antwort von o1 wäre in Englisch, wenn die Abfrage in dieser Sprache verfasst wäre.
Dennoch würde das Modell bestimmte Verfahren in einer anderen Sprache durchführen, bevor es seine Schlussfolgerung formuliert.
Insbesondere hat OpenAI weder eine Erklärung für das eigenartige Verhalten von o1 geliefert noch es überhaupt anerkannt. Was könnte also die Ursache dafür sein?
Hier sind einige Theorien von KI-Experten.
Clément Delangue, CEO von Hugging Face, erwähnt auf X dass Argumentationsmodelle wie o1 auf Datensätzen mit einer großen Anzahl chinesischer Buchstaben trainiert werden.
Darüber hinaus nutzen laut Ted Xiao, einem Forscher bei Google DeepMind, Organisationen wie OpenAI chinesische Datenkennzeichnungsdienste von Drittanbietern, und der Übergang zum Chinesischen ist ein Beispiel für „chinesischen sprachlichen Einfluss auf das Denken“.
Ted Xiao schrieb in einem X-Beitrag, „AGI-Labore wie OpenAI und Anthropic nutzen 3P-Datenkennzeichnungsdienste für Argumentationsdaten auf PhD-Ebene für Naturwissenschaften, Mathematik und Codierung; Aus Gründen der Fachkräfteverfügbarkeit und aus Kostengründen haben viele dieser Datenanbieter ihren Sitz in China.“
Offenbar unterstützen Labels, die auch als Identifikatoren oder Annotationen bezeichnet werden, Modelle während des Trainingsprozesses beim Verstehen und Interpretieren von Daten.
Beispielsweise können Beschriftungen, die zum Trainieren eines Bilderkennungsmodells verwendet werden, aus Bildunterschriften bestehen, die sich auf jede Person, jeden Ort oder jedes Objekt beziehen, die in einem Bild dargestellt sind, oder aus Markierungen, die Objekte umgeben.
Darüber hinaus hat die Forschung gezeigt, dass voreingenommene Klassifizierungen zu voreingenommenen Modellen führen können. Beispielsweise neigt der durchschnittliche Annotator eher dazu, Phrasen im African-American Vernacular English (AAVE) zu kennzeichnen.
Dies wird als informelle Grammatik bezeichnet, die von bestimmten schwarzen Amerikanern als giftig angesehen wird. Infolgedessen nehmen KI-Toxizitätsdetektoren, die auf die Etiketten trainiert wurden, AAVE als übermäßig giftig wahr.
Dennoch wird die Theorie der o1-chinesischen Datenkennzeichnung von anderen Experten nicht akzeptiert. Sie betonen, dass o1 beim Versuch, eine Lösung zu formulieren, mit gleicher Wahrscheinlichkeit zu Hindi, Thailändisch oder einer anderen Sprache als Chinesisch wechseln wird.
Diese Experten argumentieren vielmehr, dass o1 und andere Argumentationsmodelle möglicherweise die effizientesten Sprachen verwenden, um ein Ziel zu erreichen.
Zu diesem Zweck sagte Matthew Guzdial, ein KI-Forscher: „Das Modell weiß nicht, was Sprache ist oder dass Sprachen unterschiedlich sind.“ Dies liegt daran, dass Token, ähnlich wie Kennzeichnungen, das Potenzial haben, Vorurteile hervorzurufen.
Insbesondere gehen verschiedene Wort-zu-Token-Übersetzer davon aus, dass ein Leerzeichen in einem Satz auf ein neues Wort hinweist. Dies gilt ungeachtet der Tatsache, dass nicht alle Sprachen Leerzeichen zur Trennung von Wörtern verwenden.
Luca Soldaini, Forscher am gemeinnützigen Allen Institute for AI, betonte jedoch, dass es unmöglich sei, dies mit Sicherheit zu bestimmen. Er erklärte: „Diese Art von Beobachtung an einem eingesetzten KI-System lässt sich aufgrund der Undurchsichtigkeit dieser Modelle nicht belegen (…). Dies ist einer der zahlreichen Fälle, in denen die Bedeutung der Transparenz beim Aufbau von KI-Systemen unterstrichen wird.“
OpenAI-Probleme
Das Jahr 2024 war für OpenAI eine wahre Achterbahnfahrt. Das Unternehmen und sein CEO Sam Altman begannen das Jahr mit einer Klage von Elon Musk. Er argumentierte, dass sich das Unternehmen von seinem ursprünglichen gemeinnützigen Ziel abwandte und den Gewinn über den öffentlichen Nutzen stellte.
Im letzten Jahr haben acht Zeitungen in den Vereinigten Staaten, darunter die New York Daily News, die Chicago Tribune und die Denver Post, OpenAI und Microsoft verklagt. Sie warfen dem Unternehmen vor, Millionen urheberrechtlich geschützter Publikationen ohne Erlaubnis oder Bezahlung zum Trainieren von KI-Chatbots zu nutzen. Sie behaupteten, dass die Technik ihre geistigen Eigentumsrechte verletzte.
Außerdem gab Mira Murati, Chief Technology Officer von OpenAI, ihren Rücktritt bekannt. Dies war eine entscheidende Zeit, da ihre technologischen Fähigkeiten für die Entwicklung des Unternehmens von entscheidender Bedeutung waren.
Darüber hinaus stieß OpenAI mit ChatGPT auf mehrere Schwierigkeiten, wie etwa gelegentliche Ausfälle, Störungen, die zu ungenauen oder unsinnigen Antworten des Chatbots führten, und Bedenken hinsichtlich der Privatsphäre der Benutzer. Es gab auch Fälle, in denen die KI voreingenommene oder anstößige Inhalte generierte.
Ein Schritt-für-Schritt-System zum Start Ihrer Web3-Karriere und zur Erlangung hochbezahlter Krypto-Jobs in 90 Tagen.
Dieser Beitrag ist ein öffentlicher RSS Feed. Sie finden den Original Post unter folgender Quelle (Website) .
Unser Portal ist ein RSS-Nachrichtendienst und distanziert sich vor Falschmeldungen oder Irreführung. Unser Nachrichtenportal soll lediglich zum Informationsaustausch genutzt werden. Die auf dieser Website bereitgestellten Informationen stellen keine Finanzberatung dar und sind nicht als solche gedacht. Die Informationen sind allgemeiner Natur und dienen nur zu Informationszwecken. Wenn Sie Finanzberatung für Ihre individuelle Situation benötigen, sollten Sie den Rat von einem qualifizierten Finanzberater einholen. Kryptohandel hat ein großes Handelsrisiko was zum Totalverlust führen kann.
