Iris Coleman
22. April 2025 10:26
Die Langsmith-Plattform von Langchain bietet jetzt Echtzeitwarnungen, mit denen Entwickler LLM-Anwendungen und -Anträte effektiver überwachen können, um bessere Benutzererfahrungen zu gewährleisten, indem sie ausfällt.
Langchain hat in seiner Langsmith -Plattform eine neue Funktion auf den Markt gebracht, mit der die Überwachung der Anwendungen und Agenten von Großsprachmodell (LLM) verbessert wird. Diese Initiative zielt darauf ab, die Benutzererfahrung zu verbessern, indem sie Produktionsfehler identifizieren und behandeln, bevor sie die Endbenutzer betreffen, so Langchain.
Proaktive Überwachung mit Langsmith -Warnungen
Die neu eingeführten Langsmith -Warnungen ermöglichen es Entwicklern, Benachrichtigungen basierend auf kritischen Metriken wie Fehlerraten, Lauflatenz und Feedback -Scores festzulegen. Diese Funktionalität ist besonders vorteilhaft für Anwendungen, die bereits Produktionsspuren an Langsmith senden, sodass sie Warnungen konfigurieren können, die ihren spezifischen Anforderungen entsprechen.
Diese Warnungen sind entscheidend für die Aufrechterhaltung der Leistung von LLM-Antriebsanwendungen, die häufig von mehreren externen Diensten wie APIs und Datenbanken abhängen. Alle Störungen in diesen Diensten können zu einer erheblichen Verschlechterung der Benutzererfahrung führen. Durch die Verwendung proaktiver Überwachung können Entwickler diese Probleme schnell identifizieren und mildern.
Qualität und Korrektheit sicherstellen
Langsmith alarmiert nicht nur auf Geschwindigkeit, sondern betont auch die Qualität von LLM -Ausgängen. Die unvorhersehbare Natur von LLMs bedeutet, dass selbst geringfügige Änderungen der Eingabeaufforderungen oder Eingaben zu unerwarteten Ergebnissen führen können. Warnungen basieren auf den Rückmeldungen, die aus den Eingaben der Benutzer oder Online -Bewertungen abgeleitet werden, dienen als Frühwarnsystem für potenzielle Qualitätsprobleme.
Detaillierte Alarmkonfiguration
Langsmith unterstützt die Alarmierung mehrerer wichtiger Metriken, einschließlich Fehlerzählungen und Rate, durchschnittlicher Latenz und durchschnittlicher Rückkopplungsbewertung. Entwickler können eine Reihe von Filtern anwenden, um bestimmte Teilmengen von Läufen zu zielen, z. B. Filterung nach Modell- oder Tool -Aufruf. Aggregationsfenster von 5 oder 15 Minuten können zusammen mit Schwellenwerten eingestellt werden, um die Alarmempfindlichkeit anzupassen.
Die Integration mit vorhandenen Workflows wird durch Unterstützung von Warnungen über Pagerduty- oder benutzerdefinierte Webhooks optimiert, was direkte Benachrichtigungen für Plattformen wie Slack erleichtert.
Zukünftige Entwicklungen
Langchain plant, die Warnfunktionen von Langsmith zu erweitern, indem neue Warnwarntypen wie die Nutzung von Run Count und LLM -Token eingeführt werden, und Änderungen von Warnungen, die auf der Grundlage relativer Wertänderungen ausgelöst werden. Benutzerdefinierte Zeitfenster für Warnungen finden Sie ebenfalls auf der Roadmap.
Feedback- und Feature -Anfragen werden durch die Langchain Slack -Community gefördert und Benutzer einladen, zur kontinuierlichen Verbesserung der Überwachungsfunktionen von Langsmith beizutragen.
Bildquelle: Shutterstock
Dieser Beitrag ist ein öffentlicher RSS Feed. Sie finden den Original Post unter folgender – Link steht im Artikel – Quelle (Website) .
Unser Portal ist ein RSS-Nachrichtendienst und distanziert sich vor Falschmeldungen oder Irreführung. Unser Nachrichtenportal soll lediglich zum Informationsaustausch genutzt werden. Die auf dieser Website bereitgestellten Informationen stellen keine Finanzberatung dar und sind nicht als solche gedacht. Die Informationen sind allgemeiner Natur und dienen nur zu Informationszwecken. Wenn Sie Finanzberatung für Ihre individuelle Situation benötigen, sollten Sie den Rat von einem qualifizierten Finanzberater einholen. Kryptohandel hat ein großes Handelsrisiko was zum Totalverlust führen kann.
