跳到主要内容

LangWatch

LangWatch 是一个一体化的 LLMOps 平台,提供监控、可观测、分析、评估与告警能力,帮助你获得用户洞察并改进 LLM 工作流。

集成 LangWatch 可观测能力

要将其接入 SkillFlaw,请把 LangWatch API Key 作为 SkillFlaw 环境变量提供:

  1. 在你的 LangWatch 账户中生成一个 API Key。

  2. 将该 Key 写入 SkillFlaw 的 .env 文件:


    _10
    LANGWATCH_API_KEY="API_KEY_STRING"

    或者直接在终端会话中设置环境变量:


    _10
    export LANGWATCH_API_KEY="API_KEY_STRING"

  3. 如果你修改了 SkillFlaw 的 .env 文件,则使用它重启 SkillFlaw:


    _10
    skillflaw run --env-file .env

  4. 运行一个流程。

  5. 在 LangWatch 控制台中查看监控与可观测数据。

LangWatch dashboard

使用 LangWatch Evaluator

在你的流程中,可以使用 LangWatch Evaluator 组件来调用 LangWatch 的评估端点,对模型表现进行评估。 该组件位于 LangWatch bundle 中。