跳到主要内容

Arize

Arize 是一个基于 OpenTelemetry 与 OpenInference 构建的工具，用于监控和优化 LLM 应用。

要启用 Arize tracing，请在 SkillFlaw 部署中设置所需的 Arize 环境变量。 设置完成后，Arize 会自动开始监控并采集你的 LLM 应用遥测数据。

提示

Arize 官方文档中也提供了 SkillFlaw 与 Arize 的接入说明：

  • SkillFlaw tracing with Arize Platform
  • SkillFlaw tracing with Arize Phoenix

前置条件​

将 Arize 连接到 SkillFlaw​

  1. 在你的 Arize 控制台 中复制 Space ID 与 API Key (Ingestion Service Account Key)。

  2. 在 SkillFlaw 应用根目录中，编辑已有的 .env 文件，或者创建一个新的。

  3. 添加 ARIZE_SPACE_ID 和 ARIZE_API_KEY 环境变量：


    _10
    ARIZE_SPACE_ID=SPACE_ID
    _10
    ARIZE_API_KEY=API_KEY

    将 SPACE_ID 和 API_KEY 替换为你从 Arize 平台复制的值。

    如果你使用的是标准 Arize 平台，则不需要指定项目名。

  4. 使用 .env 文件启动 SkillFlaw：


    _10
    uv run skillflaw run --env-file .env

运行流程并在 Arize 中查看指标​

  1. 在 SkillFlaw 中运行一个包含 LLM 驱动组件的流程，例如 Agent 组件或任意语言模型组件。 你需要实际与流程对话，或触发 LLM 执行，Arize 才能采集到 tracing 数据。

    例如，你可以基于 Simple Agent 模板创建一个流程，在 Agent 组件中填入 OpenAI API Key，然后点击 Playground 与流程对话，生成追踪流量。

  2. 在 Arize 中打开你的项目控制台，等待 Arize 处理数据。 这通常需要几分钟时间。

  3. 如果要查看流程指标，请进入 LLM Tracing 页签。

    每次 SkillFlaw 执行在 Arize 中通常会产生两条 traces：

    • AgentExecutor trace：来自 LangChain AgentExecutor 的追踪。
    • UUID trace：来自 SkillFlaw 组件执行链的追踪。

  4. 如果要查看 traces，请进入 Traces 页签。

    trace 表示一次请求的完整旅程，由多个 span 组成。

  5. 如果要查看 spans，请进入 Spans 页签。

    span 表示 trace 中的单个操作。 例如，一个 span 可以是一条对 OpenAI 的 API 调用，或一次对自定义工具的函数调用。

    关于 tracing 指标的更多说明，请参阅 Arize LLM tracing 文档。

  6. 如果要把某个 span 添加到 dataset 中，请点击 Add to Dataset。

    LLM Tracing 页签中的所有指标都可以加入 dataset。

  7. 如果要查看 dataset，请进入 Datasets 页签并选择对应数据集。