跳到主要内容

批量运行

Batch Run 组件会对 DataFrame某一文本列的每一行依次调用语言模型,然后返回一个新的 DataFrame,其中包含原始文本以及模型响应。 输出通常包含以下列:

  • text_input:输入 DataFrame 中的原始文本
  • model_response:模型针对每一行输入生成的响应
  • batch_index:该行在整个 DataFrame 中的处理顺序,从 0 开始计数
  • metadata(可选):处理过程中的附加信息

在流程中使用 Batch Run

如果你把 Batch Run 的输出传给 Parser 组件,就可以在模板中通过变量引用这些键,例如 {text_input}{model_response}。 下面的示例就演示了这一点。

A batch run component connected to OpenAI and a Parser

  1. 把任意语言模型组件连接到 Batch RunLanguage model 端口。

  2. 把其他组件产生的 DataFrame 输出连接到 Batch RunDataFrame 输入。 例如,你可以连接一个读取 CSV 文件的 Read File 组件。

  3. Batch RunColumn Name 字段中,填写输入 DataFrame 中承载待处理文本的那一列名称。 例如,如果你要处理 CSV 里的 name 列,就在这里填写 name

  4. Batch RunBatch Results 输出连接到 ParserDataFrame 输入。

  5. 可选:在 Batch Run组件头部菜单中点击 Controls,启用 System Message 参数,点击 Close,然后填写一条系统级说明,用来告诉 LLM 应该如何处理每一行数据。 例如:Create a business card for each name.

  6. ParserTemplate 字段中,填写一个模板来处理 Batch Run 生成的新 DataFrame 列(text_inputmodel_responsebatch_index):

    例如,下面这个模板会使用批处理后结果中的三列:


    _10
    record_number: {batch_index}, name: {text_input}, summary: {model_response}

  7. 测试流程时,点击 Parser 组件,再点击 Run component,随后点击 Inspect output,查看最终生成的 DataFrame

    如果你想在 Playground 中查看结果,也可以把 Chat Output 组件连接到 Parser

Batch Run 参数

有些参数在可视化编辑器中默认处于隐藏状态。 你可以通过组件标题栏菜单中的 控件 来修改全部参数。

NameTypeDescription
modelHandleInput输入参数。连接语言模型组件的 Language Model 输出。必填。
system_messageMultilineInput输入参数。用于所有 DataFrame 行的多行系统说明。
dfDataFrameInput输入参数。要进行批处理的 DataFrame;其中被视为文本消息的列由 column_name 指定。必填。
column_nameMessageTextInput输入参数。输入 DataFrame 中要作为文本消息处理的列名。若留空,则会把所有列格式化为 TOML。
output_column_nameMessageTextInput输入参数。模型响应写入的目标列名。默认值:model_response
enable_metadataBoolInput输入参数。若为 True,则在输出 DataFrame 中附加 metadata。
batch_resultsDataFrame输出参数。一个新的 DataFrame,包含原始全部列以及模型响应列。