批量运行
Batch Run 组件会对 DataFrame 中某一文本列的每一行依次调用语言模型,然后返回一个新的 DataFrame,其中包含原始文本以及模型响应。
输出通常包含以下列:
text_input:输入DataFrame中的原始文本model_response:模型针对每一行输入生成的响应batch_index:该行在整个DataFrame中的处理顺序,从 0 开始计数metadata(可选):处理过程中的附加信息
在流程中使用 Batch Run
如果你把 Batch Run 的输出传给 Parser 组件,就可以在模板中通过变量引用这些键,例如 {text_input} 和 {model_response}。
下面的示例就演示了这一点。

-
把任意语言模型组件连接到 Batch Run 的 Language model 端口。
-
把其他组件产生的
DataFrame输出连接到 Batch Run 的 DataFrame 输入。 例如,你可以连接一个读取 CSV 文件的 Read File 组件。 -
在 Batch Run 的 Column Name 字段中,填写输入
DataFrame中承载待处理文本的那一列名称。 例如,如果你要处理 CSV 里的name列,就在这里填写name。 -
将 Batch Run 的 Batch Results 输出连接到 Parser 的 DataFrame 输入。
-
可选:在 Batch Run 的组件头部菜单中点击 Controls,启用 System Message 参数,点击 Close,然后填写一条系统级说明,用来告诉 LLM 应该如何处理每一行数据。 例如:
Create a business card for each name. -
在 Parser 的 Template 字段中,填写一个模板来处理 Batch Run 生成的新
DataFrame列(text_input、model_response、batch_index):例如,下面这个模板会使用批处理后结果中的三列:
_10record_number: {batch_index}, name: {text_input}, summary: {model_response} -
测试流程时,点击 Parser 组件,再点击 Run component,随后点击 Inspect output,查看最终生成的
DataFrame。如果你想在 Playground 中查看结果,也可以把 Chat Output 组件连接到 Parser。
Batch Run 参数
有些参数在可视化编辑器中默认处于隐藏状态。 你可以通过组件标题栏菜单中的 控件 来修改全部参数。
| Name | Type | Description |
|---|---|---|
| model | HandleInput | 输入参数。连接语言模型组件的 Language Model 输出。必填。 |
| system_message | MultilineInput | 输入参数。用于所有 DataFrame 行的多行系统说明。 |
| df | DataFrameInput | 输入参数。要进行批处理的 DataFrame;其中被视为文本消息的列由 column_name 指定。必填。 |
| column_name | MessageTextInput | 输入参数。输入 DataFrame 中要作为文本消息处理的列名。若留空,则会把所有列格式化为 TOML。 |
| output_column_name | MessageTextInput | 输入参数。模型响应写入的目标列名。默认值:model_response。 |
| enable_metadata | BoolInput | 输入参数。若为 True,则在输出 DataFrame 中附加 metadata。 |
| batch_results | DataFrame | 输出参数。一个新的 DataFrame,包含原始全部列以及模型响应列。 |