LM Studio
Bundles 按提供方对组件进行分组,这些组件可将第三方服务与 SkillFlaw 集成。
LM Studio bundle 中的组件让你可以使用来自本地或托管 LM Studio 实例的模型。 组件可能需要使用 LM Studio API key 进行身份验证。有关 LM Studio 模型、连接 和凭据的信息,请参见 LM Studio documentation。
LM Studio 文本生成
LM Studio 组件使用 LM Studio 的本地语言模型生成文本。
它可以输出 Model Response(Message)或 Language Model(LanguageModel)。
当你希望将 LM Studio 模型作为其他 LLM 驱动组件(如 Agent 或 Smart Transform 组件)的 LLM 使用时,请使用 Language Model 输出。
有关更多信息,请参见语言模型组件。
LM Studio 文本生成参数
有些参数在可视化编辑器中默认处于隐藏状态。 你可以通过组件标题栏菜单中的 控件 来修改全部参数。
| Name | Type | Description |
|---|---|---|
| base_url | String | 输入参数。LM Studio 运行的 URL。默认值:"http://localhost:1234"。 |
| api_key | LM Studio API Key | 输入参数。如有需要,用于 LM Studio 身份验证的 API key。 |
| max_tokens | Integer | 输入参数。响应中要生成的最大 token 数。默认值:512。 |
| temperature | Float | 输入参数。控制输出中的随机性。范围:[0.0, 2.0]。默认值:0.7。 |
| top_p | Float | 输入参数。通过 nucleus sampling 控制多样性。范围:[0.0, 1.0]。默认值:1.0。 |
| stop | List[String] | 输入参数。遇到这些字符串时停止生成。 |
| stream | Boolean | 输入参数。是否以流式方式返回响应。默认值:false。 |
| presence_penalty | Float | 输入参数。对重复 token 施加惩罚。范围:[-2.0, 2.0]。默认值:0.0。 |
| frequency_penalty | Float | 输入参数。对频繁出现的 token 施加惩罚。范围:[-2.0, 2.0]。默认值:0.0。 |
LM Studio Embeddings
LM Studio Embeddings 组件使用 LM Studio 模型生成 embeddings。
有关在 flow 中使用 embedding model 组件的更多 信息,请参见 Embedding model components。
LM Studio Embeddings 参数
有些参数在可视化编辑器中默认处于隐藏状态。 你可以通过组件标题栏菜单中的 控件 来修改全部参数。
| Name | Display Name | Info |
|---|---|---|
| model | Model | 输入参数。用于生成 embeddings 的 LM Studio 模型。 |
| base_url | LM Studio Base URL | 输入参数。LM Studio API 的基础 URL。 |
| api_key | LM Studio API Key | 输入参数。用于 LM Studio 身份验证的 API key。 |
| temperature | Model Temperature | 输入参数。模型的 temperature 设置。 |