Ollama
业务组件 用于按提供商归类那些将第三方服务接入 SkillFlaw 的组件。
本页介绍 Ollama 业务组件中的可用组件。
关于 Ollama 组件所使用的功能与行为,请参阅 Ollama 官方文档。
Ollama 文本生成
该组件使用 Ollama 语言模型 生成文本。
如果你想在流程中使用 Ollama 组件,需要先让 SkillFlaw 连接到本地运行的 Ollama 服务,并选择一个模型:
-
向流程中添加 Ollama 组件。
-
在 Base URL 字段中填写你本地 Ollama 服务的地址。
这个值对应 Ollama 中的
OLLAMA_HOST环境变量。 默认基础地址是http://127.0.0.1:11434。 -
连接成功后,在 Model Name 字段中选择一个模型,例如
llama3.2:latest。如果你想刷新服务端模型列表,可以点击 Refresh。
-
可选:如果你还想配置温度、max tokens 等更多参数,可以在组件头部菜单中点击 Controls。
-
根据你的使用场景,把 Ollama 组件连接到流程中的其他组件。
语言模型组件通常可以输出 Model Response(
Message)或 Language Model(LanguageModel)。 如果你要把 Ollama 模型作为 Agent、Smart Transform 等 LLM 驱动组件的底层模型,应使用 Language Model 输出。更多说明请参阅语言模型组件。下图示例中,流程使用
LanguageModel输出,把 Ollama 模型作为 Agent 组件 的底层 LLM。
Ollama Embeddings
Ollama Embeddings 组件使用 Ollama embedding 模型 生成向量嵌入。
如果你要在流程中使用它,同样需要先让 SkillFlaw 连接到本地运行的 Ollama 服务,并选择一个 embedding 模型:
-
向流程中添加 Ollama Embeddings 组件。
-
在 Ollama Base URL 字段中填写本地 Ollama 服务地址。
该值同样对应 Ollama 的
OLLAMA_HOST环境变量。 默认基础地址是http://127.0.0.1:11434。 -
连接成功后,在 Ollama Model 字段中选择一个 embedding 模型,例如
all-minilm:latest。如果你想刷新模型列表,可以点击 Refresh。
-
可选:如需配置温度、max tokens 等额外参数,可在组件头部菜单中点击 Controls。 实际可用参数会取决于所选模型。
-
将 Ollama Embeddings 组件连接到流程中的其他组件。 有关 embedding 模型在流程中的使用方式,请参阅Embedding 模型组件。
下图示例中,Ollama Embeddings 用于为从 PDF 中提取出的文本块生成向量,并将这些向量与文本块一起存入 Chroma DB 向量库。
