跳到主要内容

Ollama

业务组件 用于按提供商归类那些将第三方服务接入 SkillFlaw 的组件。

本页介绍 Ollama 业务组件中的可用组件。

关于 Ollama 组件所使用的功能与行为,请参阅 Ollama 官方文档

Ollama 文本生成

该组件使用 Ollama 语言模型 生成文本。

如果你想在流程中使用 Ollama 组件,需要先让 SkillFlaw 连接到本地运行的 Ollama 服务,并选择一个模型:

  1. 向流程中添加 Ollama 组件。

  2. Base URL 字段中填写你本地 Ollama 服务的地址。

    这个值对应 Ollama 中的 OLLAMA_HOST 环境变量。 默认基础地址是 http://127.0.0.1:11434

  3. 连接成功后,在 Model Name 字段中选择一个模型,例如 llama3.2:latest

    如果你想刷新服务端模型列表,可以点击 Refresh

  4. 可选:如果你还想配置温度、max tokens 等更多参数,可以在组件头部菜单中点击 Controls

  5. 根据你的使用场景,把 Ollama 组件连接到流程中的其他组件。

    语言模型组件通常可以输出 Model ResponseMessage)或 Language ModelLanguageModel)。 如果你要把 Ollama 模型作为 AgentSmart Transform 等 LLM 驱动组件的底层模型,应使用 Language Model 输出。更多说明请参阅语言模型组件

    下图示例中,流程使用 LanguageModel 输出,把 Ollama 模型作为 Agent 组件 的底层 LLM。

    Ollama component used as the LLM in an agent flow

Ollama Embeddings

Ollama Embeddings 组件使用 Ollama embedding 模型 生成向量嵌入。

如果你要在流程中使用它,同样需要先让 SkillFlaw 连接到本地运行的 Ollama 服务,并选择一个 embedding 模型:

  1. 向流程中添加 Ollama Embeddings 组件。

  2. Ollama Base URL 字段中填写本地 Ollama 服务地址。

    该值同样对应 Ollama 的 OLLAMA_HOST 环境变量。 默认基础地址是 http://127.0.0.1:11434

  3. 连接成功后,在 Ollama Model 字段中选择一个 embedding 模型,例如 all-minilm:latest

    如果你想刷新模型列表,可以点击 Refresh

  4. 可选:如需配置温度、max tokens 等额外参数,可在组件头部菜单中点击 Controls。 实际可用参数会取决于所选模型。

  5. Ollama Embeddings 组件连接到流程中的其他组件。 有关 embedding 模型在流程中的使用方式,请参阅Embedding 模型组件

    下图示例中,Ollama Embeddings 用于为从 PDF 中提取出的文本块生成向量,并将这些向量与文本块一起存入 Chroma DB 向量库。

    Ollama Embeddings component in an embedding generation flow