跳到主要内容

Ollama

业务组件 用于按提供商归类那些将第三方服务接入 SkillFlaw 的组件。

本页介绍 Ollama 业务组件中的可用组件。

关于 Ollama 组件所使用的功能与行为,请参阅 Ollama 官方文档。

Ollama 文本生成​

该组件使用 Ollama 语言模型 生成文本。

如果你想在流程中使用 Ollama 组件,需要先让 SkillFlaw 连接到本地运行的 Ollama 服务,并选择一个模型:

  1. 向流程中添加 Ollama 组件。

  2. 在 Base URL 字段中填写你本地 Ollama 服务的地址。

    这个值对应 Ollama 中的 OLLAMA_HOST 环境变量。 默认基础地址是 http://127.0.0.1:11434。

  3. 连接成功后,在 Model Name 字段中选择一个模型,例如 llama3.2:latest。

    如果你想刷新服务端模型列表,可以点击 Refresh。

  4. 可选:如果你还想配置温度、max tokens 等更多参数,可以在组件头部菜单中点击 Controls。

  5. 根据你的使用场景,把 Ollama 组件连接到流程中的其他组件。

    语言模型组件通常可以输出 Model Response(Message)或 Language Model(LanguageModel)。 如果你要把 Ollama 模型作为 Agent、Smart Transform 等 LLM 驱动组件的底层模型,应使用 Language Model 输出。更多说明请参阅语言模型组件。

    下图示例中,流程使用 LanguageModel 输出,把 Ollama 模型作为 Agent 组件 的底层 LLM。

    Ollama component used as the LLM in an agent flow

Ollama Embeddings​

Ollama Embeddings 组件使用 Ollama embedding 模型 生成向量嵌入。

如果你要在流程中使用它,同样需要先让 SkillFlaw 连接到本地运行的 Ollama 服务,并选择一个 embedding 模型:

  1. 向流程中添加 Ollama Embeddings 组件。

  2. 在 Ollama Base URL 字段中填写本地 Ollama 服务地址。

    该值同样对应 Ollama 的 OLLAMA_HOST 环境变量。 默认基础地址是 http://127.0.0.1:11434。

  3. 连接成功后,在 Ollama Model 字段中选择一个 embedding 模型,例如 all-minilm:latest。

    如果你想刷新模型列表,可以点击 Refresh。

  4. 可选:如需配置温度、max tokens 等额外参数,可在组件头部菜单中点击 Controls。 实际可用参数会取决于所选模型。

  5. 将 Ollama Embeddings 组件连接到流程中的其他组件。 有关 embedding 模型在流程中的使用方式,请参阅Embedding 模型组件。

    下图示例中,Ollama Embeddings 用于为从 PDF 中提取出的文本块生成向量,并将这些向量与文本块一起存入 Chroma DB 向量库。

    Ollama Embeddings component in an embedding generation flow