Hugging Face

Bundles 按提供方对组件进行分组，这些组件可将第三方服务与 SkillFlaw 集成。

Hugging Face bundle 中的组件需要访问 Hugging Face API。

有关 Hugging Face 组件所使用的 Hugging Face 特性与功能的更多信息，请参见 Hugging Face documentation。

Hugging Face 文本生成

Hugging Face 组件通过向 Hugging Face API 发送请求，使用指定模型生成文本。该 API 是一个面向 Hugging Face 托管模型的 hosted inference API。需要进行身份验证。

该组件可以输出 Model Response（Message）或 Language Model（LanguageModel）。具体来说，Language Model 输出是根据组件参数配置的 ChatHuggingFace 实例。

当你希望将 Hugging Face 模型作为其他 LLM 驱动组件（如 Agent 或 Smart Transform 组件）的 LLM 使用时，请使用 Language Model 输出。

有关更多信息，请参见语言模型组件。

有些参数在可视化编辑器中默认处于隐藏状态。你可以通过组件标题栏菜单中的控件来修改全部参数。

Name	Type	Description
model_id	String	输入参数。来自 Hugging Face Hub 的模型 ID。例如："gpt2"、"facebook/bart-large"。
huggingfacehub_api_token	SecretString	输入参数。用于身份验证的 Hugging Face API token。
temperature	Float	输入参数。控制输出中的随机性。范围：[0.0, 1.0]。默认值：0.7。
max_new_tokens	Integer	输入参数。要生成的最大 token 数。默认值：512。
top_p	Float	输入参数。Nucleus sampling 参数。范围：[0.0, 1.0]。默认值：0.95。
top_k	Integer	输入参数。Top-k sampling 参数。默认值：50。
model_kwargs	Dictionary	输入参数。传递给模型的附加关键字参数。

使用 Hugging Face Embeddings Inference 组件可以通过 Hugging Face 托管模型或你自己本地托管的模型创建 embeddings。

该组件使用 Hugging Face Inference API models 生成 embeddings。在不使用本地模型时，需要进行身份验证。

有关在 flow 中使用 embedding model 组件的更多信息，请参见Embedding model components以及使用本地 Hugging Face embeddings model。

Name	Display Name	Info
api_key	API Key	输入参数。如有需要，用于访问 Hugging Face Inference API 的 Hugging Face API token。本地推理模型不需要 API key。
api_url	API URL	输入参数。Hugging Face Inference API 的 URL。
model_name	Model Name	输入参数。用于生成 embeddings 的模型名称。

要将本地 Hugging Face model 连接到 Hugging Face Embeddings Inference 组件并在 flow 中使用，请按以下步骤操作：

运行一个本地 Hugging Face embeddings inference。
在本示例中，从 Vector Store RAG 模板创建一个 flow。
用 Hugging Face Embeddings Inference 组件替换两个 OpenAI Embeddings 组件。

请确保重新连接每个 Embeddings Inference 组件的 Embedding Model 端口到其对应的 Astra DB 组件。
将 Astra DB 组件配置为连接到你的 Astra organization，或者将这两个 Astra DB 组件都替换为其他向量存储组件。
将每个 Hugging Face Embeddings Inference 组件连接到你的本地推理模型：
- Inference Endpoint：输入你的本地推理模型的 URL。
- API Key：对于本地推理可以留空。
- Model Name：如果未自动检测到本地推理模型名称，请手动输入。
要测试该 flow，点击 Playground，然后输入一些文本以生成 embedding。