配置大语言模型

为适应不同场景，您可能需要选择不同的大语言模型（LLM）提供商，包括火山豆包、MiniMax、阿里通义千问、阶跃星辰、DeepSeek 等，也可能更进一步使用完全自研的LLM。本文说明常见大语言模型厂商如何配置及相关注意事项。

LLM 参数说明

使用第三方 LLM 服务或者使用自定义的 LLM 服务时，需要配置 LLM 参数。

参数	类型	是否必填	描述
Url	String	是	LLM 回调地址，必须与 OpenAI 协议兼容。
ApiKey	String	否	访问 LLM 提供的各类模型及相关服务的身份验证凭证。
Model	String	是	调用的模型。不同的 LLM 服务提供商支持的配置不同，请参考对应文档填入。
SystemPrompt	String	否	系统提示词。可以是角色设定、提示词和回答样例等。
Temperature	Float	否	较高的值将使输出更加随机，而较低的值将使输出更加集中和确定。
TopP	Float	否	采样方法，数值越小结果确定性越强；数值越大，结果越随机。
Params	Object	否	其他 LLM 参数，例如使用的最大 Token 数限制等。不同的 LLM 供应商支持的配置不同，请参考对应文档按需填入。说明参数名与各厂商 LLM 的参数名保持一致。
AddAgentInfo	Bool	否	如果该值为 true ，在 AI Agent 后台向自定义 LLM 服务发起请求时，请求参数中会包含智能体信息 `agent_info`。该值默认为 false。在使用自定义 LLM 时可根据此参数内容做额外的业务逻辑。

使用第三方 LLM

说明

请先联系 ZEGO 技术支持开通第三方 LLM 服务，获取接入 Url 和 API Key。

第三方 LLM 需要兼容 OpenAI 协议。

您可以在注册智能体（RegisterAgent）或创建智能体实例（CreateAgentInstance）时设置 LLM 参数。

以下是常见 LLM 厂商的配置示例：

火山方舟

阿里云百炼

MiniMax

使用自定义 LLM

AI Agent 后台使用 OpenAI API 协议调用 LLM 服务。因此，您也可以使用任何兼容 OpenAI 协议的自定义 LLM。这里的自定义 LLM 甚至可以在底层实现的时候调用多个子 LLM 模型或者进行 RAG 搜索、联网搜索后再进行整合输出。

实现步骤如下：

创建符合 OpenAI API 协议的服务

提供一个兼容 platform.openai.com 的接口。关键点如下：

接口路径：可以被 AI Agent 调用的 Url，例如 https://your-custom-llm-service/chat/completions。
请求格式：接受兼容 OpenAI 协议的请求头和请求体。

AI Agent 后台向自定义 LLM 服务发起请求的请求体示例

响应格式：返回与 OpenAI 协议兼容、且符合 SSE 规范的流式响应数据。

Chat Completion 流式响应对象块示例

注意

自定义 LLM 流式数据格式注意事项如下：

每条数据必须以 data: 开头（注意冒号后有空格）。
最后一个有效数据必须包含 "finish_reason":"stop"。
最后必须发送一条结束数据：data: [DONE]。

如果格式不正确可能会导致智能体不输出或者输出不完整。

配置自定义 LLM

在注册智能体（RegisterAgent）或创建智能体实例（CreateAgentInstance）时，设置自定义 LLM 的配置。

Untitled

"LLM": {
    "Url": "https://your-custom-llm-service/chat/completions",
    "ApiKey": "your_api_key",
    "Model": "your_model",
    "SystemPrompt": "你是小智，成年女性，是**即构科技创造的陪伴助手**，上知天文下知地理，聪明睿智、热情友善。\n对话要求：1、按照人设要求与用户对话。\n2、不能超过100字。",
    "Temperature": 1,
    "TopP": 0.7,
    "Params": {
        "max_tokens": 1024
    }
}

Copied!