模型
请求体中的模型 ID 会与 DeepToken 网关的模型目录匹配。目录是动态的:管理员可启用、停用或重新映射模型,不需要客户端发布新版本。
查询模型
可通过两个入口查看模型目录:
- 公开模型目录:匿名用户可查看的公开模型列表。
GET /v1/models:需要认证,并根据当前 API Key 的模型允许列表和路由权限返回可调用模型。
两个入口都反映当前渠道和管理配置。渠道被停用或模型被移除后,目录缓存刷新后将不再展示对应模型。
路由流程
调用 /v1/chat/completions 并传入 model 后,网关会:
- 找出所有已启用且支持该模型的渠道。
- 根据 API Key、组织隔离策略和用户所属路由组过滤候选渠道。
- 综合渠道健康状态、优先级、权重等配置选择上游。
- 遇到可重试的上游错误时排除失败渠道,并按路由策略尝试下一个候选渠道。
当没有可用渠道时,请求会返回 503 no_available_channel。
模型映射
渠道可以把面向用户的规范模型 ID 映射到供应商特定的模型或部署名称,例如将 gpt-4o 映射为 Azure 部署 ID。映射过程对客户端透明:请求仍使用规范模型 ID,计费和使用记录也按规范模型归档。