service_tier 参数让您表达对 ARouter 和上游服务商应如何平衡成本与延迟的偏好。
用法
| 值 | 说明 |
|---|---|
"auto"（默认） | 服务商选择合适的层级 |
"default" | 标准层级 — 最佳成本性能平衡 |
"flex" | 降低成本，尽力保证延迟 — 适合批量工作负载 |
服务商支持
| 服务商 | 支持的值 | 说明 |
|---|---|---|
| OpenAI | "auto"、"default"、"flex" | "flex" 提供更低定价 |
| 其他 | 忽略 | 会传递但没有效果 |
功能特性
服务层级
使用 service_tier 参数控制成本与延迟之间的权衡。