service_tier 參數讓您表達對 ARouter 和上游服務商應如何平衡成本與延遲的偏好。
功能特性
服務層級
使用 service_tier 參數控制成本與延遲之間的權衡。
Documentation Index
Fetch the complete documentation index at: /llms.txt
Use this file to discover all available pages before exploring further.
使用 service_tier 參數控制成本與延遲之間的權衡。
service_tier 參數讓您表達對 ARouter 和上游服務商應如何平衡成本與延遲的偏好。
{
"model": "openai/gpt-5.4",
"messages": [{"role": "user", "content": "Hello"}],
"service_tier": "auto"
}
| 值 | 說明 |
|---|---|
"auto"(預設) | 服務商選擇合適的層級 |
"default" | 標準層級 — 最佳成本效能平衡 |
"flex" | 降低成本,盡力保證延遲 — 適合批次工作負載 |
| 服務商 | 支援的值 | 說明 |
|---|---|---|
| OpenAI | "auto"、"default"、"flex" | "flex" 提供更低定價 |
| 其他 | 忽略 | 會傳遞但沒有效果 |