Define routing rules across providers and regions. Requests automatically fall over to healthy backends when upstreams degrade, time out, or rate limit.
ภาพรวมความสามารถ
multi
providers per model
live
health-aware routing
1 flow
no client code change
จุดคุณค่าสำคัญที่แมปกับเวิร์กโฟลว์การผลิตจริง
ประโยชน์
01
Reduced single-provider risk
When one upstream goes down, traffic shifts to fallback providers instead of impacting your end users.
ประโยชน์
02
Latency-aware routing
Prefer providers with the lowest observed latency and success rate over a rolling window.
ประโยชน์
03
Per-model routing rules
Tune routing priority, fallback chain, and timeout policy independently for each model.
เส้นทาง 3 ขั้นตอนง่ายๆ เพื่อรวมความสามารถนี้เข้ากับการเรียกเกตเวย์ นโยบายการกำหนดเส้นทาง และการควบคุมการเรียกเก็บเงิน
ขั้นตอน 1
Define route
Map each model id to a primary provider plus an ordered fallback chain.
ขั้นตอน 2
Set policy
Pick timeouts, retry limits, and health thresholds that match your latency and reliability budget.
ขั้นตอน 3
Monitor and tune
Inspect provider health and fallback rate in the dashboard and refine rules as traffic shifts.
Upstream timeouts, 5xx responses, rate limit errors, or breaching the health threshold all trigger fallback to the next provider in the chain.
Yes. Per-request and per-key policy overrides let you force a specific provider when needed.
ขั้นตอนถัดไป
เริ่มต้นจากเอกสาร แคตตาล็อกโมเดล หรือแดชบอร์ด และตรวจสอบความสามารถนี้กับการจราจรการผลิตจริง