feat: manual_evict 自动解除(余额增量阈值)
- 首次命中 manual_evict key 时惰性记录 balance_at_sync 快照
(manual_evict:snapshot:{raw_model}),后续每次请求比较当前余额,
上升 ≥ AUTO_RELEASE_BALANCE_MARGIN(默认 50 万)时自动 DEL key 恢复
- 小额波动不误放,余额大幅上升(=免费额度已返还)才触发
- 幂等、可 env 覆盖(AUTO_RELEASE_BALANCE_MARGIN=500000)
- 自测 9/9 passed
This commit is contained in:
@@ -256,6 +256,8 @@ docker exec litellm_redis redis-cli SET manual_evict:volcengine/deepseek-v4-flas
|
||||
- 软踢只作用于**纳入监控**的火山模型(`MONITORED_MODEL_PAIRS` 内);非监控渠道不受影响。
|
||||
- 幂等:key 在期间每个请求都 429,重复 SET 无副作用。
|
||||
- 解除后立即恢复按正常限额判定。
|
||||
- **自动解除**:当脚本检测到当前 `balance_at_sync` 比踢除时记录的余额快照**上升 ≥ 50 万**(`AUTO_RELEASE_BALANCE_MARGIN`,可调),即视为免费额度已返还,自动 DEL 该 key 并恢复请求。日常运维无需手动 DEL;仅当模型已被自动解除但你想立即恢复软踢时,重新 SET 即可。
|
||||
- 自动解除阈值默认 50 万,可在 `.env` 中覆盖:`AUTO_RELEASE_BALANCE_MARGIN=1000000`。
|
||||
|
||||
---
|
||||
|
||||
|
||||
Reference in New Issue
Block a user