kim/litellm-config
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

fix: 软踢用量墙从 1.95M 降到 1.9M 增加容错缓冲

Browse Source
This commit is contained in:
vibe-code
2026-08-18 09:33:18 +00:00
parent 4479e179bb
commit 2502a6b507
1 changed files with 2 additions and 2 deletions
Download Patch File Download Diff File Expand all files Collapse all files
volc_limit_sync.py
+2 -2
View File
@@ -217,13 +217,13 @@ HARD_DAILY_LIMITS = {
# 🚨 Soft Evict Thresholds（软踢预警线） # 🚨 Soft Evict Thresholds（软踢预警线）
# ========================================== # ==========================================
# 提前于硬限额/动态墙踢出模型的预警线，留出缓冲： # 提前于硬限额/动态墙踢出模型的预警线，留出缓冲：
# 1. 用量墙：usage ≥ SOFT_EVICT_USAGE_LIMIT(默认 1.95M) 即踢——避免贴 2M 边时 # 1. 用量墙：usage ≥ SOFT_EVICT_USAGE_LIMIT(默认 1.9M) 即踢——避免贴 2M 边时
# 大请求 429/小请求放行的灰色地带（reserve 低估 / 并发击穿余量） # 大请求 429/小请求放行的灰色地带（reserve 低估 / 并发击穿余量）
# 2. 余额墙：balance_at_sync < SOFT_EVICT_BALANCE_LIMIT(10万) 且 usage > 0 即踢—— # 2. 余额墙：balance_at_sync < SOFT_EVICT_BALANCE_LIMIT(10万) 且 usage > 0 即踢——
# usage>0 限定防误杀小额初始池模型（B0<10 万未使用时被永久踢出死锁） # usage>0 限定防误杀小额初始池模型（B0<10 万未使用时被永久踢出死锁）
# 恢复条件对称（should_restore_model）：usage < min(effective_limit, 用量墙) # 恢复条件对称（should_restore_model）：usage < min(effective_limit, 用量墙)
# 且 (余额 ≥ 10万 或 usage == 0)，否则踢了立即被恢复成踢/恢复抖动 # 且 (余额 ≥ 10万 或 usage == 0)，否则踢了立即被恢复成踢/恢复抖动
SOFT_EVICT_USAGE_LIMIT = float(os.getenv("SOFT_EVICT_USAGE_LIMIT", "1950000")) SOFT_EVICT_USAGE_LIMIT = float(os.getenv("SOFT_EVICT_USAGE_LIMIT", "1900000"))
SOFT_EVICT_BALANCE_LIMIT = float(os.getenv("SOFT_EVICT_BALANCE_LIMIT", "100000")) SOFT_EVICT_BALANCE_LIMIT = float(os.getenv("SOFT_EVICT_BALANCE_LIMIT", "100000"))
# ========================================== # ==========================================