5869d311c9
fix: pre-hook 幂等防重,litellm 双调用不重复预扣
...
litellm 对同一请求调用两次 async_pre_call_hook(proxy 级 +
deployment 级),第二次重复预扣 inflight 但结算只释放一次,
残留累积。已在日志确认(18:46:07 每个请求 Pre-reserve 打印两次)。
修复:pre-hook 入口检查 data["metadata"] 是否已有
PREBLOCK_RESERVE_META_KEY,有则跳过预扣直接放行(幂等)。
验证:新增场景7(幂等防重),7 场景 ALL PASS。
2026-08-18 11:00:18 +00:00
69d144ba34
fix: _release_inflight 改用 Lua 原子释放,floor 0 防幽灵误删
...
TTL 过期后迟到结算的 DECRBY 会把 inflight 打到负数,旧代码 DEL 整个
key → 误删别的请求的预留。改用 RELEASE_SCRIPT 在 Redis 内原子
DECRBY + floor 0:结果 <=0 则 DEL,否则 SET new_val + EXPIRE 保留 TTL。
_release_inflight eval 补第三个参数 PREBLOCK_INFLIGHT_TTL,与
RELEASE_SCRIPT 的 ARGV[2] 对应。
验证:新增场景6(幽灵释放),6 场景 ALL PASS。
2026-08-18 10:42:21 +00:00
2502a6b507
fix: 软踢用量墙从 1.95M 降到 1.9M 增加容错缓冲
2026-08-18 09:33:18 +00:00
4479e179bb
fix: Lua 原子闸门堵死并发 TOCTOU 击穿
...
根因:_check_request_block 的"读 usage + 比较 + 放行"是纯读检查,
与结算 incrby 之间无原子性。并发请求在同一 usage 快照上各自判定
"未超限"集体放行,叠加消耗击穿限额(08-18 13:14:41-50,5 个并发
请求从 1.49M 冲到 2.11M,超支 11.2 万 token)。
修复:Lua 原子闸门把"读 usage + 读 inflight + 判 limit + INCRBY
预扣"合并为单个 Redis 原子操作,并发请求串行看到彼此的在途预留:
- 放行:INCRBY inflight reserve,返回 granted
- 拦截:不预扣,返回 blocked
配对释放:pre-hook 放行时把 reserve 写入 data["metadata"]
(PREBLOCK_RESERVE_META_KEY),litellm 透传到 log_success_event
的 kwargs["litellm_params"]["metadata"],结算时 _release_inflight
配对 DECRBY,usage 只计实际消耗。
兜底:inflight key 设 PREBLOCK_INFLIGHT_TTL(1h),失败/丢失的
预扣由 TTL 自动归零,不永久占额度。
验证:打桩 redis/litellm 跑 5 场景,含复现 08-18 击穿的并发测试
(5 并发 reserve,旧代码全放行击穿,新代码仅放行 2 个且
usage+inflight < 2M)。ALL PASS ✅
2026-08-18 09:30:10 +00:00
9eaafdec6b
feat: 新增 huoshan/deepseek-v4-pro 火山模型
...
- config.yaml 增加 deepseek-v4-pro-ga-260813 模型条目
- volc_limit_sync.py MANUAL_MONITORED_MODEL_ALIASES 增加
deepseek-v4-pro-0813 -> deepseek-v4-pro-ga-260813 映射
(资源包名 MMDD 与上游模型名 -ga-YYMMDD 不一致，不映射则余额不同步)
2026-08-18 07:22:58 +00:00
9423adeea6
feat: manual_evict 自动解除(余额增量阈值)
...
- 首次命中 manual_evict key 时惰性记录 balance_at_sync 快照
(manual_evict:snapshot:{raw_model})，后续每次请求比较当前余额，
上升 ≥ AUTO_RELEASE_BALANCE_MARGIN(默认 50 万)时自动 DEL key 恢复
- 小额波动不误放，余额大幅上升(=免费额度已返还)才触发
- 幂等、可 env 覆盖(AUTO_RELEASE_BALANCE_MARGIN=500000)
- 自测 9/9 passed
2026-08-13 10:24:05 +00:00
0d1776c8a1
docs: README 补充手动软踢 manual_evict 用法
2026-08-13 10:08:53 +00:00
9338070562
fix: manual_evict key 改用 config model 字段全匹配防误伤
...
此前 key 用 clean 名(model 去渠道前缀), 同 clean 不同渠道(如
openai/ 前缀同名模型)会被误伤。改为 manual_evict:{raw_model}
(config.yaml 完整 model 字段, 含渠道前缀)全匹配, monitored pairs
过滤后仍精确到具体条目。用法:
SET manual_evict:volcengine/<model> 1
2026-08-13 10:07:38 +00:00
e91e2d1d5e
feat: 手动软踢 Redis key (manual_evict) + redis 卷固定名称
...
- docker-compose: redis_data 卷加 name: litellm_redis_data, 卷名不再随
compose 项目名(目录名)漂移, 目录迁移不会新建空卷丢数据
- _check_request_block: 监控条目命中后检查 Redis manual_evict:{clean} key,
存在即返回 (clean,-2,-2) 恒 429; key 落持久卷, 重启后仍生效,
显式 DEL 才恢复, 幂等
- async_pre_call_hook: 识别 -2 标记, 返回 manually soft-evicted 429
- 用法: SET/DEL/KEYS manual_evict:* (docker exec litellm_redis redis-cli)
2026-08-13 10:05:02 +00:00
5fddea126e
fix: redis 挂载 redis_data 持久化卷, down/up 不再丢今日用量
...
此前 volumes 段仅注释未挂载, docker compose down 重建容器时
RDB/AOF 随容器层删除, daily_usage 与量快照全丢, 重启后闸门
以余额重算限额(limit=Bal-BUFFER)虽不烧穿, 但当日用量统计归零
且 soft-evict 状态丢失
2026-08-13 09:34:49 +00:00
9d46fd4aa5
fix: 闸门 fail-closed 堵重启/Redis 故障窗口漏放
...
- _check_request_block: Redis 不可用/无限额/读取异常时监控条目恒 429(标记 -1,-1)，非监控渠道不受影响；原实现任何异常 fail-open
- async_pre_call_hook: 识别 fail-closed 标记返回 quota unavailable 429
- FALLBACK_LIMIT 900k→200k(免费池 2M 的 10%)，收窄 0 余额模型兜底泄露
- docker-compose: redis 开启 AOF(--appendonly yes everysec)，防重启丢快照/用量
- active_monitor_loop: 首轮跳过 CHECK_INTERVAL，额度未同步空窗 12-20s 缩至 2-5s
2026-08-13 09:18:23 +00:00
4e98c14920
perf: 已软踢模型短路跳过 token_counter 预估
...
- _soft_evicted_block: 扫描 router 中 {model}-limit-reached 条目返回
(usage, limit), 供 async_pre_call_hook 直接 429
- 省去注定被拒请求的 token_counter 调用(含多模态图片 URL 下载等昂贵路径)
- 与 _check_request_block 的 limit-reached 恒 429 双保险
- stub 验证: 已踢/未踢/不存在三场景符合预期
2026-08-13 09:04:30 +00:00
795cc99faa
feat: 软踢预警线提前至 1.95M 用量墙与 10万余额墙
...
- should_soft_evict: usage ≥ min(effective_limit, 1.95M) 或
(balance_at_sync < 10万 且 usage>0)——usage>0 防小额初始池(B0<10万)
模型误杀永久死锁
- should_restore_model 恢复对称: usage < min(额度,1.95M) 且
(余额≥10万 或 usage==0),否则踢了立即被同步恢复成抖动
- _check_request_block 对已软踢条目(*-limit-reached)恒 429,
防踢后 1.95M~2M 区间小请求放行→路由原名缺失→400
- startup_audit / restore_blocked_models / restore_model_if_healthy
统一接入判定; SOFT_EVICT_USAGE_LIMIT/SOFT_EVICT_BALANCE_LIMIT env 可调
- docs §7.6 新增软踢预警线小节(两墙条件/恢复对称/前置联动/2.5% 采集代价)
- 数字用例 9/9 验证(踢/不踢/死锁防护/防抖动/动态墙取 min)
2026-08-13 08:56:26 +00:00
f15b64e31f
fix: 消耗任务 clamp2 改守恒口径,消除余额快照滞后超烧风险
...
- b0_est = 拉包时刻 余额+usage (= B0+L,与 v6 闸门同构)
- clamp2: plan ≤ b0_est − SMALL_BUFFER − usage_now; 停止条件 2 改
usage ≥ b0_est − SMALL_BUFFER,每轮实时读共享 key,真实用户消耗
结构性计入,两方合计超烧杜绝(残余风险收敛为 §7.5 L 同款)
- 数字用例验证: L=0 撞墙剩 SMALL_BUFFER(旧方案执行中用户耗 100k 超扣 100k)
- docs: §8 排障 4/§9 条目翻转为已实施;新增视觉图片 reserve 估算
口径校准待确认项(LiteLLM 85/765 OpenAI 口径 vs 火山未公开公式)
2026-08-13 08:31:37 +00:00
660efdfbeb
docs: 明确 consume clamp2 余额滞后修复方向
...
推荐 C 守恒口径(与 v6 闸门同构: b0_est = 拉包时刻 balance+usage,
clamp2/停止条件均改 usage 实时撞 b0_est-SMALL_BUFFER,零 API 成本,
两方不同步结构性消除);A' 单次收敛重取可选叠加;否决 B 扣减 L 预估
(v5 BUFFER 盲猜教训, L 实测浮动 15 倍)
2026-08-13 06:14:11 +00:00
6a2760bd03
feat: 每日消耗任务触发时点 23:00 改为 23:20
...
- volc_limit_sync:_maybe_trigger_daily_consume 改分钟级判断(23:20 起触发),
线程内 0-10 分钟随机抖动保留,实际执行窗口 23:20~23:30
- volc_consume:main 手动运行门卫同步 23:20 窗口(--force/--dry-run 不受限)
- docs/volc-quota-notes §9:consume clamp2 余额快照滞后在最新思路(§4.2 量化
L=149,616)下确认为必改项,方向待定;消耗任务口径同步收紧标记 [x]
- 全仓文档/注释 23:00 统一同步为 23:20(AGENTS/README/docker-compose/两 docs)
2026-08-13 06:08:26 +00:00
f86aa59af1
docs: 采纳独立复核精化 v6 注释与不变量(reserve 阈值/consume 快照口径)
2026-08-13 05:51:41 +00:00
729b1a3987
chore: 移除撞墙验证临时 80w 覆盖,恢复统一 2M 默认限额
2026-08-13 05:19:33 +00:00
b246393be4
docs: 通读整理 volc-quota-notes.md
...
- §2 扣费案例标注已被 §5 推翻,消除误导
- §5 日志示例标注为 v2/v5 历史,补充 v6 当前格式
- §7 重编号: v6 Snapshot-Offset 从 §7.6→§7.5, 2M 击穿从 §7.7→§7.6
- §7.1 标题修正(不再写 'v5 已恢复')
- 删除过时的 §7.4 待观察项(BUFFER 已不存在)
- 修正 §7.5 SMALL_BUFFER(5k) 笔误为 5 万
- 修正全章节交叉引用编号
- 统一半角标点风格
2026-08-13 04:26:44 +00:00
65c52442c8
docs: 补充 §7.7 2M 击穿事件 + reserve 改进 + 排障速查更新
...
- 新增 §7.7: 2M 采集上限击穿事件(20:53 实测)与 reserve 改进
(token_counter + max_tokens + 后置 soft_evict)
- §8 排障速查: 补充 2M 击穿(§7.7)、B0 守恒前提(§4.2)
- §9 待确认: 新增 reserve 精度验证项,标记 2M 击穿修复完成
- 文件头日期更新
2026-08-13 04:16:52 +00:00
9f8c6dc44c
docs: 修正 v6 限额「B0 常数」论证缺陷,记录 08-13 余额滞后实测与 512 亿笔误
2026-08-13 03:55:40 +00:00
6edb40d01e
chore: 临时 80w 限额覆盖用于撞墙验证（验证后移除）
2026-08-13 03:21:22 +00:00
8a6416f28f
feat: 前置闸门预计算输入 token 增加 DEBUG 日志
2026-08-13 03:21:22 +00:00
82502dda05
fix: 前置闸门 reserve 改用 token_counter 精确估算输入 token
...
reserve 从单凭 max_tokens fallback 50k 改为:
reserve = litellm.token_counter(messages) + max_tokens(声明值)
- 输入 token 精确计数(未知模型 fallback cl100k_base,对中文偏高更安全)
- 输出用请求声明的 max_tokens,未声明时 fallback PREBLOCK_RESERVE_TOKENS
- 修复 2M 采集上限被单个大请求(176k output)击穿的问题
2026-08-12 14:58:04 +00:00
23778a8f7c
feat: Snapshot-Offset 限额策略替换 BUFFER 盲猜
...
核心改动:不再用 BUFFER 猜滞后窗口消耗,而是用同步时点快照
直接计算累计限额。
- BUFFER=300000 → SMALL_BUFFER=50000(仅覆盖非消耗性跳降)
- get_effective_limit: limit = B0 - SMALL_BUFFER,不依赖 current_usage
- 同步循环:写 balance_at_sync + usage_at_sync 替代 remaining/stable_limit
- 突发检测/低额度判断:读 balance_at_sync 替代 remaining
- volc_consume.py: vls.BUFFER → vls.SMALL_BUFFER
- debug/debug_volc_sync.py: 同步更新
- docs/volc-quota-notes.md: 新增 §7.6 v6 设计文档,更新各节口径
2026-08-12 12:22:22 +00:00
97484cb7f8
fix: v5 恢复 v2 骨架，修正 v4 误拦
...
v4（stable = balance - BUFFER）把「剩余余额」当「从 0 累计的上限」，
U>0 时低估初始池：15:09:51 实测 Bal=596,869（剩 59.7 万）却被
usage 1,696,135 >= 296,869 全拦。守恒反推（U+B=2,293,004）证明
v2 公式数学正确——B 滞后收敛后满足 B = B0 - U，今日消耗 1.696M <
B0 2.293M 无扣费（此前「超余额 13.8 万扣费」基于滞后快照的推断
不成立）。v5 = 恢复 v2（stable = usage + balance - BUFFER），
残留风险仅同步时点 B 滞后（13:36 高估 ~50 万），由 BUFFER + 低余额
加密同步覆盖。文档同步：volc-quota-notes §7.3/§7.5、merge-auto-consume §4.5。
2026-08-12 07:21:13 +00:00
d9c7b1406d
refactor: 目录整理配套引用同步
...
README/AGENTS 文件清单与命令更新为新结构（generate_keys -> scripts/、
daily_limit -> archive/、文档 -> docs/）；config.yaml 与 volc_consume.py
注释中废弃脚本/文档路径同步；README 过期限额示例更新为 2M 配置。
2026-08-12 06:58:16 +00:00
dd349b64cf
fix: 限额改 v4 冻结快照，余额红线防扣费
...
v2 的 stable_limit = usage + balance - BUFFER 依赖余额 API 随消耗实时递减，
实测滞后（08-12 快照 1,558,307 在 usage 涨 45 万期间不动）导致池膨胀、限额
虚高，放行到扣费区（当日超余额 13.8 万已扣费）。
扣费口径（用户确认）：是否扣费只取决于当下免费额度，超出即扣费，采集量只
决定明日发放。v4：stable_limit = balance - BUFFER 冻结快照，本地 usage 实时
撞线即拦，等价于本地实时扣减余额；effective = min(2M 配额, stable_limit)。
新增 docs/volc-quota-notes.md 额度机制速查；merge-auto-consume.md 补 §4.5。
2026-08-12 06:58:03 +00:00
c6c122426a
fix: 同步间隔打印重算 + 恢复/审计口径对齐，清理死代码
...
- 同步后按新 Min Rem 重算'下一次同步'间隔（compute_sync_interval 唯一实现），
修复'旧 interval + 新 Min Rem'混打误导；删除过时的五档注释
- restore_blocked_models / startup_audit 补 MONITORED hash 过滤，
与 soft_evict/请求闸门/即时恢复口径一致，防误恢复/误踢同名非监控条目
- 删除 THRESHOLD 死常量
2026-08-12 03:53:02 +00:00
505a55987f
fix: 限额恢复即时解锁 + 前置预留闸门，修复有额度却被禁
...
- 同步守护写健康限额后立即恢复被软踢模型（restore_model_if_healthy），
不等 restore_blocked_models 的 30min/4h 闸门，修复日返还额度到账后
模型带额度空转被禁（no healthy deployments）
- 前置闸门改为 usage + reserve >= limit 即拦截，预留优先取请求
max_tokens（零采集损失），堵住并发请求集体撞线的超限窗口
2026-08-12 03:40:44 +00:00
ee1245621d
feat: 消耗语料优化：宿主真实日志挂载 + 合成语料扩容 + 游标去重
...
- docker-compose 只读挂载 /var/log:/host-var-log，LOG_SOURCES 追加宿主路径（真实日志优先）
- 合成语料 5000→30000 行、模板 8→28 种、主机 6→12、覆盖 24h（行间隔 ≈86400/count）
- generate_dynamic_payload 随机起点改游标连续窗口：单次运行内零重复（时间轴随请求推进），
耗尽后环绕（跨请求重复可接受，跨天语料重建）
- 验证：模板特征 20/20 命中、12 主机、6 窗口零重叠、payload 长度合规
2026-08-11 15:17:52 +00:00
56b46652f2
feat: 日志统一加北京时间戳（_tagged_print 一处生效，实测 1.33us/次）
2026-08-11 15:10:24 +00:00
b82fe3aa7e
refactor: 余额分档退化为低余额加密两档，常规统一 30 分钟
...
按上一轮分析彻底落地：余额驱动的慢速档无意义（日返还下余额高=常态，
返还/过期/消耗随时发生）。仅保留 <10万 5min / <30万 10min（返还解锁、
扣费检测要紧），≥30万 统一 30min；慢同步完全交给 is_idle（×4 上限 60min）。
模式打印随分档简化并补充空闲状态。
2026-08-11 15:07:55 +00:00
a93f806b33
fix: 同步模式打印图标改为余额风险语义（极速→中风险等，与档位自洽）
2026-08-11 15:06:26 +00:00
068f2ee658
fix: 取消高水位 60 分钟同步档（日返还模型下余额≥80万为常态）
...
- 高水位 base_interval 3600 → 1800：返还解锁/余额扣减检测延迟从 ≤60min 降到 ≤30min，
消除每日返还后的额度空转窗口与余额虚高扣费窗口；真正的慢同步条件 = is_idle（已独立实现）
- All Dead 非晨间 1000000 → 300000：返还可能下午到账，不能睡 60 分钟
- 修复模式打印数值与 base_interval 全部错位的遗留 bug，改为输出实际同步间隔
2026-08-11 14:16:27 +00:00
5e40a311d1
fix: 消耗任务四类遗漏修复 + 清理死变量
...
volc_consume.py:
- payload 模型参数路由：doubao 系 max_completion_tokens+reasoning_effort minimal，
其他模型 max_tokens（旧 MONITOR_TARGETS 实测配置，否则 doubao 消耗会 400 失效）
- _send_ark URL 单源：直接拼 HUOSHAN_BASE_URL（与 config.yaml 同 env），删 ARK_HOST
- 速率三档对齐旧 auto_consume（正常 15-40s / 极速 / 动态），避免 plan 大时 60s/次拖过 00:00
- run_consume_all 单次拉包复用，消除 6 次重复分页
volc_limit_sync.py:
- 修复 DEBUG 打印残留 current_peak 引用（v2 简化后已删变量，DEBUG 模式会 NameError）
- 清理旧遗留死变量 SYNC_INTERVAL / mode_str / display_limit，去重 limit_str
2026-08-11 13:58:58 +00:00
b7df36bb4e
fix: dynamic 限额缺失时 fallback 保守兜底（FALLBACK_LIMIT 90万）
...
免费模型余额常态 <2M（昨日采多少返多少），stable_limit 缺失窗口
（首次同步前/新增模型/TTL 过期）此前 fallback 裸奔到静态 2M，
余额不足的模型会被烧穿扣费。改为 min(static, FALLBACK_LIMIT=90万)。
2026-08-11 13:38:32 +00:00
96b81d52c4
feat: 合入火山免费额度自动消耗任务（每日23点洗过期包防扣费）
...
- 新增 volc_consume.py：消耗任务模块，直连 Ark 洗 9 天内过期资源包
（旧 calculate_plan 均分×1.1/24h冲刺保留 + 双 clamp：2M 采集上限、余额−BUFFER 防扣费）
- volc_limit_sync.py：限额 v2 简化（stable_limit = usage+balance−BUFFER，删除峰值状态机 ~90 行），
HARD_DAILY_LIMITS 统一 2M（pre-block 不滞后，1.8M 折扣作废），
新增 _maybe_trigger_daily_consume（北京时间 23:00 ± 抖动，SETNX 去重，延迟导入）
- docker-compose 挂载 volc_consume.py；AGENTS.md/文档同步
2026-08-11 13:15:24 +00:00
2cc7c7d08b
docs: 火山免费额度自动消耗合并设计方案
2026-08-11 12:53:51 +00:00
8feb38db37
fix: 资源包查询修复翻页死循环并加 Status 过滤
...
- debug_volc_sync.py 缺少 seen_tokens 防循环保护，火山 API 翻页到头后
NextToken 循环回起始 token，导致无限翻页（实测 900s 拉 1893 页假象，
真实数据仅 8 页 137 个包）
- 两个 fetch_all_packages 请求加 Status=Effective，服务端直接过滤
UsedUp/Expired/Refunded 等余额为 0 的无用包（实测过滤后 0 余额包为 0）
- 主脚本循环检测日志从 DEBUG 提升为 WARNING，循环收尾不再静默
2026-08-11 03:39:57 +00:00
e29d94f9e8
feat: 日志统一加 [VolcSync] 前缀便于筛选
...
模块级重绑定 print(一处覆盖全部 52 处调用, 含 log()/dprint/裸print),
traceback.print_exc 改走带前缀通道, 去除 log() 内嵌标识避免双前缀。
筛选: docker logs litellm 2>&1 | grep VolcSync
2026-08-11 02:53:33 +00:00
729e5c7bc3
fix: 限额峰值改为首锁+余额门控重锁，修复越算越多
...
原 Smart Peak 逻辑把每次用量增长误判为余额恢复(Jump)锁更高峰值，
叠加火山 AvailableAmount 更新滞后，stable_limit 当天一路抬升
(399,836 -> 599,511)且闸门永不触发，额度实际被烧穿。
新策略(volc:peak_pool 当日键):
- 首次同步锁定当日峰值(usage + balance)
- 仅 balance 自身净上涨(新资源包/对账回补 >=50k)按发放增量抬峰
- pool 回落时 Drop 收紧，永不回升
- usage 驱动的 pool 上涨一律不得抬高限额
新增 volc:last_balance 键记录上次余额快照
2026-08-11 02:53:18 +00:00
f74f228322
chore: 添加 gitignore 忽略 Python 缓存
2026-08-10 09:08:14 +00:00
5c7f3d5a53
refactor: 重命名 deepseek-v4-flash-hs 为 huoshan/deepseek-v4-flash
2026-08-10 08:52:12 +00:00
1a36bf5dbc
fix: RateLimitError构造去除request_data，对齐litellm main签名(message,llm_provider,model)
2026-08-10 08:43:44 +00:00
2e052734fc
fix: 已踢模型请求也走限额拦截，统一返回429而非router 400
2026-08-10 08:21:39 +00:00
6b51d74e72
fix: 增加请求前限额拦截(async_pre_call_hook)，修复超限滞后击穿漏洞
2026-08-10 08:07:04 +00:00
fbd2ab1ede
fix: newapi条目改用openai前缀，修正deepseek-v4-pro模型笔误
2026-08-10 07:14:19 +00:00
19e87cfcfa
调整fallback
2026-08-10 15:01:33 +08:00
1e63653f52
fix: add deepseek-v4-flash-0731 alias and fix config discovery skipping commented lines
...
- Add MANUAL_MONITORED_MODEL_ALIASES entry for
deepseek-v4-flash-0731 -> deepseek-v4-flash-ga-260731,
since VolcEngine resource pack uses MMDD format while
upstream model name uses -ga-YYMMDD (inconsistent naming).
- Fix config.yaml auto-discovery to skip lines starting with '#',
preventing commented-out api_base lines from leaking into the
currently-open entry and misclassifying non-VolcEngine models.
This was causing deepseek-v4-flash (via NEWAPI) to be falsely
detected as a monitored VolcEngine model.
2026-08-09 14:21:46 +00:00
vibe-code