kim/litellm-config
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
114 Commits 1 Branch 0 Tags
c6c122426a5ec719124ea4a03f49c85becaf760f
Commit Graph

114 Commits

This Branch
This Branch
All Branches
Author SHA1 Message Date
vibe-code c6c122426a fix: 同步间隔打印重算 + 恢复/审计口径对齐，清理死代码 
- 同步后按新 Min Rem 重算'下一次同步'间隔（compute_sync_interval 唯一实现），
  修复'旧 interval + 新 Min Rem'混打误导；删除过时的五档注释
- restore_blocked_models / startup_audit 补 MONITORED hash 过滤，
  与 soft_evict/请求闸门/即时恢复口径一致，防误恢复/误踢同名非监控条目
- 删除 THRESHOLD 死常量
 2026-08-12 03:53:02 +00:00
vibe-code 505a55987f fix: 限额恢复即时解锁 + 前置预留闸门，修复有额度却被禁 
- 同步守护写健康限额后立即恢复被软踢模型（restore_model_if_healthy），
  不等 restore_blocked_models 的 30min/4h 闸门，修复日返还额度到账后
  模型带额度空转被禁（no healthy deployments）
- 前置闸门改为 usage + reserve >= limit 即拦截，预留优先取请求
  max_tokens（零采集损失），堵住并发请求集体撞线的超限窗口
 2026-08-12 03:40:44 +00:00
vibe-code ee1245621d feat: 消耗语料优化：宿主真实日志挂载 + 合成语料扩容 + 游标去重 
- docker-compose 只读挂载 /var/log:/host-var-log，LOG_SOURCES 追加宿主路径（真实日志优先）
- 合成语料 5000→30000 行、模板 8→28 种、主机 6→12、覆盖 24h（行间隔 ≈86400/count）
- generate_dynamic_payload 随机起点改游标连续窗口：单次运行内零重复（时间轴随请求推进），
  耗尽后环绕（跨请求重复可接受，跨天语料重建）
- 验证：模板特征 20/20 命中、12 主机、6 窗口零重叠、payload 长度合规
 2026-08-11 15:17:52 +00:00
vibe-code 56b46652f2 feat: 日志统一加北京时间戳（_tagged_print 一处生效，实测 1.33us/次） 2026-08-11 15:10:24 +00:00
vibe-code b82fe3aa7e refactor: 余额分档退化为低余额加密两档，常规统一 30 分钟 
按上一轮分析彻底落地：余额驱动的慢速档无意义（日返还下余额高=常态，
返还/过期/消耗随时发生）。仅保留 <10万 5min / <30万 10min（返还解锁、
扣费检测要紧），≥30万 统一 30min；慢同步完全交给 is_idle（×4 上限 60min）。
模式打印随分档简化并补充空闲状态。
 2026-08-11 15:07:55 +00:00
vibe-code a93f806b33 fix: 同步模式打印图标改为余额风险语义（极速→中风险等，与档位自洽） 2026-08-11 15:06:26 +00:00
vibe-code 068f2ee658 fix: 取消高水位 60 分钟同步档（日返还模型下余额≥80万为常态） 
- 高水位 base_interval 3600 → 1800：返还解锁/余额扣减检测延迟从 ≤60min 降到 ≤30min，
  消除每日返还后的额度空转窗口与余额虚高扣费窗口；真正的慢同步条件 = is_idle（已独立实现）
- All Dead 非晨间 1000000 → 300000：返还可能下午到账，不能睡 60 分钟
- 修复模式打印数值与 base_interval 全部错位的遗留 bug，改为输出实际同步间隔
 2026-08-11 14:16:27 +00:00
vibe-code 5e40a311d1 fix: 消耗任务四类遗漏修复 + 清理死变量 
volc_consume.py:
- payload 模型参数路由：doubao 系 max_completion_tokens+reasoning_effort minimal，
  其他模型 max_tokens（旧 MONITOR_TARGETS 实测配置，否则 doubao 消耗会 400 失效）
- _send_ark URL 单源：直接拼 HUOSHAN_BASE_URL（与 config.yaml 同 env），删 ARK_HOST
- 速率三档对齐旧 auto_consume（正常 15-40s / 极速 / 动态），避免 plan 大时 60s/次拖过 00:00
- run_consume_all 单次拉包复用，消除 6 次重复分页

volc_limit_sync.py:
- 修复 DEBUG 打印残留 current_peak 引用（v2 简化后已删变量，DEBUG 模式会 NameError）
- 清理旧遗留死变量 SYNC_INTERVAL / mode_str / display_limit，去重 limit_str
 2026-08-11 13:58:58 +00:00
vibe-code b7df36bb4e fix: dynamic 限额缺失时 fallback 保守兜底（FALLBACK_LIMIT 90万） 
免费模型余额常态 <2M（昨日采多少返多少），stable_limit 缺失窗口
（首次同步前/新增模型/TTL 过期）此前 fallback 裸奔到静态 2M，
余额不足的模型会被烧穿扣费。改为 min(static, FALLBACK_LIMIT=90万)。
 2026-08-11 13:38:32 +00:00
vibe-code 96b81d52c4 feat: 合入火山免费额度自动消耗任务（每日23点洗过期包防扣费） 
- 新增 volc_consume.py：消耗任务模块，直连 Ark 洗 9 天内过期资源包
  （旧 calculate_plan 均分×1.1/24h冲刺保留 + 双 clamp：2M 采集上限、余额−BUFFER 防扣费）
- volc_limit_sync.py：限额 v2 简化（stable_limit = usage+balance−BUFFER，删除峰值状态机 ~90 行），
  HARD_DAILY_LIMITS 统一 2M（pre-block 不滞后，1.8M 折扣作废），
  新增 _maybe_trigger_daily_consume（北京时间 23:00 ± 抖动，SETNX 去重，延迟导入）
- docker-compose 挂载 volc_consume.py；AGENTS.md/文档同步
 2026-08-11 13:15:24 +00:00
vibe-code 2cc7c7d08b docs: 火山免费额度自动消耗合并设计方案 2026-08-11 12:53:51 +00:00
root 8feb38db37 fix: 资源包查询修复翻页死循环并加 Status 过滤 
- debug_volc_sync.py 缺少 seen_tokens 防循环保护，火山 API 翻页到头后
  NextToken 循环回起始 token，导致无限翻页（实测 900s 拉 1893 页假象，
  真实数据仅 8 页 137 个包）
- 两个 fetch_all_packages 请求加 Status=Effective，服务端直接过滤
  UsedUp/Expired/Refunded 等余额为 0 的无用包（实测过滤后 0 余额包为 0）
- 主脚本循环检测日志从 DEBUG 提升为 WARNING，循环收尾不再静默
 2026-08-11 03:39:57 +00:00
root e29d94f9e8 feat: 日志统一加 [VolcSync] 前缀便于筛选 
模块级重绑定 print(一处覆盖全部 52 处调用, 含 log()/dprint/裸print),
traceback.print_exc 改走带前缀通道, 去除 log() 内嵌标识避免双前缀。

筛选: docker logs litellm 2>&1 | grep VolcSync
 2026-08-11 02:53:33 +00:00
root 729e5c7bc3 fix: 限额峰值改为首锁+余额门控重锁，修复越算越多 
原 Smart Peak 逻辑把每次用量增长误判为余额恢复(Jump)锁更高峰值，
叠加火山 AvailableAmount 更新滞后，stable_limit 当天一路抬升
(399,836 -> 599,511)且闸门永不触发，额度实际被烧穿。

新策略(volc:peak_pool 当日键):
- 首次同步锁定当日峰值(usage + balance)
- 仅 balance 自身净上涨(新资源包/对账回补 >=50k)按发放增量抬峰
- pool 回落时 Drop 收紧，永不回升
- usage 驱动的 pool 上涨一律不得抬高限额
新增 volc:last_balance 键记录上次余额快照
 2026-08-11 02:53:18 +00:00
root f74f228322 chore: 添加 gitignore 忽略 Python 缓存 2026-08-10 09:08:14 +00:00
root 5c7f3d5a53 refactor: 重命名 deepseek-v4-flash-hs 为 huoshan/deepseek-v4-flash 2026-08-10 08:52:12 +00:00
root 1a36bf5dbc fix: RateLimitError构造去除request_data，对齐litellm main签名(message,llm_provider,model) 2026-08-10 08:43:44 +00:00
root 2e052734fc fix: 已踢模型请求也走限额拦截，统一返回429而非router 400 2026-08-10 08:21:39 +00:00
root 6b51d74e72 fix: 增加请求前限额拦截(async_pre_call_hook)，修复超限滞后击穿漏洞 2026-08-10 08:07:04 +00:00
root fbd2ab1ede fix: newapi条目改用openai前缀，修正deepseek-v4-pro模型笔误 2026-08-10 07:14:19 +00:00
root 19e87cfcfa 调整fallback 2026-08-10 15:01:33 +08:00
root 1e63653f52 fix: add deepseek-v4-flash-0731 alias and fix config discovery skipping commented lines 
- Add MANUAL_MONITORED_MODEL_ALIASES entry for
  deepseek-v4-flash-0731 -> deepseek-v4-flash-ga-260731,
  since VolcEngine resource pack uses MMDD format while
  upstream model name uses -ga-YYMMDD (inconsistent naming).

- Fix config.yaml auto-discovery to skip lines starting with '#',
  preventing commented-out api_base lines from leaking into the
  currently-open entry and misclassifying non-VolcEngine models.
  This was causing deepseek-v4-flash (via NEWAPI) to be falsely
  detected as a monitored VolcEngine model.
 2026-08-09 14:21:46 +00:00
root 43f1cc302a 注释默认fallback，防止和new-api形成回环 2026-08-09 21:44:04 +08:00
root e6d148f9e2 添加参数drop_params: true 2026-08-09 20:27:11 +08:00
root 64a64c73e4 Merge remote-tracking branch 'origin/main' 2026-08-09 20:04:12 +08:00
root 64fe851aa3 增加火山的deepseekv4flash正式版 2026-08-09 20:00:01 +08:00
root 45aee9f83b docs: add analysis of merging volc daily-limit into new-api 2026-08-05 03:28:43 +00:00
root 5b48578b63 deepseekv3.2到期，删除 2026-07-26 10:16:47 +08:00
root 3ef4eca3a0 增加模型 2026-07-12 12:24:26 +08:00
root 749431e253 增加newapi的模型 2026-07-12 10:34:05 +08:00
kim 3dd97730b6 fix: default remaining to high quota for unknown models on startup and update AGENTS.md 2026-07-08 10:42:14 +08:00
root 1c8ff7b569 增加模型；增加上下文窗口信息 2026-07-08 00:06:07 +08:00
kim ceedbe8a71 Merge branch 'main' of ssh://gitea.228778.xyz:23022/kim/litellm-config 
merge
 2026-07-04 15:26:16 +08:00
kim f5f9171d9b 添加glm5.2 2026-07-04 15:24:47 +08:00
root 58db397bbf 更新到最新的镜像 2026-06-15 17:13:33 +08:00
kim 28c76a1052 注释豆包2.0pro和lite模型，因为没额度了 2026-06-15 14:03:00 +08:00
kim b1973a1def 添加doubao-seed-2-0-code-nothink 2026-06-11 14:58:02 +08:00
kim 27324f459c fix: add doubao-seed-2-0-code alias to monitored models 2026-06-11 14:52:02 +08:00
kim ed14ee26f3 添加doubao-seed-2-0-code-nothink 2026-06-11 14:45:58 +08:00
kim e291a51c56 添加doubao-seed-2-0-code 2026-06-11 14:35:19 +08:00
kim 671ef1087f fix: resolve falsy effective_limit bug preventing model block on negative quota 2026-06-11 14:09:42 +08:00
kim 28c81c4816 fix: resolve volcengine package quota parsing and status filtering 2026-06-11 13:27:06 +08:00
root fff6397c42 未知修改 2026-06-11 13:16:26 +08:00
kim 255e197150 docs: add drop_params note to config 2026-04-01 14:12:48 +08:00
kim f36c560bb0 fix: clarify effective limit debug output 2026-04-01 14:10:59 +08:00
kim 730e444a76 增加 drop_params: true 参数 2026-04-01 13:49:36 +08:00
kim 2f1c2642e5 fix: streamline monitored model maintenance 2026-04-01 13:29:10 +08:00
root 63658dadd2 修改config，添加模型；指定litellm主版本规避风险 2026-04-01 12:12:34 +08:00
kim 1e27201675 增加内存限制2g 2026-03-22 18:19:20 +08:00
kim d34c7c11c0 删除过时的模型 2026-03-22 18:17:37 +08:00