限流与配额
云端模型提供商有限流——理解触发条件、应对策略,以及为什么本地模型完全不受影响。
什么是限流
云端模型提供商会限制单位时间内的请求数(速率限制),用于管理资源与防止滥用。Agent 执行任务时请求密集,用云提供商时偶尔会撞上限流——表现为请求被拒或等待。
应对策略
- 升级套餐:频繁撞限说明用量超过了当前档位,提供商的高档套餐有更高的速率上限;
- 降低请求密度:把大任务拆成多个会话分批执行;任务间隙稍作停顿;
- 换用内置限流管理的提供商:部分聚合类提供商(如 OpenRouter)提供多模型统一入口,触顶时可自动切换模型,减少中断;
- 重试即可恢复:多数限流是短暂的——稍等片刻重试同一请求即可。
本地模型:零限流
本地模型不受任何速率限制——推理在你的显卡上运行,没有 API、没有配额、没有按量计费。如果任务对请求密度敏感(大批量处理、频繁的小调用),把这类工作切到本地模型是根本解法。
两类模型可以随时切换(见本地模型与提供商):日常对话与敏感任务用本地,重推理任务用云端——按任务自由组合。
本页基于上游开源文档(Apache-2.0)改写,已修改;来源与变更见 /legal/provenance。