直接回答:Agent 本质是“LLM + 工具 + 循环”,循环就必须有终止条件。工程上标配四层保险:硬上限(最大步数、最大 token 预算、最大耗时,到顶强制收尾输出当前结论)、循环检测(连续 N 步调用相同工具相同参数即判定卡死,注入提示或终止)、成本熔断(单次任务花费超阈值直接降级为人工处理)、进度自检(每若干步让模型对照原始目标复述当前进展,偏航则纠偏或放弃)。
展开解析:死循环的典型成因:工具报错信息不可读,模型反复重试同一错误调用;目标本身不可达(数据不存在)但模型不肯认输;上下文被截断后模型忘了已做过什么,重复劳动。对应手段分别是:错误信息结构化、在系统提示中明确“确认无解就输出无法完成并说明原因”、把已执行步骤摘要持久化在上下文中。跑偏的防控靠规划与执行分离:先出计划再执行,每步对照计划检查。观测上要记录完整 trace(每步的思考、调用、结果),事后可回放归因。高风险动作(发邮件、删数据)必须加人工确认节点,Agent 只到“准备好待确认”为止。
追问方向:如何评测一个 Agent 的收敛率?步数上限设多少合理?人类在环(HITL)的介入点怎么设计?
(约 460 字)