我在大厂做Agent落地踩过的那些坑 #agent面试 #ai应用面试 #大模型面试 #前端面试 #后端面试

下班了，说一下我在大厂做AI Agent落地踩的那些坑，对大家找AI Agent的工作，或者做AI Agent的面试有帮助，因为这都是细节。 上个月跟团队复盘了一个做了大半年的项目，踩了很多坑。小公司、大公司遇到的逻辑相通，但是形式差很多。 先说个反直觉的点：大厂做AI Agent很难的，难的不是技术，是组织。因为小公司一百来号人，协同成本低，大厂几千个人，一个项目跨几个团队。你推AI Agent的话，别人会关心会不会影响交付。踩的第一个坑是什么？不是技术方案够好就能推动。当时我选了一个内部高频场景试点，技术方案挺细的，LLM链路工具、多轮对话该有的都有，结果出问题就是业务方会说，这个AI Agent出了事，谁负责？后来我们花了一个多月才把它捋清楚。所以最重要的是，如果你在大公司，要先把治理框架打好，不是技术方案做好之后才补，不然出了问题，责任边界、审核节点、回馈机制全是乱的。 还有就是模型选择，小公司的话，建议不要在便宜模型上浪费时间，要用顶尖模型建立信心。但是大厂更复杂，因为大厂内部会有几十个场景在跑，如果每个Agent都调GPT或者Claude，一个月的推理成本能烧掉一个小团队的预算。所以我们做了分层策略：简单任务用轻量模型，复杂任务用顶尖模型，中间再加一个路由层做判断。这个路由层本身也是Agent，负责评估用户问题的复杂度，然后决定调哪个模型，省了不少成本，但也带来新的问题：路由层的判断准确率直接会影响体验，判断错的话，该用强模型的时候用了弱模型，用户会觉得系统很蠢。这个问题的解法没有捷径，就是持续迭代路由策略，积累bad case逐步优化，像我们的路由准确率在92%左右，还在慢慢优化。 接下来是知识库，这是最被低估的地方。知识库搞得乱的根本原因，是大家对什么东西进知识库没有共识。大厂这个问题会放大十倍，我们有十几个部门，每个部门有自己的文档，格式不一样，更新频率也不一样，有些文档是三年前的，有些问题是上周刚写的，而且很多知识其实不在文档里，在员工的脑子里。我们花了很长时间做知识治理，这是核心，做了三件事：第一，建立知识准入标准，不是什么都能往里面扔的；第二，要有明确的准入规则和定期清理策略，把隐性的知识显性化，通过访谈，把会议纪要、FAQ沉淀下来，从员工的脑子里抽出来；第三，做知识质量评分，每个知识片段按热度、准确性、时效性打分，自动清理。这套东西做完，检索准确率从初期的60%提升到85%以上，代价也有，就是投了很多人力成本，这个在项目预算里根本没算进去。 还有就是Spec这个事情，Spec的知识价值藏在5%的问题边界里，在大公司里面，它可能不是5%，而是20%。硬编码定的话很爽，但是容易出问题，而且很难定位，没有留痕产物。后来我们强制要求，任何Agent生成的代码必须有相对应的Spec文档，Spec里面要包含输入输出、边界条件、异常处理策略，虽然前期麻烦，但是会降低后期的维护成本。加了Spec之后，边界场景的bug率降了40%，而且出问题很快就能定位到。 还有就是Loop和多Agent的协作，小公司用Loop的嵌套就能解决很多问题，大厂不可以，因为业务流程太长，一个审批流程可能涉及七八个环节，每个环节都有不同的规则和权限。我们最终用的是多Agent协作架构，但不是那种花里胡哨的框架，而是自己搭的轻量调度系统。核心思路就是每一个Agent只负责一个明确的职能，Agent之间通过消息队列通信，调度层负责任务分发和状态同步。这个架构的好处是，某个Agent挂了之后，替换成本低，不影响全局；坏处是调试太复杂了，但是也有办法，就是在每个Agent里面加详细的日志观测点，然后把链路做可视化，这样就很容易定位问题。 还有就是数据安全，在实际的Agent落地里面，大厂要求比小公司多很多。我们有内部的数据分级，敏感数据绝对不能出内网，Agent的权限是按角色分配的，每个操作都要留痕审计，这是合规问题。我们的解决方案是做一个数据网关，所有的Agent对数据的访问都要经过这个网关，网关负责权限校验、敏感信息脱敏、操作日志记录。 最后还有就是规划这件事，企业部署不用做一个月的规划，我认同，但是小公司可以，在大公司不行，大公司要留足够多的调整空间，先定好大的方向。还有一点，大厂的Agent落地，必须考虑存量系统的兼容，你不仅仅是单纯做一个新的Agent，内部的老系统连API都没有，Agent要对接这种系统，有时候你没时间改造，或者没办法改造，我们自己想了办法，用RPA做桥接，Agent生成操作指令，RPA负责在界面上执行，这就是桥接方案。 所以核心挑战在大公司分为三类：第一类是治理的挑战，第一天都得考虑清楚；第二是知识的挑战，知识的质量直接决定你Agent的上限；第三就是组织的挑战。如果你是在做Agent相关的东西，我觉得这些实战经验是非常加分的，你可以想想怎么在自己的项目里面融入这些东西。当然，如果你需要Agent的辅导，或者说前端后端的辅导，也可以找我，现在提供相关的辅导陪跑服务。