当成本开始迅速上升时，模块化 AI 系统解决了什么问题？
它解决了一个常见问题。团队最初搭建了一个有用的检索增强生成（RAG）设置，随后添加了智能体、工具和护栏。系统变得更好了，但随着请求路径中新增的每一个环节，账单也在增长。模块化设计通过让每个部分专注于做好一件事，将这种增长控制在合理范围内。
RAG 和智能体常常因为同一个原因而失败：它们被构建为一个沉重的单一流程，所有请求都经过同一个大型模型、同一个检索步骤和同一个响应路径。这在初期很简单。但当流量增长、查询重复，且许多请求并不需要最强大的模型时，成本就会变得高昂。
模块化架构打破了这一习惯。它将缓存、检索、路由、生成和验证分离开来。每个部分都可以独立更改。这很重要，因为成本很少能通过单一的“技巧”来固定或降低。它是通过在请求路径的多个环节消除浪费来实现降低的。
浪费出现的首要地方是重复工作。在许多企业 AI 系统中，很大一部分问题在含义上与之前的问题相近，即使措辞有所改变。语义缓存可以处理这种情况。它将提示词转换为嵌入向量，与过去的请求进行比较，并在匹配度足够高时返回存储的答案。道理很简单：如果系统在实质上已经解决了相同的询问，就不应再次为模型付费。
同样的模块化思路也有助于模型选择。并非每个请求都需要前沿模型。有些任务是常规性的，例如提取、分类、摘要或模板化回复。这些任务适合较小的模型。路由器可以将简单的工作发送给更便宜的模型，并将较大的模型保留给更复杂的推理任务。在实践中，这防止了系统在简单任务上花费顶级模型的费率。
批量处理是另一个清晰的区分点。某些工作负载不需要即时答案。文档处理、数据丰富化和报告生成可以等待。对于这些任务，批量执行可以降低成本，因为吞吐量比延迟更重要。这是一个有用的权衡：企业以稍慢的交付速度换取费用降低，尤其是对于那些当前不面向用户的工作。
令牌控制是下一个节省成本的来源。许多系统之所以臃肿，是因为它们在每次调用时发送了过多的上下文。对话历史被无限制地复制转发。长文档被打包进提示词中，即使其中只有一小部分相关。结构化输出可以在这里提供帮助。严格的令牌限制和对旧上下文的简短摘要也有帮助。每一个不必要的令牌都会增加成本和延迟。
智能体使这一点变得更加重要。智能体可以通过选择工具和分解任务来提供帮助，但如果它循环、重试或对单个答案调用多个模型，也可能导致支出倍增。这就是为什么模块化设计至关重要。智能体不应是一个包办一切的“黑盒”。它应该位于一个有边界的 workflow 中，对检索深度、工具使用和升级机制设定明确的限制。
一个小例子可以说明这一点。想象一个回答员工问题的支持系统。用户问：“我如何重置笔记本电脑密码？”由于任务简单，路由器将其发送给小模型。如果之前有人问过相同的问题，语义缓存会返回之前的答案。如果问题是关于政策边缘情况的，系统会将其路由到大模型并检索正确的政策文本。用户看到的是一个响应。企业避免了为每个请求支付前沿模型的费率。
这就是为什么模块化架构和 RAG 应当结合在一起的原因。RAG 为系统提供外部知识。智能体为其提供行动和规划能力。但成本控制来自于各部分的排列方式。当检索、路由、缓存和生成被拆分为单独的模块时，系统可以在花费更多之前做出更便宜的选择。
这种结构还能改善运营。更容易衡量每个阶段的作用。团队可以看到缓存命中率、模型组合、令牌使用情况和回退路径。他们可以发现哪个模块被过度使用，哪个模块表现不佳。如果没有这种分离，整个系统看起来就像一个没有明确原因的大额账单。
这方面还有一个用户体验（UX）的角度。流式传输应作为交互式工作的默认选项。用户非常关注第一个可见的令牌。即使系统在后台使用了缓存或路由，流式响应的感觉更快、更具响应性。这在业务环境中很重要，因为延迟会侵蚀信任。
主要的教训并不是说某种模式能解决所有的成本问题。而是说，当每个请求都必须证明其存在的合理性时，AI 系统就会变得更便宜。当含义已知时优先使用缓存。将简单工作路由到较小的模型。将可以等待的工作进行批量处理。削减多余的令牌。将智能体保持在清晰的边界内。
EuroOp LLC 将此视为一条实用的工程准则。现代 AI 系统应由可单独定价、测试和替换的模块构建而成。这正是 EuroOp Insights 旨在追踪的应用模式类型：来自 EuroOp 产品背后研发管线的一种应用研发模式，以及一个实用的要点。