コストが急増し始めたとき、モジュール型AIシステムはどのような問題を解決するのか？
それはよくある問題だ。チームは有用なRAG（検索拡張生成）セットアップから始め、その後エージェント、ツール、ガードレールを追加していく。システムは改善されるが、スタック内の新しいパスが増えるたびに請求額も膨らんでいく。モジュール型デザインは、各部分が一つの仕事をしっかりこなすようにすることで、この増加を抑える。
RAGとエージェントは同じ理由で失敗することが多い。それらはすべて重厚なフローとして構築されており、すべてのリクエストが同じ大規模モデル、同じ検索ステップ、同じ応答パスを通る。最初はシンプルに見える。しかし、トラフィックが増加し、クエリが繰り返され、多くのリクエストが最も高性能なモデルを必要としないようになると、高コストになる。
モジュール型アーキテクチャはこの習慣を断ち切る。キャッシュ、検索、ルーティング、生成、検証を分離する。各部分は独立して変更可能だ。これは重要だ。なぜなら、コストはたいてい一つの手口で固定されるものではなく、リクエストパスの複数の地点での無駄を取り除くことで初めて低減されるからだ。
無駄が最初に現れる場所は、繰り返しの作業だ。多くのエンタープライズAIシステムでは、文章が変わっても意味的には以前の質問に近いものが多くを占めている。セマンティックキャッシュがこのケースに対応する。プロンプトを埋め込みに変換し、過去の要求と比較し、一致度が十分であれば保存された回答を返す。ポイントは単純だ。もしシステムが実質的に同じ問いにすでに答えを出しているなら、モデルに対して再度課金すべきではない。
同じモジュール型の考え方はモデル選択にも役立つ。すべてのリクエストに最先端モデルが必要というわけではない。いくつかのタスクは定型作業だ。抽出、分類、要約、あるいはテンプレート返信などである。これらは小規模なモデルによく適合する。ルーターは簡単な作業をより安価なモデルに送り、大規模なモデルをより複雑な推論のために温存できる。実際には、これによりシステムが簡単なタスクに最上位クラスのレートを使用するのを防ぐ。
バッチ処理はもう一つの明確な区切りだ。一部のワークロードは即時の回答を必要としない。ドキュメント処理、データエンリッチメント、レポート生成などは待てる。そのようなジョブにおいては、レイテンシよりもスループットが重要となるため、バッチ実行によってコストを下げることができる。これは有用なトレードオフだ。ビジネスは、その瞬間ユーザー向けではない作業の配信が遅くなる代わりに、支払いを減らすのである。
トークン制御は次の節約源だ。多くのシステムは、呼び出しごとにコンテキストを送りすぎるために肥大化する。会話履歴が無制限に前方へコピーされる。長文ドキュメントがプロンプトに詰め込まれるが、実際に重要なのは小さな一部だけの場合もある。ここで構造化出力が役立つか、あるいは厳格なトークン制限や古いコンテキストの短い要約が有効である。不要なトークンは一つひとつコストと遅延を加える。
エージェントはこれをさらに重要にする。エージェントはツールを選択しタスクを分解することで助けになるが、ループしたり、再試行したり、一つの回答のために複数のモデルを呼び出したりすると支出を増幅させることもある。だからこそモジュール型デザインが重要なのである。エージェントはすべてを行うブラックボックスであってはならない。それは境界のあるワークフロー内に位置し、検索の深さ、ツールの使用、エスカレーションに対して明確な制限を持つべきだ。
小さな例でこれが明確になる。従業員からの質問に答えるサポートシステムを想像してみよう。ユーザーが「ラップトップのパスワードをどうやってリセットすればいいですか？」と尋ねる。ルーターはその質問を小規模なモデルに送る。なぜならタスクが簡単だからだ。もし同じ質問が以前に聞かれていれば、セマンティックキャッシュが前の回答を返す。もしその質問がポリシーの境界事例に関するものであれば、システムはそれを大規模なモデルにルーティングし、適切なポリシーテキストを検索する。ユーザーは一つの応答を見ることになる。ビジネス側は、すべてのリクエストに対して最先端モデルのレートを支払うことを回避する。
これが、モジュール型アーキテクチャとRAGが一緒に属すべき理由だ。RAGはシステムに外部知識を与える。エージェントは行動と計画能力を与える。しかし、コスト制御はパーツの配置方法から来る。検索、ルーティング、キャッシュ、生成が別々のモジュールに分かれているとき、システムはもっと支出する前に、より安価な選択ができるようになる。
この構造は運用面でも改善をもたらす。各ステージが何を行っているかを測定するのが容易になる。チームはキャッシュヒット率、モデルの組み合わせ、トークン使用量、フォールバックパスを見ることができる。どのモジュールが過剰に使用されているか、どのモジュールがパフォーマンスを発揮していないかを特定できる。その分離がない場合、全体システムは見えない原因を抱えた大きな請求書のように見えるだけだ。
これにはUX（ユーザー体験）側の側面もある。インタラクティブな作業においてはストリーミングをデフォルトとするべきだ。ユーザーは最初に表示されるトークンを非常に気にする。たとえシステムが裏側でキャッシュやルーティングを使っていても、ストリーミングされた応答はより速く、よりレスポンシブに感じる。これは遅延が信頼を損なうビジネス設定において重要だ。
主な教訓は、一つの手法ですべてのコスト問題が解決されるということではない。それは、すべてのリクエストが自分の居場所を獲得することを強要されたときに、AIシステムがより安価になるということだ。意味がすでに分かっている場合はまずキャッシュせよ。簡単な作業は小規模なモデルにルーティングせよ。待つことのできる作業はバッチ処理せよ。余分なトークンを削れ。エージェントを明確な境界内に留めろ。
EuroOp LLCはこれを実践的なエンジニアリングルールとして捉えている。現代のAIシステムは、個別に価格設定、テスト、交換可能なモジュールから構築されるべきである。それが、EuroOp Insightsが目指す適用パターンだ：EuroOpのプロダクト背後にあるパイプラインから、一つの適用されたR&Dパターン、一つの実践的な知見をもたらすものとして。