Jaký problém řeší modulární AI systém, když náklady rychle rostou?
Řeší běžný problém. Tým začne s užitečným nastavením RAG, poté přidá agenty, nástroje a zábrany (guardrails). Systém se zlepšuje, ale účet roste s každou novou cestou přes zásobník. Modulární design udržuje tento růst pod kontrolou tím, že každý díl dělá jednu práci dobře.
RAG a agenty často selhávají ze stejného důvodu. Jsou stavěny jako jeden těžký tok, kde každá žádost prochází stejným velkým modelem, stejným krokem vyhledávání a stejnou cestou odpovědi. To je na začátku jednoduché. Stává se drahým, když poroste provoz, dotazy se opakují a mnoho požadavků nepotřebuje nejkapacitnější model.
Modulární architektura narušuje tuto zvyklost. Odděluje ukládání do mezipaměti (caching), vyhledávání, směrování, generování a validaci. Každou část lze měnit samostatně. Záleží na tom, protože náklady nejsou zřídka fixovány jedním trikem. Snižují se odstraňováním plýtvání v několika bodech cesty požadavku.
Prvním místem, kde se objevuje plýtvání, je opakovaná práce. V mnoha podnikových AI systémech je velká část otázek významově blízkých předchozím otázkám, i když se slovní vyjádření změní. Sémantická cache tento případ řeší. Převádí prompt na embedding, porovnává ho s minulými požadavky a vrací uloženou odpověď, pokud je shoda dostatečně silná. Cíl je jednoduchý. Pokud systém již ve své podstatě vyřešil stejnou žádost, neměl by platit modelu znovu.
Stejná modulární myšlenka pomáhá s volbou modelu. Ne každý požadavek potřebuje špičkový model. Některé úlohy jsou rutinní. Jde o extrakční práce, klasifikace, shrnutí nebo šablonované odpovědi. Ty dobře sedí menším modelům. Směrovač může poslat jednoduchou práci k levnějšímu modelu a rezervovat ten větší pro složitější uvažování. V praxi to brání systému, aby utrácel ceny špičkové třídy za snadné úkoly.
Dávkové zpracování je další čistý oddělovač. Některé pracovní zátěže nepotřebují okamžité odpovědi. Zpracování dokumentů, obohacování dat a generování reportů mohou počkat. Pro tyto práce může dávkové provedení snížit náklady, protože latence je méně důležitá než propustnost. Je to užitečný kompromis. Podnik platí méně výměnou za pomalejší dodání u práce, která není v daném okamžiku orientována na uživatele.
Kontrola tokenů je dalším zdrojem úspor. Mnoho systémů ztloustne, protože posílají příliš mnoho kontextu při každém volání. Historie konverzace je kopírována vpřed bez limitu. Dlouhé dokumenty jsou baleny do promptů, i když má význam jen malá část. Strukturovaný výstup může zde pomoci. Mohou také pomoci přísné limity tokenů a krátká shrnutí staršího kontextu. Každý zbytečný token přidává náklady a zpoždění.
Agenti to činí ještě důležitějším. Agent může pomoci výběrem nástrojů a rozkladem úkolů, ale může také násobit výdaje, pokud se zasekne v smyčkách, opakuje pokusy nebo volá několik modelů pro jednu odpověď. Proto má modulární design význam. Agent by neměl být černá skříňka, která dělá všechno. Měl by sídlit v ohraničeném pracovním postupu s jasnými limity hloubky vyhledávání, používání nástrojů a eskalace.
Malý příklad to činí zřejmým. Představte si podpůrný systém, který odpovídá na otázky zaměstnanců. Uživatel se ptá: „Jak resetuji heslo svého notebooku?“ Směrovač pošle tuto otázku k malému modelu, protože úkol je jednoduchý. Pokud byla stejná otázka položena dříve, sémantická cache vrátí předchozí odpověď. Pokud se otázka týká hraničního případu politiky, systém ji zašle k většímu modelu a vytáhne správný text politiky. Uživatel vidí jednu odpověď. Podnik se vyhne placení cen špičkového modelu za každý požadavek.
Proto patří modulární architektura a RAG spolu. RAG poskytuje systému vnější znalosti. Agenti mu poskytují akci a plánování. Kontrola nákladů však pramení z toho, jak jsou části uspořádány. Když jsou vyhledávání, směrování, ukládání do mezipaměti a generování rozděleny do samostatných modulů, může systém činit levnější volby, než utratí více.
Tato struktura také zlepšuje provoz. Snazší je měřit, co každý stupeň dělá. Týmy mohou vidět míry úspěchu cache, mix modelů, využití tokenů a záložní cesty. Mohou odhalit, kde je jeden modul nadměrně využíván a kde jiný vykazuje nedostatečné výsledky. Bez tohoto oddělení vypadá celý systém jako jedna velická účtenka bez jasné příčiny.
Existuje zde také strana uživatelského zážitku (UX). Streamování by mělo zůstat výchozím nastavením pro interaktivní práci. Uživatelé velmi dbají na první viditelný token. I když systém používá ukládání do mezipaměti nebo směrování na pozadí, streamovaná odpověď působí rychleji a responzivněji. To má význam v obchodních prostředích, kde zpoždění eroduje důvěru.
Hlavní ponaučení není v tom, že jeden vzorec řeší všechny problémy s náklady. Je v tom, že AI systémy se stanou levnějšími, když je každý požadavek nucen si vydobýt své místo. Nejprve použít cache, když je význam již znám. Směrovat jednoduchou práci k menším modelům. Dávkově zpracovávat práci, která může počkat. Oříznout zbytečné tokeny. Držet agenty v jasných mezích.
EuroOp LLC považuje toto za praktické inženýrské pravidlo. Moderní AI systém by měl být postaven z modulů, které lze cenit, testovat a nahrazovat samostatně. To je druh aplikovaného vzorce, který EuroOp Insights sleduje: jeden aplikovaný výzkumný a vývojový vzorec, jedno praktické ponaučení, z potrubí za produkty EuroOp.