Milyen problémát old meg egy moduláris mesterséges intelligencia rendszer, amikor a költségek gyorsan emelkedni kezdenek?
Egy gyakori problémát. Egy csapat hasznos RAG (Retrieval-Augmented Generation) beállítással kezd, majd hozzáad ügynököket, eszközöket és védelmi korlátokat. A rendszer jobb lesz, de a számla minden új útvonalon nő a veremben. A moduláris kialakítás ezt a növekedést ellenőrzés alatt tartja azzal, hogy minden részt egyetlen jól végzett feladatra kényszerít.
A RAG és az ügynökök gyakran ugyanazon okból bukjanak el. Egy nehézkes folyamatként épülnek fel, ahol minden kérés ugyanazon nagy modellre, ugyanazon lekérdezési lépésre és ugyanazon válaszútra kerül. Ez eleinte egyszerű. Drága lesz, amikor a forgalom nő, a lekérdezések ismétlődnek, és sok kérés nem igényli a legképesebb modellt.
A moduláris architektúra megtöri ezt a szokást. Szétválasztja a gyorsítótárazást, a lekérdezést, az irányítást, a generálást és az érvényesítést. Minden rész külön változtatható. Ez fontos, mert a költségeket ritkán egy trükk rögzíti. A hulladék eltávolításával csökkentjük őket a kérelem útvonalának több pontján.
A hulladék első megjelenési helye a ismétlődő munka. Sok vállalati AI rendszerben a kérdések jelentős része hasonló jelentésű a korábbiakhoz, még ha a megfogalmazás változik is. Egy szemantikus gyorsítótár kezeli ezt az esetet. A promptot embeddinggé alakítja, összehasonlítja a múltbeli kérésekkel, és tárolt választ ad vissza, ha a találat elég erős. Az ötlet egyszerű. Ha a rendszer már megoldotta ugyanazt a kérést lényegében, nem kell újra fizetni a modellnek.
Ugyanez a moduláris ötlet segít a modellválasztásban. Nem minden kéréshez szükség van csúcstechnológiás modellre. Néhány feladat rutinszerű. Ezek adatkivonások, osztályozások, összefoglalók vagy sablonos válaszok. Ezek jól illeszkednek kisebb modellekhez. Egy irányító egyszerű munkát küldhet egy olcsóbb modellre, és fenntarthatja a nagyobbat a nehezebb érveléshez. Gyakorlatban ez megakadályozza, hogy a rendszer csúcskategóriás díjakat fizessen könnyű feladatokra.
A kötegelt feldolgozás egy másik tiszta elválasztó. Néhány terhelésnek nincs szüksége azonnali válaszra. Dokumentumfeldolgozás, adatgazdagítás és jelentéskészítés várhat. Ezekre a feladatokra a kötegelt végrehajtás csökkentheti a költséget, mert a késés kevésbé fontos, mint a áteresztőképesség. Ez egy hasznos kompromisszum. A vállalat kevesebbet fizet cserébe a lassabb kiszállításért olyan munkában, amely pillanatnyilag nem felhasználói oldalról érkezik.
A tokenkontroll a következő megtakarítási forrás. Sok rendszer túlméretezetté válik, mert túl sok kontextust küldenek minden híváson. A beszélgetési előzményt korlátlanul másolják előre. Hosszú dokumentumokat zsúfolnak a promptokba, még akkor is, csak egy kis szelet számít. A strukturált kimenet segíthet itt. A szigorú tokenkorlátok és a régebbi kontextus rövid összefoglalói is. Minden felesleges token költséget és késést okoz.
Az ügynökök még fontosabbá teszik ezt. Egy ügynök segíthet az eszközök kiválasztásában és a feladatok lebontásában, de megsokszorozhatja a kiadást is, ha hurkolódik, újrapróbálkozik, vagy több modellt hív meg egyetlen válaszért. Ezért fontos a moduláris tervezés. Az ügynök nem lehet egy fekete doboz, ami mindent csinál. Egy határolt munkafolyamatban kell működnie, egyértelmű korlátokkal a lekérdezési mélység, az eszközhajszolás és az eszkaláció tekintetében.
Egy kis példa világossá teszi ezt. Képzelj el egy támogatási rendszert, amely dolgozói kérdésekre válaszol. Egy felhasználó kérdezi: „Hogyan állítsam vissza a laptopom jelszavát?” Az irányító ezt egy kis modellre küldi, mert a feladat egyszerű. Ha ugyanazt a kérdést már felteszik, a szemantikus gyorsítótár visszaadja az előző választ. Ha a kérdés egy szabályzat peremes esetére vonatkozik, a rendszer egy nagyobb modellre irányítja, és lekéri a megfelelő szabályzati szöveget. A felhasználó egy választ lát. A vállalat elkerüli, hogy csúcstechnológiai modell díjakat fizessen minden kérésért.
Ezért tartozik együtt a moduláris architektúra és a RAG. A RAG külső tudást ad a rendszernek. Az ügynökök akciótervezést adnak neki. De a költségkontroll abból ered, ahogy a részek el vannak rendezve. Amikor a lekérdezés, az irányítás, a gyorsítótárazás és a generálás külön modulokra van bontva, a rendszer olcsóbb választásokat hozhat mielőtt többet költene.
Ez a szerkezet az operációt is javítja. Könnyebb mérni, mit csinál minden szakasz. A csapatok láthatják a gyorsítótár-találati arányokat, a modellkeveréket, a tokenfelhasználást és a tartalék útvonalakat. Felfedezhetik, hol túlhasználnak egy modult, és hol teljesít rosszul egy másik. Enélkül az elválasztás egész rendszer úgy néz ki, mint egy nagy számla, tisztázatlan okkal.
Van egy UX-oldala is ennek. A streamelés maradhat az alapértelmezett interaktív munkához. A felhasználók nagyon törődnek az első látható tokennel. Még akkor is, ha egy rendszer háttérben gyorsítótárazik vagy irányít, a streamelt válasz gyorsabbnak és reagálóbbnak tűnik. Ez fontos üzleti környezetekben, ahol a késés aláássa a bizalmat.
A fő tanulság nem az, hogy egy minta megoldja az összes költségproblémát. Hanem az, hogy az AI rendszerek olcsóbbá válnak, amikor minden kérésnek meg kell érdemelnie a helyét. Először gyorsítótárazz, ha a jelentés már ismert. Irányítsd az egyszerű munkát kisebb modellekre. Köbetszd a várhat munkát. Vágd le a felesleges tokeneket. Tartsd az ügynököket egyértelmű keretek között.
Az EuroOp LLC ezt gyakorlati mérnöki szabályként kezeli. Egy modern AI rendszert modulokból kell felépíteni, amelyek árazhatók, tesztelhetők és önállóan cserélhetők. Ez az a fajta alkalmazott minta, amelyet az EuroOp Insights követ: egy alkalmazott kutatási és fejlesztési minta, egy gyakorlati tanulság az EuroOp termékei mögötti folyamatból.